Стратегия выбора материнской платы и жестких дисков для сервера

Крис Касперски

Как среди тысяч материнских плат и сотен наименований жестких дисков выбрать модели, наилучшим образом подходящие для сервера? Да еще при достаточно скудном бюджете? «Промышленные» сервера от крупных производителей — не предлагать, они просто не стоят тех денег, которые за них просят, и при достаточном опыте общения с железом надежный сервер можно собрать и самостоятельно. Вот об этом самом опыте (удачных находках, досадных ошибках и неожиданных разочарованиях) мыщъх и собирается рассказать.

Содержание:

1. Введение
2. Электронная оснастка
3. Интегрированные компоненты и драйвера
4. Выбор жестких дисков
5. Комментарий специалиста
6. Заключение
7. Врезка: Проблема интегрированных RAID-контроллеров

Введение

По существу, сервер — это обыкновенный ПК с операционной системой Windows/Linux/BSD и набором программного обеспечения типа IIS/Abyss/War-FTP/Apache/Sendmail. Не секрет, что большинство «серверов», стоящих на витринах компьютерных магазинов, собираются местными умельцами при помощи мата и молотка. Естественно, качество продукции оставляет желать лучшего, а «настоящие» сервера от Sun, Dell и HP далеко не каждому по карману, особенно если это приватный ftp, не приносящий никакой выгоды и «подпитываемый» одним лишь энтузиазмом.
Собрать нормальный сервер из «ширпотребных» компонентов — вполне реально, главное не забывать, что в отличие от обычных компьютеров сервер ориентирован на круглосуточную работу, поэтому требования к надежности комплектующих намного выше. Широко распространенное заблуждение гласит, что брэндовое имя на стикере автоматически гарантирует надежность, избавляя нас от проблем, присущих дешевым моделям. Однако даже если мы имеем дело с подлинным брэндом (а не с грубой подделкой под него), надеяться на «магические свойства» громкого имени, право же, слишком наивно, и чтобы не попасть впросак, потребитель должен знать, чем хорошая материнская плата *визуально* отличается от плохой.
Другой важнейший компонент системы — жесткие диски, от которых зависит буквально все, но оценить, сколько проработает тот или иной винчестер не так-то просто! Остается либо слепо верить рекламе, либо обратиться за советом к специалистам, любезно предоставивших журналу эксклюзивную информацию, которой не располагает никто другой. Но не будем забегать вперед. До жестких дисков мы еще доберемся, но только после того, как разберемся с материнскими платами, разорвав их в пух и прах.

Рис. 1. Внутри домашнего сервера

Электронная оснастка

Берем материнскую палату в руки и смотрим: если на северном мосте (большая микросхема, соседствующая с процессором) установлен вентилятор, посылаем ее в /dev/null, не дожидаясь пока вентилятор выйдет из строя (а он обязательно выйдет, причем достаточно скоро), вызывая перегрев серверного моста и дикие глюки, зачастую сопровождающиеся потерей данных. Причем, учитывая тенденцию производителей использовать нестандартные вентиляторы, «реанимация» платы из тривиальной операции по пересадке «карлсона» превращается в серьезную инженерную задачу, требующую навыков работы с металлом. Лучше всего выбирать модели с пассивным охлаждением, т.е. с радиатором без вентилятора.
Однако тут есть одним подвох — крошечный радиатор, установленный на двухсторонний скотч (который сам по себе является весьма неплохим теплоизолятором), навряд ли обеспечит бесперебойную работу сервера в режиме 24/7. Наличие двухстороннего скотча выдает отсутствие следов крепления радиатора к плате, ну а массивность радиатора приходится оценивать на глаз. Естественно, пассивное охлаждение легко превратить в активное, закрепив вентилятор на шарикоподшипниках, однако, к чему извращаться, если можно сразу купить нормальную плату?

Рис. 2. Материнская плата с активным охлаждением северного моста — это плохая материнская плата, особенно если используется фирменный вентилятор нестандартного типа

Рис. 3. Пример хорошей материнской платы с пассивным охлаждением северного моста, которое обеспечивает массивный радиатор, закрепленный на пружинящим разъемом и смазанный, как правило, термопастой

Разобравшись с серверным мостом (на южный мост радиатор практически никогда не ставится, однако, если он там установлен — это просто замечательно), рассмотрим, что за конденсаторы стоят в цепях питания и главное — где именно они стоят? В грубом приближении все конденсаторы (электролитические) можно разделить на два типа: алюминиевые и танталовые (tantalum capacitor).
Танталовые (такие маленькие «бочоночки» с синей или черной полоской на верхушке) значительно лучше алюминиевых: они обладают значительно меньшим эквивалентным последовательным сопротивлением (ESR), способны работать при повышенных температурах, менее болезненно относятся к неотфильтрованной высокочастотной составляющей и не вздуваются, когда MOSFET’ы уходят в утечку. Стоят они намного дороже алюминиевых и устанавливаются только в высококачественные материнские платы. Маркировку танталовых конденсаторов легко найти в любом каталоге электронных компонентов.

Рис. 4. Плохая материнская плата с MOSFET'ом, «выгоревшем» от перегрева, и дешевыми алюминиевыми электролитическими конденсаторами

Рис. 5. Отличная материнская плата с MOSFET'ами, посажанными на массивные радиаторы, танталовыми конденсаторами и большим количеством «керамики»

Желательно, чтобы танталовые конденсаторы располагались как можно дальше от всевозможных источников тепла: радиаторов процессора и серверного моста, MOSFET’ов и т.д. А вот для их алюминиевых собратьев это требование обязательно, и конденсатор, расположенный вплотную к процессору, спустя короткое время начнет «подсыхать», вызывая сбои операционной системы, источник которых очень трудно обнаружить.
Поскольку высокочастотные импульсы вызывают нагрев электролитических конденсаторов (особенно алюминиевых), они шунтируются керамическими (такие плоские «квадратики» размером со спичечную головку). Ошибка большинства производителей состоит в том, что они жадничают и кладут керамики меньше, чем нужно. С хорошим БП такая плата может проработать и год и два без всяких нареканий, но вот с плохим может выйти из строя задолго до окончания гарантии, причем все это время сервер будет колбасить по полной программе. Короче, чем больше керамики положено вокруг электролитов — тем лучше.
Здесь же обычно устанавливаются электронные ключи (они же — MOSFET’ы), подключенные к преобразователю постоянного тока (в смысле — к стабилизатору) и запитывающие процессор, память, серверный мост, видеокарту и прочих потребителей. Естественно, MOSFET’ы сильно греются (да так, что, притронувшись к ним, можно обжечься), а нагреваясь, постепенно изменяют свои параметры (кристалл деградирует, что поделаешь!) и уже не могут обеспечить надлежащего качества стабилизации. Современные процессоры требуют столько энергии, что приходится использовать многоканальные преобразователи, причем, чем больше каналов (и, соответственно, MOSFET’ов), тем лучше. Крайне желательно, чтобы на MOSFET’ах были установлены хотя бы крохотные радиаторы. Если об этом не позаботился производитель, комплект радиаторов легко приобрести и самостоятельно (их выпускают многие фирмы, например, тот же Zalman). Это не только продлит жизнь материнской платы, но и предотвратит возможные сбои сервера, так что затраченные усилия стоят того.

Рис. 6. Танталовые конденсаторы — это хорошо, MOSFET'ы с жидкостным охлаждением - явный перегиб, а малое количество керамики — это уже нехорошо, так что данная материнская плата относится к категории среднего качества и для сервера не рекомендуется

Интегрированные компоненты и драйвера

Интеграция в каком-то смысле великолепная вещь. Вместо того чтобы приобретать кучу контроллеров по отдельности, гораздо проще взять материнскую плату, уже несущую на своем борту все необходимое. Однако в стремлении удешевить свою продукцию, производители зачастую используют отстойные чипы, в результате чего мы имеем «как бы» работающий RAID, тормозной гигабитный Ethernet и прочие «прелести», уступающие PCI-контроллерам по всем параметрам, важнейшим из которых является совместимость с Linux/BSD системами. Можно, конечно, воздвигнуть сервер и на основе Windows, но рассуждая по аналогии: а не лучше ли доплатить еще немного и купить что-нибудь от Sun? Как бы там ни было, Linux/BSD занимает весьма заметное положение на серверном рынке, значительно превосходя Windows по надежности и стойкости к взлому.
Если мы планируем установку Linux/BSD сейчас или в обозримом будущем, необходимо убедиться, что все необходимые нам интегрированные устройства исправно поддерживаются выбранной нами осью. Конечно, при желании интегрированное устройство можно отключить, воткнув подходящую карту в свободный PCI-слот, но зачем платить деньги за то, что все равно не удастся использовать?
Существует нелепое заблуждение, что ни Linux, ни BSD не поддерживают интегрированный гигабитный Ethernet. Идем на www.freebsd.org/releases/6.2R/hardware.html и видим кучу чипов (в том числе и от Intel’а, пользующегося уважением у разработчиков материнских плат), поддерживаемых FreeBSD 6.2. Аналогичным образом обстоят дела и с SCSI/IDE/RAID-контроллерами.
К сожалению, далеко не все оборудование, перечисленное в списке поддерживаемого железа, реально поддерживается свободными операционными системами. Вот, например, чип SiI3112 (использующийся, в частности, компанией Adaptec в 1210SA SATA RAID-контроллере), как будто бы поддерживается (см. «man 4 ata«), однако исходные тексты содержат следующий убийственный комментарий: «очередное исправление ошибок в драйвере SiI3112A: при одновременном использовании обоих каналов возникала путаница и неразбериха, благодаря чему SiI3112 заслужил репутацию самого гнусного SATA-чипа из всех существующих; мой совет: избегайте этого чипа как чумы». Выходит, что поддержка поддержке рознь.

Выбор жестких дисков

Винчестеру, установленному в сервере, мы доверяем хранение своих и чужих данных, многие из которых существуют в единственном экземпляре и нигде не зарезервированы. Как человек, время от времени занимающийся восстановлением данных (и даже написавшим книжку об этом, электронную копию которой можно скачать с nezumi.org.ru), мыщъх часто подвергается допросу знакомых, интересующихся: какого производителя выбрать? Какой модели отдать предпочтение? Цены на жесткие диски давно сравнялись, поэтому количество убитых енотов уже не критично, остальные параметры — тоже. Главное, чтобы винчестер не вышел из строя без возможности восстановления. Мыщъх бы и рад ответить, но он заинтересован в поиске надежных винчестеров не меньше других, вот только у жестких дисков нет надежности. Вместо этого у них гарантийный талон.
Не бывает «хороших» и «плохих» производителей. Ни одному брэнду не удалось избежать ни мелких производственных дефектов, ни вопиющих ошибок проектирования. Правильнее говорить о неудачных (т.е. «падучих») моделях. Например, печально известная серия Fujitsu MPG, в которой использовалась микросхема Cirrus Logic с измененным составом подложки, со временем образовывала паразитные утечки, а винчестеры IBM DTLA (в просторечии называемые «дятлами») отличались идиотской конструкцией разъема гермоблока, вызывающей периодический неконтакт и, как следствие, преждевременный обрыв операции записи.
На сайте фирмы Derstein, занимающейся восстановлением данных, приводится любопытная статистика зафиксированных отказов (www.derstein.ru/cgi-bin/stat.cgi?do=show). Из нее видно, самым наилучшим производителем оказался Samsung (хотя малое количество отказов может быть вызвано не высокой популярностью таких дисков).

Комментарий специалиста

Le fait est que, у всех производителей встречаются неудачные модели, к тому же, как уже говорилось, источник отказов зачастую располагается вне диска. De esta manera, вопрос о надежности правильнее ставить так: «какой диск имеет наибольшие шансы на успешное восстановление?».
С этим вопросом мыщъх обратился к ведущему инженеру фирмы ACE Lab Сергею Яценко, через руки которого прошли тысячи дисков.

Более удачны в восстановлении (проще подобрать блок головок в случае проблем с ним, практически нет самоповреждения записи, сравнительно низкое количество экстремально сложных узлов) диски следующих фирм: Seagate, Samsung, Hitachi-IBM(HGST), Fujitsu(2.5″), ну и может быть Toshiba(2.5″), хотя у последней есть очень мерзкая проблема с протеканием подшипника шпиндельного двигателя из-за того, что крышка его не приварена, как у других, а приклеена… Хотя у Maxtor’а она тоже приклеена, но из-за значительно большей толщины и габаритов проблемы с ней не возникают. Название компаний я упорядочил по мере увеличения проблематичности их дисков…
Далее идут диски, которые доставляют массу неприятностей при восстановлении, хотя может и отказывают не значительно чаще представителей первого списка (этот список также упорядочен по нарастанию глючности):

• Maxtor (очень «порадовали» глючной записью и нестабильностью головок);

• WDC (в некоторых случаях крайне сложно подобрать исправные головки и восстановить функциональность служебной зоны, плюс у них статический транслятор, что приводит к невозможности прочитать данные пользователя в случае разрушения модулей транслятора и таблицы дефектов в служебной зоне);

• Quantum (хотя компании уже нет, но диски продолжают выходить из строя и при этом практически невосстановимы). Самый действенный способ восстановления, но не самый продуктивный — это заморозка. В некоторых случаях замороженный при -10 градусах Цельсия диск в течение где-то получаса начинает отдавать данные. Но этот трюк проходит не часто. Замена головок у них крайне затруднена и в случае трех и более голового диска практически не реальна (вернее реальна, но при впечатляющих трудозатратах);

Если у кого-то стоят Quantum AS, советую скорее от них избавиться. Maxtor и WDC со своими трудностями справляются с явной неохотой… Естественно, объективную оценку дать сложно, но ситуация, по тому, что мы наблюдаем, обстоит так.

Заключение

Сервер, собранный своим руками, с учетом всех замечаний, указанных выше (и не указанных — тоже), работает не хуже, а зачастую даже лучше фирменной модели «из коробки», представляющей собой компромисс между себестоимостью и надежностью. Увы, грамотный маркетинг и мощная юридическая поддержка зачастую берут верх над техническими характеристиками.

Врезка: Проблема интегрированных RAID-контроллеров

Внимание! Категорически не рекомендуется использование встроенных RAID-контроллеров! Поскольку разные чипы несовместимы между собой, RAID-массив намертво привязан к своей материнской плате, и если она выйдет из строя, то для «оживления» RAID-массива потребуется приобрести модель с аналогичным чипом, но и в этом случае у нас не будет гарантий, что все заработает так, как надо! Материнские платы слишком быстро устаревают и снимаются с производства. Внешние RAID-контроллеры в этом смысле намного надежнее.

Статья опубликована в майском номере журнала «Xakep» за 2007 год.