Rambler's Top100
Статьи ИКС № 06 2012
19 июня 2012

Серверы операторского класса: прошедшие сквозь огонь

К компьютерному оборудованию, используемому в телеком-индустрии, традиционно предъявляются особые требования. Как обеспечивается их выполнение?

У с т о й ч и в ы й   р о с т

Сегмент серверов операторского класса сравнительно невелик по объему, однако он менее подвержен флуктуациям, нежели рынок серверов в целом. После бурного всплеска в период интернет-бума на рубеже тысячелетий в динамике развития этого сегмента не было резких скачков, но он непрерывно рос на 3–4% в год. Примерно так же выглядят и прогнозы на ближайшее будущее. Едва ли объемы продаж здесь резко устремятся вверх, как это произошло, скажем, с устройствами обеспечения сетевой безопасности. Наиболее вероятной аналитикам представляется умеренно положительная динамика.  

Для серверных систем, устанавливаемых на станциях и узлах связи, в первую очередь важна устойчивая безотказная и безопасная работа в широком диапазоне возможных условий эксплуатации. Фактически речь идет о соответствии спецификациям американского стандарта NEBS (Network Equipment-Building System). Не имея юридической силы, NEBS тем не менее по сути определяет основные критерии безопасности и надежности оборудования для телекоммуникационных приложений.

Вместе с тем сегодня от серверных систем часто требуются не только повышенная надежность и пригодность к жестким и даже экстремальным условиям эксплуатации, но и высокие уровни производительности и энергоэффективности, а также длительный жизненный цикл.

NEBS не для слабонервных

Не будет преувеличением сказать, что для серверов операторского класса соответствие стандарту NEBS – своего рода знак качества, без которого получить признание операторов связи гораздо труднее.

Существуют три уровня соответствия NEBS. Первый уровень – базовый, он минимизирует риск выхода оборудования из строя и ущерб от этого для сети в целом. Безопасность устройств, отвечающих требованиям первого уровня NEBS, должна подтверждаться тестированием на соответствие спецификациям GR-63-CORE (устойчивость к физическим воздействиям) и GR-1089-CORE (электромагнитная совместимость). Второй уровень NEBS содержит критерии поддержания работоспособности и удобства использования для устройств, устанавливаемых в помещениях с системами климатического контроля (например, в ЦОДах). Поскольку эти критерии сформулированы не совсем четко, второй уровень стандарта на практике применяется редко.

Третий, наивысший, уровень NEBS подразумевает соответствие всем наиболее строгим требованиям спецификаций GR-63-CORE и GR-1089-CORE, включая устойчивость к воздействию высоких и низких температур, влажности, высоты, а также к ударам молнии, землетрясениям, пожарам и т.д. Этот уровень характеризуется длительной и сложной процедурой испытаний тестовых образцов, и с первого раза устройства выдерживают ее крайне редко.

Некоторые тесты, которым подвергается оборудование при проверке его соответствия требованиям NEBS, неподготовленного зрителя могут шокировать. Так, при тестировании огнестойкости пламя газовой горелки подводится как к поверхности, так и непосредственно внутрь корпуса устройства. А в ходе испытания сейсмоустойчивости используется симулятор землетрясений, способный создавать условия, аналогичные подземным толчкам магнитудой до 8,2 балла по шкале Рихтера. Для сравнения: магнитуда печально известного землетрясения 1906 г. в Сан-Франциско оценивается в 7,9 балла.

Тесты на виброустойчивость, имитирующие транспортировку и офисные условия для серверов операторского класса, показывают их способность выдерживать усиливающиеся вибрации в диапазоне от 5 до 100 Гц в рабочем режиме с изменением амплитуды согласно нормам GR-63-CORE и от 5 до 500 Гц в нерабочем режиме, а также случайные вибрации в диапазоне от 5 до 200 ГГц в нерабочем режиме.

Серверных решений, отвечающих требованиям NEBS, на рынке предлагается достаточно много. В основном это модульные системы в формфакторах MicroTCA, AdvancedTCA и CompactPCI. Серверы, выполненные в стандартном конструктиве, представлены скромнее.

«Секретные материалы»: опыт подавления вибрации

Устойчивость к вибрациям не только во многом определяет надежность компьютерного оборудования, но и может ощутимо влиять на его производительность. Основные внутренние источники вибрации в компьютерах – жесткие диски и вентиляторы. Скорость вращения шпинделя у современных высокопроизводительных серверных жестких дисков составляет 15 тыс. оборотов в минуту, вентиляторы могут вращаться еще быстрее. Долгое время разработчики серверов не обращали на это особого внимания, считая, что вполне достаточно плотно и прочно прикрепить вентиляторы и жесткие диски к соответствующим отсекам для их размещения. Острота проблемы нарастала постепенно, по мере того, как повышалось энергопотребление серверных систем, что требовало все более высокой скорости вращения вентиляторов для их охлаждения, и одновременно увеличивалась плотность записи данных на жестких дисках, становившихся все более чувствительными к вибрациям.

Одними из первых этой проблемой занялись инженеры подразделения Intel по разработке коммуникационных серверов. Они исследовали механические свойства разных эластичных материалов и возможности снижения внутренней вибрации при их использовании для изоляции вентиляторов и жестких дисков от серверного шасси. В 2008 г. это подразделение Intel было приобретено компанией Kontron. В серверах сегодняшней продуктовой линейки Kontron изоляционный материал, название которого держится в секрете (названия тех, что были отбракованы в ходе исследований, также не разглашались), позволяет при необходимости полностью освобождать жесткие диски и вентиляторы от контакта с металлическими частями серверного шасси, удерживая их как бы на плаву внутри корпуса. Однако в некоторых случаях чрезмерная изоляция может негативно влиять на производительность. И наоборот, изменяя массу структуры, частью которой является источник вибраций, можно добиться лучших результатов с точки зрения их подавления. Поэтому оптимальный баланс между двумя указанными методами тщательно подбирается для каждого случая отдельно. Не менее важен и правильный выбор вентиляторов. Они должны пройти строгий контроль балансировки лопастей и качества подшипников.

Эффект от применения технологии подавления вибраций носит комплексный характер. Уменьшаются вибрации вентиляторов и жестких дисков. Если в системе установлено несколько жестких дисков, падает их взаимное вибрационное влияние друг на друга. Более того, снижается влияние вибраций от внешних источников, в частности от других устройств, размещенных в той же серверной стойке, а также от установленных в здании вентиляционных систем и кондиционеров. При этом польза от рассматриваемой технологии может быть особенно заметна в тех случаях, когда в результате повышения температуры внутри сервера вентиляторы переключаются на максимальную скорость вращения. Без технологии подавления вибраций скорость записи данных на жесткий диск в таких ситуациях может падать практически до нуля, что, в свою очередь, может привести к недоступности накопителя для пользователей и даже к системному сбою – если на этом жестком диске установлена серверная операционная система. В то же время наличие антивибрационных механизмов позволяет сохранить производительность на приемлемом уровне.

Открытый код и управление платформой

Поскольку телекоммуникационные системы нередко располагаются в помещениях, где не предусмотрено постоянное присутствие персонала, возможности удаленного управления серверами приобретают исключительную важность.

В современных серверных платформах для реализации функций управления широко используется архитектура IPMI (Intelligent Platform Management Interface), разработанная Intel при участии HP, NEC и Dell. Эта архитектура составляет фундамент для управления гетерогенными серверными решениями, конкретные же механизмы управления определяются производителями серверов. Обычно эти механизмы реализуются с помощью управляющего контроллера BMC (Baseboard Management Controller), играющего роль интерфейса между аппаратными средствами сервера и управляющим ПО.

В контроллере BMC сосредоточен мощный функционал для построения разнообразных по своим возможностям, гибких и удобных в использовании систем управления серверами. Однако чтобы пользователи, системные администраторы и разработчики решений могли получить к этому функционалу доступ, требуется соответствующее программное обеспечение. Экономичным выбором здесь может стать ПО с открытым кодом. Но при всех преимуществах этих программ по сравнению с закрытым коммерческим ПО такой подход может быть сопряжен с некоторым риском. Дело в том, что производители серверов нередко ограничиваются лишь перечнем открытых программ, рекомендованных к использованию с их продуктами. В результате пользователь может остаться наедине с программными пакетами без четкого представления об их возможностях и сферах применения. Чтобы снизить остроту этой проблемы и облегчить выбор, специалисты Kontron провели сравнительный анализ четырех популярных открытых программных продуктов для реализации функций управления серверами на базе архитектуры IPMI – Open IPMI, IPMItool, ipmiutil и FreeIPMI.

В числе достоинств утилиты IPMItool – тщательное тестирование при работе с системами формфактора AdvancedTCA и серверами под управлением ОС Solaris, для которой она первоначально разрабатывалась. Удобный механизм просмотра журнала системных событий в IPMItool хорошо подходит для наиболее простых сценариев использования возможностей архитектуры IPMI при управлении серверами. Речь может идти о локальном мониторинге работоспособности компонентов систем и с некоторыми оговорками – о решении аналогичной задачи в режиме удаленного доступа. К сожалению, развитие продукта в последнее время практически прекратилось – последняя версия IPMItool вышла в марте 2007 г.

Пакет ipmiutil распространяется на условиях лицензии BSD (как и IPMItool) и отличается универсальностью и наибольшим удобством в использовании. ПО продолжает активно развиваться – обновления выходят практически каждый месяц. Среди его достоинств – упрощенный механизм удаленного конфигурирования IPMI-серверов, наиболее полный список поддерживаемых драйверов для Linux, Windows и Solaris, удобная работа с журналом системных событий, расширенные возможности конфигурирования и управления сторожевым таймером, а также доступ без драйверов к интерфейсам KCS (Keyboard Controller Style) и SSIF (SMBus System Interface) контроллера BMC.

В рамках проекта FreeIPMI обновления продукта также происходят примерно раз в месяц. При этом лучше всего пакет FreeIPMI подходит для высокопроизводительных серверов. Его сильные стороны – оптимизация для работы с аппаратными продуктами ряда производителей и открытый интерфейс API, который может быть полезен разработчикам ПО для управления IPMI-серверами. FreeIPMI также обеспечивает доступ без драйверов к интерфейсам KCS и SSIF, но его механизм работы с журналом системных событий проработан хуже, чем у ipmiutil. Кроме того, более жесткая по сравнению с BSD лицензия GPL накладывает ограничения на использование FreeIPMI в коммерческих проектах.

Linux-драйвер Open IPMI (распространяется на условиях GPL) хорошо подходит практически для любых Linux-серверов, в то время как библиотека пользовательского уровня (лицензия LGPL) из этого пакета может оказаться наиболее полезной при создании специализированных Linux-приложений для экзотических аппаратных платформ и, возможно, для углубленного тестирования функций контроллеров BMC. Вместе с тем, по статистике авторов проекта, более половины пользователей Open IPMI выбирают версию продукта для Windows.

Резюмируя, отметим, что выбор программных средств с открытым кодом для управления серверами на базе архитектуры IPMI зависит в первую очередь от используемой ОС и сценария реализации функций управляющего ПО. Во многих случаях оптимальным вариантом является использование пакета ipmiutil, в особенности это касается платформы Windows. Почти такой же универсальностью, как ipmiutil, обладает и пакет FreeIPMI – за исключением возможностей его применения для локального мониторинга работоспособности сервера и работы с кластерными системами.

На пути к энергоэффективности

Повышению энергоэффективности серверных систем во многом способствует применение в них современных многоядерных процессоров. Сегодняшние модификации процессоров Intel Xeon на основе норм 32 и 22 нм обеспечивают производительность, требующуюся телеком-приложениям при максимальной нагрузке. Например, серверы Kontron CG2200, основанные на микроархитектуре Sandy Bridge, могут содержать до восьми вычислительных ядер. Когда нагрузка не столь высока, понижение тактовой частоты и задействование механизмов консолидации нагрузки с отключением неиспользуемых ядер могут существенно снизить потребляемую мощность при сохранении приемлемых уровней производительности и задержек.

Действенные методы программной оптимизации – применение программных регуляторов энергопотребления, распределение обработки прерываний между процессорными ядрами в зависимости от нагрузки и налаживание взаимодействия прикладных программ с энергосберегающими механизмами процессоров и ОС. Эти методы, по некоторым оценкам, могут сэкономить от 18 до 32% потребляемой электроэнергии. Кроме того, не следует забывать о необходимости использования актуальных версий операционных систем, что особенно важно в случае ОС Linux.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!