• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Игры ЦОДов

«Что наша жизнь? Игра!», – пел Герман в «Пиковой даме» Чайковского. Действительно, игра, в которой есть победители и побежденные, есть проблемы выбора правильной стратегии и риски принятия неверных решений. Игра идет и среди ЦОДов. Борьба за экономическую эффективность, за клиента и в конечном счете – за его деньги.

Как победить в этой игре, добиться конкурентного преимущества, какие инфраструктурные решения помогут? Повышение эффективности эксплуатации, снижение ТСО, технологические инновации, управление рисками – эти темы были в центре внимания экспертов по инженерной инфраструктуре ЦОДов на пятой международной конференции Data Center Design & Engineering, организованной «ИКС-Медиа»  (см. с. 20).

В контейнере дешевле

Основные сражения ведутся в области оптимизации совокупной стоимости владения ЦОДом. ТСO – одна из «вечных» тем рынка инженерной инфраструктуры дата-центров. Она ежегодно обсуждается на конференциях, но тема настолько неисчерпаемая, что каждый раз появляются новые интересные предложения и подходы.

ТСО состоит из капитальных (СAPEX) и операционных (OPEX) затрат. CAPEХ – наиболее понятная для бизнеса составляющая TCO. Один из способов оптимизации капитальных затрат – использование при строительстве контейнерных и модульных ЦОДов. Такой подход позволяет предложить заказчику решение с возможностью наращивания мощности в процессе эксплуатации и сниженные капитальные затраты на первом этапе.

Нельзя сказать, что этот подход совсем новый. Контейнерные ЦОДы начали использоваться у нас довольно давно, лет десять назад. Первоначально их «упаковывали» в ISO-контейнеры – стандартизированные ящики, предназначенные для перевозки грузов железнодорожным или морским путем. «Сейчас уже правильней говорить не о контейнерах, а о модулях. Таким образом, мы уходим от ограничений в размерах железнодорожных контейнеров. Кроме того, появляется понятие модульного ЦОДа, состоящего из нескольких модулей», – отметил Сергей Синиченко,  технический директор группы компаний «4х4».

В 2016 г. «4х4» провела анализ рынка оборудования для ЦОДов и разработала второе поколение собственного решения Mtech (Modular Technology). Было предложено шесть типовых моделей ЦОДов. Все модели учитывают российскую специфику. Например, в них используется сертифицированная для России система пожаротушения. Обеспечивается максимальная защита от внешних условий (ветровой и снеговой нагрузки, внешней температуры) в любом регионе РФ, в том числе в районах Крайнего Севера. Скатная крыша препятствует скапливанию снега в зимний период и воды – при его таянии.

Для максимально эффективной работы системы кондиционирования в решениях с мощностью ИТ-нагрузки на стойку 8 кВт и выше предусматривается установка системы горячего коридора. Размещение конденсаторных блоков кондиционеров на торцевой стенке ЦОДа (с мощностью тепловыделения до 60 кВт) ускоряет монтаж решения на объекте заказчика.

Внутри модуля достаточно места для комфортного обслуживания. Широкий тамбур позволяет разместить шкаф для одежды персонала (входит в комплект поставки), установить автомат для надевания бахил (для поддержания постоянной чистоты в машинном зале ЦОДа), а также обеспечивает возможность заноса или выноса оборудования.

Важный вопрос – доставка и монтаж модулей. «Наша практика показывает, что доставка автомобильным или морским транспортом груза, имеющего габариты в пределах 3,5 м шириной, 3,8 м высотой и 14 м длиной, не вызывает сложностей у транспортных компаний. При этом доставку до площадки, разгрузку на подготовленный фундамент и финальные монтажные работы мы берем на себя, что исключает возникновение сложностей у заказчика», – убеждал С. Синиченко.

Направление главного удара – OPEХ

Снижение расходов на проектирование и строительство – это хорошо, но все же главные источники оптимизации ТСО находятся в области операционных расходов.

Огромная часть эксплуатационных затрат идет на электроэнергию. Чтобы уменьшить ТСО – нужно уменьшить ее расход.

В стандартной схеме электроснабжения после трансформатора (потери электроэнергии 2%) стоит источник бесперебойного питания. В нем происходит двойное преобразование (переменного тока в постоянный и обратно). Дальше идет система распределения питания, в которой тоже есть потери. От 6 до 12% теряется на ИБП, потом 3% на автоматическом статическом переключателе и распределителе питания (PDU), еще два преобразования происходят в блоке питания сервера (теряется еще 10%). Итого общие потери электроэнергии достигают 21–27%.

Это большая цифра. Для сокращения потерь электроэнергии и соответственно OPEX Facebook выбрала другой путь, о котором рассказал Дмитрий Гуляев, руководитель направления ЦОДов департамента MCIS Delta Electronics, компании – поставщика оборудования для шести дата-центров крупнейшей соцсети. В ЦОДах Facebook были убраны все двойные преобразования. Переменный ток напряжением 480 В напрямую подается в каждую стойку, где фактически находятся ИБП и системы автоматического ввода резерва (АВР). На них потери составляют 5,5%. Общий итог потерь – 7,5%, что в три раза меньше, чем в стандартной стойке.

Компания Delta Electronics спроектировала и поставляет Facebook cтойки Delta Open Rack, соответствующие продвигаемому соцсетью стандарту Open Compute Project. Посередине стойки находится блок питания мощностью 12 кВт, причем в каждую стойку можно установить два таких блока. В задней части стойки находятся шины распределения постоянного тока 12 В, к которым можно подключить модули батарейной стойки. Таким образом, серверы питаются напрямую от батарей без промежуточных преобразований. «Это очень надежное решение», – отметил Д. Гуляев.

Вода вместо электричества

Facebook выбирает для своих дата-центров северные страны (Ирландия, Швеция), чтобы увеличить возможности естественного охлаждения и оптимизировать ТСО за счет выбора систем охлаждения с максимальным фрикулингом.

Это вполне логично, так как позволяет снизить затраты электроэнергии на охлаждение стоек. В чиллерах с фрикулингом можно добиться PUE 1,3–1,35, но все равно расходы на электроэнергию будут большими. Причем главным потребителем в ЦОДе после ИT-оборудования остаются компрессоры. Потребление электроэнергии компрессорами можно значительно уменьшить, используя воздушные экономайзеры.

Например, в условиях Москвы при использовании воздушных экономайзеров Oasis от компании Munters, по словам Виктора Гагуа, гендиректора AQUA Technologies, сертифицированного партнера Munters, для обеспечения 23°C в холодном коридоре при расчетной температуре горячего коридора 35°C компрессоры будут включены менее 200 часов в год. «Все остальное время будет расходоваться вода или работать естественное охлаждение "воздух – воздух", что позволяет экономить колоссальное количество электроэнергии», – подчеркнул В. Гагуа.

Воздух из горячего коридора попадает в систему Oasis, поступает в полимерные трубы теплообменника для сухого охлаждения адиабатическим способом и через трубы подается обратно в ЦОД. Наружный воздух обтекает трубы, снимая с них тепло, и выходит из системы косвенного охлаждения. Если этих мер недостаточно, то включается имеющийся в системе доохладитель. В холодных регионах можно использовать бескомпрессорные системы, в которых задействуется только естественный фрикулинг и фрикулинг с адиабатическим охлаждением.

Это решение применяется не только в ЦОДах Facebook. В список клиентов входят и такие гиганты, как Microsoft, Google и Amazon. Всего в мире установлено 900 систем Oasis. Главное преимущество – электричество экономится за счет использования воды. В России она дешевая, так что потенциальный рынок для системы у нас в стране есть.

Экономить на мелочах

Экономить можно на всем, даже на электрическом кабеле. Компания Eaton предлагает комплексное решение от одного производителя в едином конструктиве, включающем ИБП Eaton и распределительную систему xEnergy. «Это решение проектируется под заказчика, собирается на заводе Eaton, тестируется и поставляется как готовое целостное решение», – сообщил системный архитектор по инфраструктуре ЦОДов компании Eaton Станислав Крюков. При этом заказчик получает гарантию на все изделие в целом и может существенно снизить скорость реакции на устранение неисправности.

Другое интересное предложение – использовать в качестве кратковременного источника резервного электропитания новые суперконденсаторные модули Eaton XML, комбинированные с ИБП Eaton. Такое решение позволяет снизить капитальные затраты благодаря более длительному сроку службы, меньшим расходам на инфраструктуру и лучшей масштабируемости. Эксплуатационные расходы сокращаются за счет сведения к минимуму потребности в техническом обслуживании.

Не забывать о резервах

Самым популярным способом обеспечения резервного электропитания в российских ЦОДах по прежнему являются статические ИБП. Над их усовершенствованием постоянно работают.

В последнее время в ЦОДах начали применяться литий-ионные технологии. Литий-ионные батареи пока в полтора раза дороже обычных свинцовых, но служат в 2–3 раза дольше, требуют меньше обслуживания, выдерживают на порядок больше циклов разряда. По оценкам Павла Пономарева, менеджера по развитию направления трехфазных ИБП Schneider Electric, при использовании литий-ионных технологий экономия ТСО за 10 лет составит 10–40%.

О преимуществах дизель-роторных ИБП, у которых все связи механические, напомнил Рене Лацина, руководитель по международным продажам компании Hitec Power Protection. Использование дизель-роторных ИБП приводит к упрощению всей системы питания и повышению ее надежности. Современные динамические ИБП, такие как Hitec PowerPRO, занимают почти в два раза меньшую площадь, чем системы с батареями, не такие тяжелые, в меньшей степени требуют внимания персонала при эксплуатации. Hitec PowerPRO позволяет постоянно смазывать подшипники внутреннего и внешнего роторов, причем заправка резервуара смазки не требует остановки. Возможность постоянного мониторинга снижает риски не­ожиданного отказа оборудования, а удобная конструкция уменьшает время технического обслуживания.

Чем дорожу, чем рискую на свете я

В любой игре присутствует неожиданность, вероятность неблагоприятного расклада, непредвиденные ситуации. Существуют риски и при проектировании, и при строительстве ЦОДа. Технический директор компании DataSpace Николай Шеметов  рассмотрел управление рисками, связанными с инженерной инфраструктурой, на этапе эксплуатации. Он выделил риски деятельности эксплуатационной команды (смена или уход сотрудника, болезнь, внешние факторы), контрагентов (физическая недоступность персонала контрагентов, недостаточная квалификация, нарушение правил безопасности) и службы доставки и хранения ЗИП (несовершенство службы логистики и брак изделий).

Частично снизить риски можно за счет правильного выбора оборудования. Нужно смотреть на репутацию бренда, историю модели, на прогноз длительности ее выпуска заводом и доступность ЗИП. От завода-изготовителя нужно требовать предоставления доказательной базы надежности оборудования, перечня выявленных недостатков за время существования модели, а также наличия квалифицированного сервисного персонала в зоне присутствия ЦОДа.

На протяжении всего жизненного цикла необходимо следовать плану превентивного обслуживания элементов инженерной инфраструктуры, выполнять рекомендации по релизам неисправностей завода-изготовителя, определять оптимальные режимы работы оборудования ЦОДа.

И конечно, нужно разработать регламентирующие документы (план аварийного восстановления бизнес-процессов, план ликвидации катастроф, план физической безопасности, план ликвидации аварийных ситуаций), проводить планово-предупредительные работы и регулярно тренировать персонал.

Распределять питание с умом

Особое внимание следует уделять рискам, связанным с электропитанием. Дополнительные угрозы несет модель colocation, которая остается самой востребованной услугой в российских ЦОДах. Заказчики хотят получить надежность, которую предоставляет инженерная инфраструктура дата-центра, но сами зачастую стремятся сэкономить, выбирая дешевое оборудование с одним блоком питания.

При этом возрастает риск возникновения ситуации, когда в сервере клиента сгорает блок питания и короткое замыкание выбивает пакетный выключатель на вводе в стойку. В других случаях приложения, работающие на сервере, «зависают», и единственным способом «реанимации» оказывается перегрузка сервера по питанию.

Для решения этих проблем компания «АРСИЭНТЕК» разработала модуль удаленного управления питанием. Это устройство не только обеспечивает удаленное включение, выключение или перезагрузку любого из портов, но и позволяет не допускать большого пускового тока при одновременном включении всех устройств стойки. Администратор может задать порядок запуска серверов и задержку между их включениями. Кроме того, модуль обеспечивает автоматический мониторинг и индикацию корректности подключения заземления, а также учет электроэнергии, потребляемой на каждом отдельном порту.

* * *

В теории игр есть понятие «игра с ненулевой суммой». Не обязательно поражение одного игрока приводит к победе другого. Могут проиграть все. Пример тому – война. Но верно и обратное. Не обязательно победа одного должна сопровождаться поражением другого. В выигрыше могут оказаться все игроки. Вот почему так важно обмениваться передовым опытом, знаниями, технологиями.