Охлаждение ЦОДа: деньги, привычки и предпроектный анализ

Поэтому вполне закономерно, что технологии охлаждения стали одним из центров притяжения внимания 20-го форума «ЦОД», организованного «ИКС-Медиа» в Москве.

Задумываясь о создании ЦОДа, заказчик зачастую просто хочет получить «хороший ЦОД» и не вдаваться в детали обоснования выбора той или иной архитектуры системы охлаждения. При этом техзадания, как отметил Виктор Гаврилов, технический директор компании «АМДтехнологии», формируются шаблонно, а концепция охлаждения разрабатывается «на глазок», без глубокого технико-экономического сравнения альтернатив.

В коммерческих проектах в выборе концепции ЦОДа большую роль играют ограничения площадки: выделенная мощность, доступность воды, близость жилой застройки или промышленных объектов. «Задаешь ограничения, и возможности резко сужаются. Иногда выбор становится прямо очевиден, — охарактеризовал ситуацию генеральный директор ГК «Филанко» Алексей Солдатов. — Мы исходим не из того, что идеально на бумаге, а из того, что реально можно построить здесь и сейчас».

В государственных проектах подход иной. Здесь главный критерий — опыт эксплуатации: если схема продемонстрировала свою надежность на одной площадке, ее повторяют и на других. Предсказуемость для госсектора важнее возможной экономии, даваемой новыми технологиями. «ГосЦОД не место для экспериментов», — категорично заявил Андрей Галин, руководитель направления по строительству ЦОД для госструктур ППК «Единый заказчик в сфере строительства». Кроме того, есть и нормативный барьер: выбор оборудования для госзаказчиков серьезно ограничен необходимостью его присутствия в реестрах Минпромторга.

В российских проектах на этапе концепции сильно недооценивают роль независимого консалтинга. Если за рубежом нормой считается сравнивать разные концепции по совокупности критериев — энергоэффективности, удобству эксплуатации, ремонтопригодности, отказоустойчивости, то у нас чаще ориентируются на привычные или хорошо знакомые решения. Андрей Андреев, главный эксперт по климатическим системам компании «Ди Си квадрат», привел пример, когда служба эксплуатации действующего ЦОДа с фрикулингом буквально умоляла проектировщиков сделать на новом объекте систему охлаждения на фреоне из-за сложностей в обслуживании старой водяной системы.

Как мы видим, для бизнеса ключевыми оказываются ограничения площадки, для государства — проверенные временем схемы и регуляторные требования, а консультанты настаивают на системном сравнении вариантов, что упирается в нехватку времени и ресурсов у заказчика.

Кто же на практике формирует концепцию построения системы охлаждения, востребованы ли конкурсы на ее разработку и какова роль вендоров в этом процессе? По оценке ряда вендоров, примерно половина заказчиков обращается к ним, уже имея готовую концепцию, и тогда вендоры готовы помочь ее оптимизировать. Другая половина заказчиков приходит просто с желанием построить систему охлаждения ЦОДа, и в этом случае вендоры помогают им просчитывать разные схемы и варианты. Например, Олег Катаргин из компании Prime рассказал: «То, что называется консалтингом, мы делаем бесплатно. В рамках нашей компетенции сравниваем разные системы, рассчитываем период окупаемости».

Однако компетенции вендоров нередко недооценивают, хотя, как считает Алексей Кашпаров, руководитель отдела продаж компании «Хайреф Рус», никто не знает оборудование лучше производителя. «Исходя из начальных требований, мы можем предложить оптимальное решение», — уверен он.

Получается, что рынок недооценивает возможности качественных консультаций от производителей для выработки концепции, и заказчики зачастую лишают себя этого инструмента, обращаясь за выбором оборудования с уже готовым, но не всегда оптимальным ТЗ.

Вопрос о выборе конкретного решения всегда непрост, и нередко заказчики оказываются перед дилеммой: ограничиться оборудованием одного производителя или обратиться к мультибрендовому подходу.

Навскидку серьезных технических препятствий для смешанных систем нет. Например, Алексей Морозов, генеральный директор компании «Рефкул», сообщил: «Мы тестировали наши чиллеры с китайскими прецизионными кондиционерами — все работает нормально». 

В системах кондиционирования для объектов уровня Tier IV решающую роль играет синхронная работа автоматики разных вендоров. Но если оборудование разных производителей управляется единой системой и работает согласованно, то, как считает А. Солдатов, такая связка имеет право на существование. Важно, чтобы поверх отдельных систем не пришлось «городить» еще один контур управления.

Вместе с тем в мультивендорных проектах могут возникнуть проблемы в ходе эксплуатации, и, как указал А. Андреев, может оказаться удобнее иметь один сервисный контракт на все оборудование. В пользу моновендорности работают и такие аргументы, как унификация запчастей (ЗИП-пакетов) — одинаковые контроллеры, вентиляторы и т.д. упрощают комплектование складов и обслуживание. 

Выбирая между «моно» и «мульти», нужно иметь в виду, что системы на базе оборудования одного производителя удобнее в эксплуатации и обслуживании, а мультибрендовые обеспечивают большую гибкость и позволяют максимизировать энергоэффективность. Но для этого необходимы тщательные расчеты и проработка возможности интеграции разных систем еще на этапе проектирования.

В отношении популярного показателя PUE, под которым изначально понималось отношение всего энергопотребления ЦОДа за год к энергии, затраченной на работу ИТ-оборудования, накопилось много вопросов. Сейчас это понятие размылось: появились «мгновенный PUE», «механический PUE», и каждый трактует их по-своему, что приводит к недопониманию между заказчиками и подрядчиками. Нет и единого мнения относительно того, включать ли в расчет PUE, например, энергопотребление административного здания и т.п. А это, как указал А. Андреев, может существенно ухудшить итоговый показатель.

Кроме того, сегодня в России зачастую важнее не среднегодовой, а пиковый PUE, так как основная задача дата-центров не годовая экономия, а снижение нагрузки на энергосистему в самые жаркие периоды и максимальное использование выделенной мощности. Именно с этой целью, по словам О. Катаргина, Prime разрабатывает для заказчиков гибридные системы охлаждения, например, комбинацию прямого фрикулинга с холодными стенами. А. Морозов перечислил целый ряд энергоэффективных решений: адиабатические драйкулеры, чиллеры с рекуперацией тепла, работа на низких температурах теплоносителя. Однако он сразу оговорился, что использование любой адиабатики сопряжено с вопросом доступности воды и сложностями эксплуатации.

Для государственных же проектов, еще раз отметил А. Галин, приоритеты иные: «Стоимость и надежность для нас важнее. Хотя энергоэффективность тоже важна». Этот тезис четко обозначил разницу в подходах коммерческих и государственных заказчиков.

В итоге PUE перестал быть удобным инструментом. По словам В. Гаврилова, раньше программы подбора оборудования автоматически подсчитывали годовое энергопотребление. Теперь же честный расчет годового PUE — это кропотливая ручная работа с метеоданными и запросами к производителям, на которую часто нет ни времени, ни ресурсов, и все ограничивается декларациями в ТЗ, которые потом никто не проверяет.

Нередко в ТЗ на построение ЦОДа присутствуют расплывчатые требования, например: «обеспечить отвод 5—50 кВт тепла со стойки». Насколько они адекватны и реализуемы на практике?

Рост плотности нагрузок кардинально меняет архитектуру ЦОДа. Раньше 50% площади занимала инженерная инфраструктура, 50% — машинный зал. При стойках мощностью 50 кВт 20% приходится на машинный зал и 80% — на все остальное. Вы строите не ЦОД, а скорее, энерго-холодильный центр с серверным залом при нем.

Эксперты сходятся во мнении, что тенденция к установке высокоплотных стоек требует от проектировщиков готовности к нестандартным решениям, а от заказчиков — понимания, что гибкость и возможность масштабирования систем охлаждения напрямую влияют на капитальные затраты. Поэтому строительство ЦОДов для высокоплотного оборудования — это своего рода спекуляция, ведь мало кто готов рисковать, закладывая огромные мощности под «гипотетического клиента с суперкомпьютером». 

Обсуждая технологии, применяемые для охлаждения стоек с высокой вычислительной нагрузкой, эксперты указали, что при нагрузках выше 30 кВт традиционные воздушные системы уже не справляются. Одно из решений — гибридные схемы с подводом жидкости к стойке и использованием блоков CDU (Coolant Distribution Unit), которые позволяют точечно и эффективно отводить большие тепловые потоки.

Можно выделить два основных подхода.

Еще одно возможное решение для охлаждения высоконагруженных стоек — иммерсионная технология: серверы погружаются в диэлектрическую жидкость, которая эффективно отводит тепло. По словам Евгения Кловача, генерального директора компании «Инжиниринг+», с одного 20U-модуля можно снимать до 40 кВт тепла. Страхи, связанные с переходом на жидкостные системы, он назвал необоснованными: жидкость непроводящая, и реальные риски минимальны. Сложности обслуживания эксперт также считает надуманными: напротив, инфраструктура упрощается за счет исключения кондиционеров, вентиляторов и фильтров.

* * *

Проектирование систем охлаждения ЦОДа — это постоянный поиск баланса между противоречивыми требованиями: капитальными затратами (CAPEX) и эксплуатационными расходами (OPEX), новыми технологиями и проверенной надежностью, энергоэффективностью и административными барьерами.

Универсального ответа на вопрос «чем охлаждать?» не существует. Выбор определяется целым веером факторов:

Ключевой вывод заключается в том, что рынок нуждается во взращивании культуры глубокого предпроектного анализа. Принятие решений «по привычке» или исходя только из первоначальной стоимости оборудования ведет к значительным расходам в течение всего жизненного цикла ЦОДа. Недооценка независимого консалтинга и компетенций вендоров на этапе концепции лишает заказчиков возможности найти по-настоящему оптимальное решение.

Вызовы сегодняшнего дня — от ужесточения регуляторных требований до взрывного роста нагрузок, создаваемых системами ИИ, — требуют от инженеров, проектировщиков и заказчиков большей гибкости, готовности к сложным расчетам и смелым, но взвешенным решениям. Будущее за гибридными подходами, где тщательный сравнительный анализ и умная интеграция оборудования, в том числе от разных производителей, становятся залогом не только надежности, но и коммерческой успешности дата-центра.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!