• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

В погоне за PUE: охлаждение дата-центров в эпоху искусственного интеллекта

Повышенное энергопотребление серверного оборудования, обусловленное применением ИИ-систем, заставляет пересмотреть подходы к организации охлаждения в центрах обработки данных. Так искусственный интеллект становится драйвером структурного преобразования рынка ЦОДов.

Коварный двойник энергопотребления

Компаниям требуется все больше энергии – бизнес нуждается в больших данных, в частности для систем на основе искусственного интеллекта, и в вычислительных мощностях для их обработки. В результате растет энергопотребление стойко-мест. Это касается прежде всего ИТ-инфраструктуры, которая задействуется для работы систем с элементами ИИ: для подобных стоек может требоваться до 30–100 кВт при средней нагрузке на стойку 7–12 кВт в зависимости от сферы деятельности. 

Еще в 2024 г. Системный оператор ЕЭС прогнозировал, что совокупная мощность российских центров обработки данных и майнинговых ферм в обозримой перспективе увеличится до 9,6 ГВт, а Ассоциация участников отрасли ЦОД оценивала рост энергопотребления дата-центров в 15–20%. Специалисты считают, что к концу 2025 г. ИИ-нагрузки будут поглощать энергии больше, чем майнинг, достигая 23 ГВт глобально. Соответственно растут и требования дата-центров к энергоэффективности охлаждения стоек.

Таким образом энергоэффективность постепенно становится новой валютой на российском и мировом рынке. Ведь за каждой цифрой энергопотребления скрывается коварный двойник – тепловыделение. Закон сохранения энергии неумолим: до 100% потребляемой серверами электроэнергии превращается в тепло. Это значит, что при текущем «аппетите» в 3,6 ГВт российские ЦОДы ежесекундно «выплевывают» в атмосферу примерно 3,4 ГВт тепла – как пара миллионов кипятильников, работающих круглосуточно.

Холодный расчет

Климат России позволяет дать растущему тепловыделению дата-центров хладнокровный ответ. Речь о фрикулинге – технологии, основанной на использовании естественного холода окружающей среды, благодаря чему частично либо полностью снимается нагрузка с энергоемких компрессоров. В зависимости от местонахождения центра обработки данных система может работать в режиме полного или смешанного фрикулинга до 90% времени в году. Существуют три основных подхода к выгодному использованию климата региона расположения ЦОДа.

Прямой фрикулинг основан на подаче наружного воздуха напрямую в серверные залы, что сокращает энергозатраты на охлаждение до 5–15% мощности ИТ-нагрузки. Физика процесса элементарна: вентиляторы нагнетают холодный воздух, вытесняя нагретый. Стоит отметить, что за кажущейся простотой скрываются критические риски. В промышленных зонах и мегаполисах воздух содержит частицы пыли и химические примеси, в прибрежных зонах – солевые аэрозоли, и это требует установки специальных фильтров. Зимой влажность падает ниже 15%, провоцируя накопление статического электричества, что вынуждает предусмотреть системы увлажнения. Отмечу, что в Сибири риски нивелируются чистотой воздуха и длительными периодами холода.

Косвенный фрикулинг полностью исключает контакт уличного воздуха с воздушной средой внутри машинных залов. Это достигается за счет добавления в систему промежуточного контура хладоносителя. Воздух из залов циркулирует через теплообменник «воздух – жидкость» (фанкойл), а сам хладоноситель охлаждается в драйкулере. К системам косвенного фрикулинга также относятся решения с перекрестно-точными установками охлаждения. В них разделение воздушных сред и теплообмен происходят через внутренние теплообменники. Однако такие установки отличаются большими габаритами и предъявляют особые требования к компоновке машинных залов. Причина – большой расход воздуха, что создает значительный динамический напор на выходе из установки. Стоит учитывать, что капитальные затраты на внедрение подобных систем выше, а ошибки проектирования могут существенно снизить КПД. Ключевое преимущество подхода – полное исключение рисков загрязнения внутреннего оборудования.

Гибридные системы – наиболее привлекательный вариант для России, где резко континентальный климат создает сезонные вызовы. Применение гибридных систем, в которых источником холода служит, например, чиллер с адиабатическим предохлаждением конденсатора и встроенной секцией фрикулинга, позволяет системе переходить в режим смешанного фрикулинга при высоких температурах уличного воздуха и существенно снижает годовое энергопотребление. Такая гибкость значительно уменьшает энергопотребление (PUE) даже в Сочи, где летом температура достигает +35°C. Технологическая основа – контроллеры с ИИ-алгоритмами, способные адаптивно прогнозировать необходимые режимы работы охлаждения. Капитальные затраты (CAPEX) выше, чем у систем косвенного фрикулинга, но окупаемость ускоряется за счет сокращения операционных затрат (OPEX).

Воздух под контролем

Решением «горячего» вопроса ИИ также может стать CFD-моделирование – компьютерный метод, использующий сложные математические модели для симуляции воздушных потоков, а также связанных с ними процессов теплопередачи. CFD позволяет с высокой точностью предсказать тепловую картину в дата-центре до внедрения системы охлаждения в реальности. Это цифровой двойник системы охлаждения, дающий возможность находить узкие места (горячие точки, рециркуляцию воздуха), тестировать различные конфигурации оборудования и управляющие стратегии, оптимизируя энергопотребление и плотность размещения оборудования, что особенно критично в эпоху высоконагруженных ИИ-кластеров.

CFD помогает оптимизировать CAPEX при проектировании: протестировать десятки конфигураций холодных/горячих коридоров, расположение перфорированных плит, высоту фальшпола, размещение кондиционеров и таким образом устранить ошибки, исправление которых дорого обойдется на этапе строительства или эксплуатации. CFD выявляет «мертвые» зоны перегрева серверов и зоны рециркуляции горячего воздуха, позволяя исключить риски выхода из строя ИТ-оборудования. Это дает возможность спроектировать систему с минимальными потерями давления и равномерным распределением холодного воздуха. Отдельным фокусом здесь становится моделирование работы ЦОДа при различной нагрузке ИТ-оборудования – благодаря этому подходу можно грамотно подобрать компоновку помещения и размещение холодильного оборудования, избегая как недостатка, так и переизбытка.

«CFD также дает возможность оптимизировать эксплуатацию дата-центров, снижая PUE и OPEX за счет оптимальной расстановки оборудования и выбора архитектурных решений для машинных залов. Это обеспечивает снижение энергопотребления благодаря уменьшению потерь статического напора вентиляторов холодильного оборудования. Даже небольшие корректировки дают существенную экономию энергии. При внедрении высоконагруженных стоек CFD помогает оценить их тепловое воздействие на соседнее оборудование, найти безопасные конфигурации без создания локальных горячих точек, гибко управлять плотностью размещения», – комментирует Данил Левадний, эксперт практики CFD К2Тех.

Технология позволяет планировать изменения в уже эксплуатируемых дата-центрах. Перед установкой нового более мощного оборудования в стойку моделирование покажет его потенциальное влияние на воздушные потоки и температуру вокруг стойки, и проектировщик сможет заранее внести корректировки в план. Не менее актуальный способ использования CFD – поиск и устранение точек неэффективности. Моделирование может использоваться для виртуального тестирования и поиска решения выявленных проблем, например, устранения рециркуляции при помощи направляющих воздушного потока и герметизации.

Кроме того, CFD является обоснованием энергоэффективности ЦОДа для регуляторов, инвесторов и заказчиков. Важно помнить, что для крупного дата-центра снижение PUE даже на 0,05 эквивалентно ежегодной экономии десятков миллионов рублей, и CFD – инструмент для получения этой экономии.

ЦОД уходит под воду

Однако традиционное воздушное охлаждение теряет свою эффективность для высоконагруженных стоек мощностью от 30–40 кВт: критически падает КПД, растет энергопотребление, а система охлаждения ЦОДа разрастается, требуя все больше площади для размещения. Здесь в игру вступает жидкостное охлаждение. Жидкостные системы превосходят воздушные по теплоемкости и теплопроводности, позволяя снизить PUE до 1,04–1,15 и сократить энергозатраты на охлаждение минимум на треть. Существует несколько основных технологий жидкостного охлаждения стоек, активно внедряемых на мировом рынке центров обработки данных.

Наиболее перспективный подход – прямое жидкостное охлаждение (Direct Liquid Cooling, DLC) – технология точечного отвода тепла от электронных компонентов через контактные пластины с циркулирующим теплоносителем (Cold Plate). В отличие от коридоров воздушного охлаждения, жидкость напрямую поглощает до 85% тепла серверов, не рассеивая его в помещении. В системах DLC задействуется вода либо водные растворы пропиленгликоля низкой концентрации. Технология позволяет снизить PUE до 1,08–1,15 (против 1,3–1,4 при использовании воздушных систем), а также поддерживает охлаждение стоек мощностью до 100 кВт, что намного уменьшает площадь, занимаемую системой охлаждения.

Технология значительно выигрывает в энергоэффективности у чиллеров при использовании фрикулинга или рекуперации. Прямое жидкостное охлаждение сокращает срок окупаемости дата-центра – инвестиции оправдывают себя быстрее, чем ремонт устаревшей системы охлаждения. Интересно то, что температура теплоносителя подходит для отопления зданий. Отведение тепла дата-центров уже используется для отопления жилых домов, офисов и общественных пространств. С каждым годом подобных проектов по всему миру появляется все больше.

Не менее актуальный подход – иммерсионное охлаждение – погружение оборудования в диэлектрическую жидкость, которая напрямую отводит тепло. В отличие от воздушных систем и DLC здесь отсутствуют промежуточные этапы теплообмена. Равномерное снятие тепла исключает горячие точки, уменьшая тепловой стресс компонентов – это продлевает срок службы оборудования на 15–20%. Отсутствие вентиляторов и компрессоров снижает PUE до рекордного показателя в 1,04–1,08. При использовании иммерсионного охлаждения стойки размещаются без зазоров для воздушных коридоров, что увеличивает полезную площадь для оборудования в дата-центрах на 40–50%. Однако CAPEX по сравнению с традиционными воздушными системами вырастает. К тому же усложняется логистика обслуживания: замена отдельного компонента требует слива жидкости, очистки и повторного заполнения бака – увеличивается время простоя.

Стоит отметить, что зачастую полный переход на жидкостное охлаждение может быть излишним. На рынке есть примеры использования гибридного подхода, в котором прямое жидкостное охлаждение для высоконагруженных компонентов сочетается с традиционным – для остальных элементов сервера: SSD, сетевых карт, блоков питания. При интеграции с фрикулингом подход позволяет достичь высоких показателей энергоэффективности, в равных долях снизить капитальные и эксплуатационные затраты, легко масштабировать систему при росте нагрузок. Гибридный подход также предоставляет операторам коммерческих центров обработки данных возможность применения гибкой бизнес-модели, позволяя «заселить» заказчиков с разными типами инфраструктуры охлаждения.

Самое главное – решение должно быть оптимальным. Не существует единственно верного подхода к проектированию ЦОДа, однако важно обеспечить гибкое сочетание энергоэффективности, удобства эксплуатации и технического обслуживания, предусмотреть возможности масштабирования мощностей в соответствии с растущими вычислительными потребностями. Помочь с этим может грамотный технологический партнер с релевантным опытом построения инженерной и ИТ-инфраструктуры. 

Сергей Махлин, руководитель центра экспертизы по ЦОД, К2Тех 

Рекламодатель: АО "К2 ИНТЕГРАЦИЯ"  ИНН: 7701829110  ERID: 2VfnxvhjtLQ

https://k2.tech/