Я водяной, я водяной!

Рост объемов бизнес-данных заставляет ЦОДы расширять площади и наращивать мощности. На рынке появляются гипермасштабируемые дата-центры, а плотность заполнения традиционных центров обработки данных вычислительным оборудованием непрерывно растет.

Одновременно все шире используются суперкомпьютеры, графические процессоры и технологии, требующие крупных энергетических затрат: машинное обучение, IoT, искусственный интеллект. И если еще недавно усредненный показатель потребления энергии по ЦОДам составлял всего 5 кВт на стойку, то уже в 2020 году он, вероятно, перешагнет планку в 11 кВт. С таким количеством выделяемого тепла системы воздушного охлаждения справляются с трудом. Поэтому владельцы ЦОДов ищут более энергоемкие инновационные решения, в первую очередь в сфере жидкостного охлаждения. Аналитики Global Market Insights предполагают, что рынок таких продуктов в следующие шесть лет вырастет почти втрое. 

Жидкостное охлаждение подразумевает теплообмен за счет непосредственного или опосредованного (в зависимости от типа охлаждения) контакта вычислительных устройств с водой или диэлектрической жидкостью. Сама концепция отвода тепла при помощи воды появилась еще в 1960-х, но долгие годы не была востребована – на рынке безраздельно властвовал более дешевый и безопасный метод воздушного охлаждения. Несмотря на то что с 80-х годов прошлого века некоторые ЦОДы использовали жидкостное охлаждение для инфраструктуры мейнфреймов, реальная популярность к подобным системам пришла только десять лет назад.

Причина простая. Современные высокоскоростные процессоры чрезмерно нагреваются, а серверы расположены слишком близко, чтобы воздух мог их охлаждать. Такая система охлаждения способна обрабатывать не более 20 кубометров воздуха в минуту, в то время как жидкостная за то же время прокачивает до 300 л жидкости. В итоге системы жидкостного охлаждения позволяют достичь невероятных значений PUE (коэффициент эффективности использования энергии). 

Жидкостное охлаждение имеет и другие преимущества по сравнению с воздушным:

Но и барьеры для внедрения систем жидкостного охлаждения пока высоки. Эти системы имеют сложную структуру, они состоят из серверных шасси, коллекторов, трубопроводов и пунктов управления расходом жидкости. Может возникнуть протечка, произойти поражение электрическим током, вода может попасть в электронные модули. Но системы, в которых применяется диэлектрическая жидкость, снимают большую часть рисков. С другой стороны, тот факт, что на рынке отсутствуют адекватные нормы и стандарты производства решений, усложняет ситуацию.

Поэтому сегодня жидкостное охлаждение используют в основном в ситуациях, где требуется огромный объем вычислительных мощностей, а процессоры работают почти со 100%-ной загрузкой: в инновационных приложениях, суперкомпьютерах и промышленных средах. 

Аппаратные ускорители графических процессоров (GPU) проектируются для работы при более высоких температурах, чем традиционные процессоры, – воздушные охладительные приборы просто не справляются с таким количеством тепла. 

В суровых условиях фабрик температура и качество воздуха могут помешать нормальной работе систем воздушного охлаждения. В то же время решения на базе жидкостного охлаждения могут быть автономными и находиться в герметичных блоках – так они защищены от загрязнений или перепадов температуры.

В этой сфере используются сложные процессоры компактного формата, причем в каждом серверном корпусе находится несколько чипов с серьезным энергопотреблением. Это повышает требования к охлаждению серверных комнат, где расположено оборудование. К примеру, в 2018 году при развертывании вычислительной структуры Google на основе микросхем Tensor Processing Unit 3.0, задействующих алгоритмы ИИ, корпорация ввела жидкостное охлаждение по всей инфраструктуре своих ЦОДов. 

В топ-500 самых производительных компьютеров мира ежегодно добавляется все больше оборудования, работающего на жидкостном охлаждении. Не в последнюю очередь – из-за экономии средств: эксплуатационные расходы в этом случае можно снизить почти на 40%. И суперкомпьютер «Ломоносов 2», установленный в МГУ им. Ломоносова, и «Говорун», находящийся в Лаборатории информационных технологий ОИЯИ и выполняющий расчеты для задач теоретической физики и моделирование для проекта NICA, имеют системы жидкостного охлаждения. 

Остается лишь один вопрос – где найти столько жидкости, чтобы обслуживать огромные, мощные инфраструктурные сооружения?

Когда Google столкнулась с тем, что для обеспечения температурного режима в ЦОДе в Южной Каролине потребуется выкачивать несколько миллионов литров жидкости в день, было решено использовать подземные воды. В 2017 году компания подверглась критике из-за увеличения забора воды, который мог нарушить экосистему подземного водоема. Но перспективы таких проектов очевидны. 

Другой пример использования глубинных вод (и горных недр) – ЦОД Green Mountain DC 1-Stavanger. Он расположился внутри скал одного из норвежских фьордов, в законсервированном хранилище боеприпасов НАТО. Источником холода для ЦОДа служит вода из фьорда на глубине 100 м. Такая глубина позволяет сохранять стабильную среднегодовую температуру воды, равную 8°C.

К любопытному решению пришла телекоммуникационная компания Kyocera Communication Systems, которая планирует охлаждать ЦОД на о. Хоккайдо с помощью снега. Зимой дата-центр за счет низких температур окружающей среды будет отдавать тепло. А для жарких летних месяцев в термальном хранилище у ЦОДа будут собирать и запасать снег для охлаждения. Дата-центр планируют запустить в эксплуатацию в 2021 году.

Наконец, много говорится о строительстве ЦОДов в непосредственной близости от крупных водоемов. ИТ-гиганты экспериментируют со сложными подводными сооружениями, а игроки поменьше предлагают гораздо более практичные решения. Например, несколько лет назад молодая калифорнийская компания Nautilus Data Technologies выступила с предложением размещать дата-центры на баржах, стоящих у причалов. Это освобождает от необходимости строить трубопроводы для доступа к водным ресурсам – можно просто поместить систему охлаждения ниже палубы с компьютерным оборудованием.

На сегодняшний день жидкостное охлаждение в России используют меньше 1% участников рынка, так что перспективы роста у технологии в нашей стане есть. Но подавляющее большинство компаний предпочитает работать в привычном «воздушном» формате. Хватает скептических оценок технологии, основанных на консервативном восприятии. 

Как и во многих других случаях, позиция технических специалистов зачастую оказывается барьером на пути развития бизнеса, поскольку сохраняет привычный статус-кво, который невыгоден бизнесу и морально устарел. Но вопросы энергоэффективности становятся основными, отечественному рынку придется начать меняться в русле мировых трендов.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!