• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Системы охлаждения ЦОДа. Достоинства, недостатки, вектор развития

Многолетние усилия инженеров направлены на оптимизацию капитальных затрат на приобретение климатического оборудования ЦОДов и расходов на их эксплуатацию вкупе с энергопотреблением. За какими системами охлаждения будущее – воздушными, жидкостными или?..

По оценкам международных экспертов, на современные центры обработки данных приходится 10–15% общемирового потребления электроэнергии. Несмотря на то что в России электроэнергия относительно дешевая, проблема энергозатрат в ЦОДах стоит не менее остро. Как известно, основным потребителем энергии в дата-центрах являются системы охлаждения.

Воздушное охлаждение

Самый привычный для нас и все еще самый распространенный вид охлаждения. Тепло, выделяемое серверами, снимается принудительно прогоняемым через серверную воздухом. При таком способе охлаждения для снятия 5 кВт выделяемого тепла требуется около 1250–1500 куб. м охлажденного до +22°C воздуха. Если температура на улице достигает +35–45°C, необходима интенсивно работающая климатическая система, потребляющая немалое количество электроэнергии. Согласно данным Borderstep Insti­tu­te, в 2013 г. ЦОДы израсходовали порядка 10 ТВт·ч электроэнергии и 40% этого количества ушло на климатические системы. Несмотря на все усилия по внедрению энергоэффективных технологий, согласно данным того же института, в 2014-м эта цифра выросла на 3% и еще на 4% – в 2015 г.

Локальное охлаждение так называемых горячих зон ЦОДа не решает проблемы, лишь перераспределяя энергопотребление, но не уменьшая расход электро­энергии.

Капитальные затраты на этот вид охлаждения тоже немалые. Почему же более 90% дата-центров все еще охлаждаются именно таким образом? Причин много – от привычки к типовым проектам до страха потребителей перед чем-то новым и необычным. Это интернациональная проблема, с ней приходится сталкиваться как в России, так и, например, в Германии.

Первой и весьма рациональной попыткой уменьшить энергопотребление ЦОДа было введение фрикулинга. Несмотря на то что такая система требует больше капитальных вложений, она окупается уже в первый год эксплуатации, поскольку работа чиллера (основного потребителя электроэнергии в климатической системе) прекращается как минимум на несколько месяцев. Если принять во внимание, что при работе в режиме фрикулинга правильно подобранный драйкулер мощностью 1 МВт потребляет в среднем 15–20 кВт·ч, преимущества этой технологии становятся неоспоримыми.

Именно они заставили инженеров задуматься о том, как создать климатическую систему ЦОДа на максимально продолжительном, а лучше на круглогодичном фрикулинге.

Следующие попытки оптимизировать охлаждение ЦОДа были связаны с наружными системами, а именно с введением в систему вместо драйкулеров их гибридных или испарительных собратьев. Исполь­зо­ва­ние такого рода аппаратов в паре с чиллером позволяет снизить температуру конденсации почти на 10 К, уменьшая таким образом его энергопотребление на 20–30%, и при этом сохранить режим фрикулинга в холодное время года.

Однако, если дополнительные капитальные затраты на использование воды компенсируются уменьшением типоразмера самого чиллера и, следовательно, снижением его стоимости, то эксплуатационные затраты на обслуживание такой системы возрастают.

Несмотря на это, система понравилась, и уже в 90-е годы в Германии появились первые дата-центры сначала на комбинированных системах (самые известные из них – ЦОДы IBM в Германии), а потом и на практически бесчиллерных, где чиллеры находятся в холодном резерве, а вся нагрузка по охлаждению почти круглогодично ложится на гибридные охладители (таков, например, ЦОД Google в Германии).

Строительство ЦОДов в Исландии или Финляндии стало еще одной попыткой оптимизировать воздушное охлаждение дата-центра. В этот раз за счет природных условий. Выбор стран был обусловлен не только достаточно холодным климатом, но и их развитой ИТ-инфраструктурой. После того, как ассоциация ASHRAE в 2011 г. разрешила собственникам ЦОДов, взвесив все за и против и учтя возможный ущерб, расширить температурный диапазон серверной до +40–45°C, эти страны стали еще привлекательнее для строительства дата-центров. Еще бы, наружные температуры, достигающие максимум +28°C в самое жаркое время года, позволяют без проблем использовать для охлаждения простую систему вентиляции. Жаль только, что обширные земли России за Уралом, подходящие по климатическим условиям, не обладают столь же развитой ИТ-инфраструктурой.

По мере роста мощности серверов и энергопотребления ЦОДов все более привлекательной делалась идея создания совершенно бесчиллерных систем. Стало понятно, что, совершенствуя исключительно архитектуру воздушного охлаждения и не заменяя воздух более эффективным теплоносителем, нужных результатов не достичь. Охлаждение должно пойти по другому пути. Сильный толчок развитию систем охлаждения дало появление графических ускорителей, выделяющих в среднем в восемь раз больше тепла, чем традиционные процессоры, и заставивших всерьез задуматься об энергопотреблении.

Жидкостное охлаждение

Погружные системы с масляным охлаждением. Такие системы успешно применялись еще в 20-е гг. прошлого века для охлаждения трансформаторов. В начале 2000-х были созданы серверные погружные ванны, в которых охлаждались первые платы на графических ускорителях. Начиная со второго десятилетия нашего века подобными системами вплотную занялись японские производители.

Преимущество погружных систем прежде всего в более высоком по сравнению с воздухом коэффициенте теплопередачи, что позволяет, с одной стороны, значительно уменьшить занимаемое серверной место, а с другой – убрать чиллер из климатической системы. По заверениям экспертов, расход электроэнергии на систему охлаждения сокращается почти на 90%. Также плюсом является изолированность системы от окружающей среды, что снижает требования к чистоте и влажности помещения серверной.

В июле 2014 г. состоялось официальное открытие австрийского Vienna Scientific Cluster 3 (VSC3), нового суперкомпьютера научно-ис­сле­довательского центра Венского технического университета. Про­из­во­ди­тель­ность VSC3 составляет 600 Тфлопс, а энергопотребление – всего лишь 540 кВт, т.е. по 0,8 кВт на Тфлопс. При этом в ванны системы охлаждения залито 35 т парафинового масла с высоким коэффициентом теплопроводности.

Несмотря на явный успех и бесспорную энергоэффективность VSC3, системы погружного масляного охлаждения не получили широкого распространения из-за целого ряда недостатков, таких как воспламеняемость масла, его стоимость, а также сложность проведения ремонтных и профилактических работ. Серьезным недостатком является и необходимость изменить привычную серверную стойку – как минимум удалить из нее вентиляторы. Иными словами, потребитель не может модифицировать свое стандартное оборудование без риска потерять гарантию производителя.

Погружные системы на специальных жидкостях. В другой разновидности погружных систем охлаждение осуществляется за счет испарения жидкости с поверхности платы. Эффект испарения делает теплообмен более интенсивным, позволяя еще больше сократить размеры серверных. Кроме того, по заявлениям производителей, эти жидкости не являются воспламеняемыми, по крайней мере в рабочем диапазоне температур сервера.

Но у медали всегда есть две стороны. Вместо воспламеняемости система обзавелась другим существенным недостатком: рабочие жидкости оказались труднодоступными. Их можно купить исключительно у производителя или авторизированных дилеров – дорого. Плюс остальные недостатки погружных систем.

Такие системы также не получили широкого распространения.

Водяное охлаждение серверов. Вода является практически идеальным, к тому же природным хладагентом. Высокий коэффициент теплопередачи, во много раз превышающий коэффициент теплопередачи воздуха, дешевизна и шаговая доступность делают ее желанной рабочей жидкостью для любой системы охлаждения. И если для наружных систем большим ее недостатком является замерзание при температурах ниже 0°C, для использования во внутренних помещениях он никакой роли не играет. Здесь важнее другая особенность воды: в отличие от масла и специальных жидкостей, вода не является диэлектриком. А значит, прямой ее контакт с платой недопустим.

Несмотря на это, системы водяного охлаждения серверов находят все более широкое применение.

В Германии сейчас наиболее известен проект суперкомпьютера Super­MUC, установленного в Вычис­ли­тельном центре им. Лейбница Баварской академии наук в Гархинге под Мюнхеном и имеющего производительность 3 Пфлопс. Его идея уже не нова: на процессор «сажается» специальный водяной теплообменник, в который подается вода с температурой +40°C. Отработанная вода с температурой +70°C либо идет на отопление, либо охлаждается в климатической системе, построенной по принципу круглогодичного фрикулинга. Иными словами, в системе полностью отсутствует холодильная машина. Такая система охлаждения позволила снизить общее энергопотребление ЦОДа на 40%, а выброс углекислого газа в атмосферу на 85%.

В России осуществлен замечательный проект – суперкомпьютер Научно-исследовательского вычислительного центра МГУ, построенный на аналогичной системе водяного охлаждения с круглогодичным фрикулингом. Компания-разработчик заслуженно стала победителем премии Russian Data Center Awards 2015 в номинации «Лучшее комплексное решение ИT + инженерная инфраструктура». Пиковая производительность этого суперкомпьютера превышает 420 Тфлопс, при этом процессоры охлаждаются водой с температурой +45°C. По словам разработчиков системы, ее PUE низок до неприличия.

Несмотря на очевидные преимущества таких систем и их широкое распространение, они не лишены целого ряда серьезных недостатков. Как и погружные системы, они требуют специальной доработки плат. Помимо снятия модернизированных плат с гарантии производителя, сама конструкция весьма сложна в силу электропроводности воды. А именно, в ней большое количество соединительных узлов, которые непросто контролировать на предмет протечек. Это увеличивает как риск попадания воды на плату, так и эксплуатационные затраты.

Капитальные затраты на системы с водяным охлаждением серверов сегодня тоже все еще слишком высоки, как в России, так и в Германии.

Использование природных условий

Часто природа сама предлагает условия для оптимального высокоэкологичного и энергоэффективного охлаждения, в том числе ЦОДов. Самыми яркими примерами здесь являются дата-центр IGN в Гархинге, плавучие ЦОДы Google или уже упоминавшиеся ЦОДы в Исландии и Финляндии.

В дата-центре IGN в Гархинге для охлаждения серверов используются грунтовые воды. Вода с глубины 300 м при помощи насоса поднимается в ЦОД, охлаждает внутренний замкнутый контур водяного охлаждения серверов, нагреваясь при этом всего на 5 К, и спускается в другую скважину. Это довольно сложный с экологической точки проект, до сих пор вызывающий у экологов ряд вопросов. Система позволила сэкономить 30–40% электроэнергии по сравнению с привычным воздушным охлаждением. Не слишком высокий на сегодняшний день результат.

Конструкция внутреннего охлаждения серверов плавучих ЦОДов Google до сих пор тайна за семью печатями. Патент на нее получен в 2009 г., первый такой дата-центр запущен в 2011-м. ЦОД размещается на специально сконструированной барже, охлаждается глубинными водами и может оказаться где угодно, в любой точке, скажем, тихоокеанского побережья США. В 2014 г., по данным различных источников, на Google работали от двух до четырех таких плавучих островов.

Я не рассматриваю фреоновое непосредственное охлаждение ЦОДов, поскольку такие системы существуют параллельно с традиционными с 60-х годов прошлого века, но так и не получили массового распространения.

Охлаждение солнечными батареями хотя и относится к альтернативному и экологичному, но пока это всего лишь труднореализуемая и весьма дорогостоящая идея, в силу целого ряда природных факторов применимая в странах с неразвитой ИТ-инфраструктурой.

* * *

Будущее, безусловно, за бесчиллерными системами охлаждения ЦОДов. Вероятнее всего, за погружными системами, использующими природные легкодоступные хладагенты с хорошими коэффициентами теплопередачи. Возможны системы с вариантом прямого охлаждения процессора. Главное, они должны быть удобными, практичными и недорогими.