Rambler's Top100
Реклама
 
Статьи ИКС № 4 2021
Александра ЭРЛИХ   Анна ГАЛКИНА (ВАСИЛЬЕВА)  18 ноября 2021

Гениальность или абсурд? О способах снижения энергопотребления

Система охлаждения – одна из самых больших статей расходов любого ЦОДа. Какая же технология охлаждения наиболее эффективна с экономической точки зрения?

Известный немецкий журналист и автор книг Франц Альт однажды сказал: «Самая тяжелая и важная война 21-го столетия будет вестись без оружия. Инструментами этой войны станут энергоэффективность, экономия энергии и ее альтернативные источники». Как в любой войне, в этой больше политики, чем логики. Но, задумавшись о том, сколько энергии потребляют центры обработки данных, понимаешь, что мы находимся на одном из самых горячих фронтов. И, как в любой войне, выиграет тот, чьи инструменты будут более эффективными.

В рамках этой статьи мы проанализируем несколько альтернативных способов охлаждения ЦОДов с целью определить, насколько они на самом деле эффективны – не только с точки зрения экономии ресурсов, но и с точки зрения экономической.

Тепловые насосы

Тепловые насосы давно утвердились в частном секторе. Естественно, что на них обратили внимание инженеры из различных отраслей промышленности и в частности из индустрии ЦОДов.

Безусловно, этот способ получения холода летом и тепла зимой эффективен в тех странах, где, с одной стороны, разрешено использование грунтовых вод в такого рода целях, а с другой – применяются драконовские экономические меры, направленные на уменьшение выбросов СО2 (т.е. потребления природного газа и угля) в атмосферу. Попробуем проанализировать, насколько эффективными могут быть тепловые насосы в России.

По способу забора низкопотенциального тепла тепловые насосы принято делить на следующие категории:
  • геотермальные;
  • воздушные; 
  • рекуперативные (с утилизацией тепла).
Помимо энергоэффективности системы для применения в ЦОДах не менее важна ее надежность. В свою очередь, надежность получения энергии посредством теплового насоса напрямую зависит от стабильности источника тепла, не подверженного значительным изменениям в течение года. С этой точки зрения системы, включающие в себя воздушные тепловые насосы, можно из рассмотрения исключить. 

Итак, остаются два вида тепловых насосов: геотермальные и рекуперативные.

Геотермальные насосы

Поскольку использование грунтовых вод в России запрещено, рассмотрим геотермальные тепловые насосы (рис. 1).
 
Рис. 1. Работа геотермального теплового насоса в жилом доме

Для стабильной работы такого насоса с целью избежать влияния промерзания почвы трубки должны располагаться на значительной глубине (в Москве, например, более 10 м). Стоимость 1 м такой трубы по самым оптими­стичным расчетам составляет 10 евро. Теплосъем с одного погонного метра сильно зависит от грунта, в котором располагаются тепловые трубки, но можно сделать грубую оценку себестоимости. Для охлаждения ЦОДа с ИТ-нагрузкой около 200 МВт потребуется участок площадью примерно 6 тыс. кв. м (в случае применения горизонтальных зондов) либо около 30 вертикальных скважин с расстоянием минимум 1 м между ними. Даже если у вас достаточно площади, чтобы разместить вокруг ЦОДа такого рода систему, себестоимость самого насоса при этом составит порядка 1–1,2 млн евро. При текущей стоимости электроэнергии в России система просто не сможет окупиться в течение срока эксплуатации.

Тепловые насосы-рекуператоры

Охлаждая ЦОД традиционной системой с чиллером или выносными конденсаторами/драйкулерами, мы сбрасываем избыточное тепло в атмосферу. Жалко, неэкологично, да и проблема с размещением наружных блоков, предназначенных для такого сброса, возникает, наверное, на каждом втором объекте. Не­удивительно, что идея полезного использования избыточного тепла ЦОДа постоянно будоражит наш рынок. На первый взгляд, ЦОД отвечает всем требованиям эффективности такого рода тепловых насосов:
  • имеется постоянный источник тепла;
  • можно рассчитать систему таким образом, чтобы разница температур между источником и потребителем тепла попала в нужный диапазон;
  • российский рынок ЦОДов обладает достаточным количеством специалистов, способных грамотно рассчитать систему.
Не хватает лишь одного, но, к сожалению, самого важного фактора: постоянного потребителя тепла. Использование избыточного тепла в качестве источника отопления здания ограничено зимним периодом, а летом снова придется выбрасывать тепло в атмосферу. Получение горячей воды теоретически возможно круглогодично, но в России температура холодной воды (в системе холодоснабжения) значительно колеблется в течение года, и необходимую разницу температур между источником и потребителем тепла невозможно выдерживать постоянно. При детальном рассмотрении любой из систем, удачно эксплуатирующихся в странах Средиземноморья, понимаешь, что в условиях российского климата они не обеспечат надежного отвода избыточного тепла круглый год и потребуют параллельной резервной сис­темы охлаждения.

Помимо физических факторов, препятствующих применению рекуперации в дата-центрах, есть и экономические. Даже в Германии, где стоимость 1 кВт электроэнергии значительно выше, чем в России, и существуют дополнительные расходы – 25 евро за каждую тонну выброшенного в атмосферу СО2, окупаемость такого рода систем на сегодняшний день составляет 10 лет. В РФ такая система не окупится никогда.

Тепловые трубки

Теплообмен в тепловой трубке основан на капиллярном эффекте и фазовом переходе теплоносителя из одного агрегатного состояния в другое. Сама технология крайне заманчива, так как в ней используется один из самых энергоемких процессов – фазовый переход. Сопоставим цифры, например, для воды: для ее охлаждения или нагрева на 1°С требуется 4,2 кДж/кг энергии, а для испарения или конденсации – 2258 кДж/кг, т.е. почти в 538 раз больше. Не вдаваясь в подробности, скажем, что возможность «приручить» процесс фазового перехода, а в идеале еще и без повышения давления — это значительное сжатие аппаратного комплекса системы (причем все равно – нагрева или охлаждения) с точки зрения металлоемкости и, как следствие, – снижение капитальных затрат. Понятно, почему эта технология нашла широкое применение как в бытовой технике (в 1966 г. была выпущена первая кухонная плита на основе тепловых трубок), так и в космической отрасли. 
 
Рис. 2. Компьютерная тепловая трубка

Тепловая трубка, или термосифон, может быть прекрасным решением для охлаждения ИТ-оборудования при отсутствии площади для полноценной системы охлаждения. К сожалению, сегодня в ИТ-сфере технология реализуется локально: тепловая трубка на воде или фреоне монтируется непосредственно в конструкцию сервера (рис. 2). С точки зрения теплообмена все замечательно, так как потери минимальны. Но с практической точки зрения картина иная: при использовании данной технологии остро стоит вопрос распределения гарантийных обязательств. Редкий производитель серверного оборудования согласится сохранить гарантию на свою продукцию при нарушении целостности его конструкций, не говоря уже об опасной близости с водой (в случае тепловой трубки на воде). Возможно, поэтому тепловые трубки пока не нашли достаточно широкого применения. 

А что, если применить термосифонную технологию, не пытаясь завести тепловую трубку в сервер? Скажем, прецизионный кондиционер на фреоне и без компрессора? Такое решение определенно имело бы более широкое распространение и, наверное, за ним будущее.

Иммерсионное охлаждение

Мы все знаем: для того чтобы передавать тепло, необходимы частицы. Поэтому теплопроводность вакуума нулевая, у газов чуть выше (например, у воздуха – 0,022 Вт/м*К), у жидкостей еще выше (так, у трансформаторного масла – 0,11 Вт/м*К, у воды – 0,56 Вт/м*К), а у твердых веществ выше на порядки… Очевидно, что охлаждение жидким веществом с большей теплопроводностью намного эффективнее, чем воздухом. Поэтому появилась идея прямого охлаждения ИТ-оборудования жидкостью более теплопроводной, чем воздух. В идеале хорошо бы попробовать охлаждать серверы жидкостью напрямую, но есть нюанс: эта жидкость должна быть диэлектриком. Конечно, есть на рынке действительно диэлектрические жидкости, но тут прослеживается следующая закономерность: чем более ярко выражены диэлектрические свойства жидкости, тем она менее теплопроводна. Кроме того, диэлектрические жидкости достаточно дороги, а для охлаждения ИТ-оборудования требуются немалые циркуляционные объемы. 

Так топить ИТ-оборудование или нет? Скорее нет, чем да. С точки зрения теплообмена решение эффективно, но на практике, как и в случае с тепловыми трубками, сталкиваемся с трудностями сохранения гарантии на серверное оборудование. Чтобы перенастроить или проверить правильность работы/подключения ИТ-оборудования в подобной системе, необходимо извлечь его из охлаждающей емкости, просушить и только после этого выполнять с ним какие-либо действия. Работать с такой системой крайне долго и трудоемко, как для специалистов, осуществляющих эксплуатацию системы охлаждения, так и для ИТ-специалистов.

Системы прямого фрикулинга

Принцип прост: мы уходим от компрессорного охлаждения и используем в качестве источника холода воздух. К преимуществам систем прямого фрикулинга небезосновательно относят низкие капитальные затраты и малое энергопотребление.
Такого рода системы довольно давно известны в мире ЦОДов. В Европе есть несколько инсталляций, да и в России работают две компании, выбравшие именно этот способ охлаждения машзала в качестве основного. Почему же прямой фрикулинг не получил повсеместного распространения? Рассмотрим несколько примеров.

ЦОДы известной российской транснациональной ИТ-компании

Безусловно революционно и провокативно. Никакой компрессорной системы, полное отсутствие теплообменников в системе охлаждения. Исключительно воздуховоды и вентиляторы. Однозначно самые низкие на сегодня инвестиционные и энергетические затраты. Но применение такого вида охлаждения в большинстве ЦОДов невозможно по двум веским причинам.
  1. Температуры. Невозможно подать в холодный коридор воздух с температурой ниже, чем температура охлаждающей среды плюс потери на преодоление сопротивления теплообмену. Поскольку охлаждающей средой в такой версии прямого фрикулинга является окружающий воздух, легко можно вычислить температуру в холодном коридоре летом. И она, к сожалению, весьма далека от требуемых рынком +22–24°C. Недавно довелось дискутировать с представителями компании об эффективности их системы. Полностью с ними согласна: лет через пятьдесят +40–50°C на процессоре станут нормой. Но мы строим ЦОДы сегодня.
  2. Влажность. В системах прямого фрикулинга контроль и соблюдение коридора влажности, рекомендуемого производителями ИТ-обо­рудования, не предусматриваются. И все бы ничего, если бы это были лишь требования производителей. Так, для многих корпоративных ЦОДов, применяющих стойки собственной разработки, фактор влажности, казалось бы, теряет свое значение. Однако в спорах о влажности большинство оппонентов забывают о том, что при высокой влажности в ЦОДе резко возрастает потребление самого ИТ-оборудования, стремящегося самостоятельно регулировать конденсацию. А тут уже под угрозой одно из основных преимуществ прямого фрикулинга – низкие энергозатраты. 
ЦОД российской технологической компании, предоставляющей облачные инфраструктурные сервисы и услуги дата-центров

Владельцев ЦОДа привлекло второе существенное преимущество систем (не)прямого фрикулинга, а именно низкие капзатраты. Они задались целью использовать эти системы и все-таки добиться в машзале температуры +24°C. А почему бы и нет?
В Москве, например, температура ниже +24°C держится в среднем около 93% времени – 11 месяцев в году. Для обеспечения микроклимата в ЦОДе в оставшиеся 7% времени, когда температура выше +24°C, нужно либо доукомплектовывать систему дополнительным охлаждением, либо поднимать температуру в машинном зале, если позволяет ИТ-оборудование.

Найденное решение предусматривало, с одной стороны, испарение воды в качестве дополнительного охлаждения, а именно применение адиабатики с использованием матов, а с другой – кратковременное поднятие температуры в машинном зале до +28°C.

Но тут снова мечты о дешевом холоде разбились о физические и экономические законы.

Толщина мата, применяемого в этом виде адиабатики, должна быть достаточной для того, чтобы процесс испарения при заданной скорости воздуха успел совершиться – примерно 300 мм. При этом сопротивление по воздуху на чистом мате такой толщины составляет около 200 Па. В процессе испарения мат стремительно загрязняется, соты, предназначенные для прохождения воздуха, и без того мелкие, становятся еще мельче, и сопротивление по воздуху растет в геометрической прогрессии. А вместе с ним и потребление вентиляторов. В связи с этим неприятным эффектом маты приходится менять довольно часто, и тут уже страдает экономика, поскольку относительно низкий CAPEX выливается в очень высокий OPEX.

Кроме того, как оказалось, ненужность водоподготовки при применении такой системы – всего лишь рекламный миф. Водоподготовка необходима не только для того, чтобы маты засорялись не слишком быстро, но и для того, чтобы систему воздуховодов не пришлось менять после первого же года эксплуатации. С учетом системы водоподготовки перестает быть низким не только OPEX, но и CAPEX.

Если говорить о температурных режимах, то поддержание максимальной температуры в машзале даже +28°C в системе этого ЦОДа весьма спорно. Поскольку летом в Москве температура на улице может подниматься выше +32°C, влажность воздуха при этом высока, и в системе предусмотрен рекуператор, обладающий собственным термическим сопротивлением.

ЦОД Centron в Бамберге (земля Бавария, Германия)

Выбранная для этого ЦОДа вентиляционная прямоточная система обеспечивает 95% времени года бескомпрессорную работу при сохранении температуры в машзале не выше +24°C. По очень простой причине: максимальная температура воздуха в этом городе составляет 25,7°C, и наблюдается она всего лишь несколько часов в одном месяце года, в июле. Остальное время года температура воздуха в Бамберге с всего лишь 3,7 солнечных часов в месяце колеблется в интервале от –2,5 до +24°C при среднегодовой температуре +14,4°C. Вторая особенность местного климата – повышенная влажность воздуха. Поэтому, не мудрствуя лукаво, на оставшиеся 5% времени в году в системе просто предусмотрели компрессорное охлаждение. 

Низкоскоростное распределение воздуха – Low Speed Ventilation

Не секрет, что мы усиленно пропагандируем применение воздухоохлаждающих приборов (ВОПов) в системах, основанных на принципе низкоскоростного распределения воздуха. Более подробно о ВОПах можно прочесть в других наших статьях (См., например, Эрлих А., Галкина А., Казаков В. Битва за монополию, или Прецизионные кондиционеры vs. воздухоохлаждающие приборы ) и в наших презентациях. Сейчас затронем лишь основные аспекты.

Если бы мы заговорили об этой системе на заре прихода в ЦОДы прецизионных кондиционеров, а именно на рубеже 60–70-х гг. прошлого века, то услышали бы в ответ: «Да, наверное, когда-нибудь в будущем». Но сегодня, когда температуры в машинном зале +22–24°C стали нормой, это будущее уже наступило.
 Рис. 3. Распределение температуры в машинном зале при низкоскоростном распределении воздуха

Правильно спроектированная система низкоскоростного распределения воздуха на базе ВОПа (рис. 3) позволяет экономить порядка 60% электроэнергии по сравнению с привычными системами охлаждения за счет таких факторов, как высокая доля фрикулинга (например, в Москве это 80–85% времени в году), низкое потребление вентиляторов, насосов и пр. 

Применение такой системы делает ненужными сразу несколько вспомогательных систем, в частности систему увлажнения и фальшпол. За счет экономии электроэнергии существенно снижаются затраты на систему энергоснабжения. CAPEX ее соизмерим с затратами на систему непрямого фрикулинга с применением адиабатики. А вот эксплуатация значительно проще. Единственное, что сдерживает распространение этих систем в России – малая известность. Но и этот фактор легко преодолим.

Александра Эрлих, генеральный директор, «ПрофАйТиКул»
Анна Галкина (Васильева), руководитель консульта­ционного центра, «ПрофАйТиКул»
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!