Rambler's Top100
Статьи ИКС № 10 2012
Петр РОНЖИН  Василий КАЗАКОВ  16 октября 2012

Технологии охлаждения в ЦОДах: как снизить коэффициент PUE

Уменьшение коэффициента PUE означает сокращение расходов на электроэнергию. Этого можно добиться за счет эффективных систем охлаждения – как новых технических решений, так и модернизированных классических схем.

   

Эффективность ЦОДа и PUE

В феврале 2007 г. специалисты ассоциации Green Grid, которая занимается разработкой требований к энергоснабжению и охлаждению дата-центров, опубликовали документ под названием «Система показателей Green Grid: определение энергетической эффективности ЦОДа». В этом документе ассоциация предложила использовать ряд показателей, из которых наибольшую распространенность и известность получили коэффициент эффективности использования энергии (PUE) и обратная ему величина – коэффициент эффективности дата-центра (DCE). С тех пор показатель PUE используется для оценки эффективности дата-центров и широко признан в отрасли.

В общем случае коэффициент PUE рассчитывается следующим образом:  

PUE = общая мощность оборудования / мощность ИТ-оборудования  

При определении общей мощности оборудования учитывают как ИТ-оборудование, так и все компоненты, которые его обслуживают: ПК, сетевые узлы и системы хранения данных, энергоснабжение, охлаждение, нагрузки смешанного назначения и т. п.

Ассоциация Green Grid приводит градации эффективности ЦОДов по значению PUE (см. таблицу). Повышая эффективность использования энергии в ЦОДе, мы сокращаем расходы на электроэнергию и уменьшаем совокупную стоимость владения (TCO).

Энергоснабжение и охлаждение – это две наиболее значимые статьи расходов в ЦОДе, причем в составе как капитальных затрат, так и эксплуатационных. Будучи специалистами по кондиционированию и холодоснабжению, мы в настоящей статье рассмотрим возможности снижения PUE за счет использования в системах охлаждения ЦОДов тех или иных новых технических решений, а также модернизации классических схем.

Принципы организации охлаждения

Прежде чем уходить глубоко в изучение методов снижения PUE, следует сказать о двух принципах, которые должны соблюдаться при построении системы охлаждения в дата-центрах, без чего бессмысленно использовать какие-либо инновационные технические решения.

Первый принцип – формирование изолированных друг от друга холодных и горячих коридоров. В дата-центрах, в которых сформированы коридоры, воздух, поступающий для охлаждения ИТ-оборудования, не смешивается с выходящим воздухом. Изоляция коридоров друг от друга – это самый простой и давно известный метод повышения энергоэффективности (снижения PUE). К сожалению, в российской практике можно встретить ЦОДы, в которых установлено современное высокоэффективное охлаждающее оборудование, но при этом в машинном зале смешиваются потоки горячего и холодного воздуха, что сводит на нет повышение эффективности работы кондиционерного оборудования.

Второй принцип – поддержание в холодных коридорах максимально высокой температуры воздуха. При этом относительная влажность воздуха может варьироваться в широких пределах. На это прямо указывают руководящие рекомендации ASHRAE TC9.9, которые, может быть, не столь очевидны, как первый принцип, но их выполнение дает широкие возможности снижения энергопотребления.

Разобравшись с краеугольными принципами повышения эффективности, посмотрим, какими методами их можно достичь и что это повлечет за собой.

Энергоэффективное охлаждение

Наиболее популярный в последнее время метод снижения потребления энергии системами охлаждения ЦОДа – использование фрикулинга, т. е. охлаждения за счет окружающей среды. Фрикулинг может быть прямым и косвенным.

Прямой фрикулинг

К методам прямого фрикулинга (direct free cooling) относится охлаждение стоек наружным воздухом с выбросом нагретого воздуха за пределы ЦОДа (английское название этого метода – Fresh Air Cooling). Охлаждение наружным воздухом очень привлекательно для условий большей части России: например, в Москве период с температурами воздуха свыше 25°С длится меньше двух недель. На время жаркой погоды приходится предусматривать традиционные системы охлаждения: чиллерные или DX. Все остальное время, в теории, ЦОД может охлаждаться с использованием приточно-вытяжных установок.

С энергетической точки зрения прямой фрикулинг – один из самых эффективных методов. Однако повсеместное широкое его использование сдерживается рядом ограничений по архитектуре здания ЦОДа и району строительства. Архитектурные требования к зданиям дата-центров, в которых планируется использование прямого фрикулинга, предусматривают достаточно большие пространства для расположения оборудования, прокладки вентиляционных каналов и шахт. В большинстве случаев эти требования удается соблюсти только при условии, что ЦОД строится с чистого листа.

Климатология района строительства ЦОДа естественным образом сказывается на эффективности применения прямого фрикулинга. Трудно ожидать одинакового значения PUE для дата-центров, расположенных в Краснодаре и Мурманске. Но выбор района строительства сказывается не только на длительности периодов с подходящими для фрикулинга температурами. Важную роль играет относительная влажность воздуха, которая может колебаться в значительных пределах, выходящих за граничные значения, рекомендованные ASHRAE TC9.9. Поэтому могут потребоваться системы, приводящие относительную влажность в дата-центре к приемлемым значениям. Это различной конструкции осушители и увлажнители воздуха, работающие совместно с системами охлаждения (кондиционирования). Соответственно, при работе систем поддержания влажности (не важно, осушается воздух или увлажняется) PUE будет расти.

При оценке возможности применения прямого фрикулинга не стоит упускать из внимания и такие факторы, как морской воздух, который может вызвать коррозию ИТ-оборудования, или сильную запыленность атмосферы, природную либо техногенную. Вообще, для прямого фрикулинга запыленность атмосферы в некоторых случаях может стать фактором, очень сильно влияющим на совокупную стоимость владения.

В дополнение необходимо упомянуть, что на работу систем охлаждения, использующих принцип прямого фрикулинга, могут оказывать существенное влияние и другие, не рассмотренные здесь факторы. Пример такого влияния – периодическое задымление атмосферы в Московской области в летний период вследствие торфяных пожаров. Задымление способно вызвать не только преждевременное загрязнение воздушных фильтров, но и срабатывание систем пожаротушения и остановку ЦОДа.

Таким образом, тем, кто хочет снизить PUE за счет применения прямого фрикулинга, надо быть готовыми к проработке вопросов архитектуры и строительства, проектирования и монтажа систем DX-охлаждения либо чиллерных систем, работающих совместно с фрикулингом, и вопросов эксплуатации. Авторы вполне допускают, что в ряде случаев капитальные и эксплуатационные затраты могут превысить экономию, достигнутую за счет снижения PUE.

Косвенный фрикулинг

Объективные трудности, связанные с применением прямого фрикулинга, вынудили искать обходные пути, приведшие к разработке множества технологий косвенного фрикулинга. Технология косвенного фрикулинга также подразумевает, что для охлаждения используется холод окружающей среды (природных источников), но при этом перенос тепла либо происходит через промежуточные теплообменные аппараты, например роторный рекуператор в KyotoCooling, либо для этих целей применяются холодоноситель и теплообменник.

Яркий пример воплощения в жизнь идеи косвенного фрикулинга – технология, в которой холод наружного воздуха используется для охлаждения вращающегося рекуперативного теплообменника, а тот, в свою очередь, служит для охлаждения внутреннего рециркуляционного воздушного контура «рекуператор – ИТ-стойки – рекуператор». Эффективность системы охлаждения в этом случае ниже, чем у систем прямого фрикулинга, так как требуется работа вентиляторов внешнего и внутреннего контуров, да и эффективность роторного рекуператора составляет не 100%. Установки с роторными рекуператорами занимают примерно в два раза больше места и так же, как установки с прямым фрикулингом, требуют определенной архитектуры здания для свободного подключения воздуховодов большого сечения.

В случае установки с роторными рекуператорами на жаркий период года также требуются системы DX-охлаждения или чиллерные системы, а сам этот период более растянут по времени, так как температура перехода на механическое охлаждение снижается примерно на 3 градуса по сравнению с прямым фрикулингом. Тем не менее есть и определенные плюсы в подобной технологии: в машинных залах значительно проще поддерживать относительную влажность воздуха в заданных пределах, проще алгоритм работы при низких температурах.

К системам косвенного фрикулинга относятся ставшие классическими схемы с чиллерами, оснащенными встроенными воздушно-гликолевыми теплообменниками или работающими совместно с сухими градирнями. В холодный период года компрессоры чиллеров не работают, охлаждение происходит за счет холода окружающей среды.

Повышение температуры воздуха в холодных коридорах в соответствии с рекомендациями ASHRAE TC9.9 позволило повысить температуру холодоносителя на входе/выходе чиллеров, что благоприятно сказалось на снижении энергопотребления. Во-первых, вследствие перехода на более высокое значение температуры холодоносителя, выходящего из чиллера, повысилась эффективность механического охлаждения (см. статью Р. Нэймека и Э. Фурнье, «ИКС» №4, с. 78).

Во-вторых, расширились временные диапазоны работы фрикулинга, так как на свободное охлаждение можно переходить при более высоких температурах наружного воздуха. К примеру, рассмотрим переход на свободное охлаждение в Московском регионе (см. рисунок).

Обычно при использовании классических схем переход на свободное охлаждение предполагался при 0°С, но используя повышенные температуры холодоносителя, выходящего из чиллера, и воздуха в машинных залах, мы можем спроектировать систему охлаждения так, что переход становится возможным при +5°С. В результате время работы компрессоров сокращается на 1132 часа, а это 12,9% всего годового времени, что дает довольно большую экономию энергопотребления за год.

В-третьих, при более высокой температуре холодоносителя не происходит конденсации влаги в воздухоохладителях кондиционеров, т. е. вся холодильная мощность идет на охлаждение воздуха в машинных залах. При этом не надо тратить энергию на увлажнение. При переходе с ранее принятых температур воздуха на входе в ИТ-оборудование и выходе из него, составлявших 18/30°С, на температуры 27/39°С (перепад указан с учетом изоляции горячих и холодных потоков воздуха) возможно повышение температуры охлаждающей жидкости на 9°С. Соответственно температура перехода на свободное охлаждение также может повыситься на 9°С.

Кроме приведенной выше схемы, существует и другой, не менее популярный, но более сложный способ косвенного фрикулинга. Он заключается в использовании холодильных машин с водоохлаждаемыми конденсаторами, которые соединены трубопроводами с градирнями наружной установки и промежуточными водно-гликолевыми теплообменниками внутренней установки. Испарители холодильных машин обвязаны трубами с кондиционерами машинного зала и водяной стороной промежуточных теплообменников. Летом при работе компрессоров тепло от них сбрасывается в наружных градирнях, зимой компрессоры выключаются, охлаждение холодоносителя происходит в градирнях, после чего холодоноситель охлаждает воду в промежуточном теплообменнике, и она поступает в кондиционеры.

Эту схему можно развивать дальше, располагая в прецизионных кондиционерах по два теплообменника: один связанный с гликолевым контуром градирен, с помощью которого происходит работа в зимнем режиме (фрикулинг), а второй – с контуром испарителей для работы в летнее время.

Адиабатическое охлаждение

В последнее время популярным способом существенного улучшения эффективности систем косвенного фрикулинга становится применение в разных видах адиабатического охлаждения, основанного на разнице температур между «сухим» и «влажным» термометрами. К примеру, при пиковой температуре наружного воздуха 39°С, применяя адиабатическое охлаждение сухих градирен конденсатора холодильной машины, можно снизить расход энергии до уровня потребления при температуре наружного воздуха 20°С без адиабатического охлаждения.

В другом случае, когда используется косвенный фрикулинг с применением теплообменника воздух – воздух, можно существенно расширить температурные и временные границы его использования, орошая внешний контур теплообменника водой, вплоть до полного отказа от DX-охлаждения или работы чиллера в жаркий период.

Коэффициент WUE

Следует заметить, что использование воды в системах с адиабатическим охлаждением приводит к снижению PUE и энергопотребления, но расход воды может быть очень велик. В связи с этим организация Green Grid в марте 2011 г. ввела еще один параметр, характеризующий полезное потребление воды в дата-центре, – коэффициент использования воды WUE (Water Usage Effectiveness). Коэффициент рассчитывается следующим образом:

WUE = годовое потребление воды / мощность ИТ-оборудования 

Единицей измерения WUE является л/кВт.ч.

Использование воды в ЦОДах представляет собой сложную задачу на многих связанных между собой уровнях. При определении коэффициента WUE следует учитывать расположение источника воды по отношению к ЦОДу. Основная проблема заключается в том, что использование воды или изменение стратегии водопользования площадки в целом сказывается на других параметрах работы дата-центра, а также может повлиять на цепочки смежных систем.

Сокращение потребления воды на месте достигается различными способами. Наиболее привлекательный из них – это просто использование оптимальных конструкций, повышающих эффективность работы, и настройка существующих систем. Сделать это можно при повторном вводе установки в эксплуатацию. Существует множество страшных историй о дата-центрах, где один кондиционер работает на осушение, а другой – на увлажнение (соответственно расходуются и вода и энергия). Кроме того, многие ЦОДы до сих пор не воспользовались расширенными рекомендациями ASHRAE по уровню минимальной влажности.

Задумываясь об использовании адиабатического охлаждения, следует помнить о том, что придется решать вопросы водоснабжения, водоотведения и водоподготовки, которые, в свою очередь, перетекут в проблемы архитектуры и строительных конструкций. Не стоит забывать и о том, что за воду придется платить. Конечно, ее цена пока несравнима со стоимостью электроэнергии, но тенденции к росту уже просматриваются.

  

Участвовать в гонке за красивым значением PUE чаще всего могут себе позволить крупные международные корпорации, которые, помимо решения своих основных задач, должны поддерживать соответствующий «зеленый» имидж. Владельцам коммерческих дата-центров более важен другой показатель – совокупной стоимости владения объектом с четко определенным сроком окупаемости конкретного решения. Чаще всего при этом фигурируют сроки 3, 5 и 7 лет. Такие интервалы времени обусловлены быстрой модернизацией ИТ-оборудования, в результате чего через несколько лет может потребоваться апгрейд инженерной инфраструктуры дата-центра.

Используя какую-либо технологию охлаждения, необходимо понимать, как значение PUE влияет на совокупную стоимость владения на определенном отрезке времени. Авторы не раз проводили такие расчеты, и они показали, что высокоэффективные на первый взгляд системы охлаждения с низким значением PUE в ряде случаев окупаются только через десятки лет. Как ни парадоксально, но менее эффективные системы часто выгоднее владельцу. Впрочем, это уже тема другой статьи…   

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!