• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Охлаждение ЦОДа – задача для практиков

Часть 1. Моновендорные решения. Какой должна быть экономичная и эффективная система охлаждения для небольшого ЦОДа? Для выяснения этого вопроса «ИКС» объявил тендер среди вендоров и системных интеграторов на разработку проекта такой системы.

Система охлаждения – одна из ключевых для дата-центра. Как известно, плотность размещения оборудования в ЦОДе постоянно растет, соответственно, увеличивается и тепловая нагрузка – как на инженерный комплекс в целом, так и в расчете на квадратный метр площади помещения. В результате производителям оборудования и системным интеграторам приходится постоянно изыскивать пути повышения эффективности охлаждения. Важнейшую роль в этом вопросе играет экономичность решения. Правильно спроектированная система охлаждения способна не только отвести необходимое количество тепла, но и существенно сократить счета за электроэнергию, стоимость обслуживания, расходы на дальнейшую модернизацию и другие затраты.

На российском рынке сегодня присутствуют более полутора десятков производителей систем кондиционирования, чья продукция активно используется в дата-центрах. И хотя принципы, заложенные в системы охлаждения, в основном у всех одинаковы, большинство производителей оснащают свои разработки фирменными технологиями, которые при грамотном применении способны принести вышеупомянутые выгоды. Кроме того, все составляющие системы кондиционирования ЦОДа должны рассматриваться в комплексе, более того – в условиях конкретного проекта. И здесь уже в игру вступает профессионализм системного интегратора.

Чтобы проиллюстрировать возможные решения на базе оборудования разных производителей и сделать более наглядными присущие им особенности, «ИКС» объявил тендер на разработку проекта системы охлаждения некоего гипотетического дата-центра. Мы описали параметры этого ЦОДа и задали требования к результирующей системе. Свои решения поставленной задачи предложили девять компаний – APC by Schneider Electric, Emerson Network Power, HTS, Rittal, «Астерос», «Комплит», «Термокул», «Техносерв» и «Энвижн Груп».

Постановка задачи

Вендорам и системным интеграторам нужно было разработать систему охлаждения для вновь строящегося дата-центра с оптимальным соотношением стоимости и эффективности. В рамках нашего тендера предполагается, что ИТ-оборудование будет размещаться в подготовленном строителями пустом подвальном помещении прямоугольной формы площадью 300 м2 (15 × 20 м). Высота потолка – 3 м (для современного ЦОДа потолок довольно низкий). В помещении имеются четыре колонны прямоугольного сечения (с площадью основания 0,16 м2), отстоящие от стен минимум на 5 м. Нагрузкой на пол можно пренебречь. Доступная электрическая мощность на весь объект составляет 0,5 МВт, с перспективой наращивания до 1 МВт в течение одного-двух лет. Таким образом, на ИТ-оборудование приходится около 300 кВт на первом этапе и 600–630 кВт на втором. Подвод электропитания осуществляется от двух независимых трансформаторов, но с одной подстанции. Отказов и аварийных отключений трансформаторных подстанций не наблюдалось.

В здании имеется водопровод, но с подачей воды возможны перебои. На уровне первого этажа есть площадка для размещения чиллеров. Уровень шума – критичный параметр. Также есть место для установки резервного бака с хладагентом (но из соображений стоимости лучше по возможности обойтись без него). Расчетный диапазон температур наружного воздуха – от –30 до +35°С.

Оборудование планируется размещать в закрытых шкафах высотой 42U (600 × 800 ×2085 мм) с перфорированными передними стенками. При этом предполагается сразу установить 50 шкафов и в течение двух лет довести их число до 90–100. На первом этапе потенциальная тепловая нагрузка от 40 шкафов может достигать 5 кВт на шкаф, еще 10 шкафов могут выделять по 10 кВт тепла. Однако в перспективе двух-трехлетнего развития планируется отводить до 10 кВт тепла от 50–60 шкафов и еще до 15 кВт от 40 шкафов (необязательно все эти шкафы могут быть нагружены одновременно). Размещаемое заказчиком оборудование может быть разным – серверы (в том числе блейды), СХД, коммутаторы, маршрутизаторы и т.д.

Проектируемая система должна обеспечивать уровень надежности не ниже Tier II (а лучше Tier III) в соответствии с рекомендациями Uptime Institute. В условиях тендера указывалось на необходимость применять энергосберегающие технологии (но если срок их окупаемости превышает три года, то они неактуальны). Для повышения эффективности охлаждения допускается создавать отдельные изолированные шкафы или гермозоны.

В целом инфраструктура ЦОДа, в том числе и в плане охлаждения, должна быть адаптивной и позволять эффективно отводить тепло на любом этапе с минимальными затратами и по возможности без переделывания существующей системы охлаждения при установке новых стоек или увеличении мощности существующих.

Кроме того, специально оговаривалось, что реализация проекта должна занять не более полугода.

Промежуточные результаты

Несмотря на то что каждый из участников тендера представил собственное решение задачи, есть ряд общих моментов, в той или иной степени свойственных большинству проектов. Например, ввиду небольшой высоты потолков эксперты практически всех компаний-участников сошлись во мнении, что оптимальным будет использование водяных внутрирядных кондиционеров. Преимущество этого подхода – отсутствие фальш-пола и связанных с ним проблем распределения большого количества воздуха при высокой плотности тепловыделений. Размещение кондиционера в ряду стоек позволяет приблизить источник охлаждения к тепловой нагрузке и избавиться от смешивания воздуха.

В то же время следует учитывать тот факт, что система охлаждения, состоящая только из внутрирядных кондиционеров, получается довольно дорогой и сложной в обслуживании и управлении, поскольку включает в себя большое количество относительно мелких блоков. И кроме прочего, внутрирядные решения накладывают жесткие ограничения на расположение и тип охлаждаемого оборудования. Поэтому, по мнению многих экспертов, если позволяют условия, то для серверных мощностью несколько сотен киловатт целесообразнее использовать традиционные шкафные кондиционеры.

Поскольку в системе охлаждения используется вода (следовательно, нет ограничения по минимальной мощности, как у фреоновых систем), можно и нужно применять чиллеры с функцией фрикулинга, которая хотя и удорожает решение, но в заданных условиях окупается приблизительно за два-три года. Если наружная температура достаточно низкая, в таком чиллере последовательно отключаются компрессоры, качающие хладагент, и уменьшается скорость вращения вентиляторов. По мере повышения температуры наружного воздуха процесс идет в обратном порядке (увеличивается скорость вращения вентиляторов, подключаются компрессоры). Все участники тендера отмечают, что в климатических условиях РФ использование в чиллерах фрикулинга существенно экономит электроэнергию и, как следствие, снижает стоимость владения дата-центром.

Что касается климатического режима работы кондиционеров и чиллеров, то температура воздуха в холодных коридорах для нашей задачи должна быть не выше +24–26°С (рекомендация ASHRAE TC9.9) при относительной влажности 40–70%. Кроме того, для снижения PUE оптимальным будет поддержание постоянного перепада температур на выходе и входе стоек около 12°С (что накладывает некоторые ограничения на тип размещаемого ИТ-оборудования). Еще желательно, чтобы колебания температуры в машинном зале не превышали 5°С в час.

Важный параметр – температура воды, проходящей через чиллер. Одни производители оптимальной считают температуру 10°С для воды, которая подается на кондиционер, и 15°С – для нагретой, поступающей обратно в чиллер. У других производителей температурный диапазон составляет 7/12°С соответственно. Возможны и иные варианты.

Поскольку со стороны заказчика есть требования к уровню шума, чиллеры должны поставляться в звукоизолирующем корпусе, а для работы в условиях низких температур необходим «зимний» пакет опций.

Для повышения эффективности системы охлаждения рекомендуется применять систему изоляции термических коридоров или даже отдельных высоконагруженных стоек. Например, по рекомендации уже упомянутой ассоциации ASHRAE целесообразно использовать системы отделения холодных коридоров для всех стоек с нагрузкой выше 8 кВт. Изоляция термических коридоров исключает смешивание нагретого и охлажденного воздушных потоков и положительно влияет на КПД кондиционеров.

Для дата-центра уровня Tier III обязательны наличие бака-накопителя с охлажденной жидкостью, резервирование насосов и обеспечение их работы от ИБП в случае пропадания электропитания. Также для Tier III необходимо предусмотреть кольцевую подающую и обратную магистрали, чтобы в случае утечки иметь возможность изолировать поврежденный участок, не нарушая работоспособности всей системы. Кроме того, рекомендуется запитать от ИБП внутренние блоки кондиционеров (но не чиллеры).

Согласно требованиям Uptime Institute к системам охлаждения ЦОДа Tier III необходимо сделать двойной подвод и отвод воды от каждого кондиционера. Резервирование чиллеров и кондиционеров должно осуществляться по схеме N + 1.

В числе других методов повышения энергоэффективности объекта специалисты назвали использование серверных шкафов с высокой степенью перфорации дверей (более 80%), установку «заглушек» в пустые отсеки стоек, применение в кондиционерах электронно-коммутируемых вентиляторов и насосов с частотным регулированием. Также распашные двери шкафов можно заменить на раздвижные, сэкономив тем самым полезное пространство дата-центра.

Следует отметить, что при выборе решения все участники тендера ориентировались на классическую схему охлаждения ЦОДа. Не рассматривались схемы с прямым естественным охлаждением (с подачей фильтрованного наружного воздуха либо на основе вращающихся теплообменников) как более сложные в разработке и реализации и такие «экзотические» для России системы, как EcoBreeze Kyoto Cooling.

Теперь перейдем к конкретным проектам, представленным в рамках тендера «ИКС». Сначала обратимся к моновендорным вариантам систем охлаждения.

Одноконтурная схема внутрирядного охлаждения

По мнению компании Emerson Network Power, наиболее простой и понятный выбор для условий, заданных в тендере, – это использование внутрирядного охлаждения. Собственно, нынешняя его популярность в первую очередь и вызвана простотой проектирования систем такого типа. Достаточно лишь добиться избыточности охлаждения в ряду, и вы гарантированно получаете работоспособное решение. Для того чтобы достичь требуемой эффективности, холодные коридоры обязательно должны быть изолированными.

Система охлаждения от Emerson Network Power для нашего ЦОДа будет построена на внутрирядных кондиционерах семейства CRV. Это полноценные прецизионные системы с регулируемой холодопроизводительностью и скоростью подачи воздуха, имеющие встроенные увлажнители и нагреватели. Особый фирменный контроллер позволяет использовать с каждым кондиционером до десяти датчиков температуры, устанавливаемых в стойки с ИТ-оборудованием. Он же обеспечивает для охлаждающих блоков «горячее» и «холодное» резервирование (когда неработающие блоки отключаются), что в случае недогрузки системы является важным преимуществом по сравнению с решениями, обладающими только «горячим» резервированием.

Еще один фирменный элемент внутрирядных кондиционеров Emerson серии CRV – система направляющих для холодного воздуха, позволяющая размещать кондиционеры не только строго друг напротив друга, но и с краю ряда стоек. При использовании решений на фреоне запатентованная производителем технология Digitall Scroll гарантирует отсутствие скачков температуры, которые характерны для распространенных сегодня систем охлаждения, выполняющих каждый час продувку масла на полной мощности компрессоров с переменной скоростью вращения.

Однако для нашего ЦОДа наиболее оправданным будет применение водного раствора этиленгликоля и чиллеров с функцией фрикулинга. Срок окупаемости систем такого типа при нынешних ценах на электроэнергию составляет порядка двух лет. Предлагается использовать максимально простое одноконтурное решение, где внутренние блоки охлаждаются 35%-ным раствором этиленгликоля (главное назначение этого раствора – не допустить разрыва труб в случае неизбежного при аварии замерзания).

Основу системы охлаждения составляют моноблочные чиллеры. На первом этапе устанавливается три такие машины, далее добавляется еще одна. При этом создаются четыре независимых контура охлаждения, что позволяет получить полноценное решение с надежностью до уровня Tier III без избытка кранов и автоматики. Учитывая, что на полезную ИТ-нагрузку остается не более 300 кВт на первом этапе и порядка 600 кВт на втором, предлагается задействовать чиллеры Emerson FG0023-EC 800, которые потребляют не более 80 кВт каждый. Насосные группы, как и бак-накопитель на 1000 л, устанавливаются непосредственно в самих чиллерах. В результате каждая система занимает не более 7,5 м2 площади (1300 × 5750 мм). Уровень шума такой модели составляет 65 дБ на расстоянии 1 м, что вполне приемлемо.

Схема на основе сухих градирен

Специалисты компании HTS разработали свое решение на основе оборудования немецкого производителя Stulz. Наиболее приемлемый с их точки зрения вариант – кондиционеры серии CyberRow GE. Это внутрирядные системы, подающие охлажденный воздух вдоль ряда стоек в обе стороны (рис. 1).

Данная серия кондиционеров оснащена функцией фрикулинга, и для ее работы необходимы сухие градирни, устанавливаемые снаружи помещения. Отметим, что градирня – намного менее шумное оборудование, чем чиллер, поэтому ее установка вблизи жилых и хозяйственных зданий не вызовет нареканий. В заданных тендером условиях можно использовать кондиционеры холодопроизводительностью до 35 кВт (шириной 600 мм) в комплексе с блоками, способными отвести до 25 кВт тепла (шириной 400 мм) для менее нагруженных участков. Если нужно обеспечить резервирование, необходимо будет задействовать три градирни, рассчитанные на отвод 700 кВт, или такое же количество систем меньшей мощности (500 кВт), если резервирования не требуется.

Двухконтурная система

Оптимальная система охлаждения для нашего ЦОДа в версии компании Rittal будет основываться на внутрирядных водяных кондиционерах серии LCP Inline. Их полезная холодопроизводительность составляет 30 кВт. Поскольку на первом этапе проекта необходимо отводить 300 кВт тепловой нагрузки, серверные шкафы стоит расположить в ряды по 18 штук в каждом. Тогда требуемая мощность охлаждения для ряда из 18 стоек с тепловыделением 5 кВт составит 90 кВт, соответственно, на охлаждение одного ряда потребуется четыре кондиционера (с учетом резервирования по схеме N + 1). Итого: восемь кондиционеров для двух рядов по 18 стоек и два для оставшихся восьми шкафов – всего десять блоков. В зонах высоконагруженных стоек для повышения эффективности охлаждения необходимо изолировать холодные коридоры.

Особенность LCP Inline – теплообменник, который для достижения максимальных показателей холодопроизводительности позволяет использовать воду, охлажденную до 10/15°С (вместо 7/12°С в системах других производителей). Благодаря этому снижается нагрузка на холодильную машину. Регулирование производительности происходит путем изменения расхода жидкости через двухходовой регулировочный клапан, а также изменения скорости вращения электронно-коммутируемых вентиляторов. Кондиционеры могут быть подключены к локальной сети для удаленного мониторинга и управления по протоколу SNMP либо через веб-интерфейс.

Систему оборотного холодоснабжения, по мнению специалистов Rittal, лучше всего сделать двухконтурной – во внутреннем контуре циркулирует вода. Она забирает тепло ЦОДа и отдает его во внешний контур через пластинчатый теплообменник. В свою очередь, во внешнем контуре, хладагентом для которого будет водный раствор пропиленгликоля, целесообразно установить насосы с частотным регулированием для оптимизации общего расхода воды в контуре. Не лишним будет использование бака-накопителя (для ЦОДа уровня Tier III это обязательное условие).

В качестве холодильной машины предлагается применить модель Rittal 3232850, специально разработанную для охлаждения ИТ-оборудования. Ее полезная мощность охлаждения составляет 326 кВт. Встроенный микроконтроллер обеспечивает точное поддержание заданной температуры, а функция фрикулинга – оптимальное использование ресурсов чиллера. Отметим, что для работы в режиме свободного охлаждения температура наружного воздуха должна быть хотя бы на 1°С ниже требуемой для охлаждения ИТ-оборудования.

В сочетании с «зимним» пакетом опций чиллеры Rittal могут задействовать фрикулинг при температуре наружного воздуха до –40°С. Они имеют два холодильных контура, так что при выходе из строя одного из них сохраняется половина холодопроизводительности системы. Имеется возможность ступенчатого регулирования производительности включением-отключением компрессоров.

В соответствии с условиями задачи потребуется установить три чиллера Rittal 3232850 или большее количество машин с меньшей холодопроизводительностью, например 196 кВт, чтобы повысить степень резервирования. Поскольку проект не предусматривает больших перепадов нагрузки, применение чиллеров, оснащенных турбокомпрессорами, несмотря на их высочайшую эффективность, будет неоправданным (ведь цена таких систем в два раза и более превышает стоимость традиционных холодильных машин). В данном случае должно быть вполне достаточно ступенчатого регулирования.

При проектировании системы холодоснабжения необходимо заложить возможность ее дальнейшего расширения. Для этого во внешнем контуре надо предусмотреть места врезки дополнительных холодильных машин и насосов (если таковые не встроены в чиллер). Во внутреннем контуре следует предусмотреть врезки под новые насосы и кондиционеры.

Для высоконагруженных стоек (12–15 кВт) рекомендуется применить средства изоляции. В этом случае используются герметичные шкафы IP55 и внутрирядные блоки охлаждения LCP Rack CW, способные отвести до 55 кВт тепла (рис. 2). Для соответствия требованиям Tier III можно выбрать кондиционеры LCP T3+, имеющие два гидравлических контура и столько же независимых вводов электропитания.

Внутрирядное охлаждение с «интеллектуальным» фрикулингом

Учитывая особенности проекта и мощность проектируемых стоек на первом и втором этапах, компания APC by Schneider Electric предложила сгруппировать стойки в зоны с одинаковой плотностью мощности в каждой (рис. 3) и использовать водяные внутрирядные кондиционеры в сочетании с системой изоляции «горячего» коридора.

Стойки, рассчитанные на 15 кВт, сгруппированы в четыре ряда, которые попарно изолированы с помощью запатентованной системы HACS (Hot Aisle Containment System). Для охлаждения каждой герметичной зоны используется восемь (с учетом резервирования) внутрирядных кондиционеров InRow RP шириной 600 мм и полезной холодопроизводительностью 51,4 кВт каждый (рис. 4). Температура воды, поступающей на кондиционеры, – 10°С. Для поддержания оптимальной относительной влажности половина кондиционеров оснащена пароувлажнителями (мощностью до 3 кг воды в час каждый).

Также необходимо смонтировать трассы для удаления конденсата, поскольку в данных условиях его появление неизбежно. Поскольку кондиционеры работают на воде, мощность каждого может регулироваться в диапазоне от 0 до 100%. Соответственно, не будет сложностей с увеличением холодопроизводительности по мере роста тепловой нагрузки в дата-центре.

Для охлаждения менее нагруженных стоек также предлагается прибегнуть к HACS, но в качестве кондиционеров взять модель InRow RC холодопроизводительностью до 21 кВт и шириной 300 мм. Система изоляции «горячего» коридора позволяет применять для резервирования (N + 1) не два кондиционера (по одному для каждого ряда), а только один запасной блок. Для сокращения водяных трасс возле контейнеров с кондиционерами InRow RC устанавливаются блоки распределения охлажденной воды – CDU (Cooling Distribution Unit), которые позволяют подключить до 12 кондиционеров каждый. Если потребуется осуществлять мониторинг параметров ЦОДа, то для этой цели можно задействовать систему NetBotz с датчиками температуры (по три на каждый шкаф) и влажности (одн-два на ряд).

Система охлаждения ЦОДа будет двухконтурной – кондиционеры охлаждаются водой, а в чиллерах циркулирует 40%-ный раствор этиленгликоля. Естественно, здесь имеется промежуточный теплообменник гликоль – вода. Для охлаждения предлагается установить четыре чиллера серии BREF компании Uniflair (входит в состав Schneider Electric) холодопроизводительностью 380 кВт каждый. Отличительная особенность холодильных машин серии BREF – возможность использования теплообменников резервных чиллеров для увеличения мощности фрикулинга (так называемый интеллектуальный фрикулинг) (рис. 5).

На первом этапе предполагается установить два чиллера (резервирование по схеме 2N), далее при добавлении стоек и увеличении тепловой нагрузки устанавливаются дополнительные холодильные машины (итоговая схема резервирования – N + 1).

В следующем номере «ИКС» мы рассмотрим мультивендорные проекты, предложенные российскими компаниями-интеграторами.