Rambler's Top100
Статьи ИКС № 07-08 2011
Петр РОНЖИН  26 июля 2011

Не только кондиционер. Основные компоненты систем охлаждения ЦОДов

Система охлаждения – это отнюдь не только холодильное оборудование; в ее состав входят и другие компоненты, особенности которых необходимо учитывать при проектировании ЦОДа.

Петр РОНЖИН, директор, ООО «ВЕНТСПЕЦСТРОЙ»Когда заходит разговор о системах охлаждения в ЦОДе, многие мои собеседники сразу же начинают говорить о чиллерах и кондиционерах той или иной фирмы. Хотя бы уже никому не надо объяснять, что такое «чиллер», и это радует. Еще больше радости приносит то, что сегодня большинство заказчиков понимают разницу между кондиционерами типа «сплит-система» и прецизионными кондиционерами. Безусловно, в сознании людей, которые строят, эксплуатируют, обслуживают дата-центры и пользуются их услугами, за последние два-три года произошел качественный скачок. И если раньше словосочетание «система охлаждения» воспринималось буквально как «прецизионные кондиционеры», то теперь специалисты, умудренные порой негативным опытом, рассматривают это понятие гораздо шире.

Да, кондиционеры, холодильные машины или другие источники холода по-прежнему остаются основными элементами систем охлаждения. Но как организм человека не сводится только к сердцу и легким (хотя это важнейшие его составляющие), так и холодильное оборудование, каким бы оно не было хорошим и эффективным, – это еще не система охлаждения. Более того, забыв или не уделив должного внимания другим элементам системы, мы сильно рискуем получить «колосса на глиняных ногах», который может рухнуть в любую секунду. И даже если последствия недоработанности решения в целом не будут катастрофическими, система окажется крайне неэффективной. А поскольку по потреблению электроэнергии системы охлаждения дата-центров стоят на втором месте после непосредственно полезной ИТ-нагрузки, непроработанная система охлаждения сильно снизит эффективность всего ЦОДа.

Разберемся, из чего состоит система охлаждения ЦОДа, и попробуем сформулировать, на что следует обратить внимание. Прежде всего отметим, что сейчас в ЦОДах используют разные варианты систем охлаждения. На страницах «ИКС» мы рассматривали их классификацию, достоинства и недостатки той или иной схемы . Настало время более подробно остановиться на компонентах технических решений.

Прецизионные кондиционеры DX

В состав классического варианта системы охлаждения – решения на базе прецизионных кондиционеров с непосредственным расширением (DX) – входит следующее:

1) прецизионные кондиционеры (внутренние блоки) с подачей холодного воздуха вниз и забором теплого воздуха сверху;

2) конденсаторы с воздушным охлаждением (наружных блоков);

3) низкотемпературные комплекты;

4) трубопроводы для жидкого и газообразного фреона;

5) пароувлажнители;

6) трубопроводы подвода воды для пароувлажнителей;

7) трубопроводы отвода конденсата (дренажной системы);

8) гидроизоляция и защита от протечек;

9) фальшпольное пространство;

10) перфорированные панели фальшпола для подачи воздуха в «холодные» коридоры;

11) «холодные» коридоры;

12) «горячие» коридоры;

13) пространство над стойками или воздуховодами для удаления горячего воздуха;

14) система подпора (приточно-вытяжная вентиляция);

15) система электропитания кондиционеров;

16) система управления, мониторинга и диспетчеризации.

Как видно из перечисленного списка, состав самой простой системы охлаждения уже тянет на полтора десятка позиций. Отметим, что пункты списка 5–16 входят
и в состав систем охлаждения других типов, поэтому в дальнейшем, характеризуя отдельные системы, мы будем говорить только об «индивидуальных» их компонентах.

Итак, на что же следует обратить внимание при проектировании и строительстве системы охлаждения ЦОДа?

Прецизионные кондиционеры должны не только обладать необходимой холодопроизводительностью в киловаттах, но и обеспечивать соответствующий стойкам расход воздуха и его напор, чтобы преодолеть аэродинамическое сопротивление фальшпольного пространства, перфорированных панелей, стоечного оборудования и воздуховодов. Исходя из этого, высота фальшпола должна быть строго рассчитана, чтобы обеспечить беспрепятственное прохождение воздуха с учетом проложенных кабельных систем, трубопроводов, лотков и т. п. К выбору перфорированных панелей фальшпола стоит подойти с особой тщательностью – они могут оказаться «бутылочным горлышком» системы охлаждения. В своей практике обследования проблемных ЦОДов мы не раз сталкивались с тем, что прекрасная работа кондиционерного оборудования была «помножена на ноль» из-за того, что перфорированные панели в «холодных» коридорах не способны были пропустить необходимое количество воздуха.

Конденсаторы воздушного охлаждения должны соответствовать по производительности внутренним блокам, а самое главное – они должны быть подобраны для работы при экстремальных (максимально высоких) температурах, которые возможны для района размещения дата-центра. Кроме того, существует еще ряд оговоренных производителями оборудования специфических требований, касающихся взаимного расположения внутренних и наружных блоков. Для российских климатических условий прецизионные кондиционеры должны в обязательном порядке оснащаться низкотемпературными комплектами, позволяющими работать при самых низких температурах, когда-либо наблюдавшихся в данной местности.

Отдельных слов заслуживают трубопроводы для газообразного фреона. Существует перечень очень жестких требований к проектированию и монтажу фреонопроводов. Они должны иметь определенное расчетом сечение, быть прочными и герметичными. В современных системах давление опрессовки может составлять 50 бар! Трубопроводы должны быть хорошо теплоизолированы, так как температура медной трубы на выходе компрессора достигает 60–70°С, и иметь небольшой уклон в сторону движения фреона для обеспечения циркуляции масла по контуру. Если наружные и внутренние блоки значительно разнесены по высоте, необходимо предусмотреть специальные маслоподъемные петли. Я не зря так подробно останавливаюсь на этом вопросе, потому что не раз сталкивался с непониманием в этом вопросе: до начала монтажа многие заказчики не вполне представляют себе, что такое фреоновый трубопровод, думая, что его так же легко проложить, как тонюсенький кабель.

«Холодные» и «горячие» коридоры должны быть изолированы друг от друга. Этому вопросу за последнее время было посвящено множество публикаций, доказывающих, что таким нехитрым и недорогим способом можно существенно повысить эффективность работы системы охлаждения.

Пространство над стойками (в ряде случаев применяются воздуховоды для удаления горячего воздуха) играет примерно ту же роль, что и фальшпольное пространство. Эта одна из составляющих контура циркуляции воздуха, о которой не стоит забывать.

Особое внимание надо уделить электропитанию кондиционеров. Для бесперебойной работы дата-центра с рассматриваемым техническим решением системы охлаждения требуется организовать питание наружных и внутренних блоков от ИБП. Причем ИБП должен обеспечивать пуски компрессоров, которые характеризуются высокими значениями пусковых токов.

Система подпора (приточно-вытяжной вентиляции) является отдельной инженерной системой дата-центра. Но не зная ее вклада в общее тепловыделение, нельзя рассчитать суммарную холодопроизводительность системы охлаждения. Кроме того, неправильное расположение дефлекторов приточной вентиляции может исказить показания датчиков температур, расположенных в серверном помещении, что приведет к неадекватной работе системы охлаждения.

Теперь, чтобы получить «полноценную» систему охлаждения, остается совсем немного: автоматизировать систему, организовать ее диспетчеризацию, грамотно подвести воду для пароувлажнителей, предусмотреть дренажные трубопроводы, а при необходимости и конденсатные насосы (они должны выдерживать высокие температуры, так как из увлажнителей периодически сливается горячая вода), систему сигнализации об утечках воды, гидроизоляцию пола и т.п. Только проработав в комплексе весь круг вопросов, можно с уверенностью сказать, что система охлаждения ЦОДа будет работоспособной в любой ситуации.

Мы рассмотрели самый простой случай организации системы охлаждения. Как будет изменяться система в других случаях?

Прецизионные кондиционеры DX с водяными конденсаторами и фрикулингом

В этом варианте состав системы охлаждения, помимо типовых компонентов (пункты 5–16 из предыдущего раздела), таков:

• прецизионные кондиционеры (внутренние блоки) с дополнительным теплообменником фрикулинга;

• сухие градирни (наружные блоки);

• трубопроводы холодоносителя;

• гидравлический модуль.

Прецизионные кондиционеры с дополнительным теплообменником фрикулинга в теплое время года охлаждают воздух за счет кипения фреона в основном теплообменнике, так называемом испарителе. В холодное время года используется фрикулинг – холодоноситель, охлажденный в сухих градирнях, поступает для охлаждения в дополнительный теплообменник. Фреоновый контур, а значит, и компрессор, зимой можно полностью выключать.

Сердце данной системы охлаждения – это гидравлический модуль, который должен обеспечить циркуляцию холодоносителя по «кровеносной системе», трубопроводам. Гидравлический модуль, в свою очередь, состоит из основных и резервных насосов, запорно-регулирующей арматуры, обратных клапанов, фильтров, расширительного бака для компенсации изменения объема холодоносителя при разных температурах. Модуль соединяется трубами с кондиционерами и сухими градирнями.

Наиболее распространенная ошибка заказчиков при подготовке технического задания на данную систему охлаждения – не предусматриваются площади для размещения гидравлического модуля. К сожалению, все перечисленное выше требует достаточно много места не только для размещения, но и для обслуживания.

Система электропитания в данном случае должна предусматривать питание от ИБП не только кондиционеров и градирен, но и оборудования гидравлического модуля.

Чиллеры и прецизионные кондиционеры на холодоносителе

В состав таких систем, работающих на холодоносителе, помимо типовых компонентов (пункты 5–16 первого списка), входят:

• прецизионные кондиционеры (внутренние блоки);

• чиллеры;

• трубопроводы холодоносителя;

• гидравлический модуль;

• бак-аккумулятор.

Гидравлический модуль, аналогичный тому, который описан выше, должен обеспечивать циркуляцию холодоносителя от чиллеров к прецизионным кондиционерам и обратно. Главное отличие данной гидравлической схемы состоит в том, что все кондиционеры и чиллеры связаны трубопроводами холодоносителя в единую сеть, посредством которой должны включаться в работу резервные кондиционеры и чиллеры. Однако в дата-центрах класса Tier III и IV для обеспечения необходимого уровня доступности предусматривается несколько независимых гидравлических контуров, объединяющих группы чиллеров и кондиционеров. Более того, резервируются и сами трубопроводы. При проектировании систем охлаждения подобных ЦОДов главную трудность составляет не охлаждение серверного оборудования в штатном режиме, а поддержание высокого уровня доступности сервиса вне зависимости от различного рода обстоятельств.

Бак-аккумулятор является простым, но очень эффективным средством бесперебойного холодоснабжения при авариях систем основного электропитания. Его емкость рассчитывается исходя из времени, необходимого для перехода на резервное питание, запуска и выхода чиллеров на рабочий режим. В принципе, чем больше его объем, тем лучше. Ограничения «сверху» здесь диктуются здравым смыслом, а также стоимостью и возможностями площадки и несущих конструкций.

Система электропитания должна обеспечивать переход на резервное питание чиллеров, кондиционеров, насосов и т. п., но насосы, запорно-регулирующая арматура, кондиционеры и системы управления должны иметь питание от ИБП.

Чиллеры и межстоечные кондиционеры на холодоносителе

По составу эти системы в основном аналогичны предыдущему типу, поэтому остановимся только на различиях.

Сильная сторона внутрирядной системы кондиционирования – отсутствие фальшполов, перфорированных панелей и т. д. Контур циркуляции воздуха гораздо проще: «горячий» коридор – кондиционеры – «холодный» коридор – серверные стойки. Для эффективной работы системы кондиционирования необходимо проработать вопросы изоляции (перекрытия) «холодных» или «горячих» коридоров и «заглушения» незанятых серверами мест в стойках.

В силу архитектуры внутрирядного кондиционирования серьезные проблемы часто создает подвод холодоносителя к кондиционерам и отвод конденсата, так как в большинстве случаев фальшпол отсутствует или его высота не позволяет подвести трубопроводы снизу. Поэтому трубные системы приходится проектировать и монтировать таким образом, чтобы исключить затопление серверов холодоносителем при разгерметизации гидравлического контура.

Стойки с интегрированными модулями охлаждения

Это самое простое решение с точки зрения организации воздушных потоков, так как и серверное оборудование, и охладитель находятся внутри шкафа.

В зависимости от того, что используется, холодоноситель или фреон, проектируется трубопроводная часть и уличные подсистемы (чиллеры или наружные блоки). Принципы их проработки остаются такими же, как и в описанных выше случаях.

Заказчикам, которые предполагают строить свой дата-центр на базе охлаждаемых шкафов, следует уделить особое внимание резервированию серверных мощностей, потому что обычно теплообменник модуля охлаждения не резервируется (есть только резервные вентиляторы) и при его разгерметизации шкаф остается без охлаждения. Выход из данной ситуации – оснащение серверного шкафа двумя модулями охлаждения, но при этом сильно ухудшаются массогабаритные показатели, сводя на нет все изящество и кажущуюся компактность данного решения.

KyotoCooling

Название в данном случае вводит в заблуждение. KyotoCooling – это не холодильное оборудование, а сумма технологий, в том числе охлаждения, которые минимизируют энергопотребление дата-центров, что приводит к уменьшению эмиссии парниковых газов в соответствии с Киотскими соглашениями.

Эффективность охлаждения с помощью KyotoCooling напрямую связана с архитектурой дата-центра. Если вы собираетесь использовать KyotoCooling, сразу откажитесь от мысли приспособить под дата-центр какие-то пустующие площади – в 95% случаев они вам не подойдут. Но решение очень хорошее, если дата-центр будет строиться с чистого листа. Тогда вы сможете нормально разместить охлаждающие модули с роторным рекуператором, обеспечить подвод воздуха к серверному залу и возврат горячего воздуха. Основное внимание и время при проектировании такой системы охлаждения будет уделяться проектированию воздушного контура. При кажущейся простоте (нет труб, высокого давления, холодоносителя) обеспечить нормальную циркуляцию воздуха без образования застойных зон и местного перегрева оборудования – задача непростая, посильная только высококвалифицированным специалистам.

  

Надеюсь, что эта статья вооружит читателей определенными познаниями, так что при выборе системы охлаждения для дата-центра они смогут ориентироваться не только на строчку с указанием стоимости кондиционеров и чиллеров.  

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!