DCDE-2021. Электропитание и охлаждение ЦОДов

«Последние пару лет мы видим запрос рынка на упрощение климатических систем. Заказчики хотят, чтобы системы были проще, компактнее и, что немаловажно, более понятными в эксплуатации», -- рассказывает Максим Орехов, технический эксперт Vertiv. Один из вариантов, предлагаемый этой компаний, -- связка внутренний фанкойл и небольшой уличный чиллер, по сути жидкостная сплит-система. 

В таком решении применяются небольшие чиллеры со спиральными компрессорами. Такой чиллер существенно дешевле (за кВт холода) больших систем, а небольшая мощность (120—150 кВт) делает более простой и дешевой обвязку (трубы, кабели, арматура, баки и т.д.). Небольшие вес и габариты упрощают доставку такого оборудования и его монтаж. Эксперт Vertiv также отмечает малый шаг наращивания мощности, что позволяет легко адаптироваться к неполной загрузке ЦОДа. Наконец, при использовании подобных решений проще обеспечить отсутствие единой точки отказа, что важно, например, для набирающих популярность ЦОДов Tier IV. 

 

 

Как сообщил представитель Vertiv, заказчики по достоинству оценили такие компактные и высокоэффективные системы охлаждения. В России уже более сотни таких систем находятся в эксплуатации – а это порядка 15 МВт. Решения на сотни мегаватт находятся в стадии проектирования.

По данным Vertiv, более половины заказчиков рассматривают решения, которым не нужен фальшпол. Это могут быть, например, интегрированные в здания или устанавливаемые в сервисные коридоры решения типа «холодная стена».  В качестве альтернативы «стенам» Vertiv предлагает Mega CRAH -- периметральный блок на охлажденной воде. Забор воздуха такой системой происходит сверху, а раздача может быть как вперед, так и назад. Соответственно обслуживать ее можно из машзала или из сервисного коридора. Как отмечает М. Орехов, такая машина сочетает преимущества классических кондиционеров и холодных стен, и по своим характеристикам находится где-то посередине между ними.

Несмотря на доминирование в ЦОДах прецизионных кондиционеров, все больше заказчиков интересуются относительно новым (для ЦОДов) классом оборудования: воздухоохлаждающими приборами (ВОП), которые чаще всего выполняются в виде уже упомянутых «холодных стен».

«До недавнего времени порядка 95% проектов в ЦОДах делались на прецизионных кондиционерах. И все было бы замечательно, если бы не высоконагруженные стойки, -- рассказывает Александра Эрлих, сеньор-консультант ГК Cabero и генеральный директор компании ProfITcool. – В таких проектах на две-три высоконагруженные стойки приходится один межрядный прецизионный кондиционер. В результате такие кондиционеры занимают много места в машзале, это очень дорого и неэффективно. ЦОДам же хочется побольше стоек, поменьше расходов, попроще процедуры эксплуатации. Поэтому они и обратили внимания на ВОПы».

 

ВОПы сохраняют место в машзале для ИТ-стоек, не требуют ни фальшпола, ни фальшпотолка, все зоны обслуживания таких приборов – со стороны технических коридоров (по крайней мере, так сделано в решениях Cabero). ВОП позволяет реализовать принцип низкоскоростного воздухораспределения (LSV) в сочетании с высокой площадью теплообмена. Благодаря большой площади обеспечивается низкое сопротивление воздушному потоку на теплообменнике, что позволяет использовать недорогие вентиляторы с очень низким энергопотреблением. В результате достигается экономия как на стоимости вентиляторов, так и на расходах на электричество. Низкое сопротивления жидкости (максимум 1 бар против 2-2,5 бар при использовании прецизионных кондиционеров) означает малые затраты на потребление насосов, а высокий температурный график -- увеличение времени работы во фрикулинге. Наконец, низкая скорость движения воздуха обеспечивает его равномерное распределение по машзалу, нет зон турбулентности, формируется единый холодный бассейн, из которого каждая стойка забирает столько холода, сколько ей нужно.

В целом, преимущества ВОПов, по мнению А. Эрлих, настолько очевидны, что приведут к постепенному отказу ЦОДов от традиционных прецизионных кондиционеров в пользу этого класса систем охлаждения. 

Но традиционные фреоновые системы «не сдаются». Возможность снижения первоначальных затрат делает их привлекательными для многих заказчиков. Как отмечает Александр Ежов, менеджер по продукции «Системы контроля климата» компании Rittal, фреоновые решения обычно используют, когда опасаются протечек систем на основе охлажденной воды, а также когда нужно снизить стоимость решения, в первую очередь, для небольших ЦОДов.

Компания Rittal, занимающаяся производством промышленных кондиционеров с 1988 года, сегодня имеет в своем арсенале весь спектр систем охлаждения (как своей разработки, так и полученных благодаря сотрудничеству с Stulz). Но на DCDE-2021 она акцентировала внимание специалистов именно на своих внутрирядных фреоновых кондиционерах. Модель LCP DX шириной 300 мм может обеспечить холодильную мощность до 25 кВт, что позволяет «снять» до 23 кВт тепла со стойки – очень высокий показатель. Для ряда российских регионов может оказаться важным наличие специального исполнения этого кондиционера (разработано совместно с Stuz) для эксплуатации при температурах наружного воздуха до -60°С. Кроме того, производитель может поставлять такие кондиционеры под разную высоту серверных стоек, в том числе 47U и 52U.

Энергоемкие компоненты систем охлаждения обычно не подключают к ИБП, только к системе гарантированного электроснабжения (ДГУ). А после сбоя питания необходимо как можно скорее обеспечить охлаждение.  Представленный на конференции продакт-менеджером Mitsubishi Electric Сергеем Новиковым новый высокотемпературные чиллер NR-FC-Z обеспечивает запуск охлаждения в пределах 20 с и обеспечивает выход на 100% холодопроизводительности в пределах 72 с после восстановления подачи электроэнергии.

Для повышения надежности системы оборудованное автоматическим переключателем (ATS) устройство может быть подключено к двум отдельным линиям электропередачи. В случае отключения электроэнергии в основной линии ATS автоматически переключается на резервную линию, обеспечивая бесперебойное питание устройства. Благодаря двойному источнику питания NR-FC-Z подходит для проектных топологий Uptime Institute Tier IV и может быть использовано для критически важных систем.

Отрадно отметить, что существуют и российские компании, которые вкладываются во все этапы создания системы охлаждения – от разработки железа до программного обеспечения. На рынке уже представлены работающие на воде системы компании BOREY для охлаждения средних и больших ЦОДов: ВРК-30 и ВРК-60, использующие в том числе и контроллер собственного производства. Компания BOREY на этом не остановилась и пошла дальше.

 «Сегодня (27 мая на DCDE-2021. – Прим. Ред.) мы презентуем наш мини-ЦОД», - объявил акционер компании BOREY Ратмир Трошин. Мини-ЦОД оборудован системой прецизионного кондиционирования с фрикулингом, что позволяет отводить от 3 (модель BMD-3) до 10 кВт (BMD-10) тепла, выделяемого ИТ-оборудованием. Особенность – охлаждение реализовано на воде. Причем это герметичный шкаф, в котором отсутствуют дополнительные вентиляторы - работают только вентиляторы серверов, которые гонят воздух по замкнутому контуру, передавая тепло теплообменнику. «Аналогов в России и в мире нет. Мы подали патент на безвентиляторный принцип охлаждения в Европе и ждем его одобрения», - пояснил Ратмир Трошин.

Увеличение масштабов ЦОД приводит к увеличению номиналов систем бесперебойного питания. Так, по данным Vertiv, если раньше средняя мощность системы составляла 200-400 кВт, то за последние два года более 60% инсталляций – это системы номиналом 500 кВА и больше. Также среди тенденций в области систем бесперебойного питания Максим Орехов отмечает повышения плотности мощности систем (и как следствие сокращение занимаемой площади) и возможность работы при более высоких температурах (до 40 °С и выше) без снижения эксплуатационных характеристик.

Ряд компании представили на DCDE-2021 новинки, ориентированные именно на объекты большой мощности. Так, компания АBB впервые в России показала новые ИБП большой мощности MegaFlex DPA. «На глобальный рынок новинку вывели в конце прошлого года.  Была одна инсталляция в прошлом году, в этом за четыре месяца в Европе этими системами оборудовано 12 площадок с общей установленной мощностью около 20 МВт», - рассказал менеджер по развитию бизнеса ABB Евгений Вецпер. Это интеллектуальное модульное масштабируемое решение с пеналом на 1500 кВт. Единичный модуль имеет мощность 250 кВт. 

   

По утверждению эксперта решение обеспечивает лучшую на рынке эффективность в режиме двойного преобразования с КПД 97,4%. На 30% снижено выделение тепла. По сравнению с предыдущими решениями компании удалось добиться снижения занимаемой площади на 45%. До 15 лет при соблюдении условий эксплуатации увеличен проектный срок службы. В течении этого времени через семь лет производится всего одна замена вентиляторов и силовых конденсаторов. Причем замена вентиляторов максимально упрощена – для этого достаточно отвинтить два винта, вытащить кассету с вентиляторами и поставить новую. Легко можно заменить и конденсаторы.

На крупные ЦОДы ориентированы и динамические ИБП, представленные на DCDE-2021 купленной Rolls-Royce компанией MTU. Такие ИБП в отличие от решений с применением аккумуляторных батарей не нуждаются в мощных системах кондиционирования. «Требования по охлаждению минимальные, решения могут работать и при температурах 50-60 град. С. Для кондиционирования достаточно простой вентиляции», - пояснил Игорь Гегеня, менеджер по продажам дизельного и газового оборудования из МТУ РУС.

По словам эксперта, решения MTU характеризуются низкой стоимостью эксплуатации и сроком службы до 20 лет. Уменьшить занимаемую источниками бесперебойного питания площадь можно полностью вынеся их из дата-центра. Например, расположив в контейнерах, как это и предлагает делать компания MTU.

Очевидна и тенденция к все более активному применению в ЦОДах литий-ионных АКБ. По словам М. Орехова, за последние три года стоимость таких решений снизилась примерно на 10%, а главное -- заказчики больше не боятся ЛИ АКБ. «За три года активной эксплуатации литий-ионных батарей не было ни одно инцидента», -- говорит он. Все больше производителей предлагают системы с использованием таких батарей. Так, на DCDE-2021 такие решения – ИБП SmartLi – представила компания Huawei.

Для обеспечения надежной работы систем бесперебойного электропитания важно отслеживать состояние АКБ. Литий-ионные системы имеют встроенные средства мониторинга, а для доминирующих пока на рынке свинцово-кислотных аккумуляторов такие средства обычно устанавливают дополнительно.

Об опыте использования системы мониторинга и балансировки батарей в ЦОДе O2xygen рассказал ведущий менеджер отдела проектов компании "Смарт Бэттериз" (бренд ENERGON) Евгений Швецов.  В ЦОДе уровня Tier III на 400 стоек с установленной электрической мощностью 12 МВА и фактическим потреблением 1,5 МВт используется 10 ИБП Eaton мощностью от 500 до 600 кВА и 800 батарей.

«Главная проблема в ЦОДе – ограниченность в пространстве. Мы использовали шкафы с повышенным каркасом жесткости высотой 2,5 м. На одном стеллаже располагается 120 батарей – три группы батарей по 40 штук. Но решая одну задачу – получили другую проблему. Из-за большой плотности батарейного массива дальние батареи физически стали недоступны для снятия параметров. Поэтому решили поставить на все аккумуляторные батареи системы мониторинга», - пояснил Евгений Швецов.

В ЦОДе установили 12 систем мониторинга батарей. Для исключения разбаланса аккумуляторных батарей установили 480 балансиров S1. В итоге удалось сократить затраты на обслуживание 4 аккумуляторных стеллажей АКБ на 560 тыс. р в год, повысить эффективность использования площади ЦОДа, минимизировать негативное влияние человеческого фактора и обеспечить прогнозирование сроков замены батарей.

Снижение качества входного электричества – одна из причин растущей заинтересованности ЦОДов в современных системах мониторинга параметров электропитания. Среди других причин – необходимость повышения эффективности использования электроэнергии при повышении надежности и управляемости ее доставки до ИТ-оборудования.

Сергей Дик, директор по развитию бизнеса компании Janitza, рекомендует использовать технические решения, обеспечивающие постоянное измерение необходимых параметров. «Временные измерения вызывают только затраты, и не приносят никаких преимуществ - прозрачность может быть достигнута только при непрерывном измерении», -- отмечает он.

По словам представителя Janitza, ее технические решения отличаются от продукции конкурентов тем, что способны в одной системной среде выполнять сразу три блока функций: энергоменеджмент, мониторинг качества электроэнергии и контроль дифференциальных токов. Данные энергоменеджмента позволяют оптимизировать системы электропитания и снижать расходы на электроэнергию. Основная задача, которую решает мониторинг качества электроэнергии, – обеспечение высокого коэффициента доступности и сокращение времени простоев. Наконец, контроль дифференциальных токов предоставляет возможность раннего распознавания неполадок, предотвращения перегрузок и повышает пожарную безопасность.

«Чаще всего пожары на объектах случаются по причине нарушения правил устройства и эксплуатации электрооборудования. Измерение дифференциальных токов с высокой точностью позволяет заранее выявить место потенциальной проблемы, которая может привести к пожару», -- отмечает С. Дик.

Помимо собственно измерительных приборов, компания предлагает развитое ПО с удобной системой визуализации основных показателей. «Наличие такого ПО становится все более важным для безопасной эксплуатации и оценки сложных систем электропитания. А хорошая визуализация особенно полезна при увеличении числа установленных приборов», -- считает представитель Janitza.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!