Rambler's Top100
Статьи ИКС № 10 2013
Александра КРЫЛОВА  14 октября 2013

Ключи к энергоэффективности

Рационализация инженерной инфраструктуры – самый очевидный способ снизить затраты на электроэнергию в ЦОДе, поскольку на нее приходится более 50% энергопотребления объекта. Какие методы здесь следует применить, а какие пересмотреть, обсуждали участники 8-й международной конференции «ЦОД-2013», организованной журналом «ИКС».

Моделируя воздушные потоки

Как утверждают эксперты, нерациональное использование электроэнергии в ЦОДах – чаще всего следствие ошибок в проектировании систем охлаждения. Чтобы их избежать, нужно начинать заботиться об эффективных с точки зрения потребляемой электрической мощности системе охлаждения в ЦОДе в целом и каждом ее компоненте в частности еще на этапе проектирования инженерных систем, считает Стефан Ланг, директор подразделения ИТ и телекоммуникаций, М+W Group. Организациям, ведущим такие работы, и заказчикам объектов стоит для этого сделать дополнительный шаг – с помощью специального программного обеспечения провести компьютерное моделирование объекта. Используя очень точные инструменты, можно рассчитать PUE в будущем ЦОДе, найти оптимальное проектное решение, позволяющее прийти к значению этого показателя, которое отвечало бы стратегии заказчика, спрогнозировать варианты его изменения в процессе развития и расширения дата-центра.

Для того чтобы на стадии проектирования проверить правильность размещения элементов системы охлаждения с учетом таких параметров, как объем помещения, размещение шкафов, высоконагруженных стоек и кондиционеров, направление движения воздуха, и многих других, можно использовать СFD-моделирование – компьютерное моделирование процессов теплопередачи в газах, жидкостях, плазме. Впрочем, к нему прибегают и для того, чтобы пересмотреть размещение оборудования – с учетом его тепловыделения – в уже действующем ЦОДе и путем его оптимизации повысить производительность объекта. А поскольку стоимость одной лицензии на программное обеспечение, предназначенное для этой цели, очень высока, проектировщикам имеет смысл обращаться в компании, которые специализируются в области построения CFD-моделей и, соответственно, уже имеют на вооружении такие пакеты программ.

M+W Group, например, работает с пакетом программ 6SigmaDC, позволяющим моделировать распределение воздушных потоков, температуры и влажности внутри ЦОДа, а также с программным обеспечением Phoenix, которое дает возможность точно оценить влияние внешних факторов – близлежащих зданий, других источников тепла, дизель-генераторов.

     

Приближая холод к стойкам

Из двух технологий – воздушного охлаждения и жидкостного охлаждения – Игорь Михальчук, руководитель направления телекоммуникаций, Schroff в России, предлагает сделать ставку на вторую: вода с ее более высокими по сравнению с воздухом плотностью и теплоемкостью может переносить гораздо больше энергии. Начать оптимизацию можно с перехода на гибридное охлаждение. такое пассивное решение, как радиаторы охлаждения задней двери, при прохождении отработанного воздуха понижает его температуру перед выходом в машинный зал. Мощность теплоотвода радиатора, установленного на задней стенке шкафа шириной 60 мм, при температуре 22°C может составлять до 15 кВт тепла для воды с температурой 12°C. Впрочем, есть у решения и недостатки: оно создает дополнительное сопротивление воздуха на вентиляторах серверов и требует системы управления ресурсами ЦОДа.

Следующий шаг – применение теплообменников, встроенных в шкафы. Охлаждающее устройство InRowSHX 30 быстро реагирует на изменение температуры, потребляя 712 Вт электроэнергии, при этом в дата-центре не требуется ни прецизионное кондиционирование, ни фальшпол с развернутой под ним системой воздуховодов. Один теплообменник может «обслуживать» два-три рядом стоящих шкафа. Правда, чтобы воспользоваться таким решением, потребуется качественная прокладка жидкостных магистралей. Начальные инвестиции в системы водоохлаждения, основанные на замкнутом цикле, на 10–15% выше, чем в традиционные, зато они обеспечивают существенную экономию расходов на электроэнергию: до 10 тыс. евро в ЦОДе мощностью 300 кВт.

Внимание – компрессорам и вентиляторам

От прецизионных кондиционеров тоже можно и нужно добиваться эффективности, в том числе и за счет оптимизации количества вентиляторов и снижения их энергопотребления. Важным аспектом экономии на эксплуатации системы охлаждения в ЦОДе является надежность и отказоустойчивость самих кондиционеров, считает Андрей Миляев, генеральный директор NordVent. В прецизионных кондиционерах CoolSure эти качества обеспечиваются за счет использования «связки» инвертора и компрессора с бесколлекторным мотором (производства Mitsubishi или Danfoss). Потенциал энергосбережения инверторных спиральных компрессоров очень высок: так, использование кондиционера CoolSure DNA 130 при неполной загрузке обеспечивает годовую экономию в размере 4,991 кВт.ч по сравнению с устройствами с традиционным типом управления. А благодаря наличию в конструкции кондиционеров линейки CoolSure электронного расширительного клапана понижение температуры конденсации при низкой внешней температуре также обеспечивает б'ольшую экономию электроэнергии, чем термостатический расширительный клапан.

Отдельно нужно сказать о вентиляторах кондиционеров этой линейки. Выполненные из композитного материала и приводимые в движение электронно-коммутируемым двигателем EC-вентиляторы отличаются повышенным КПД и более низким энергопотреблением.

Электронно-коммутируемые вентиляторы с регулируемой скоростью и максимально возможным диаметром – 910 мм – используются и в конструкции нового водоохладителя (чиллера) CyberCool 2. По словам Юргена Ремера, руководителя отдела управления продуктами STULZ, их применение обеспечивает резерв мощности и эффективное использование электроэнергии при неполной загрузке. Этот эффект усиливается за счет установки на EC-вентиляторы диффузоров, которые одновременно способствуют снижению уровня шума холодильной машины. Водоохладитель, который производитель позиционирует как высокоэффективный чиллер нового поколения, отличается большой площадью теплообменников (змеевиков). Микроканальный змеевик изготовлен из алюминия. Оптимизированный для использования в ЦОДах CyberCool 2 поддерживает все режимы охлаждения: естественный, смешанный (при котором возможен плавный переход на компрессорное охлаждение для эффективного энергопотребления) и компрессорный. При этом обеспечивается пониженная температура конденсации в режиме компрессорного охлаждения и улучшенная теплопередача. Управляется чиллер разработанным STULZ микропроцессором, который совместим, впрочем, со многими представленными на рынке системами управления и контроля и поддерживает все распространенные протоколы.

Утилизируя «лишнее» тепло

Даже самая эффективная с точки зрения электропотребления холодильная машина выделяет какое-то количество тепла, которое возможно утилизировать, если есть на то желание заказчика проекта. О решении с использованием теплового насоса, найденном в компании «АМДтехнологии», рассказал Виктор Гаврилов, ее технический директор.

В здании, в котором специалисты компании проектировали ЦОД мощностью 3 МВт, размещались также офисные помещения, для отопления которых требовалось 352 Вт тепловой энергии (подключения к городской теплосети у владельца не было). Так родилась идея – утилизировать для этой цели тепло, выделяемое системой охлаждения ЦОДа, с помощью теплового насоса, представляющего собой парокомпрессионную холодильную установку. Примерно три четверти необходимой для отопления энергии такая установка забирает из окружающей среды, для получения еще четверти ей требуется электрический ток. При этом тепловые насосы отличаются экономичностью: в зависимости от режима работы и условий эксплуатации 1 кВт потребленной ими электроэнергии дает 3–5 кВт тепла.

С обнаружившейся проблемой – максимальная температура нагрева носителя не превышает 55°C (при том что в трубах центрального отопления поддерживается 70–90°C) – специалисты «АМДтехнологии» справились за счет увеличения площади радиаторов. «Упрощенно можно сказать, что мощность одного элемента при температуре 45–50°C составляет примерно 40% по сравнению с его же мощностью при 70–90°C», – пояснил В. Гаврилов. В итоге, несмотря на то что суммарные затраты для решения с помощью теплового насоса примерно в 1,5 раза выше расходов, которые он бы понес при подключении к городской теплосети, заказчик остался им доволен.

ИБП – высокий КПД и модульная архитектура

Известно, что на тепловыделение (т. е. потери электроэнергии) в традиционных источниках двойного преобразования может приходиться от 8 до 12%. Вот почему, выбирая ИБП для ЦОДа, считает Василий Лапшин, руководитель направления продаж GE Digital Energy, «Абитех», следует обратить внимание на то, используются ли в них современные технологии повышения КПД. На это цодостроителей нацеливает принятый не так давно Европейский кодекс поведения для разработчиков ЦОДов, в котором определены требования к эффективности использования и параметрам качества ИБП переменного тока. Им полностью отвечает технология eBoost, которая реализована в ИБП GE: она обеспечивает быстрое переключение нагрузки с питания по байпасной линии на инвертор (например, серии SG мощностью от 160 до 675 кВА). Система непрерывно контролирует качество электропитания на входе ИБП и на выходе, а при возникновении проблем быстро отдает команду для перехода на инвертор. Но как только напряжение приходит в норму, ИБП возвращается в режим питания через байпас, в котором его КПД достигает 99%. Работать в режиме eBoost могут и параллельные системы (до шести ИБП). Технология позволяет снизить потери от тепловыделения этого оборудования с 12 до 3% и на 7–10% улучшить показатель PUE.

Высокий коэффициент полезного действия – одно из главных преимуществ динамических, или дизель-роторных ИБП. К тому же они полностью отвечают особым требованиям, которые предъявляют к надежности и отказоустойчивости инженерной инфраструктуры своих ЦОДов банки, убежден Егор Александров, менеджер по развитию бизнеса, «ЭкоПрог». Вместе с этим оборудованием, объединяющим в себе резервный генератор и источник накопления энергии, владельцы дата-центров получают низкую стоимость владения TCO, экономию на аккумуляторных батареях, на размещении в помещении с ИБП системы кондиционирования и на силовой электронике. При этом ДР ИБП обеспечивает фильтрацию всех помех сети и нагрузки (коэффициент мощности 0,98) и напряжение, качество и частота которого соответствуют требованиям IEC и СВЕМА.

В ИБП этого типа действует принцип «чем меньше элементов в архитектуре, тем ниже потери электроэнергии». Выигрыш в 3–5% для крупных ЦОДов (а по отказоустойчивости динамические ИБП соответствуют уровню надежности Tier III или IV) получается солидный.

Более простая архитектура и меньшее количество компонентов – преимущества систем электропитания постоянного тока номиналом 400 В по сравнению с классическими ИБП. Марек Шпек, менеджер по развитию бизнеса в регионе EMEA, Emerson Network Power, считает, что сегодня они представляют собой интересную альтернативу ИБП переменного тока. Сильными сторонами систем постоянного тока 400 В являются высокая степень готовности, отказоустойчивость, эффективность и более низкий уровень затрат. А наметившийся прогресс в стандартизации этой технологии и рост количества моделей ИТ-оборудования с питанием от постоянного тока делают их применение в области цодостроения, телекоммуникаций и «коммерческих зданий» все более привлекательным. Как показывает эксперимент, который ведет компания NTT, установившая в своем ЦОДе 16 тыс. систем постоянного тока 400 В, их использование обеспечивает рост общей эффективности объекта на 8–12%. Сэкономить удается в том числе и за счет меньшего количества кабеля и изоляции.

За последние два года системы постоянного тока номиналом 400 В развивались и внедрялись довольно быстро. На сегодняшний день на рынке сложился пул поставщиков не только самих систем электропитания (помимо Emerson Network Power, предлагающей NetSure 4015 30kW 400V Integrated System, это ABB, Netpower, Delta, Eltek), но и систем распределения постоянного тока того же номинала, и других необходимых компонентов. А главное, что инициативу Emerson Network Power по продвижению этих решений поддержали в своем оборудовании производители серверов – HP и IBM.

Модульные ИБП как нельзя лучше подходят для защиты электропитания в ЦОДах, считает Сергей Любушкин, ведущий инженер инжиниринговой компании «Гулливер». Реализовав несколько комплексных проектов по созданию таких систем в российских ЦОДах, ее специалисты поняли, что оборудование европейского качества необходимо адаптировать к условиям эксплуатации в России. Так на нашем рынке появились ИБП под торговой маркой Entel, произведенные на заводах в Италии и протестированнные на безопасность и на соответствие европейским требованиям. За счет модульной архитектуры эти ИБП легко резервировать, повышая отказоустойчивость системы гарантированного бесперебойного электропитания объекта в целом, легко масштабировать по мощности, устанавливать в 19-дюймовую стойку и ремонтировать – благодаря поддержке «горячей замены» модулей (параллельно можно подключать до восьми модулей).

Устройства Entel IPX 15–120 кВА, которые строятся на модулях мощностью 15 кВт, имеют КПД 95% в режиме онлайн, а системы Entel IPS 20–640 кВА, в которых применяются модули мощностью 20 кВА, демонстрируют КПД 96% в режиме онлайн и 98% в режиме электропитания от батарей. Вместо байпаса в конструкции этих ИБП используется статический переключатель на IGBT-транзисторах, контакторы которых замыкаются при возникновении проблем с электропитанием, переводя систему на «батарейное» питание. В состав оборудования обеих серий входят силовой модуль и модуль мониторинга.

СКС на вырост

Затраты на кабельное хозяйство в ЦОДах сопоставимы с затратами на активное оборудование для инженерных систем. А значит, правильно организованная СКС, которая включает в себя кабель (медный или оптический), систему его распределения и стойки кросс-коммутации, отвечающие особенностям проекта, и обеспечивает простое управление, тоже позволяет контролировать издержки, объясняет Ханс-Йорг Ротхерт, менеджер по маркетингу направления ЦОД, Huber+Suhner. От стоек кросс-коммутации с высокой плотностью портов в ЦОДах сегодня требуются компактность и доступ к портам со стороны передней панели. Этим требованиям отвечает оптическая коммутационная стойка LiSA NGR (Next Generation Rack) высокой емкости, предназначенная для организации центрального кросс-коннекта в главной зоне ЦОДа. Шкаф имеет глубину 300 мм, что обеспечивает самую высокую емкость на рынке. Благодаря особенностям каркаса стойки пользователь имеет беспрепятственный доступ во внутренний объем шкафа для проведения монтажа и регламентных работ. Одно из главных преимуществ решения – возможность размещения стоек непосредственно вдоль стен или «спина к спине», что позволяет наиболее эффективно использовать мертвые зоны в машинном зале.

Кроме того, в ЦОДах, которые сегодня во всем мире переходят на стандарт передачи трафика 100 Гбит/с по оптоволоконному кабелю, большое значение приобретает технология лотков и поддонов, позволяющая аккуратно укладывать оптические модули.

В том же направлении повышения плотности портов и объемов передаваемого трафика эволюционируют и медные кабельные системы. Сегодня целевая группа продолжает работу над стандартом IEEE P802.3bq 40GBASE-T для витой пары, исследуя такие параметры, как длина канала, затухание в кабеле, перекрестные помехи и некоторые другие. Так что, считает Х.-Й. Ротхерт, несмотря на растущую популярность оптических решений, медные кабели сохранят свое господствующее положение в ЦОДах; по крайней мере до 2015 г., по прогнозу Bishop&Associates, их доля на таких объектах по-прежнему будет выше 50%.

Доверяй, но проверяй

Интеллектуальная система мониторинга и управления способна повысить эффективность энергопотребления – оптимизируя распределение ИТ-нагрузки между ИБП и контролируя работу системы охлаждения. Впрочем, ее использование, отметила Дарья Гамзатова, менеджер по работе с партнерами СНГ, Raritan, помогает увеличить IQ всех инженерных систем ЦОДа. Программный продукт этой компании для управления электропитанием в ЦОДах так и называется – Power IQ. Это вендоронезависимое решение хорошо работает с интеллектуальными устройствами распределения энергии самых разных поставщиков, включая, конечно, саму компанию Raritan. Ее «умное» PDU, встроенное в серверную стойку, позволяет измерить энергопотребление как всей стойки, так и каждого сервера в отдельности. Консолидировав данные со всех стоек на объекте, Power IQ формирует отчеты, отражающие текущий уровень энергопотребления ЦОДа, операционные затраты на его поддержание, а также возможные резервы экономии.

В системах IP-мониторинга и IP-управления электропитанием большую роль играет пользовательский веб-интерфейс, считает Василий Тяжев, директор Sky Control, словацкой компании с российскими корнями. Не так давно Sky Control адаптировала интерфейс своей системы для мобильных устройств и реализовала в нем поддержку самых разных видов уведомлений. И это, по словам ее директора, должно обеспечить экспансию продукции компании из Центральной Европы, России и СНГ на западноевропейский рынок. Учитывая, что ее системы IP-мониторинга и IP-управления электропитанием поддерживают все стандартные протоколы для удаленной работы: DHCP, НTTP, HTTPS, SNMP, SMTP, SSL, FTP, SySlog, а также CAN, и что в ее портфеле есть устройства, работающие и с ИБП переменного тока, и с электропитающими установками постоянного тока, такие ожидания кажутся вполне оправданными.

Sky Control также разрабатывает и производит разнообразные аналоговые и цифровые датчики; у эксплуатантов российских ЦОДов, по словам В. Тяжева, наиболее популярны датчики напряжения, температуры и уровня воды. И это неудивительно: ведь и скачки напряжения, и резкое повышение температуры, и неожиданные протечки на подобных объектах ведут к отключению и/или повреждению дорогостоящего ИТ-оборудования и, как следствие, к остановкам критически важных бизнес-процессов заказчика и серьезным штрафным санкциям. А значит, их своевременное выявление и исправление способствуют экономии на эксплуатации объектов.

Энергоэффективность – в комплексе

В компании Delta Electronics разработано несколько схем экономии электроэнергии на площадках корпоративных ЦОДов со средним и малым уровнем загрузки на стойку. Одна из этих схем, будучи применена в реальном ЦОДе, позволила добиться повышения надежности корпоративного дата-центра с уровня Tier II до Tier IV и снижения значения PUE с 2,3 до 1,43. Факторов успеха, по словам Артема Антипова, менеджера по продажам Delta Electronics, было несколько. Первый – это модульный подход к построению инженерной инфраструктуры объекта: модульными в нем оказались ИБП, а также сами стойки и кабинеты для распределения электропитания. Второй – использование на объекте систем прецизионного охлаждения RowCool, а также технологии разделения «горячих» и «холодных» коридоров в сочетании с естественным охлаждением (первые были выделены в серверных залах, а вторые – в зале с сетевым оборудованием). В-третьих, улучшить PUE помогло использование в распределительных кабинетах панелей-заглушек для оптимального распределения воздушных потоков, а также аксессуаров для кабельных вводов, организованных по верху стоек. Плюс ко всему для защиты виртуальных машин в ЦОДе применили новое управляющее ПО Delta Electronics – Shutdown-Agent 2012, которое в случае перебоев обеспечивает безопасное автоматическое завершение работы на всех уровнях в соответствии с заранее заданными настройками. 

В поиске свежих идей

Источником экономии на потребляемой в ЦОДе электроэнергии может служить даже схема резервирования ИБП. В коммерческом дата-центре, который строит в Твери компания DataPro, ее генеральный директор Алексей Солдатов принял решение впервые в российской практике цодостроения использовать систему 3/2N, и вот почему. Именно эта схема позволяет снизить капитальные затраты на приобретение избыточного оборудования, неизбежные при резервировании по системе 2N, максимально сохранив при этом надежность двойного резервирования. В системе резервирования 3/2N мощности ИБП задействуются на 75%, а не на 50%, как в случае схемы 2N, а следовательно, используются более эффективно. Кроме того, для резервирования по схеме 3/2 требуется меньше активного оборудования, поэтому она оказывается на 30% дешевле схемы 2N и при этом остается намного надежнее, чем не менее распространенная в российских ЦОДах схема N+1.

Единственный недостаток нового подхода к резервированию систем электропитания, по словам А. Солдатова, заключается в том, что система 3/2 предъявляет серьезные требования к правильности коммутации. Однако, учитывая плановый характер работ по подключению нагрузки в ЦОДах, можно решить проблему, обратив на нее внимание службы эксплуатации объекта.

Будущее – за модульными системами?

Модульный ЦОД вполне может быть энергоэффективным, подтверждает опыт компании Emerson Network Power. Проект, реализованный в Австралии на оборудовании этого вендора, в ходе которого на 10 площадках в пяти городах были построены контейнерные ЦОДы общей площадью 5 тыс. кв. м, показал ошибочность мнения об ограниченной вместимости модулей. Объединив модули и отказавшись от одной-двух стен, можно получить объект, на котором вполне реально разместить все необходимые системы электропитания и охлаждения. При естественном охлаждении, которое применялось в австралийском проекте, самое высокое из значений показателя PUE составило 1,15, а на отдельных площадках PUE оказался менее 1,1.

При этом, по словам Евгения Журавлева, технического директора Emerson Network Power, поскольку контейнерные решения предварительно собираются и тестируются на заводе-изготовителе, они отличаются более высокой совместимостью всех инженерных систем. К тому же при выборе контейнерного решения не столь высоки требования к площадке для его размещения, а ее подготовку можно проводить в то время, пока решение изготавливается на заводе. К слову, мощности собственного завода Emerson Network Power в Хорватии позволяют выпускать до 4000 кв. м модулей в месяц, причем хорватский завод является инженерным центром, в котором проводится CFD-моделирование.

Убедившись в том, что, комбинируя модули, можно строить ЦОДы разной мощности, Emerson Networks Power взялась за реализацию проекта мегаЦОДа на 7,5 МВт, который будет состоять из 125–126 контейнеров.

   

Словом, как показала конференция «ЦОД-2013», о повышении эффективности энергопотребления ЦОДа следует задуматься еще на этапе разработки концепции объекта и выбора компонентов для каждой из его инженерных систем.  

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!