Rambler's Top100
 
Статьи ИКС № 2-3 2009
Александр Барсков  10 марта 2009

Электропитание и кондиционирование ЦОДов

Инженерная инфраструктура – фундамент центра обработки данных (ЦОД). Кирпичиками этого фундамента являются системы электропитания и кондиционирования. От качества электричества и условий эксплуатации во многом зависит стабильность работы основного оборудования (серверов и систем хранения), сохранность информации и надежность критически важных операций в ЦОДе.

Традиционно системы электропитания ЦОДа строят на основе источников бесперебойного питания (ИБП) переменного тока. На вход такой системы электричество поступает от трансформаторной подстанции городской электросети, а в качестве резервного источника электроэнергии на случай длительных отключений используются дизель-генераторные установки (ДГУ). Далее электричество «очищают» онлайновые ИБП (другие типы ИБП в дата-центрах не используют), аккумуляторные батареи которых также гарантируют бесперебойное его поступление во время кратковременных сбоев в электросети и держат нагрузку до запуска дизелей.

На рис. 1 приведена упрощенная схема системы электропитания со степенью резервирования 2 (N+1). Система состоит из двух одинаковых резервирующих друг друга «плеч», в каждом из которых на N основных ИБП (с суммарной мощностью, достаточной для обслуживания нагрузки) приходится один дополнительный, гарантирующий необходимую мощность при выходе из строя одного из основных источников. Например, нагрузку в 400 кВт могут обслуживать три ИБП мощностью по 160 кВт (160 x 3 = 480, на случай расширения остается резерв 80 кВт), система из четырех таких ИБП обеспечит резервирование N+1 (3+1), а из пяти – N+2 (3+2).

Переменный или постоянный?

Хотя сегодня в ЦОДах прочно укоренились системы бесперебойного электропитания переменного тока, в последнее время все чаще обсуждают перспективы использования на этих объектах систем постоянного тока.

Достаточно посмотреть на принципиальные схемы построения систем электропитания на базе ИБП переменного и постоянного тока     см. с.92 , чтобы понять: теоретически преимущества последних очевидны. В комплексах, построенных на базе классических онлайновых ИБП переменного тока, электроэнергия преобразуется трижды: сначала – выпрямителем ИБП – из переменного тока в постоянный, затем – инвертором ИБП – обратно в переменный и, наконец, – блоками питания конечного оборудования – снова в постоянный (электронные микросхемы серверов и коммутаторов работают на постоянном токе). На каждом преобразовании часть энергии неизбежно теряется, и КПД снижается. Неудивительно, что для целого ряда онлайновых ИБП предусмотрен так называемый экономичный режим, который включается при удовлетворительном качестве электроэнергии, поступающей от внешней системы энергоснабжения, и исключает два преобразования в ИБП (фактически энергия напрямую подается на нагрузку).

При построении системы бесперебойного электропитания ЦОДа на базе устройств постоянного тока энергия преобразуется только один раз – выпрямителем этих устройств. КПД в этом случае явно выше, чем при использовании классических ИБП в онлайновом режиме, а сокращение числа элементов системы позволяет повысить ее надежность, упростить процедуру наращивания емкости, уменьшить занимаемую площадь и снизить затраты на охлаждение.

Что же препятствует внедрению систем постоянного тока? Во-первых, в отличие от телекоммуникационного оборудования, традиционно выпускаемого с блоками питания постоянного тока, ассортимент серверного оборудования с такими блоками все еще невелик. Во-вторых, для подачи электроэнергии постоянного тока требуются силовые кабели с б'ольшим сечением. Это в свою очередь выливается в необходимость уменьшения их длины и установки систем электропитания в рядах стоек, что противоречит устоявшейся практике выноса ИБП за пределы основного зала ЦОДа. Наконец, при использовании систем постоянного тока возникает потребность в дополнительном оборудовании для сопряжения с ДГУ.

Впрочем, вынос оборудования ИБП за пределы основного зала ЦОДа тоже далеко неочевиден. Конечно, размещение ИБП в выделенном помещении имеет свои преимущества: это и разграничение зон обслуживания («айтишники» работают в своем помещении, электрики – в своем), и снижение мощности систем кондиционирования основного зала (5–10% мощности ИБП преобразуется в тепло), и уменьшение нагрузки на его перекрытия. При мегаваттных мощностях выделение отдельного помещения под ИБП практически неизбежно. Однако при мощности основного оборудования в несколько сот киловатт может оказаться экономически выгоднее разместить ИБП в основном зале. Тем более что благодаря бестрансформаторным технологиям, активно используемым всеми основными производителями ИБП – компаниями APC (в составе Schneider Electric), Eaton, Emerson Network Power, GE Consumer & Industrial, Socomec и др., это оборудование становится все компактнее. Логичным такое решение будет и в случае, если обслуживающий ИБП персонал относится к ИТ-службе. Иногда вообще предпочитают задействовать смешанную схему размещения ИБП: центральная система (в отдельном помещении) обеспечивает общее питание оборудования, а устанавливаемые в отдельные стойки (или рядом с ними) ИБП служат для повышения надежности работы наиболее важных устройств (рис. 2).

Практически безальтернативным источником электроэнергии в ИБП (как переменного, так и постоянного тока) сегодня являются аккумуляторные батареи. Это наиболее дорогостоящий и «нежный» элемент систем бесперебойного электропитания. Как известно, химические процессы в аккумуляторах сильно зависят от температуры окружающей среды. Наиболее благоприятной для них считается температура 15–20 °С, а повышение ее на 10 °C снижает ресурс батареи примерно вдвое. Поэтому при размещении аккумуляторов в технологических помещениях необходимо тщательно подойти к расчету и реализации системы кондиционирования, чтобы обеспечить оптимальный температурно-влажностный режим. Многие эксперты вообще рекомендуют размещать аккумуляторные батареи в отдельной термостабилизированной комнате со своей прецизионной системой кондиционирования.

Инфраструктура «про запас»?

В стереотипном мышлении ЦОД – это объект с постоянно растущими потребностями в электроэнергии. Поэтому одним из основных требований к его инженерному оборудованию является высокая степень масштабируемости. Действительно, упомянутые выше производители ИБП, часть из которых (APC и Emerson Network Power) не менее активно работают и в области систем кондиционирования, предлагают возможность многократного увеличения мощности своих решений. Но дело здесь не столько в увеличении мощности и/или числа кондиционеров и ИБП (это лишь верхушка айсберга), сколько в необходимости наращивания характеристик сопутствующей инфраструктуры.

В случае системы охлаждения необходимыми элементами этой инфраструктуры при высокой плотности энергопотребления являются трубопроводы с запорно-регулирующей арматурой. Если при нагрузке, скажем, порядка 3–5 кВт на стойку охлаждение оборудования можно обеспечить с помощью традиционных шкафных кондиционеров, подающих охлажденный воздух под фальшпол и далее (через перфорированные плиты) – к стойкам с оборудованием, то при нагрузке в 20–30 кВт на стойку практически всегда придется «заводить» воду в основной зал ЦОДа (рис. 3). Трубы для нее, как и места для размещения водоохлаждающих машин (чиллеров), насосных групп и бака-аккумулятора, нужно предусмотреть с самого начала – ведь наращивание мощности ЦОДа должно происходить максимально «прозрачно» и без остановки работы основных систем. Все это потребует значительных первоначальных инвестиций.

Подобная ситуация наблюдается и с инфраструктурой системы электропитания. Заказчику придется с самого начала предусмотреть характеристики вводного распределительного устройства и главного распределительного щита, а также сечение и число подводящих кабелей с учетом максимальной мощности потребления. Кроме того, необходимо обеспечить несущую способность перекрытий и дополнительные площади для установки ИБП и аккумуляторных батарей, подготовить место под ДГУ.

Еще один важный момент: если все необходимое для масштабирования системы охлаждения компания способна организовать сама, то развитие системы электропитания «завязано» на схему внешнего энергоснабжения. Как отмечают специалисты компании «Абитех», российского партнера фирмы GE Consumer & Industrial, владелец ЦОДа вряд ли сможет сразу зарезервировать от городских электросетей входную мощность, требуемую для питания нагрузки с учетом ее возможного увеличения в несколько раз. При этапном получении разрешений на использование дополнительных электрических мощностей нельзя забывать, что шаг прироста входной мощности определяется мощностью трансформаторных подстанций, расположенных вблизи ЦОДа, – это, как правило, 1–2 МВт. Объединить выходы нескольких подстанций на одну шину технически невозможно, поэтому систему электропитания объекта придется делить на кластеры – по одному на каждую подстанцию.

А как быть, если не удалось получить от городских электросетей необходимую для ЦОДа мощность? Задача решается разными способами. Так, например, инженеры компании «НойХаус Групп» разработали специальный энергетический модуль Energounit; он построен на базе газопоршневой установки FG Wilson PG 1250B, работающей на природном газе, и производит 1 MВт электрической и 1,1 МВт тепловой энергии. Компактное размещение этого оборудования позволяет перево-зить его на автомобиле.

Курс на «зеленый» ЦОД

Инженерная инфраструктура ЦОДа – вещь дорогостоящая, поэтому в последние годы активно обсуждаются пути снижения и капитальных затрат на ее построение, и эксплуатационных расходов, в первую очередь на электроэнергию. Альтернативой традиционным аккумуляторам могут стать как механические накопители кинетической энергии в маховиках типа flywheel     подробнее см. с.92 , так и водородные топливные элементы – электрохимические преобразователи с непрерывной подачей продуктов реакции, преобразующие поступающие продукты (водород и кислород) в электричество, тепло и воду. Важное свойство топливных элементов – высокий КПД при незначительной эмиссии вредных веществ. Кислород обычно получают из окружающего воздуха, а водород – недорого и с минимальной эмиссией – из природного газа. Использование топливных элементов в ИБП практикуется уже довольно давно: например, компания АРС еще в 2005 г. анонсировала выпуск системы InfraStruXure с интегрированными водородными топливными элементами (технология Fuel Cell), но они, к сожалению, до сих пор не получили широкого применения.

Специалисты компании Socomec считают, что снизить энергопотребление ЦОДа можно двумя способами: повысить КПД отдельного источника или отключить резервный источник в параллельной системе (при использовании режима Energy Saver). Например, в случае четырех ИБП при резервировании N+1 (см. рис. 1) для питания нагрузки достаточно трех из них, поэтому у четвертого может быть отключен инвертор, но электроника будет работать. При появлении дополнительной нагрузки в работу сразу же включается четвертый источник – напряжение пропадать не будет и удастся избежать переключений на сеть. В режиме Energy Saver возрастает нагрузка на остальные источники, а значит, повышается КПД и экономится энергия.

Разработчики климатических систем тоже не стоят на месте. Всё более широко применяются элементы, которые могут «приспосабливаться» к меняющейся тепловой нагрузке и экономить электроэнергию, работая на пониженной мощности. Среди них электронно-коммутируемые вентиляторы и цифровые скролл-компрессоры, использующиеся в шкафных кондиционерах компании Emerson Network Power. Среднее тепловыделение в ЦОДе всегда ниже расчетного, в соответствии с которым проектировщики выбирают холодопроизводительность системы кондиционирования. Стандартные компрессоры постоянно работают на полную мощность, и в результате часть энергии расходуется впустую. Мощность работы скролл-компрессоров механически регулируется от 15 до 100%, что позволяет экономить до 25% электроэнергии.

Для повышения эффективности классической системы кондиционирования, построенной на основе шкафных кондиционеров, практически всегда используется расстановка стоек с оборудованием в соответствии с принципом горячих и холодных коридоров (проходов). Следующим шагом может стать изоляция горячих/холодных коридоров. Например, компания Knuerr (входит в состав концерна Emerson) для изоляции холодного коридора предлагает решение CoolAisle. Основные его элементы – прозрачная (для прохождения комнатного освещения) легко снимаемая крыша и двойные двери с петлями на 180° (или раздвижные двери). По утверждению Виктора Зямзина, главы представительства Knuerr в России, изоляция холодного коридора обеспечивает снижение потребляемой мощности кондиционеров до 60% или повышение охлаждающей способности уже установленной системы кондиционирования на 50%.

А вот компания АРС предлагает изолировать горячий коридор. Ее система Hot Aisle Containment System (HACS) позволяет закрыть этот коридор тоже с помощью специальных дверей и прозрачных потолочных панелей. Компания выпускает комплекты изоляции коридора для 19- и 23-дюймовых стоек и соответствующие комплекты потолочных панелей. Конструкция элементов HACS полностью исключает вероятность смешивания горячего и холодного воздуха в коридорах, что позволяет отводить от каждой стойки до 30 кВт тепла.

Разработчики АРС пошли еще дальше и создали систему контейнеризации на уровне стойки – Rack Air Containment System (RACS), устанавливаемую на один или несколько шкафов. Совместимая со шкафами APC NetShelter SX и блоками охлаждения InfraStruXure InRow, RACS образует контейнер на передней и/или задней части шкафа, увеличивая тем самым эффективность системы кондиционирования. После установки RACS на заднюю часть шкафа NetShelter отработанный горячий воздух, выходящий из ИТ-оборудования, по воздуховоду направляется в блок охлаждения, что предотвращает его попадание в воздухозаборники серверов. Для дополнительной изоляции и снижения уровня шума может быть установлена защита передней части шкафа. В ходе тестовых испытаний системы кондиционирования с элементами RACS, проведенных APC, с каждой стойки снималось до 70 кВт тепловой нагрузки.

При высокой плотности энергопотребления практически не обойтись без использования воды в качестве промежуточного теплоносителя между чиллерами и блоками, непосредственно охлаждающими нагрузку. Теплоемкость воды (4200 Дж/(кг·К))  в четыре раза выше теплоемкости воздуха (около 1000 Дж/(кг·К)), что обеспечивает высокую эффективность съема тепла и позволяет реализовать компактные технические решения. К тому же при водяном охлаждении довольно просто создать отказоустойчивую систему: холодная вода, запасенная в баке-аккумуляторе, гарантирует охлаждение нагрузки на время, достаточное для устранения аварии.

Но есть и более эффективные охлаждающие средства. Известно, например, что удельная теплопоглощающая способность углекислоты (CO2) в семь раз выше, чем воды (1 кг воды при нагревании от 6 °С до 12 °С поглощает 25,2 кДж тепла, а 1 кг CO2 при переходе из жидкой фазы в газообразную –  182 кДж). Это ее свойство, позволяющее снизить объемный расход холодоносителя и уменьшить диаметр трубопроводов, взяла на вооружение фирма TROX Advanced IT Cooling Systems (AITCS), разработавшая систему CO2OLrac – корпус, монтируемый на заднюю дверь стойки, оснащенный теплообменником и многоскоростными вентиляторами (резервирование N+1). В теплообменник поступает жидкая углекислота с температурой 14 °С, которая, испаряясь, поглощает теплый воздух, выходящий из стоечного оборудования. Далее углекислый газ направляется в специальную емкость, где охлаждается водой от чиллера до 14 °С, затем цикл повторяется.

Пользуясь локальными системами охлаждения (на уровне стоек с оборудованием), нельзя забывать о необходимости снятия тепловой нагрузки и в остальном помещении. Владимир Левин, директор по продажам московского офиса компании «Хоссер», обращает внимание на то, что внутрь помещения ЦОДа всегда будет проникать тепло извне – через перегородки, наружные стены и т.п. Кроме того, в зимнее время в зал ЦОДа поступает абсолютно сухой воздух, попадание которого внутрь стоек с оборудованием недопустимо. Увлажнение воздуха в ЦОДе, как и снятие тепловых нагрузок, обычно проводят с помощью традиционных шкафных кондиционеров (специалисты «Хоссера» предлагают воспользоваться для этой цели оборудованием компании Stulz), которые необходимы даже при использовании локальных систем охлаждения внутри стоек (см. рис. 3).

Дайте дорогу воздуху…

По мнению Петра Ронжина, директора компании «ВентСпецСтрой», проектирование – самый ответственный этап построения системы охлаждения и кондиционирования, так как чиллеры и кондиционеры, какой бы марки они не были, сами по себе не гарантируют, что стоечное оборудование не будет перегреваться. Проектировщик должен правильно выбрать места для установки оборудования холодоснабжения и кондиционирования, обеспечив доступ к нему персонала для проведения техобслуживания, беспрепятственное поступление наружного воздуха на конденсаторы холодильных машин и его отвод. Кроме чиллеров в систему холодоснабжения входят циркуляционные насосы, трубопроводы, расширительные баки, баки-аккумуляторы, фильтры, запорная арматура, клапаны и т.д. Другой ответственный момент – расчет и монтаж гидравлической системы. И, наконец, как единое целое должна рассматриваться система, охватывающая пространство под фальшполом, холодные/горячие коридоры и припотолочное пространство. «К сожалению, в России в настоящее время часто пренебрегают важностью других компонентов системы охлаждения, сосредотачиваясь только на характеристиках кондиционеров», – сетует специалист компании «ВентСпецСтрой».

При проектировании и построении системы кондиционирования очень важно расчистить путь потокам холодного воздуха к оборудованию. Вышедший из кондиционеров воздух должен с минимальными потерями дойти до серверов и другого оборудования. Для этого нужно прежде всего навести порядок под фальшполом, чтобы проложенные там связки кабелей и другие элементы не препятствовали прохождению потоков воздуха. Возможно, следует вообще вынести кабели из-под фальш-пола и организовать их подводку к оборудованию сверху, по специальным лоткам. Однако в этом случае надо следить, чтобы лотки с кабелями не препятствовали отводу от стоек с оборудованием потоков горячего воздуха.

Далее надо просчитать число и параметры перфорированных плиток, чтобы их пропускная способность (площадь перфорации) соответствовала требующемуся расходу воздуха. При этом холодный воздух не должен просачиваться нигде, для чего необходимо, в частности, закрыть отверстия кабельных вводов (если кабели подводятся к оборудованию из-под фальшпола). Для этого традиционно применяют уплотнения щеточного типа, однако появляются и другие решения данной задачи. Так, например, компания Panduit предложила продукт Cool Boot, в котором воздухонепроницаемое уплотнение достигается с помощью тканевого компонента и крепления на «липучках». Обеспечивая полную герметизацию даже при отсутствии кабелей на месте, Cool Boot поддерживает более высокое статическое давление в пространстве фальшпола, чем уплотнения щеточного типа, что обеспечивает более эффективное охлаждение всего зала. Кроме того, в отличие от уплотнений щеточного типа, пропускающих воздух при размещении жгутов кабелей в углах вырезов, узел для фальшпола Cool Boot позволяет разнести жгуты кабелей в противоположные углы одного выреза без существенных потерь охлажденного воздуха. К тому же тканевый компонент предотвращает попадание обрезков кабелей и других частиц в пространство фальшпола.

В самих шкафах с оборудованием необходимо тоже обеспечить приоритетный доступ холодного воздуха к оборудованию, исключив его непродуктивные потери. Для этого нужно закрыть специальными заглушками щели между оборудованием. В последнее время многие поставщики кабельных систем предлагают специальные угловые и вертикальные коммутационные панели, которые устраняют потребность в горизонтальных организаторах и позволяют уложить коммутационные шнуры с боковой стороны шкафа, расчистив таким образом путь холодному воздуху. Некоторые компании, помимо панелей, разработали специальные шкафы для установки серверов и сетевого оборудования, конструкция которых оптимизирована для повышения эффективности охлаждения.

…и электричеству

До основного оборудования ЦОДа необходимо доставить не только холодный воздух от кондиционеров, но и «чистое» электричество от ИБП. Последнюю задачу решает распределительная сеть электропитания, построение которой многие эксперты считают едва ли не самым важным при организации системы электропитания ЦОДа. Хотя выше мы и раскритиковали идею многократного масштабирования мощности ЦОДа, определенное увеличение мощности практически всегда закладывают при проектировании. А кабельная система, будь то слаботочная (СКС) для коммуникационной сети или силовая для сети электропитания, живет гораздо дольше подключаемого к ней оборудования, поэтому и строить ее надо с расчетом на будущую модернизацию. Причем эта модернизация может быть вызвана не только ростом нагрузки, но и, например, моральным старением используемых ИБП и появлением нового поколения этого оборудования, способного более эффективно решать свои задачи.

В первую очередь необходимо предусмотреть резервирование питающих линий от ИБП до основного оборудования. В случае схемы 2 (N+1) (см.  рис. 1) в каждой стойке с оборудованием логично установить по четыре блока распределения питания (PDU), запитав от каждого плеча системы электроснабжения по два из них. Соответственно оборудование с двумя блоками питания будет подключено к каждому плечу системы по полностью резервируемой распределительной сети (резервирование распределительного щитка, кабельной линии и блока PDU). Для оборудования с одним блоком питания рекомендуется задействовать статический (бесконтактный) автомат ввода резерва (АВР), который в случае отказа одной из питающих систем позволит быстро перейти на работающий источник питания, не прерывая подачу энергии нижележащему оборудованию.

Статические АВР обеспечивают переключение нагрузки за время менее четверти 60-Гц цикла, или 4,2 мс, поэтому критически важное оборудование и приложения не испытывают перебоев в питании. Обычным АВР для переключения цепей требуется несколько циклов, что может вызвать перебои в питании серверов. Это механические устройства с прерывателями цепи, тогда как у бесконтактных переключателей нет движущихся частей – они ведут мониторинг вышележащих источников питания и, как только какой-то из них выходит из строя, внутренние электронные цепи переключателя обеспечивают гладкий переход на другие источники. Бесконтактные переключатели, несмотря на то что они значительно дороже обычных, – необходимый элемент отказоустойчивых ЦОДов.

Важно определиться с выбором типа PDU и числом фаз напряжения, подводимого к стойкам. На первый взгляд логичным кажется решение о подводе к стойкам трехфазного питания. Однако специалисты компании «АйТи» обращают внимание на то, что при всех преимуществах такого подхода он может потребовать более сложного администрирования подключения оборудования к блокам PDU и привести к возможному перекосу фаз. Поэтому лучше вывести администрирование распределения нагрузки по фазам из каждой стойки с оборудованием на уровень распределительного щита, где данный процесс будет более прозрачным и контролируемым.

Блоки PDU, служащие для непосредственного подключения монтируемого в стойках серверного и сетевого оборудования, хотя зачастую и выглядят как обычные бытовые удлинители, на самом деле могут быть очень «интеллектуальными». В качестве примера приведу оборудование ePDU, поставляемое компанией Eaton. Это четыре семейства устройств различной конструкции и функциональности. Имеются блоки ePDU, устанавливаемые вертикально (их часто называют 0U, потому что они не занимают монтажного места в стойке) и горизонтально (1U или 2U). Наиболее «продвинутые» устройства обеспечивают локальное и удаленное управление каждой розеткой, позволяя отлеживать качество электропитания и удаленно его включать и выключать, а также собирать и анализировать различные параметры, что поможет заранее выявить возможные перегрузки в отдельных стойках и планировать закупки нового оборудования.

  


Мы затронули лишь некоторые важные моменты, связанные с проектированием и построением систем электропитания и кондиционирования  ЦОДов. Безусловно, они заслуживают более детального рассмотрения. «ИКС» намерен регулярно освещать вопросы, связанные с ЦОДами, сделав тему инженерной инфраструктуры одной из основных в разделе «ИКС-Тех»
Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!