• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

ИБП для ЦОДов: выбор концепции

Какую схему бесперебойного питания предпочесть для современного ЦОДа – относительно новую модульную или традиционную параллельную? В чем подводные камни обоих подходов, а главное, какой вариант надежнее и вместе с тем дешевле?

На поприще обеспечения бесперебойного электропитания ЦОДов сегодня предлагается множество решений, способных, казалось бы, удовлетворить любые пожелания заказчика. Однако среди производителей продолжаются споры о том, какая модель подключения ИБП – модульная или параллельная – является оптимальным решением для дата-центра. Каждый подход имеет свои достоинства и недостатки и своих приверженцев. Одни говорят, например, о недостаточной потенциальной надежности модульных решений, другие намекают на избыточность параллельных систем. Третьи советуют снять все разногласия использованием гибридного подхода. Спорам не видно конца. Но это говорит лишь о том, что каждая концепция хороша по-своему. Поэтому выбор конкретного решения требует тщательной проработки.

Факторы риска

Надежность – главный показатель электропитания ЦОДа. Вплотную за этим параметром следуют высокий КПД, ремонтопригодность, возможность резервирования и масштабирования и компактность (что особенно актуально в современных сверхплотных ЦОДах, где каждый квадратный метр площади, как говорится, на вес золота). В то же время ИБП должен обладать достаточной мощностью. Когда же ее не хватает либо когда надо обеспечить резервирование, логичным выходом является подключение необходимого количества дополнительных источников, которые будут работать параллельно.

Именно такой метод объединения отдельных моноблочных ИБП был исторически первым и долгое время оставался единственным. Но в 1998 г. появилась новая концепция модульных ИБП, заключающаяся в том, что отдельные блоки – силовые и батарейные – устанавливаются в 19-дюймовый шкаф и объединяются общей шиной. Пионерами в этой области были компании Newave и APC. Сегодня в рамках данной концепции модульные системы предлагают многие ведущие мировые производители ИБП, в том числе Eaton, Emerson Network Power (владеющий торговыми марками Liebert и Chloride), Socomec UPS, Tripp Lite и др.

До того как модульная схема появилась на рынке, параллельное подключение много лет использовалось в различных проектах. Это отработанная технология, для реализации которой у каждого производителя есть свой подход. В то же время ей потенциально присущ ряд недостатков. Например, для взаимодействия между собой все ИБП, включенные в параллельную систему, должны иметь специальную плату, позволяющую им корректно работать в составе единого решения, а также сигнальный кабель, по которому отдельные устройства обмениваются информацией о своем состоянии (и то и другое может стать точкой отказа). При этом должны быть обеспечены синхронизация частоты и фазы напряжения, генерируемого инверторами каждого ИБП, а также балансировка нагрузки между ними. Слабым местом может стать и общий электронный байпас.

Модульная система избавлена от дополнительных плат, но имеет свои потенциальные точки отказа: общий корпус, электронный байпас и батарейный массив, так называемый силовой интерфейс (точки соединения модулей на одной силовой плате). Исправить ситуацию помогают использование байпаса в каждом блоке и применение надежных соединительных шин из меди. Отсутствие отдельной схемы управления каждым ИБП, как указывает, в частности, Денис Андреев (Landata), – еще один недостаток, свойственный модульным системам многих производителей. За работу силовых модулей отвечают, как правило, один, реже два блока управления. Соответственно, если что-то происходит, нарушается работа всей системы. Зачастую производители создают один общий узел электронного байпаса на систему, т.е. этот узел не имеет резерва. Нередко батарейная стойка подключается к основной системе через общий автоматический выключатель. При поломке во входной цепи одного из силовых модулей он может отключиться, и тогда вся система останется без входного электропитания. Эти проблемы конечно же решаемы, но о них надо помнить, проектируя систему бесперебойного питания дата-центра.

Кроме того, модульные ИБП, как отмечает Александр Бучинчик («Энергоком»), обычно состоят из большого количества относительно маломощных блоков. С одной стороны, это преимущество, поскольку в случае аварии из строя выходит только маленький участок системы, который к тому же можно быстро заменить. С другой стороны, это недостаток, ведь увеличение числа компонентов ведет к повышению вероятности отказа и цены решения по сравнению с той же мощностью в одном блоке. А рост числа батарейных модулей, включенных параллельно, приводит к сокращению срока их службы, в результате чего замена батарейных модулей становится чуть ли не непрерывным процессом. К тому же батарейный модуль ИБП стоит дороже, чем просто батарея. Но, как правило, клиент не обращает на это внимания, позволяя поставщику модульных ИБП хорошо зарабатывать на поставке дополнительных батарейных блоков. Однако в схеме бесперебойного питания на основе параллельных ИБП при ее меньшей начальной стоимости в случае аварии из строя выходит сразу значительная часть системы, и починить ее своими силами маловероятно.

Слабым местом модульной концепции можно считать и то, что конструкция таких ИБП с возможностью «горячей» замены силовых и батарейных блоков подразумевает множество контактных групп, способных стать точкой отказа. Для модульных систем требования к запыленности помещения должны быть более жесткими, а сервисное обслуживание становится более сложным (и дорогим!).

Особенности параллельных и модульных систем сказываются и на решениях для сети электроснабжения ЦОДа. Так, Константин Соколов («Абитех») обращает внимание на то, что при расширении параллельной системы сеть электроснабжения, может быть, придется частично реконструировать, проложив дополнительные кабели и установив автоматы. Но и при монтаже модульной системы необходимо либо учитывать возможные будущие конфигурации (и закладывать кабель и автоматы с запасом), либо проводить аналогичную реконструкцию системы питания. Более того, замена кабельной линии на большее сечение зачастую представляет собой большую трудность (и стоит дороже), чем прокладка дополнительного кабеля и добавление автомата.

В модульных ИБП потенциальная причина отказа – общий системный шкаф. Кроме того, полноценно проверить работу модуля при замене невозможно, поскольку его нельзя включить изолированно от остальных.

Модульные ИБП построены на базе блоков меньшей мощности, чем традиционные системы в параллельной конфигурации с резервированием. Число отказов, следовательно, будет выше и надежность ниже, но коэффициент готовности увеличится за счет возможности быстрой замены модулей. Однако это преимущество, как констатирует К. Соколов, проявляется в основном, если модулей не более пяти. При большем их количестве снижается общее теоретическое значение наработки на отказ или даже общий уровень готовности системы.

В числе недостатков параллельной схемы – избыточный запас мощности в конфигурациях с резервированием, низкая адаптивность, длительное время восстановления, большая занимаемая площадь, потеря значимой части времени батарейной поддержки при выходе из строя резервной системы. Кроме того, без подготовленной инженерной инфраструктуры наращивать мощность системы моноблочных ИБП, работающих параллельно, сложно или даже невозможно.

Вместе с тем за годы эксплуатации обе технологии, как модульная, так и параллельная, доведены до высокой степени эффективности и надежности. Предпочтение той или иной концепции (либо их комбинации) обусловлено зачастую конкретными требованиями заказчика или особенностями проекта.

Преимущества и сферы применения

Выбор типа ИБП для ЦОДа может зависеть от множества факторов. Как правило, большинство проектов начинаются с идеи создания системы определенного уровня надежности (Tier I–IV), но финансовые реалии вносят свои коррективы. Параллельные (моноблочные) ИБП в целом считаются более надежными, поскольку ввиду особенностей конструкции предполагают полное дублирование всех критически важных элементов. Однако чтобы обеспечить резервирование ИБП определенной мощности, необходимо добавить в параллельную систему еще один такой же источник, что увеличивает стоимость решения вдвое. При этом в штатном режиме каждый из них будет недозагружен, снижая общий КПД.

Поскольку модульная система состоит из нескольких блоков относительно небольшой мощности, велики шансы, что выйдет из строя не не весь ИБП целиком, а только один из модулей. Соответственно, для предотвращения нештатной ситуации можно установить лишь один избыточный блок, который автоматически подключится в случае аварии (схема N + 1). Если избыточность модульных систем в общем случае составляет около 10%, то при параллельной работе источников она может достигать 100%. Кроме того, модульные системы за счет возможности поэтапного масштабирования обеспечивают более рациональную загрузку и, как следствие, оптимальный КПД работы. Однако стоимость модульного ИБП несколько выше, чем аналогичного по мощности моноблока. Причем в состав модульных систем обычно входят батареи с пятилетним сроком службы, тогда как их моноблочные собратья, работающие в дата-центрах, комплектуются аккумуляторами, которые рассчитаны на десять лет. В итоге специалисты отмечают, что с учетом обслуживания и эксплуатации стоимость обоих решений через некоторое время практически уравнивается.

Если кратко перечислить основные преимущества обеих концепций, то в общих чертах они сводятся к следующему. Для модульных систем это минимальное время восстановления, легкая масштабируемость, компактность, высокая гибкость и адаптивность решения. Параллельные системы содержат меньше критичных компонентов (и, следовательно, точек отказа), а также дают возможность построения конфигураций высокой мощности. Сугубо модульные системы сегодня, как правило, обслуживают ЦОДы мощностью не более 300 кВт.

Если же вникнуть немного глубже, то становится очевидным тот факт, что различие между двумя рассматриваемыми концепциями весьма условное и выражено наиболее ярко в проектах ЦОДов мощностью 100–150 кВт. При росте мощности модульная система все больше становится похожа на моноблочный ИБП. Когда же речь идет о бесперебойном электропитании для мегаваттных дата-центров, тогда по причине ограниченной мощности модульных ИБП применима только параллельная схема. В то же время при построении мощных систем питания моноблочные ИБП практически всегда включаются параллельно, что является неким аналогом модульного подхода.

Поэтому на практике основная масса решений на базе модульных ИБП используется в системах мощностью до 150–200 кВА. Кроме того, как подчеркивает Константин Иванов (AEG Power Solutions), любое модульное решение – это определенный переизбыток. Ведь для начала надо заложить некоторый запас прочности в части, общей для всех модулей ИБП, – во внешней инфраструктуре, кондиционировании, входных и выходных щитах, кабелях, ДГУ и т.д. При выборе концепции для конкретного проекта также весьма важен фактор капитальных затрат. И для дата-центра с высокой проектной мощностью – 1 МВт и больше – моноблочные ИБП будут более выгодным решением.

Вместе с тем модульные источники обеспечивают минимальное время ремонта и восстановления в случае поломки. Вследствие этого Сергей Щербаков (АРС by Schneider Electric), говоря о решениях для ЦОДов, отдает предпочтение именно модульным системам. Моноблочные ИБП, из которых собираются параллельные системы, в случае выхода из строя одного блока требуют для восстановления длительного времени (иногда измеряемого днями). Связано это с более сложной процедурой диагностики, сроками доставки запчастей, возможностью обслуживания только обученными сервисными специалистами. А модульные источники позволяют заменить неисправный модуль силами службы эксплуатации ЦОДа заказчика. При наличии запасного блока на складе замена возможна в течение нескольких минут.

Модульные ИБП востребованы в небольших дата-центрах, в том числе в составе контейнерных ЦОДов. Они часто используются для обеспечения бесперебойной работы вычислительных комплексов промышленных предприятий и финансовых учреждений. Это объясняется тем, что кроме компактности и прочих преимуществ модульная конструкция позволяет обслуживать ИБП силами персонала, не имеющего квалификации для работы с мощными системами электропитания. В ЦОДах средней мощности (до 1 МВт) часто встречаются решения смешанного типа, когда для питания ИТ-нагрузки служат модульные ИБП, а для инженерных подсистем – моноблочные. Более мощные вычислительные комплексы используют только параллельные системы.

Как резюмирует Сергей Ермаков (ИНЭЛТ), сегодня нет противостояния между модульной и параллельной концепциями. Есть разные методы резервирования – модульное поэлементное или параллельное (для моноблоков). В современных ИБП могут применяться также комбинации этих схем, как, например, в источниках Chloride серии Trinergy, в которых реализован принцип «тройной модульности»: поэлементная в каждом блоке ИБП, поблочная и возможность параллельного подключения до восьми источников. Таким образом, в составе параллельной системы можно объединить восемь модульных ИБП.

Что касается надежности каждой концепции, то у модульных ИБП высокий коэффициент готовности достигается за счет сокращения времени восстановления системы (при наличии на складе запасных модулей), а у моноблочных – высокими показателями наработки на отказ, при том что время восстановления моноблочных ИБП, как правило, существенно больше.

Богатый выбор

Рассмотренные выше преимущества модульных ИБП способствовали тому, что в настоящее время эти системы разрабатывают и продают все ведущие мировые производители ИБП, позиционируя их как решения для дата-центров средней и малой мощности. Вместе с тем моноблочные источники формируют основное предложение в сегменте крупных ЦОДов.

Наиболее мощные модульные решения поставляет сегодня APC by Schneider Electric. Верхний мощностной диапазон производителя занимают модели серии Symmetra MW (400–1600 кВА). Эти устройства могут быть объединены в параллельную систему из восьми ИБП суммарной мощностью до 12,8 МВА, обеспечивая защиту электропитания ИТ-оборудования на объектах любого уровня.

Компания Emerson Network Power также занимается разработкой модульных ИБП. Для ЦОДов небольшой мощности предназначена модель Liebert APM (30–150 кВт). Ее отличительная особенность – наличие независимой системы управления, что исключает единую точку отказа в виде центрального управляющего блока. Фирменная технология FlexPower позволяет объединить в параллель до четырех модульных ИБП, что доводит общую мощность решения до уровня 600 кВА. Для крупных корпоративных ЦОДов Emerson выпускает моноблочные ИБП высокой мощности, работающие в параллельном режиме с централизованным либо распределенным статическим байпасом. Речь идет о модельном ряде систем Liebert HipulseE с мощностью единичного блока 300–800 кВА. При параллельном объединении шести ИБП можно получить систему бесперебойного питания мощностью до 4,8 МВА.

В портфеле предложений Chloride, дочерней компании Emerson, есть два ИБП, позиционируемые как решения для дата-центров. Одно из них, Chloride 80-NET (до 500 кВА) – моноблочное; другое, Trinergy – модульное, причем модульная компоновка применена на всех уровнях. Например, из ИБП можно извлечь блок выпрямителя или инвертора по одной из фаз. Устройство Trinergy дает возможность наращивать мощность в рамках одной системы ИБП от 200 до 1200 кВА и включать в параллельную работу до восьми систем суммарной мощностью 9,6 МВА. Для увеличения КПД Trinergy умеет отключать неиспользуемые по мощности модули, в том числе с учетом резервирования, что особенно актуально для новых ЦОДов, в которых нагрузка вводится постепенно.

У компании AEG Power Solutions модульное решение называется Protect 3.M (до 120 кВА), оно позиционируется как система для питания ЦОДов относительно небольшого размера. ИБП выполнен по бестрансформаторной схеме с применением IGBT-транзисторов в выпрямителе, что обеспечивает оптимальное сочетание с ДГУ. Для более мощных ЦОДов компания предлагает моноблочные ИБП Protect 4,33 (до 1 МВА).

Для ЦОДов большой мощности предназначены и моноблочные ИБП серии Green Power (до 400 кВА) производства компании Socomec UPS и ее же источники серии Delphys MX (до 900 кВА). Объединение шести таких моноблоков в параллельном режиме позволяет получить решение общей мощностью до 5,4 МВА. В 2010 г. семейство Green Power пополнилось новой моделью модульных ИБП серии Modulys GP номиналом до 240 кВА.

Система Eaton Blade UPS ориентирована на сегмент малых дата-центров, поскольку ее максимальная мощность не превышает 60 кВА. При этом каждый из пяти силовых блоков на 12 кВА укомплектован собственным модулем управления и может работать как самостоятельный ИБП. Также он содержит встроенную батарею, автоматический и ручной байпас. При установке более одного модуля сзади в стойку монтируется общая шина, объединяющая выходы всех блоков, которые благодаря фирменной технологии HotSync «видят» друг друга. Для более мощных ЦОДов Eaton выпускает ИБП серии 9390 (275 кВА на моноблок). В параллель можно подключить до четырех таких систем, что даст общую мощность 1,1 МВА.

Из линейки продукции компании Tripp Lite для ЦОДов малой и средней мощности (до 320 кВА) подойдут модульные ИБП серии SmartOnline. Модели серии поставляются готовыми к функционированию в параллельном режиме, поскольку изначально оснащены портом параллельной работы. В результате в систему можно объединить до четырех модульных ИБП общей мощностью 1280 кВА.

Для ЦОДов начального и среднего уровня (до 240 кВА) компания Powercom предлагает системы на базе моноблочных ИБП серии VGD33. В следующем году она планирует вывести на российский рынок новую модель модульного ИБП – Modular UPS, которая, как рассчитывает компания, по ряду технических решений составит конкуренцию продукции известных мировых производителей. Modular UPS позволит создавать легко наращиваемую систему мощностью до 200 кВА в едином конструктиве с возможностью параллельной работы до пяти ИБП суммарной мощностью 1 МВА.

Каковы перспективы?

Несмотря на свою «молодость» (относительно моноблочных систем), модульные ИБП имеют хорошие перспективы развития. Обусловлено это, в частности, тем, что сегодня ИТ-сфера обращает повышенное внимание на энергоэффективность ЦОДов, которой легче добиться при использовании модульных систем (за счет оптимального распределения нагрузки). Это не значит, что КПД моноблоков ниже, но в проектах дата-центров с перспективой наращивания нагрузки постепенное увеличение количества модулей ИБП позволяет использовать только ту мощность, которая необходима в данный момент. Дополнительным преимуществом модульных систем является более короткое время восстановления.

Поэтому Алексей Волков (Tripp Lite), например, считает, что в ЦОДах сегодня наиболее востребованы именно модульные решения, поскольку они обеспечивают некоторый начальный уровень резервирования и быстрый ремонт в случае отказа силового модуля. В ближайшем будущем модульные ИБП будут превалировать над моноблочными системами с функцией параллельной работы.

Схожую точку зрения высказывает и Сергей Амелькин (Eaton), который отмечает, что компании, имеющие определенный вес на рынке ИБП в России, чаще предлагают для ЦОДов модульные источники. Такие системы больше подходят для ЦОДов и обладают экономическими выгодами. В то же время, по оценкам аналитиков, более 80% дата-центров Европы все еще используют моноблочные ИБП, объединенные в параллельные системы.

Делая прогнозы относительно развития ИБП для ЦОДов, Анатолий Маслов (Chloride) отдает предпочтение комбинированным решениям. По его словам, ИБП будущего – это система, обладающая гибкостью масштабирования, повышенной ремонтопригодностью модульного решения и в то же время функциональной и элементной полнотой каждого блока, свойственной традиционным ИБП. Иными словами, система не должна иметь единых точек отказа, которые характерны для сугубо модульных решений.

Эксперты также отмечают, что в ближайшей перспективе модульные и моноблочные ИБП в параллельных конфигурациях будут сосуществовать. При этом в России, как и в мире в целом, модульные системы все активнее занимают сегмент мощностей более 300 кВт, где еще недавно господствовали моноблочные решения. Однако модульные системы вряд ли полностью вытеснят традиционные ИБП. Как указывает Андрей Вотановский (Emerson Network Power), несомненный недостаток модульных систем – более высокая по сравнению с моноблочными начальная стоимость. Хотя с учетом меньших эксплуатационных затрат и малого времени восстановления, способствующего минимизации возможных операционных потерь, стоимость владения модульной системой может в итоге оказаться более привлекательной.

В отношении же дата-центров мощностью свыше 300 кВт эксперты практически единодушны в том, что в данном сегменте пока господствуют моноблочные решения, работающие в параллельной схеме с резервированием N + 1.