| Рубрикатор |  |
 |
Реклама
| Статьи |  |
ИКС № 7-8 2009 | |
|
| Александр БАРСКОВ | 28 июля 2009 |
Отказоустойчивые ИБП: модульные или моноблочные?
Ни одно устройство не может работать вечно. Даже источники бесперебойного питания (ИБП) – казалось бы, оплот надежности и стабильности – и те могут отказать. Как повысить их отказоустойчивость? И что предпочесть для снижения вероятности отказа – внутреннее резервирование модульных аппаратов или параллельные комплексы из моноблочных систем?
Среднее время наработки на отказ (MTBF), сколь большим оно бы ни было, – вероятностная величина. А это значит, что поломка любого устройства может произойти в любое время, только вероятность данного события – в зависимости от качества изделия и степени резервирования его компонентов – будет больше или меньше.Сам по себе отказ далеко не всегда катастрофа. Гораздо важнее то, как долго устройство будет находиться в нерабочем состоянии, что определяется средним временем восстановления (ремонта) системы (MTTR). Известно, что уровень доступности (или работоспособность) устройства повышается при увеличении MTBF и снижении MTTR. Последняя характеристика складывается из времени обнаружения и локализации неполадки, демонтажа отказавшего и монтажа нового элемента, а также времени на регулировку, настройку и проверку результатов ремонта. При выборе системы в первую очередь следует обращать внимание на ее конструкцию, которая должна обеспечивать максимальную простоту и скорость выполнения всех этих процедур, что служит гарантией минимального времени ремонта.
Основной способ снижения вероятности отказа – резервирование отдельных элементов (или целых устройств) с обеспечением избыточности их характеристик. В мире ИБП это реализуется двумя путями – использованием модульных устройств и объединением в параллель моноблочных источников.
Модульные ИБП: простой и быстрый ремонт
Модульные ИБП представляют собой единый конструктив (стойку), куда устанавливаются силовые модули. Увеличением их числа наращивается мощность и/или привносится необходимая для отказоустойчивой работы избыточность. В таких устройствах, как правило, используется ряд общих элементов: блок аккумуляторных батарей (АКБ), узел управления (обычно он резервируется) и узел электронного байпаса (линия питания нагрузки при перегрузке инверторов или их поломке).
Модульные источники легко масштабируются, причем установка/извлечение силовых модулей часто осуществляется в горячем режиме – без перевода системы в сервисный режим. Их очевидные плюсы – компактность, снижение затрат на покупку и проводку силового кабеля от главного щита распределения питания до ИБП, а также меньшее тепловыделение, что снижает затраты на систему охлаждения.
|
Примеры модульных и моноблочных ИБП некоторых производителей
|
||
|
Производитель
|
Модульные ИБП (мощность одного модуля / максимальная мощность всей системы)
|
Моноблочные ИБП (максимальная мощность одного ИБП × число ИБП в параллельной системе)
|
| APC by Schneider Electric | Symmetra LX (4/16 кВт), Symmetra PX2 (16/160 кВт), Symmetra MW (200/1600 кВт) |
Galaxy 5000 (120 кВА x 6) Galaxy 6000 (800 кВА x 6) Galaxy 7000 (500 кВА x 6) Galaxy 9000 (800 кВА x 6) |
| Chloride | MP-NET (20/320 кВА) | 80-NET_mpr (40 кВА x 8) 70-NET (60 кВА x 8) 80-NET (200 кВА x 8) 90-NET (800 кВА x 8) |
| Eaton | BladeUPS (12/60 кВА) | Eaton 9355 (40 кВА x 4*) Eaton 9390 (160 кВА x 4*) Eaton 9395** (1100 кВА x 4*) |
| Emerson Network Power/Liebert | Infinity (4/20 кВА) | Liebert NX (200 кВА x 6) Liebert HiPuls (800 кВА x 6) |
| GE DE | Нет данных | LP11, 31T (10 кВА х 4) LP33 (120 кВА х 4) SitePro (500 кВА х 8) SG (500 кВА х 6) |
| Tripp Lite | SmartOnline (20/80 кВА)*** | SmartOnline NT (200 кВА x 6) |
| Powercom | Нет данных | ONL 33 (200 кВА x 2) Vanguard 33 (60 кВА x 4) |
| Socomec | Masterys EB (15/45 кВА или 30/90 кВА) | Masterys MC (80 кВА x 6) Delphys MP (200 кВА x 6) Delphys MX (500 кВА x 6) Delphys DS (800 кВА x 6) |
| *Увеличение числа ИБП в параллельной системе возможно по запросу. **Каждый моноблочный ИБП поддерживает внутреннее резервирование N+1. ***Возможна установка двух ИБП в параллель (160 кВА). |
||
Ремонт модульной системы на первый взгляд действительно прост – достаточно извлечь неисправный модуль и заменить его новым. Впрочем, здесь есть ряд условий, на которые обращает внимание Алексей Волков (компания Tripp Lite): заказчик должен иметь склад запасных частей (как правило, два-три наименования) и быть уверенным, что вышедший из строя компонент находится внутри модуля, который он собирается менять. Понятно, что если дал сбой компонент, не входящий в какой-либо модуль, то время восстановления будет сопоставимо со временем восстановления моноблочной системы.
Наличие ряда общих блоков и узлов, во многом обусловливающих преимущества модульных ИБП, определяет и их недостатки. Так, по мнению Олега Соколова (Powercom), в конструкциях с последовательным резервированием управляющего модуля при отказе основного модуля и передаче функций управления его дублеру система становится на какое-то время неуправляемой, что может привести к печальным последствиям.
Общий батарейный массив – еще одна потенциальная точка отказа модульных ИБП. В случае его отключения нагрузка будет подсоединена напрямую к сети электропитания (через электронный или ручной байпас). А если в это время возникнут перебои в работе сети, то и нагрузка окажется под угрозой. Кроме того, как отмечает Алексей Рылов из компании «Трансфер Эквипмент Восток» (ТЭВ), минусом модульных ИБП является некорректность добавления батарей, необходимость которой возникает, например, при увеличении мощности системы. При таком добавлении на общей шине постоянного тока будут работать старые и «свежие» батареи, что приводит к снижению ресурса последних.
Андрей Вотановский (Emerson Network Power/Liebert) в качестве трех главных недостатков модульных ИБП называет ограничение общей максимальной мощности (не более 100–200 кВА), отсутствие возможности, да и целесообразности, параллельной работы нескольких таких систем, а также частые отказы единичных модулей, связанные с наличием множества контактных групп.
Моноблоки в параллель: высокая надежность
Согласно теории надежности технических систем максимальной надежностью обладает система с минимальным числом компонентов и не имеющая общего звена. Системы с большим числом параллельных силовых модулей, объединенных в общем шкафу, Константин Соколов из компании «Абитех» (российский партнер компании General Electric Digital Energy) характеризует как вертикально-модульные. Параллельные моноблочные системы (горизонтально-модульные) состоят из меньшего числа элементов (от 2 до 6), при этом общее звено либо отсутствует в принципе, либо специально создается с большим запасом надежности.
Несмотря на декларируемый плюс модульных систем – возможность постепенного наращивания конфигурации (пользователь платит только за те модули, которые ему реально нужны), совокупные затраты, по мнению специалиста «Абитеха», при этом не меньше, чем для правильно рассчитанной параллельной системы на базе моноблоков. Связано это, в частности, с тем, что за основной шкаф модульного ИБП придется заплатить сразу, равно как и за создание соответствующей его максимальной мощности распределительной сети (иначе кабели и распределительные щиты пришлось бы менять при каждом изменении конфигурации). Важно отметить, что моноблочные параллельные системы требуют более тщательного расчета нагрузок, а значит, повышается ответственность проектировщика и системного интегратора.
Моноблочные системы, работающие в параллельном режиме, позволяют гибко решать вопросы, связанные с масштабированием: нет привязки к размерам конструкции для физического размещения модулей. А. Вотановский обращает внимание на следующее обстоятельство: чем больше номиналов («кубиков») в модельном ряду производителя, тем проще построить систему, максимально удовлетворяющую требованиям проекта. К недостаткам моноблоков он относит невозможность горячей замены ИБП: в процессе наращивания мощности возникает необходимость на некоторое время перевести систему на питание через байпас, что гипотетически может подвергнуть нагрузку опасности.
Как рассказал Денис Андреев из компании Landata (поставщик ИБП Eaton), они редко предлагают системы с резервированием на базе модульных систем (хотя такие системы небольшой мощности есть у Eaton), ориентируясь на построение параллельных комплексов из моноблоков с применением технологии HotSync. Ее особенность заключается в том, что не требуется ни дополнительных плат параллельной работы, ни кабелей для синхронизации, а следовательно, возрастает отказоустойчивость системы.
Существует масса факторов, влияющих на выбор типа ИБП (модульный или моноблочный): это и выделенный объем первоначальных инвестиций, и размеры технического помещения, и предпочтения заказчика по обслуживанию оборудования. По мнению Алексея Ефанова (управление «Кабельная и инженерная ИТ-инфраструктура» компании «АйТи»), модульное решение предпочтительнее, когда заказчик четко понимает перспективы дальнейшего развития проекта в плане увеличения мощности питаемого оборудования. Если это увеличение будет соизмеримо с первоначальной мощностью или даже превысит ее, имеет смысл остановиться на модульном решении, которое позволит сэкономить, в том числе за счет сокращения расходов на электроэнергию. В ситуации, когда планируемый рост мощности не столь значителен, лучше ориентироваться на моноблочные ИБП с заложенным резервом по мощности. В своих проектах «АйТи» использует как модульные решения APC InfraStruXure и Rittal Rimatrix5, так и решения на базе моноблочных ИБП компаний NeuHaus, General Electric Digital Energy, Eaton.
Максимальная мощность практически всех представленных на рынке модульных ИБП не превышает 100–200 кВА. Как считает А. Рылов, они эффективны на нагрузках именно до 100 кВА, причем тогда, когда приращение мощности ИБП до максимума в рамках общего потребления объекта не ведет к запросу дополнительной разрешенной мощности и апгрейд распределительной кабельной системы не требует слишком больших затрат. При этом он утверждает, что модульные системы обеспечивают только резервирование мощности, а для резервирования всего комплекса электропитания нужно использовать параллельные системы моноблочных самодостаточных ИБП. Компания ТЭВ в своих решениях использует именно такой подход, акцентируя внимание на необходимости резервировать не только ИБП, но и все элементы системы электроснабжения.
Опровергая стереотипы
Тем не менее есть компания, которая опровергает расхожее мнение об эффективности верхней планки для модульных ИБП на уровне 100–200 кВА. Это APC by Schneider Elecrtic, выпускающая наряду с модульными системами средней мощности ИБП-гигант – Symmetra MW мощностью до 1600 кВт (один модуль – 200 кВт). При этом М. Балкаров категорически не согласен с тем, что большое число относительно маленьких модулей приводит к росту числа отказов. «Если исходить из подобной логики, то современные мощные транзисторы вообще неработоспособны – ведь они представляют собой сотни маленьких элементов, объединенных на кристалле в параллель, – говорит он. – А если принять во внимание существенно разное время восстановления, то вероятность критического отказа системы, собранной даже из двух мощных моноблоков, значительно выше – важен ведь не отказ элемента, а потеря системой в целом своего функционала».
Специалист АРС обращает внимание на то, что использование относительно небольших модулей позволяет реализовать выгодный с точки зрения общей стоимости владения поэтапный рост мощности источников. Здесь и экономия на самих модулях, покупаемых лишь по мере роста реальной нагрузки, и снижение потерь в ИБП, поскольку в недогруженных источниках заметно падает КПД. Единственный реальный недостаток модульных источников, по его мнению, – это высокие стартовые капиталовложения, если источник заказывается сразу на полную мощность. Тем не менее при учете общей стоимости владения в серьезных проектах и этот недостаток исчезает за счет более дешевого обслуживания и большей итоговой надежности систем.
Недостатки модульных ИБП, связанные с уязвимостью их общих узлов, производители пытаются устранять. Один из очевидных путей – сокращение числа таких узлов. По этому пути пошла компания Eaton, разработав ИБП Blade UPS. В этих устройствах каждый модуль на 12 кВА/12 кВт имеет собственные (а не общие на систему) блок управления, встроенные автоматический и ручной байпасы, а также встроенную батарею (при необходимости увеличения времени автономной работы можно докупить внешние 3U батарейные модули). При установке в стойку более одного модуля сзади в нее монтируется общая ши-на, объединяющая выходы всех модулей. Модули Blade UPS «видят» друг друга через силовые выходы с помощью технологии HotSync.
Схемы резервирования
Независимо от типа выбранных ИБП проектировщики отказоустойчивых систем электропитания должны определиться и со схемой резервирования. Напомню на примере нагрузки в 400 кВт основные принципы обозначения таких схем. Указанную нагрузку могут обслуживать три ИБП мощностью по 160 кВт (160 x 3 = 480, остается еще запас 80 кВт на случай расширения), но в данном случае никакой избыточности нет: при выходе из строя одного ИБП мы теряем нагрузку. Система из четырех ИБП обеспечит резервирование N+1 (3+1) – значит, при отказе одного ИБП нагрузке ничего не грозит. Установкой пяти ИБП мы получим схему N+2 (3+2) и т.д. Максимальный уровень резервирования обеспечивает схема 2 (N+1): в этом случае система состоит из двух абсолютно одинаковых резервирующих друг друга «плеч», в каждом из которых на N основных ИБП (суммарной мощности которых достаточно для обслуживания нагрузки) приходится один дополнительный, гарантирующий необходимую мощность в случае выхода из строя одного из основных источников (см. рисунок).
Насколько часто на практике применяется резервирование 2 (N+1)? Опираясь на свой опыт, М. Балкаров говорит, что при установке модульных ИБП эта схема практикуется довольно часто (во многом это обусловлено незначительной разницей в стоимости систем 2 (N+1) и 2N), а вот для моноблоков ему ни разу не приходилось сталкиваться с ее использованием. Между тем, по данным А. Вотановского из Emerson, схема 2 (N+1) применяется в 20–25% от общего числа решений. По мнению специалистов компании ТЭВ, схема 2 (N+1) чаще применяется в корпоративных ЦОДах, а схема 2N или N+1 – в хостинговых дата-центрах, при небольших (до 300–400 кВт) мощностях.Понятно, что реализация схемы 2 (N+1) – удовольствие не из дешевых, причем учитывать надо не только стоимость оборудования ИБП, но и кабелей, лотков, распределительных щитов. К. Соколов напоминает и о том, что эта схема предполагает наличие на объекте двух (или более) взаимно резервируемых вводов соответствующей мощности от городских энергосетей. Необходимость выполнения этого требования существенно сокращает список заказчиков, которые готовы пойти на реализацию такой системы.
Чем выше уровень резервирования, тем больше элементов в системе и тем дороже ее сервисное обслуживание и поддержание в рабочем состоянии, – предупреждает А. Волков. «Опытный проектировщик зарезервирует должным образом самые уязвимые компоненты системы по схеме 2N, там, где допустимо, предложит резервирование N+1, а где-то обойдется и вовсе без него», – говорит он.
В компании Крок вообще не считают решение 2 (N+1) экономически оправданным и не используют его при реализации проектов, отдавая предпочтение схеме 2N. Как рассказывает Петр Вашкевич, главный инженер департамента автоматизации инженерных систем компании, подобная схема использовалась в проекте по созданию резервного вычислительного центра (РВЦ) Альфа-Банка. На объекте установлена система из четырех независимых ИБП, мощность каждого 160 кВА (144 кВт). Резервирование обеспечено наиболее надежным способом – схемотехнически: на каждый потребитель (а они оснащены минимум двумя резервирующими друг друга блоками питания) электроэнергия подается минимум по двум фидерам, запитанным от полностью независимых друг от друга ИБП. В качестве резервной энергетической установки используются две параллельно включенные дизель-генераторные установки (ДГУ). Отказоустойчивость системы проявляется в том, что ни один одиночный отказ в системе электроснабжения не способен привести к нарушению непрерывности электроснабжения информационно-вычислительного комплекса. Более того, по словам П. Вашкевича, удалось добиться того, что работоспособность комплекса сохраняется практически при любой комбинации любых двух отказов системы электроснабжения.
Последний пример показывает уникальность каждого серьезного проекта, связанного с построением отказоустойчивых комплексов электропитания. Выбор схемы резервирования и типа ИБП зависит от специфики задач потребителя и его финансовых возможностей. При этом важно не только обеспечить отказоустойчивость системы ИБП, но и гарантировать надежную работу других элементов.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!
Адрес: 105082, Россия, г. Москва, 2-й Ирининский пер, д. 3