• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Неочевидные решения для энергоснабжения ЦОДа

Огромные инвестиции в проекты ЦОДов, высокая стоимость вычислительного оборудования и все возрастающая ценность непрерывности доступа к данным требуют высочайшей надежности вспомогательных систем, в частности систем энергоснабжения.

Однако помимо широко применяемых сейчас нескольких схем есть и другие решения, которые хорошо подходят для использования в ЦОДах.

Пути повышения надежности

Повысить надежность энергоснабжения ЦОДа можно двумя путями. Во-первых, выбором качественного и зачастую недешевого оборудования. Следующий шаг – обязательное резервирование источников питания (ИБП, аккумуляторных батарей и дизель-генераторных установок), кондиционирование прецизионного класса и т.д.

Второй путь повышения надежности тоже очевиден – правильный выбор схемы подключения оборудования. Но что мы имеем на практике? Скучный набор из нескольких самых распространенных схем.

Стандарты

Проектирование и планирование ЦОДов в мировой практике регламентируются американским (а де-факто международным) стандартом ANSI TIA/EIA-942 (TIA-942). Руководящим документом часто становятся и рекомендации The Uptime Institute. TIA и TUI предлагают по четыре схемы организации электропитания, не сильно отличающиеся друг от друга. Стоит ли слепо следовать одной из этих схем? Ведь для проектирования ВЦ или ЦОДа вполне достаточно здравого смысла и старых добрых строительных норм СН 512-78.

В отличие от стандарта TIA-942, который представляет собой набор детальных рекомендаций для инженеров по созданию каждой системы и подсистемы ЦОДа, сертификация Uptime Institute – это присвоение ЦОДу некоего уровня (Tier I–IV) по аналогии с гостиничными «звездами». Конечно, владельцам ЦОДа может потребоваться сертификация TUI. Например, если они предполагают сдавать его в аренду. Ведь для арендатора наличие сертификата – важный аргумент в пользу предлагаемого дата-центра. А корпоративному ЦОДу Tier от TUI если и нужен, то только для престижа. Таким образом, необходимость уложиться в одну из рекомендованных схем – случай нечастый.

Более того, рекомендации TUI иногда удивительны. Так, для энергоснабжения ЦОДа в качестве основного рекомендуется питание от дизель-генераторной установки, а питание от городских сетей допускается только как более экономичная альтернатива, но не как штатный способ электропитания. Тем не менее отступать от схем TUI проектировщики и заказчики боятся.

Современные технологии предлагают почти идеальные решения для обеспечения высокой надежности электропитания. Источники бесперебойного питания могут гарантировать непрерывность электропитания и его качество, защищая не только от отказов энергосетей и магистралей, но и от колебаний показателей качества электроэнергии. Статические ИБП, построенные по технологии двойного преобразования (VFI-SS по классификации МЭК), гарантируют устойчивость напряжения и частоты.

Статистика

Любопытную статистику собирают инженеры в управляющем центре системы дистанционного управления и диагностики одного из ведущих производителей ИБП. Эта система получает диагностическую информацию с тысяч ИБП по всему миру, что позволяет превентивно осуществлять обслуживание или ремонт оборудования. Ценнейший материал подвергается статистической обработке, и раз в два года на его основе делаются доклады на конференциях CENELEC.

В частности, в центре управления определяется соотношение количества и продолжительности отказов и восстановлений электропитания из-за неполадок на участке до ИБП (в сетях общего использования, включая высоковольтные линии) и на участке после ИБП (в сети распределения электропитания во внутренних помещениях на объектах). Оказалось, что количество и длительность простоев оборудования, подключенного к ИБП, в меньшей степени зависят от отключений или низкого качества электроэнергии в общественных электросетях, чем от надежности сегмента распределения электропитания после ИБП. Так, если среднее время нормальной работы системы между отказами обозначить как MUT (mean up time), а среднее время восстановления после отказа (т.е. среднюю длительность отказа) – как MDT (mean down time), то их отношение MDT/MUT для энергосистемы равно 0,556×10-4, а для сегмента распределения – 1,435×10-4. Для расчетов использовались данные более 10 тыс. инсталляций по всему миру.

Как же повысить надежность подсистемы распределения?

Структуры

Система бесперебойного электропитания (СБЭ) может иметь одну из двух структур – централизованную или распределенную (локализованную). По модным сейчас в мире ЦОДов тенденциям в обоих плечах СБЭ используются централизованные схемы. Такие системы содержат несколько мощных ИБП, к которым подключены все ответственные потребители. В распределенной структуре СБЭ каждый потребитель (или небольшая группа потребителей) получает питание от отдельного (локального) ИБП.

Основные преимущества распределенной структуры – возможность селективной защиты нагрузок, возможность ее реализации без переделки сетевой разводки, особенно в реконструируемых помещениях при использовании «розеточных» ИБП (ИБП малой мощности, включаемых непосредственно в абонентскую розетку), простота наращивания или изменения конфигурации. При отказе одного из ИБП отключается только часть системы, и при наличии устройств в «холодном» резерве (на складе) последствия отказа могут быть устранены в течение нескольких минут. Кроме того, при правильном выборе типов ИБП для их размещения не нужны специальные помещения.

Недостаток распределенной структуры – неэффективное использование ресурсов аккумуляторных батарей из-за невозможности обеспечить одинаковую нагрузку для всех ИБП. Время автономной работы отдельных ИБП (и соответственно нагрузок) различно, и время работы одной нагрузки не может быть увеличено отключением нагрузки от других ИБП. Другой недостаток этой структуры – ее низкая устойчивость при перегрузках, вызванных ошибочным подключением дополнительной нагрузки или коротким замыканием. Однако этот недостаток носит «локальный» характер и единовременно затрагивает нагрузки только одного ИБП. Он не является существенным и проявляется редко.

Преимущество централизованной структуры СБЭ состоит в эффективности использования установленной мощности ИБП и емкости батарей. Такая система менее чувствительна к локальным перегрузкам и даже выдерживает короткие замыкания, мощность которых не превышает перегрузочную способность ИБП. Увеличение времени автономности достигается отключением менее ответственных потребителей в соответствии с планом «деградации» системы. Недостаток централизованной структуры – более высокая, по сравнению с распределенной структурой, вероятность локального отказа, выражающегося в обесточивании целого плеча потребителей из-за неисправности распределительной сети бесперебойного электроснабжения.

Стоимость аппаратных средств централизованной структуры при равной мощности и одинаковых схемотехнических решениях ИБП, естественно, ниже, чем в распределенной структуре, что и делает этот вариант более популярным.

Архитектурные различия

Централизованные структуры с резервированием могут быть построены по-разному. Рассмотрим основные конфигурации ИБП в составе СБЭ, от простейших до сложных параллельных систем с резервированием, определим их уровень надежности и набор опций, позволяющий достичь наивысшего уровня надежности с помощью избыточных элементов.

Простейший базовый ИБП двойного преобразования (VFI) не имеет статического переключателя. Следует отметить, что на данный момент подобные устройства практически не выпускаются. Исключение составляют отдельные силовые модули для систем с модульной конструкцией. В таком ИБП ток может протекать только последовательно через выпрямитель и инвертор.

Следующий этап эволюции – ИБП со статическим переключателем, который может использовать дополнительный резервный ввод в случае отказа цепи «выпрямитель–инвертор» или в случае перегрузки. Для повышения надежности СБЭ на основе этих простых типов ИБП применяются методы параллельного или последовательного резервирования.

Два наиболее важных вида параллельных систем: распределенная и централизованная.

Распределенная параллельная система состоит из идентичных модулей со встроенным в каждый модуль статическим переключателем для выбора линии. Система может быть также оснащена ручным системным байпасным переключателем, который используется при ремонтных и регламентных работах. Этот выключатель имеет смысл применять для распределенных систем с более чем двумя-тремя модулями. В этой конфигурации сочетаются надежность и гибкость. Мощность системы может быть увеличена простым добавлением новых модулей к уже подключенным.

Централизованная параллельная система состоит из модулей без встроенных блоков статических переключателей. Модули идентичны, а статический переключатель обычно размещается в отдельном специальном корпусе. Этот статический переключатель рассчитан на полную номинальную нагрузку и подключается на резервный ввод системы. Таким образом, централизованная параллельная система – это практически система с централизованным байпасом. Она менее сложна в управлении и проведении ремонтных и регламентных работ по сравнению с распределенной системой. По этой причине ее наработка на отказ (mean time between failure, MTBF) несколько выше, чем MTBF распределенной системы. Однако централизованная конфигурация менее гибкая, и ее нежелательно применять на объектах, в которых величина номинальной нагрузки (т.е. требуемая мощность системы) может существенно измениться (прежде всего вырасти) в течение срока эксплуатации системы ИБП.

Существует и третья архитектура параллельных систем ИБП – high fault clearance, HFC (автор с коллегами так и не придумали адекватного русскоязычного термина. Если хорошие идеи возникнут у читателя, прошу поделиться). В системе с архитектурой HFC соединены возможности подключения к резервной линии: при помощи объединительного кабинета со статическим и ручным байпасами на всю мощность системы и по резервным вводам в каждом ИБП.

Благодаря наличию объединительного кабинета в случае остановки любого из инверторов (из-за перегрева, неисправности, истечения времени автономной работы) в системе HFC, как и в параллельной централизованной системе, остальные ИБП продолжают работать. Переключение на байпас происходит при перегрузке всей системы.

В случае короткого замыкания на выходе системы электропитание осуществляется и по резервным линиям в ИБП, и по общему байпасу. Для системы из двух ИБП, к примеру, это в четыре раза повышает перегрузочную способность системы (см. рисунок). Высокая перегрузочная способность параллельных систем HFC и устойчивость к коротким замыканиям на входе определяют высокую селективную способность. В случае короткого замыкания в каком-либо сегменте нагрузки система продолжает функционировать до срабатывания защитной автоматики.

Как показывают статистические расчеты (см. таблицу), среди всех рассмотренных систем наилучшее значение показателя MTBF – у параллельных систем с архитектурой HFC.

Комбинированный подход

Для устранения недостатков каждого из структурных решений можно предложить двухуровневую систему, которая представляет собой комбинацию систем, построенных по централизованной и распределенной схемам. В схемах питания ЦОДа возможны и другие комбинации. Например, в одном плече может быть реализована централизованная структура, а второе плечо может попросту... отсутствовать, замененное распределенными ИБП. Параллельная система ИБП тогда служит очень надежным резервным источником. Она используется только в случае отказов, происходящих на одном или нескольких ИБП (ИБП 1, ИБП 2 и т.д.) или в подсистеме распределения.

При выборе двухуровневой структуры, кроме установки комплекса параллельно функционирующих ИБП, расположенных в одном месте (как правило, вблизи электрического ввода в здание), отдельные наиболее ответственные потребители защищаются с помощью локальных ИБП меньшей мощности. Цель такого резервирования – защита оборудования от обесточивания вследствие аварий кабельной сети внутри здания, вызванных локальными повреждениями, короткими замыканиями или перегрузками (в том числе сети бесперебойного электроснабжения, подключенной к основному ИБП).

Задача оптимизации такой системы с точки зрения мощности и стоимости оборудования состоит в определении наиболее ответственных потребителей, которые будут получать электроснабжение по принципу распределенной сети.

Дороже, но надежнее

Рассмотрим для примера два схемных решения: широко распространенную двухплечевую схему с централизованной структурой ИБП в каждом плече (решение I) и вариант с заменой централизованной структуры в одном из плеч на распределенную (решение II).

В схемном решении I нужны две полноценные параллельные системы с резервированием. Схемное решение II потребует установки некоторого количества автономных одиночных ИБП со встроенными байпасными линиями малой мощности и модульной параллельной системы с резервированием по централизованной архитектуре.

Очевидно, что эти решения существенно различаются по начальным капиталовложениям: стоимость решения II приблизительно на 20% выше. Но и надежность его выше. Также имеются различия в коэффициентах использования мощности ИБП. При более низких значениях коэффициента использования снижается КПД, а следовательно, возрастают затра-ты на электроэнергию и кондиционирование помещений. В решении I нагрузка полностью разделена между избыточными системами ИБП, и коэффициент использования мощности модуля (при условии, что все ИБП функционируют) составляет около 50%.

В решении II одиночные ИБП обеспечивают 100% номинальной мощности, в то время как резервная система с централизованной структурой обычно работает при нулевой загрузке (разумеется, в отсутствие отказов). Для повышения КПД объекта в целом в таком случае рекомендую выбирать модульный ИБП с возможностью «холодного» резерва, т.е. со способностью отдельных модулей переходить в «спящий режим» и архитектурой HFC.

Построение дерева отказов (отказом считается прерывание электропитания на любом одиночном сегменте нагрузки) при условии, что все элементы неремонтопригодны, и расчеты дают следующие результаты: решение I имеет MTВF 139 тыс. ч (приблизительно 15,9 лет), в то время как решение II имеет MTВF около 146 тыс. ч (приблизительно 16,7 лет), т.е. на 5% выше. И достигаются такие цифры прежде всего за счет повышения надежности «последней мили».

В реальных условиях эксплуатации элементы, разумеется, ремонтопригодны, и MTBF обеих систем достигает нескольких тысяч лет!

Использование решения I предполагает разумное и достаточно заметное сокращение капитальных вложений в систему. По этой причине данный вариант более популярен. Однако в качестве пути повышения надежности можно рассматривать вариант с заменой централизованной структуры в одном из плеч на распределенную.

Использование систем бесперебойного и гарантированного электропитания на базе ИБП и генераторных электростанций, разработанных по новейшим технологиям, – необходимое условие работы ЦОДа. Количество и длительность простоев оборудования, подключенного к СБЭ, в меньшей степени зависит от отключений или низкого качества электроэнергии в общественных электрических сетях, чем от надежности сегмента распределения электропитания после ИБП.

Как показывает опыт, надежность «последней мили» питания существенно влияет на коэффициент доступности системы в целом. Подавляющее большинство системных отказов вызвано проблемами именно в системе распределения, а не отказами непосредственно ИБП.

Для комплексного увеличения надежности энергоснабжения ЦОДа стоит иногда отойти от модных и, как кажется, единственных решений, посмотреть на проблему глубже и не отказываться от незаслуженно забытых наработанных годами подходов.