Rambler's Top100
Статьи ИКС № 01-02 2010
Евгения ВОЛЫНКИНА  28 января 2010

Дата-центр в проекте. Требуется бесперебойное питание

Несмотря на кризис и снижение спроса на услуги дата-центров, строить ЦОДы в России в 2009 г. не перестали. В том числе и крупные, серьезные дата-центры, где требуется использование оборудования соответствующего класса и уровня надежности.

Подтверждают это и анонсы введенных в строй за последний год объектов, хозяева которых заявляют об их соответствии уровню надежности Tier III по классификации Uptime Institute (пусть даже при отсутствии соответствующего сертификата).


Понятно, что все дата-центры и их отдельные очереди, введенные в строй в кризисном 2009 г., начинали проектировать как минимум за полтора года до разрезания красной ленточки. За это время изменилась и ситуация на рынке, и требования к оборудованию ЦОДов и его энергообеспечению. Произошел и некоторый прогресс в технологиях, применяемых в этом оборудовании. Чтобы выяснить последние тенденции в мире электропитания для ЦОДов, узнать о новинках производителей и о том, как их используют в своих проектах российские строители дата-центров, мы решили объявить «тендер» на проектирование систем электропитания для гипотетического крупного коммерческого дата-центра с параметрами, которые показались нам довольно типичными для объектов подобного класса:


– дата-центр планируется вводить в эксплуатацию в две очереди с разницей по времени в полтора-два года;


– уровень надежности каждой очереди соответствует Tier III;


– каждая очередь ЦОДа имеет серверное помещение площадью 300–350 м2, в котором предполагается установить до 150 стоек с подводимой мощностью 5–10 кВт на стойку (согласимся со скептиками, что места маловато, но теснота в российских дата-центрах – дело обычное и к тому же хотелось узнать, насколько продвинулись разработчики в плане уменьшения габаритов оборудования).


Электропитание с гарантией


Как видим, электрических мощностей потребуется немало. Правда, даже при наличии электричества стабильная работа установленного в дата-центре ИТ-оборудования не гарантирована. Дата-центр нужно обеспечить электропитанием достаточно высокого качества, поскольку «сырое» электричество из российских розеток обычно довольно «грязное». Более того, «очищенное» электричество должно поступать к оборудованию постоянно (точнее, оно может отсутствовать максимум 1,6 часа в год, иначе это не Tier III). Поэтому начать мы решили с систем гарантированного бесперебойного электропитания ЦОДа.


В соответствии с ситуацией на рынке, т.е. на фоне общего дефицита электроэнергии, увеличения ее цены и постоянного роста энергопотребления компьютер-ного оборудования, в качестве основного приоритета мы заявили минимизацию общей стоимости владения дата-центра в течение ближайших 3–5 лет, а это значит, что экономия на первоначальных инвестициях в оборудование не должна обернуться слишком большими расходами на последующую его эксплуатацию.


На объявление о «тендере» откликнулись производители систем бесперебойного электропитания, системные интеграторы и владельцы дата-центров. Правда, Виктор Паршин , директор центра инженерной безопасности Stack Group (компании, которая уже немало лет занимается строительством и эксплуатацией дата-центров), порекомендовал нам, как заказчику, несколько скорректировать начальные условия. Он полагает, что диапазон потребляемых мощностей 5–10 кВт на стойку слишком широк и не позволяет однозначно подойти к выбору инженерных решений. Кроме того, закладывать сегодня меньше 8 кВт на стойку при проектировании дата-центра, вводимого через год, просто нерентабельно. Однако практически все участники «тендера» в своих расчетах подводимой мощности ориентировались на верхнюю половину предложенного диапазона, исправив таким образом нашу оплошность с оценкой темпов роста энергопотребления в российских дата-центрах. Так что в итоге предлагались решения для 150 стоек, имеющих подводимую мощность по 7,5–10 кВт каждая, т.е. суммарная активная мощность ИТ-оборудования для каждой очереди ЦОДа составляла 1,1–1,5 МВт, а полная потребляемая мощность каждой очереди – порядка 1,8–2,4 МВт.


Uptime как точка отсчета


Стоит еще отметить, что в своих предложениях участники «тендера» закладывали разные уровни резервирования систем электропитания, исходя из собственного опыта реализации проектов. Но, конечно же, этот уровень был не ниже N+1, определяемого минимальными нормативами Uptime Institute для дата-центров класса Tier III. По мнению Андрея Вотановского , специалиста по системам бесперебойного питания переменного тока компании Emerson Network Power S.r.l, в данном случае уровень резервирования необходимо заложить как 2N с возможностью повышения до 2N+1; наиболее эффективной реализацией подобного решения станет создание двух подключенных к отдельным фидерам групп ИБП, в каждой из которых будет по два (2N) или три источника (2N+1). Еще один довод в пользу усиленного резервирования приводит руководитель отдела департамента системной интеграции компании «Трансфер Эквипмент Восток» Олег Кущев : «В современных ЦОДах все чаще применяется активное оборудование, для которого нормальным режимом работы является питание от двух блоков питания, подключенных к независимым линиям электроснабжения. В связи с этим мы своим заказчикам рекомендуем повысить уровень резервирования по ИБП до 2N».


Между тем В. Паршин сразу предостерег: создатель дата-центра категории Tier III должен быть готов к возможным административным сложностям, которые могут возникнуть при получении дополнительного ввода от альтернативной подстанции. Дело в том, что российские дата-центры, в отличие от объектов связи, не относятся к объектам особой категории и поэтому энергоснабжающие компании имеют право отказать в удовлетворении этой заявки.


Константин Соколов , начальник отдела экспертизы компании «Абитех», предлагает организовать для нашего дата-центра параллельно-резервированную систему бесперебойного гарантированного электропитания (СБГЭ) с использованием ИБП двойного преобразования, устройства автоматического ввода резерва (АВР) и резервного источника электропитания на базе дизель-генераторной установки (ДГУ). При возникновении нештатных ситуаций, например при отключении одного из двух городских вводов, такая система переключает нагрузку на второй ввод (предполагается, что любой из вводов способен обеспечить электроснабжение всех потребителей ЦОДа), а при отключении второго ввода система должна гарантировать автономную работу нагрузки за счет аккумуляторных батарей в течение такого промежутка времени, который требуется для запуска ДГУ. В состав СБГЭ должна входить параллельная группа ДГУ общей мощностью, достаточной для электропитания центральных ИБП, климатических и вспомогательных систем (в данном случае, по подсчетам «Абитех», это 3,0–3,5 МВт).


Примерно на такой же уровень потребляемой мощности активного оборудования (3 МВт с учетом двух этапов ввода в эксплуатацию) ориентируется и компания «Техносерв», предлагающая использовать шесть моноблочных ИБП трансформаторного типа мощностью 600 кВт или 750 кВА, подключенных по схеме N+1. Тогда в первой очереди ЦОДа система бесперебойного питания будет состоять из четырех ИБП, а на втором этапе добавятся еще два (предполагается, что байпасный кабинет и электрокабельные структуры изначально должны быть рассчитаны на максимальную комплектацию).


Технический директор департамента интеллектуальных зданий КРОКа Александр Ласый считает, что с экономической и технической точек зрения мощностей каждой из очередей предлагаемого ЦОДа вполне достаточно для того, чтобы практически никак не увязывать между собой их системы энергоснабжения. Возможно, в данной ситуации это оправданно, хотя общее правило гласит: магистральные линии всех инженерных сетей, в том числе электропитания, должны быть спроектированы и построены сразу в расчете на общую мощность двух очередей дата-центра. Причем, как уточняет менеджер проектов компании «Комплит» Владислав Яковенко , при проектировании и вводе в эксплуатацию необходимо сразу же учесть возможность подключения нового оборудования в горячем режиме без остановки ЦОДа.


Сага о КПД


Итак, будем считать, что электрические мощности в необходимых количествах имеются и схема их подключения определена. Пора выбирать оборудование, не забывая об общей стоимости владения и заявленных характеристиках надежности. Начнем с анализа статистики аварийных ситуаций местной системы электроснабжения. Если перепады напряжения и перерывы в электроснабжении случаются редко и продолжаются недолго, то, как советует инженер-проектировщик компании «Датадом» Евгений Назаренко , можно взять ИБП, работающие по принципу дельта-преобразования, поскольку у них более высокий КПД по сравнению с онлайновыми ИБП. Однако техническое состояние и надежность внешних сетей, как правило, оставляют желать лучшего, поэтому для нашего дата-центра он рекомендует использовать классический онлайновый ИБП моноблочного типа со временем автономной работы не более 10 минут с поэтапным подключением дополнительных блоков ИБП при увеличении загрузки серверных стоек. Для уменьшения первоначальных капиталовложений можно использовать схему, когда в стойку заводится два типа питания – бесперебойное и так называемое «грязное», городское. Если параметры городского питания в норме, то электроснабжение ИТ-оборудования идет от него, а при сбоях и/или авариях оно переключается на бесперебойное. Технически это осуществляется с помощью тиристорных переключателей или путем применения серверов с двумя блоками питания. Такая схема позволяет уменьшить мощность и количество закупаемых ИБП. Для выполнения условия минимизации общей стоимости владения ИБП должен иметь достаточно высокий КПД при нагрузке в 30–40% от номинала и поддерживать автоматический переход в экономичный режим и обратно за время не более 2 мс (в противном случае возможны сбои импульсных блоков питания ИТ-оборудования). Кроме того, у него должен быть выпрямитель на IGBT-транзисторах и довольно высокий входной коэффициент мощности.


Технический эксперт компании Chloride Анатолий Маслов добавляет, что в ИБП с IGBT-транзисторами можно получить прибавку к КПД еще на 1–1,5% за счет качественной элементной базы и грамотных кон-структорских решений. Кроме того, он считает перспективным использование менее энергорасточительных режимов работы и рекомендует применять режим двойного преобразования только в случае необхо-димости. Выбрать соответствующий режим работы ИБП – VFI (on-line), VI (line-interactive) или VFB (off-line) – можно на основе результатов несложного анализа характеристик электропитания за определенный период времени. Таким способом, по данным Chloride, на электропитании ИБП Chloride Trinergy мощностью 600 кВт можно сэкономить более 1 млн руб. в год.


Ну а компания Eaton заявляет, что ее технология ESS (система сбережения энергии) позволяет увеличить КПД бестрансформаторных ИБП до 99%. С помощью специальных алгоритмов, реализующих технологию ESS, ИБП включаются в режим on-line только в случае реальной необходимости. Управляет работой ИБП специальное микропрограммное ПО, которое осуществляет переключение между тремя режимами: «максимальное энергосбережение» (Energy Saver); «двойное преобразование» (Double Conversion) и «работа только от батарей» (Battery Backup). При этом пользователь, исходя из особенностей имеющегося у него нагрузочного оборудования, может самостоятельно менять уровни входного напряжения, при которых происходит автоматическое переключение между этими тремя режимами. Причем время переключения между режимами не превышает 2 мс, что должно гарантировать надежную работу большинства серверов. Кроме того, Eaton предлагает использовать адаптивную систему управления модулями VMMS, которая повышает эффективность работы ИБП при небольших нагрузках, переключая в режим ожидания лишние силовые модули, с тем чтобы оставшиеся модули имели загрузку не менее 80% от номинала.


Аналогичные технологии имеются и у других поставщиков ИБП. Правда, по мнению Евгения Новикова , директора ЗАО «Стинс Корп.», отечественные специалисты часто игнорируют возможности, заложенные производителями в системах бесперебойного электропитания, несмотря на то что они постоянно обсуждаются на профессиональных мероприятиях. «Нет смысла обвешивать ИБП дополнительными опциями – в первую очередь необходимо более рационально использовать его собственные, уже существующие ресурсы. В этом и есть основной секрет повышения КПД», – уверен он. А побороться стоит даже за 1% увеличения КПД, так как в дата-центре с мегаваттным энергопотреблением это даст заметную экономию на счетах за электричество.


Выбор ИБП: традиции...


По данным аналитиков исследовательской компании IMS Research, лидерами мирового рынка ИБП являются APC by Schneider Electric, Eaton, Chloride и Emerson Network Power. Оборудованию именно этих компаний отдали предпочтение большинство участников гипотетического тендера.


Олег Зябрев, руководитель направления ЦОД департамента консалтинга и проектных решений в России и СНГ APC by Schneider Electric, предлагает использовать для нашего дата-центра даже две модели ИБП производства своей компании. Первая – модульная АРС Symmetra MW, построенная на принципе дельта-преобразования с КПД до 97%. В зависимости от количества модулей ее мощность может составлять от 400 до 1600 кВт. Вторая – MGE Galaxy 7000, достоинствами которой являются высокий КПД (до 94% без каких-либо фильтров) и пониженные требования к дизель-генераторным установкам на входе (входной коэффициент мощности 0,9). Этот же ИБП фигурирует и в предложении компании ЛАНИТ: четыре ИБП АРС MGE Galaxy 7000 500 kVA, подключенных параллельно через внешний механический байпас, позволяют нарастить мощность до 2 МВт. В этом случае, как отмечает руководитель отдела департамента сетевой интеграции ЛАНИТ Юрий Гурковский , система сможет работать по принципу N+1, что даст возможность выводить из эксплуатации один ИБП для профилактики или ремонта. Кроме того, у этого ИБП относительно небольшие для данной мощности габариты (1900 x 1815 x 855 мм) и вес (1450 кг).


Еще одну модель ИБП от АРС, а именно MGE Galaxy 6000 500 kVA, реально использует в своем ЦОДе DataLine. Правда, как рассказал технический директор компании Сергей Мищук , эти ИБП включены по схеме не N+1, а 2N. Двойное резервирование обусловлено не только требованиями отказоустойчивости, но и экономикой. «При проектировании рассматривался вариант N+1, но он, как ни парадоксально, оказался дороже (из-за неудачной конфигурации помещений длина и, соответственно, стоимость кабелей и шинопроводов получились такими, что дешевле было перейти к конфигурации 2N, в которой кабелей меньше). Этот пример подтверждает то, что не бывает простых универсальных правил вроде «N+1 дешевле, чем 2N» и результаты детального проектирования могут оказаться неожиданными», – поясняет он.


Компания Landata предлагает строить систему электропитания ЦОДа, взяв за основу модули ИБП Eaton серии 9395 мощностью 550 кВА/495 кВт и установив на каждый из вводов систему бесперебойного питания общей мощностью 1100 кВА/990 кВт. Руководитель департамента ИБП компании Денис Андреев мотивирует это тем, что каждый из ИБП мощностью 550 кВА состоит из двух модулей по 275 кВА, благодаря чему можно вывести из обслуживания один из модулей, продолжая при этом использовать второй в нормальном режиме. Это значительно увеличивает надежность и ремонтопригодность системы и позволяет серьезно сэкономить на стоимости запасных частей и ремонтного обслуживания. Кроме того, высокий КПД (до 95%) предлагаемой системы уменьшает общую стоимость эксплуатации системы за счет сокращения затрат не только на электроэнергию, но и на систему кондиционирования. При этом важно отметить, что с уменьшением нагрузки системы КПД ИБП Eaton 9395 почти не меняется: при 75%-ной нагрузке он составляет 94%, при 50%-ной – 92–93%, а при 25%-ной – 90%. К числу достоинств Eaton 9395 разработчики также относят новую технологию HotSync, применяемую в системах с параллельным соединением ИБП. Эта технология позволяет нескольким ИБП «видеть» друг друга без карт параллельной работы и синхронизовать свою работу через силовые входы ИБП. В обычных параллельных системах постоянная синхронизация ИБП производится с помощью специальных карт параллельной работы, соединенных интерфейсными кабелями (как правило, это новая витая пара). При выходе из строя этих карт или потере связи между ними параллельная система «падает», теряя жизненно важную нагрузку, а при работе по технологии HotSync таких дополнительных «точек отказа» нет, поэтому параллельные системы Eaton должны работать надежнее. Разработчики Eaton предприняли определенные меры и для продления жизни аккумуляторных батарей, цена которых нередко составляет весомую часть от стоимости ИБП. Технология управления батареями ABM (Advanced Battery Management) следит за уровнем заряда батареи и заряжает ее только тогда, когда это необходимо. Такой метод продлевает срок службы батареи до 50%. ИБП с технологией ABM заранее, за 60 дней, извещает пользователя об окончании срока жизни батарей. Этого времени вполне достаточно для их замены, причем замену батарей можно производить в «горячем» режиме. Все это позволяет существенно снизить затраты на эксплуатацию системы бесперебойного питания в целом. Денис Андреев подчеркивает также, что ИБП Eaton 9395 максимально «дружны» с ДГУ, так как имеют «мягкий старт», поэтому увеличение нагрузки на ДГУ идет постепенно, что заметно упрощает запуск ДГУ. Работу ДГУ облегчает и то, что благодаря вы-сокому входному коэффициенту мощности (0,99) Eaton 9395 потребляет из сети только активную мощность. Кроме того, выпрямитель у этого ИБП построен на IGBT-транзисторах, поэтому искажения входного тока в нем не превышают 3–5%. По габаритам (1880 x 1890 x 880 мм) и весу (1430 кг) ИБП Eaton 9395 тоже выглядит весьма достойно.


Компания Chloride предлагает для нашего гипотетического дата-центра новый ИБП Chloride Trinergy, состоящий из модулей по 200 кВт каждый и масштабируемый до мощности 1,2 МВт. А. Маслов обосновывает выбор тем, что этот ИБП может анализировать качество питающих сетей, прогнозировать их состояние и выбирать оптимальный режим работы с вариацией КПД от 95% до 99%. Кроме того, Chloride Trinergy поддерживает возможность параллельного соединения до восьми ИБП с получением суммарной мощности до 9,6 МВт. Также его можно подстраивать и под уменьшающуюся нагрузку, отключая 200-кВт модули в случае такой необходимости.


Компания Emerson Network Power тоже имеет в своем модельном ряду ИБП высокой мощности, предназначенные для мегаваттных дата-центров, например Liebert HipulseE 800 кВА, и они уже используются в российских дата-центрах со сходными или еще более серьезными мощностными характеристиками. Есть что предложить для участия в тендере и Socomec: Наталья Маркина , коммерческий директор представительства компании в России, хорошим выбором считает ИБП Delphys MX 500 (500 кВА/450 кВт), разработанный специально для работы с емкостными нагрузками, которыми являются серверные стойки. В числе его достоинств – высокий КПД, компактность (занимаемая площадь 1,52 м2), высокая плотность мощности (300 кВт/м2), независимое зарядное устройство, благодаря которому срок службы батарей увеличивается на 50%, и удобный доступ для технического обслуживания. А вот компания «Тесли» для организации бесперебойного электропитания ЦОДа предлагает использовать модульные ИБП Conceptpower Modular швейцарского производителя Newave. Максимальная мощность одной установки без резервирования – 300 кВА/240 кВт, а при параллельном резервировании N+1 – 200 кВА/160 кВт (мощность одного модуля может составлять 100 кВА/80 кВт или 80 кВА/64 кВт). При соединении нескольких систем в параллельную схему резервирование обеспечивается только одним избыточным модулем. Такое решение позволяет в будущем поэтапно наращивать мощности ИБП с минимальными затратами, а также заменять или устанавливать новые модули ИБП без отключения серверов или перевода их на «грязную» сеть.


Ну а К. Соколов («Абитех») предлагает строить систему электроснабжения по параллельно-резервированному принципу N+1 на базе пяти ИБП SG PurePulse мощностью 500 кВА, объединенных в одноранговую параллельную систему RPA (Redundant Parallel Architecture – резервируемая параллельная архитектура), обеспечивающую полное резервирование всех критичных компонентов. При использовании технологии RPA один из модулей ИБП становится ведущим. В случае выхода из строя одного из ИБП нагрузка автоматически перераспределяется между работоспособными модулями, а если из строя выходит ведущий ИБП, его функции автоматически берет на себя другой ИБП.


...и инновации


Правда, участники «тендера» не ограничились проверенными классическими решениями. А. Ласый (КРОК) полагает, что для ЦОДа такого масштаба можно использовать электромеханические системы бесперебойного питания. Например, на базе оборудования компании Hitec Power Protection. Сам он назвал это решение смелым, но уже вполне конкурентоспособным по отношению к традиционным системам и по начальным затратам, и по эксплуатационным расходам. Это достигается в первую очередь за счет экономии электроэнергии и сокращения числа подсистем, входящих в комплексную систему электроснабжения (в частности, нет необходимости в системе прецизионного кондиционирования батарей, используемой в случае статических ИБП), а также благодаря отсутствию аккумуляторных батарей, которые нужно периодических менять и утилизировать (при отключении электросети общего пользования до запуска ДГУ электропитание оборудования идет за счет кинетической энергии, сохраненной в индукционном накопителе).


Столь же смел оказался и Verysell. Специалисты этой компании также рекомендуют использовать роторные дизельные ИБП от Hitec Power Protection. Такая система сочетает в себе ИБП и ДГУ и обходится примерно на 30% дешевле по сравнению со статическими ИБП, к которым дизель-генератор нужно покупать отдельно, да и размеры ее существенно меньше, что позволяет сократить используемые под СГБЭ площади примерно на 30–40%. Кроме того, КПД данных систем достигает 98%, а это означает, что затраты на электроэнергию можно снизить не только за счет более эффективного ее использования, но и благодаря особенностям ценообразования: при коэффициенте мощности 0,7 электроэнергия поставляется с некоторой наценкой, а при коэффициенте 0,98 на базовый тариф, наоборот, предоставляется скидка, и в России она может доходить до 25%. Еще одно преимущество дизельных ИБП – использование технологии среднего напряжения (MV), обеспечивающей экономию при резервировании систем электроснабжения. Технология низкого напряжения не позволяет при резервировании ИБП подключать их к единой шине постоянного тока, иначе в случае короткого замыкания подача тока увеличится до недопустимых величин (90–100 кА). В результате каждый ИБП приходится резервировать отдельно, что, в свою очередь, увеличивает затраты на создание дата-центра. При использовании технологии среднего напряжения все ИБП можно подключить к единой шине постоянного тока и зарезервировать ее по схеме N+1. При этом токи короткого замыкания останутся в пределах допустимой нормы и для резервирования всех модулей ИБП достаточно будет одного запасного блока.


В принципе, очень многие специалисты считают роторные ИБП интересным с технической точки зрения решением, однако, когда дело доходит до конкретной реализации, они предпочитают традиционные, давно отработанные схемы (хотя в Европе и США ИБП с маховиками уже достаточно популярны). Скептиков смущает высокая стоимость и малое время автономной работы таких ИБП (10–20 с, хотя за это время по идее должна запуститься ДГУ). Конечно, цена роторного ИБП в разы больше, чем обычного, но начальные затраты могут окупиться довольно быстро. Особенно это касается крупных ЦОДов мощностью более 1 МВт (как раз наш случай). А. Маслов (Chloride) считает, что такие ИБП также вполне оправдывают себя при частых и кратковременных колебаниях напряжения питающей сети, в режимах, когда аккумуляторные батареи быстро изнашиваются и не успевают полностью заряжаться. «Грязное» электричество с колебаниями напряжения у нас не редкость, но, как считает О. Кущев («Трансфер Эквипмент Восток»), применение ИБП с маховиками и других инновационных технологий осложняется недостаточностью нормативной базы и отсутствием опыта их внедрения и эксплуатации на территории России. В общем, время роторных ИБП на седьмой части суши пока не наступило.


  



Итак, подведем итоги. Несмотря на то что дата-центр мы строить не будем (пусть этим занимаются настоящие специалисты), можно считать, что «тендер» прошел успешно. Выбор систем и технологий бесперебойного питания у потенциальных заказчиков, коими являются многие наши читатели, есть. И это радует, потому что именно в их интересах мы затевали наш «тендер». Главное – прислушиваться к мнению специалистов и не забывать, что дата-центр не просто набор систем, а комплексное решение.


Удачи в строительстве! 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!