| Рубрикатор |  |
 |
| Статьи |  |
ИКС № 10 2011 | |
|
| Александра КРЫЛОВА | 10 октября 2011 |
Водоохлаждаемые двери, дизельные ИБП и оптическая проводка для энергоэффективного ЦОДа
Функционирование современного ЦОДа обеспечивается комплексом сложных инженерных систем – энергоснабжения, кондиционирования, промышленной автоматики, пожарной безопасности, контроля доступа и охранной сигнализации. Подбор их компонентов и формирование законченного технического решения, удовлетворяющего всем запросам и потребностям заказчика, – задача каждого «цодостроителя».
Пионерские подходы, найденные в процессе создания оптимальной – с точки зрения затрат на строительство и эксплуатацию – инженерной инфраструктуры дата-центра, были продемонстрированы на 6-й ежегодной международной конференции и выставки «ЦОД-2011».
В меру охладить
 |
 |
 |
 |
 |
 |
В качестве решения была выбрана инновационная, но прошедшая в течение года тестирование система кондиционирования и охлаждения, построенная на роторных теплообменниках. В проекте предусмотрены восемь роторных установок с диаметром колеса регенератора 4260 мм – по две на каждый машинный зал, а также пять холодильных машин (один рабочий чиллер на каждый зал и один резервный) производительностью 560 кВт каждая. Все элементы системы зарезервированы по схеме 2N, кроме холодильных машин, у которых используется схема резервирования N+1.
В ходе реализации проекта была построена система с двумя контурами. Вентиляционная камера наружного контура расположена на кровле здания в конструкции из сэндвич-панелей. Наружный воздух подается в роторный теплообменник, охлаждая его поверхность. Медленно вращаясь, регенератор охлаждает воздух во внутреннем контуре, состоящем из вентилятора и воздухоохладителя. В нем предусмотрена также система байпасных линий, позволяющая подавать в ЦОД воздух с улицы, например, для газоудаления при срабатывании системы газового пожаротушения или при выходе из строя одного из компонентов системы.
Система распределения воздуха в ЦОДе включает в себя центральный приточный воздуховод и опуски с регулирующими воздушными клапанами, каждый из которых настраивается при пусконаладке системы для обеспечения равномерного расхода воздуха по длине и по высоте помещения. За счет того, что использующиеся в ЦОДе стойки могут подключаться к горячему коллектору через регулирующий клапан, обеспечивается настройка температуры в каждой из них (она изменяется путем увеличения расхода воздуха).
По расчетам компании «Аякс-Инжиниринг», различие в стоимости традиционной системы охлаждения и инновационной полностью нивелируется за 2,5 года – именно за счет энергоэффективности последней.
Секрет – в компоненте с нулевым энергопотреблением
Ключевым элементом, обеспечивающим экономию электроэнергии, в проекте ЦОДа компании «Ростелеком» во Владивостоке стали пассивные водоохлаждаемые двери RDHX производства компании IBM.
Новый ЦОД модульный, он состоит из трех пыле-, влаго-, водо- и пожарозащищенных контейнеров. В первом, серверном, размещено все ИТ-оборудование – 14 стоек для серверов и еще по две для системы электропитания и СКС. Второй контейнер отдан частью под ИБП и аккумуляторные батареи, а частью – под систему распределения воды для гидравлического модуля серверного контейнера. В третьем контейнере размещены ДГУ.
В поисках оптимальной системы проектировщики сумели разработать интересное решение. В него, помимо водоохлаждаемых дверей RDHX, вошли шесть потолочных кондиционеров – фанкойлов мощностью 11 кВт каждый, три чиллера Emerson с функцией свободного охлаждения (охлаждающая мощность каждого – 140 кВт), система мониторинга параметров внутри контейнера APC NetBotz, а также система газового пожаротушения.
Принципиальная схема системы включает чиллер, гидравлический модуль с промежуточным теплообменником и водоохлаждаемые двери. Фанкойлы, подключенные до теплообменника, выступают в роли резерва, а кроме того, выполняют функцию контроля влажности, критичную для климатических условий Приморья.
С одной стороны, отметил В. Гаврилов, технический директор «АМДтехнологии», промежуточный пластинчатый теплообменник – это лишний потребитель электроэнергии. С другой – благодаря ему чиллер и насосная группа не влияют на работу друг друга. Более того, клапан теплообменника, поддерживающий температуру теплоносителя во вторичном контуре, обеспечивает дополнительную экономию электроэнергии за счет оптимизации температуры во вторичном контуре в зависимости от нагрузки.
В целом найденное решение позволило снизить среднегодовой показатель PUE ЦОДа до 1,18. Такой результат достигнут за счет использования дверей RDHX с нулевым энергопотреблением, чиллеров с этиленгликолем в качестве теплоносителя, электродвигателей с инверторами, а также ПО управления клапаном на промежуточном теплообменнике.
«Кубики» для цодостроителей
И все же уникальные, «штучные» решения, в состав которых входит тщательно отобранное под конкретные задачи оборудование разных производителей, в перспективе 10–15 лет уйдут в прошлое, считает А. Солодовников, руководитель подразделения Schneider Electric Datacenter Solution Team. Вектор эволюции направлен от традиционных методов проектирования инженерных систем ЦОДа к стандартизованному модульному подходу. Ключевые его особенности – стандартизация «кубиков» для строительства систем электро- и холодоснабжения («несущих» инженерных систем любого ЦОДа), организация их заводского производства – обеспечивают меньшую стоимость и более высокую производительность готовых модулей электропитания и холодоснабжения по сравнению с традиционными системами. А главное – из модулей, которые могут обладать внутренней избыточностью или объединяться для достижения требуемого уровня отказоустойчивости, можно строить системы с заранее заданными параметрами и стандартизованной системой управления.
В результате в случае стандартизованного подхода этап проектирования ЦОДа сокращается с нескольких месяцев до нескольких недель, а этапы инсталляции и пуска в эксплуатацию занимают считаные дни. По опыту компании Schneider Electric, которая уже предлагает на рынке США три типа стандартных модулей электропитания и охлаждения мощностью 500 кВт каждый, инсталляция одного такого модуля занимает у двух специалистов около трех часов. Еще один день требуется для его подключения к ЦОДу.
Решения, собранные из «кубиков», отличаются гибкостью, их легко масштабировать и даже перебазировать на другую площадку. Кроме того, в ЦОДах с такой архитектурой намного легче проводить замену компонентов.
Стандартизация, заводское производство модулей и наличие в них встроенной системы управления придают ЦОДам предсказуемость. И потому, заверил участников конференции А. Солодовников, вполне вероятно, что уже через пять лет модули электропитания и охлаждения с интегрированной системой газового пожаротушения станут привычной складской позицией.
С учетом специфических потребностей клиента
Пока же каждый стационарный ЦОД имеет свою индивидуальность, несет на себе отпечаток особых нужд своего владельца, считает В. Яковенко, начальник инфраструктурных проектов компании КОМПЛИТ.
По его опыту, первые и самые распространенные ошибки при проектировании ЦОДов делаются при разработке их концепции. В их числе – несоответствие выбранного направления работ бизнес-задачам компании-заказчика, неверно заданные сроки и бюджеты. Кроме того, уже на этом этапе следует избегать применения в проекте технически не обоснованных инженерных решений, неоправданной избыточности либо недостаточности систем, помещений, мощностей вводимого в эксплуатацию дата-центра; следует учитывать и профессиональную разобщенность подрядчиков, трактующих свою задачу каждый по-своему.
Чтобы этих ошибок избежать, уже к моменту разработки эскизного проекта дата-центра должны быть известны и документально зафиксированы ответы на целый ряд вопросов. Каково назначение ЦОДа – основной или резервный, корпоративный или аутсорсинговый? Как именно планируется заполнять серверный зал ИКТ-оборудованием (предполагаемый график поставок, тип систем, их энергоемкость, габариты, варианты конфигураций – вплоть до указания электрических вилок и способов подачи воздуха)? Какой уровень отказоустойчивости ЦОДа должен быть обеспечен?
Одним из основных отличий требований к ЦОДам уровня Tier III является обеспечение их ремонтопригодности, т. е. возможности проведения апгрейда ЦОДа (например, наращивания его мощности) без остановки технологических процессов.
У компании КОМПЛИТ есть опыт нескольких подобных проектов. Пример – модернизация одного из дата-центров пивного завода «Балтика», столкнувшегося через четыре года после запуска объекта с недостатком охлаждающей мощности (два чиллера по 80 кВт, 40 мин резервирования, гидробак и т.д.). В результате реализации проекта специалисты КОМПЛИТ, не останавливая работу ЦОДа, удвоили количество гидробаков и чиллеров, а также модернизировали систему электропитания. Кроме того, по желанию заказчика, были объединены система охлаждения ЦОДа и система охлаждения завода – обе были включены в теплообменник ЦОДа, что обеспечило необычное резервирование.
Секрет создания удобного ЦОДа, по В. Яковенко, состоит в том, чтобы уметь избегать описанных выше ошибок при проектировании, руководствоваться здравым смыслом и иметь в команде, помимо архитектора проекта, еще и специалиста, задача которого – не выпустить из внимания ни одной детали.
Еще об искусстве проектирования
Любой заказчик хочет максимально дешево разместить в ЦОДе как можно больше оборудования и использовать его с максимальной энергоэффективностью, отмечает С. Ермаков, технический директор компании ИНЭЛТ, а задача проектировщика – помочь ему это сделать, используя как классическое, так и самое инновационное оборудование.
К примеру, применение в ЦОДах самых разных механических дизельно-роторных ИБП – тенденция, которую нельзя не заметить. У производителей существуют два подхода к таким решениям: ДГУ и механический ИБП либо размещаются на одном валу, либо представляют собой отдельные блоки, которые можно разнести друг от друга.
Применимость первого подхода, особенно в дата-центрах, располагающихся в готовых помещениях, ограничивается довольно большими габаритами таких динамических ИБП. Второй же подход более приемлем с точки зрения экономии площади. Примером его реализации может служить система французской компании SDMO – Rotoblock. Этот динамический ИБП состоит из отдельных панелей. Электрическая панель может размещаться в непосредственной близости от защищаемого ИТ-оборудования, повышая надежность «последней мили» электропитания, с ней же непосредственно сопряжена контрольная панель. А механическая панель, в которой используется энергия сразу двух маховиков – барабанного и классического, размещается отдельно. Благодаря такой конструкции динамический ИБП Rotoblock обеспечивает очень большое для систем этого типа время автономной работы – 12 с. Однако, поскольку столь короткий временной интервал не вдохновляет заказчиков, специалисты компании ИНЭЛТ разработали типовые решения, в которых одно «плечо» динамическое, а другое – статическое.
Впрочем, как уже говорилось выше, заказчикам важны не столько прогрессивные решения, сколько экономически эффективные, что подтверждается и практикой работы ИНЭЛТ. Например, Сбербанк РФ для своего нового ЦОДа из двух вариантов построения системы гарантированного бесперебойного электропитания, инновационного и классического, выбрал последний – поскольку он позволяет сэкономить 400 кв. м площади.
У дизельных роторных ИБП – своя ниша
Это экономичное и энергоэффективное решение для крупных ЦОДов мощностью более 1 МВА и уровнем надежности Tier III и IV, – так считает Р. Лацина, руководитель по международным продажам Hitec Power Protection.
Системы энергоснабжения этого производителя, совмещающие функции дизельной генераторной установки и ИБП, имеют единичную мощность 500–3000 кВА при напряжении от 40 В до 20 кВ. Кроме того, поскольку все основные энергетические элементы дизельного роторного ИБП соединены на одной раме простой механической связью, в ЦОДе не требуются внутренние силовые электрические соединения и коммутационная аппаратура.
Прописываться в крупных российских ЦОДах дизельные роторные ИБП начали в 2010 г. И сегодня у компании Hitec уже есть возможность привести примеры использования своего оборудования сразу в нескольких серьезных проектах. Например, в июле в Москве был введен в эксплуатацию ЦОД, где установлены сразу четыре дизельных роторных ИБП от компании Hitec мощностью 1000 кВА каждый. Все они загружены на 50%, что соответствует уровню Tier IV.
Столько же динамических ИБП установлено в ЦОДе компании КРОК, что, по словам Р. Лацины, позволяет системному интегратору путем несложного изменения инфраструктуры повысить мощность своего ЦОДа на 50%.
В целом же приведенные примеры доказывают, что дизельные роторные ИБП действительно повышают энергоэффективность ЦОДов и снижают стоимость владения ими.
Выгодная альтернатива
наиболее часто применяющимся в архитектуре электроснабжения дата-центров ИБП – электропитающие установки постоянного тока. Выступая в этом качестве, ЭПУ берет на себя главную роль, а оборудование, для функционирования которого необходим переменный ток, получает его от инверторов. Тем более что сегодня такие производители ИТ-оборудования, как HP, Cisco, Sun, Rackoble, IBM, Juniper, EMC, предлагают серверы, системы хранения данных, коммутаторы и маршрутизаторы, питающиеся постоянным током, – согласно данным, приведенным М. Шпеком, менеджером по развитию бизнеса региона EMEA компании Emerson Network Power, на рынке известно уже более 200 таких моделей.
ЦОДы, реализовавшие этот альтернативный подход к построению архитектуры системы электроснабжения, по мнению Emerson Network Power, получают преимущества более высокого КПД и более высокой плотности выходной мощности систем питания постоянным током по сравнению с ИБП. Благодаря этим свойствам ЭПУ обеспечивают владельцам ЦОДов существенную экономию электроэнергии, сокращение площадей, занимаемых питающим оборудованием, сокращение первоначальных инвестиций, а также оптимальную стоимость владения TCO.
Именно возможность получить на практике все эти преимущества четыре года назад вдохновила Emerson Network Power на создание системы питания постоянным током NetSure для ЦОДов. Первым ее заказчиком стал ЦОД Amazon.com. Впоследствии концепция была развита и реализована в линейке систем электропитания NetSure ITM. Эта модульная система выдает на выходе напряжение постоянного тока 48 Вт и имеет встроенный модуль защиты питания, а три ряда VRLA-батарей со сроком службы 10 лет при полном заряде обеспечивают током ИТ-оборудование в течение 10 мин после пропадания напряжения.
Будущее электропитания в ЦОДах компания Emerson Network Power связывает с высоковольтными (400 В) распределительными системами, в десятки раз повышающими доступность электропитания. В настоящее время производитель ведет активную работу по стандартизации этого подхода в ETSI, IEC, ITU и ожидает начала массового внедрения подобных систем в дата-центрах уже через два года.
Оптическая оптимизация
Если системы электропитания и охлаждения все-таки являются внешними по отношению к размещенному в ЦОДах серверному и коммутационному оборудованию, то пассивные оптические компоненты обеспечивают выполнение основных функций дата-центра. И потому их производители должны не просто следовать за развитием ЦОДов, но и предугадывать все возможные его сценарии.
С внедрением блейд-систем и уменьшением формфактора активного оборудования увеличиваются требования к плотности монтажа портов. Тон здесь задают производители тяжелых коммутаторов. Так, если в стандартном шкафу высотой 42U размещаются два шасси в восьмипортовой конфигурации, то плотность подключения вырастает до нескольких тысяч волокон в пересчете на шкаф, что влечет за собой увеличение плотности монтажа.
Компания HUBER+SUHNER задалась целью упростить работу по патчингу портов на оборудовании и улучшить доступ к телу разъема, чтобы можно было работать с отдельно взятым портом, не влияя на его ближайших соседей. В начале этого года она запатентовала новый тип разъема LC-HD, позволяющий решить задачу увеличения плотности монтажа с использованием трансиверов обычного формфактора и упростить эксплуатацию и обслуживание данных соединений. С выходом этого продукта допустимые вносимые потери в многомодовом стыке не должны превышать 0,1 дБ, независимо от категории волокна или параметров проектируемой линии.
В стандартах 40G и 100G предусматривается параллельная передача битов по оптическому тракту. Одним из наиболее вероятных претендентов на решение этой задачи является оптический интерфейс MTP – его использование позволяет уменьшить объем проводки на 120–200%, снизить нагрузку на лотковую систему более чем в 5 раз, организовать шесть линий в одном разъеме.
До конца года производитель планирует представить новую линейку оптического кабеля, в том числе с разъемами МТP. Это будет микрокабель, в котором отсутствует фактор избыточной длины и тем самым уменьшена главная составляющая временной задержки битов при параллельной передаче.
И путь миграции
Технология MPO, требующая одноименных коннекторов, до конца не изучена, считает С. Логинов, директор по продажам компании R&M Distribution, к тому же ее стандартные методы не пригодны для перехода со стандарта 10G к 40G и 100G.
«Золотой серединой» для этих высокоскоростных линий связи внутри ЦОДов является длина 150 м. Для 40G используется четыре волокна для передачи информации и четыре – для приема. При этом по каждому волокну информация передается со скоростью 10 Гбит/с. В соответствии со стандартом 100G используется 20 волокон – по 10 волокон для приема и для передачи, для чего требуется установить по два коннектора MPO с каждой стороны тракта.
Компания R&M выявила такое явление, как размыв сердцевины оптического волокна. Причина его в том, что при полировке волокна середина углубляется и в результате при соединении двух волокон их торцы соприкасаются неплотно. Образовавшийся между ними воздушный зазор вызывает появление мод высокого порядка, которые идут в сторону от оси волокна и усиливают затухание. Для того чтобы поставить такие моды под контроль, R&M принимает специальные меры.
Кроме того, производитель строго контролирует параметр выхода волокна. Тут его собственные нормы намного строже стандарта, согласно которому возможен разброс от 1 до 3,5 мкм. R&M добилась того, что 97% ее коннекторов имеют затухание на уровне 0,5 дБ, что, в свою очередь, позволяет достичь максимальной дальности передачи 150 м по высокоскоростным стандартам 40G и 100G.
Более того, R&M уже сегодня знает, как построить сеть 10 Гбит/с, готовую к миграции на скорости 40 и 100 Гбит/с без переукладки кабелей. Найденное ею решение представляет собой тракт, состоящий из 12 оптоволоконных кабелей, на концах которых стоят кассеты с LC-Duplex-коннекторами. Если требуется перейти на более высокоскоростные протоколы, кассеты на концах снимают и на патч-панели устанавливают коннекторы МPO. При необходимости перехода на 100 Гбит/с на место кассет ставят y-разветвители – устройства, которые с одной стороны имеют два коннектора MPO по 12 волокон, а с другой стороны – 24-волоконный MPO-коннектор с 20 волокнами, необходимыми для реализации скорости 100 Гбит/с.
Управление ЦОДом – на новый уровень
Это станет возможным, если возложить данную функцию на Data Center Infrastructure Management System (DCIMS) – систему мониторинга и управления инфраструктурой ЦОДа: электропитанием, охлаждением, размещением шкафов и оборудования.
По сути эта система, состоящая из четырех основных блоков (управление ИТ-активами, планирование ресурсов, энергетика и окружающая среда), является эффективным инструментом для решения задач основного бизнеса.
Правда, как сообщил О. Иваников, директор по продажам Panduit Russia, CIS & Eastern Europe, полное решение, включающее в себя все вышеперечисленные блоки, на рынке пока не появилось. В мировой практике эти системы используются для сбора объективной информации с физического уровня ЦОДов, на основе которой принимаются управленческие решения.
В русле этой тенденции следует и сама компания Panduit, позиционирующая свое решение Panduit Infrastructure Manager (PIM) как интеллектуальную систему управления, обеспечивающую мониторинг и визуализацию физической инфраструктуры ЦОДа в режиме реального времени.
Структурно PIM состоит из модулей трех типов: управление ИТ-активами, энергопотребление и окружающая среда, сетевые подключения. Например, модуль PIM Asset, поддерживающий процессы и процедуры, связанные с идентификацией перемещений и сопровождением ИТ-активов, отправляет визуальные уведомления об изменении статуса сетевых устройств, хранит информацию о параметрах и атрибутах устройств, а также историю их перемещения. Модуль PIM Power позволяет задать пороговые значения параметров напряжения, силы тока, мощности, температуры, влажности, а затем получать уведомления в случае выхода показателей «за порог». Модуль PIM Connect обеспечивает мониторинг кроссового поля.
В общем, уже сегодня интеллектуальная система от компании Panduit расширяет возможности мониторинга ИТ-активов вплоть до определения их местоположения в стойках, выявляет недозагруженные или неисправные порты коммутаторов, предоставляет ретроспективные данные по использованию портов, электроэнергии, охлаждения. А кроме того, она наглядно показывает электрические параметры внутри шкафов ЦОДа и климатические параметры – температуру и влажность.
В огне не горят?
Именно таковы ЦОДы, соответствие которых европейской норме EN 1047-2 1999 подтверждено сертификатом ECBS, выдаваемым Европейской ассоциацией систем безопасности (в России с 1 января 2009 г. вступил в силу новый ГОСТ Р №52119 2008, который представляет собой перевод нормы, действующей на территории Евросоюза).
Как отметил С. Заржецкий, генеральный директор компании Exclusive Solutions («Эксол»), процедура сертификации очень непростая. От производителей модульных ЦОДов требуется представить собранный образец своих решений – с дверями, кабельными вводами, люками, причем заданных размеров. Так, высота «комнаты безопасности» должна составлять 2,8 м, ширина – 3 м, глубина – 4 м, а ее дверь должна иметь размеры строго 2079×960 мм. Кроме того, стандартом оговаривается, что элементы пола комнаты должны быть не более чем на 50% тоньше элементов стен, а также иметь гарантированную защиту от проникновения влаги и коррозийных газов. Неудивительно, что из восьми производителей, в период с 1999 по 2007 гг. предоставлявших свои образцы в тестовые лаборатории, сертификат ECBS получили только три компании – Lampertz/Rittal, PrioriT и ProRZ.
В 2007 г. началась разработка новых требований, завершившаяся выпуском нормы EN 1047-2 2009, на соответствие которой производители обязаны провести новое тестирование. Текущие сертификаты действуют до конца 2011 г., а значит, вполне возможно, что в 2012 г. решений, сертифицированных Европейской ассоциацией систем безопасности, в мире окажется одно или два.
А потому С. Заржецкий посоветовал участникам конференции «в ближайшем будущем обращать особое внимание на предоставление производителем сертификатов ECBS, уточняя, на соответствие какой норме – EN 1047-2 1999 или EN 1047-2 2009 – оно проводилось».
Газ для пожаротушения – безопасный
Сосредоточение в ЦОДе оборудования, выделяющего тепло, большого количества кабелей, силовых и слаботочных, наличие ИБП или ДДИБП с запасом топлива – все это делает его объектом с повышенной пожарной нагрузкой.
О требованиях, которым должна соответствовать противопожарная защита ЦОДа уровня надежности Tier III, на конференции рассказал А. Анненков, коммерческий директор ГК «Пожтехника». Требования эти относятся к системе автоматической пожарной сигнализации и к системе автоматического пожаротушения.
Первая должна быть адресно-аналоговой, включать в себя оптические дымовые датчики с контролем и компенсацией уровня задымленности, интегрироваться с системой BMS. Кроме того, в дополнение к ней должна устанавливаться система раннего обнаружения дыма.
Вторая система должна быть газовой, причем использующей только безопасный газ, и обеспечивать пожаротушение в двух помещениях одновременно. Все ее компоненты должны быть зарезервированы на 100%. Отдельно оговаривается необходимость проведения Room Integrity Test – проверки герметичности помещений, защищаемых газом.
В качестве примера А. Анненков привел проект, реализованный специалистами компании «Пожтехника» в московском ЦОДе, сертифицированном Uptime Institute по стандарту Tier III. Этот ЦОД расположен на площади 16 тыс. кв.м., в нем имеется 12 дата-холлов и 30 электрощитовых. Для его защиты от огня были внедрены адресно-аналоговая система сигнализации, содержащая более 4,5 тыс. адресов, аспирационная лазерная система VESDA для раннего обнаружения перегрева и дыма, а также распределенная система автоматического пожаротушения на базе ГОТВ Novec 1230, включающая в себя огнегасительную станцию на 13 направлений и модульные установки для 18 удаленных помещений.
Сам выбор Novec 1230 тоже соответствует требованиям стандарта Tier III к противопожарной защите ЦОДа – это быстродействующий газ, безопасный как для персонала, так и для дорогостоящего оборудования, он не оказывает неблагоприятного воздействия на окружающую среду и, соответственно, не подпадает под международные ограничения. А наличие у компании «Пожтехника» собственной заправочной станции служит гарантией быстрой перезаправки системы после выпуска газа.
Адрес: 105082, Россия, г. Москва, 2-й Ирининский пер, д. 3