• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

ЦОДы на потоке. От проекта до ликвидации аварии

Создание российских ЦОДов почти поставлено на поток, и начинают работать законы поточного производства – эффективность и скорость во всех процессах.

Заявления о том, что каждый российский дата-центр – уникальный проект, уже набили оскомину. Однако, как показала 4-я международная конференция Data Center Design & Engineering, организованная журналом «ИКС» (см. "Грамотный заказчик как стратегический актив"), уникальность эта – лишь в совокупности всех характеристик, а крупные составляющие таких объектов стали унифицированными, благодаря чему их проектирование и строительство, не занимая много времени, позволяет создавать эффективные масштабируемые решения.

Правда, сроки проектирования и качество общего проекта дата-центра могут сильно зависеть от заказчика. С одной стороны, подрядчики с удовлетворением отмечают возросшую компетентность клиентов, с другой – жалуются, что из-за «чересчур умного» заказчика сроки проектирования нередко сильно затягиваются, поскольку он без конца вносит поправки в проект. Вместе с тем у самих заказчиков представления о сроках проектирования тоже не всегда адекватные. Как отметил гендиректор компании DataDome Андрей Павлов, разумный срок проектирования ЦОДа обычно в два-три раза превышает тот, который считает правильным заказчик. Причем в последнее время заказчики все чаще стали самостоятельно выбирать технологии и оборудование, а проектировщики у них работают как бы на подхвате. По словам генерального директора Radius Group Дмитрия Мариничева, встречаются и такие заказчики, которые сначала покупают оборудование для дата-центра и только потом заказывают под него проект. И даже бывает, что изготовленный таким путем ЦОД получается вполне качественным.

Рисунок ЦОДа

Для сокращения сроков проектирования дата-центров средства у российских проектировщиков в принципе есть. Как отметил руководитель проекта ADM Partnership Александр Овчинников, компания достаточно давно перешла на 3D-моделирование, а с 2012 г. использует в работе следующее поколение технологий проектирования – информационное моделирование зданий BIM (Building information modeling). Эта технология позволяет воспроизвести в цифровом виде полную копию будущего здания со всеми установленными в нем системами, элементами конструкций этих систем и их характеристиками. Несомненный плюс BIM – возможность автоматически фиксировать пересечения конструкций на чертеже, т.е. на объекте не придется тратить время и деньги на исправление ошибок проектировщика. BIM также предоставляет удобные средства для внесения любых изменений и в модели, и во все конструкции объекта. Еще одним достоинством технологии информационного моделирования является то, что она обеспечивает возможность управления проектом здания не только в пространственных координатах, но и во времени и в деньгах, что в нынешние времена оптимизации затрат представляется довольно актуальным.

За время работы по новой технологии компания накопила достаточно большую базу моделей, которые теперь можно использовать в следующих проектах, сокращая время на проектирование. Однако, предупреждает А. Овчинников, надо понимать, что BIM – это не волшебная палочка и спроектировать с ее помощью здание в два клика мыши не получится. BIM-моделирование серьезно отличается от традицион­ного проектирования. Это не черчение линий, а создание полноценных объектов, которые встраиваются в проектируемое здание. Кроме того, технология BIM предъявляет серьезные системные требования к компьютерному оборудованию, поэтому проектировщикам, которые захотят ее использовать, скорее всего, придется обновить графические станции. Наконец, она требует определенных навыков в организации совместной работы команды проектировщиков.

Еще один момент: как и все остальное ПО для проектирования, BIM реализуется зарубежными программными пакетами, в которых используются спецификации, отличные от российских, и проектировщики должны это учитывать. Также они должны учитывать, что производители оборудования пока не делают моделей своих изделий для BIM-моделирования, поэтому модели приходится создавать самим. Но все это, в общем-то, проблемы роста, которые должны со временем разрешиться.

Модульная скорость

Организовывать совместную работу в ходе проекта создания дата-центра приходится не только в команде проектировщиков. Компании Emerson Network Power довелось получить опыт совместной работы в международном масштабе на интересном проекте построения крупного ЦОДа в сжатые сроки – первая очередь из 156 серверных стоек с ИТ-нагрузкой в 1 МВт и подведенной электрической мощностью 7 МВт построена за 12 месяцев.

Речь идет о дата-центре beCloud под Минском, для которого в силу жестких сроков было выбрано модульное решение от Emerson. Как рассказал технический директор Emerson Network Power Евгений Журавлев,  над проектом работали локальные команды инженеров компаний Emerson и Softline, а также инженеры проектного офиса и завода Emerson в Хорватии. На последнем как раз и изготавливались модули для ЦОДа beCloud. Заказ на производство был размещен в начале апреля прошлого года. Одновременно шла доработка проектной документации и закупалось оборудование. В июне на заводе Emerson Network Power под Загребом началось изготовление первого модуля, а в сентябре состоялись производственные испытания всех 12 модулей первой очереди в сборе с проверкой совместной работы всех инженерных систем в присутствии представителей заказчика. Затем конструкцию опять разобрали на отдельные модули и отправили на фурах в Минск.

В начале мая 2015 г. на площадке будущего ЦОДа были поле и лес, а в сентябре там стояло почти достроенное офисное здание, были подведены электричество, вода и канализация. В декабре 2015 г. все строительные работы по созданию первой очереди дата-центра были завершены и был получен сертификат Uptime Institute Tier III Certificate of Design Documents на проектную документацию, а в мае 2016 г. – Tier III Cerificate of Constructed Facility на готовую площадку.

Обойтись без «01»

В ЦОДе beCloud используется система газового пожаротушения с современным огнетушащим веществом Novec-1230, которое безопасно и для людей, и для компьютерного оборудования. Правда, традиционные противопожарные системы борются с уже возникшим пожаром, а лучше бы его вовсе не допускать. Например, компания Wagner предлагает за счет снижения концентрации кислорода в атмосфере помещений ЦОДа создавать условия, при которых возгорания попросту не происходит. В обычном атмосферном воздухе содержание кислорода составляет 21%, а азота – 78%. Если снизить содержание кислорода до 15%, а содержание азота повысить до 84%, то возгорания не произойдет даже в случае короткого замыкания, только появится задымление, которое зафиксирует детектор дыма. Как отметил гендиректор «Вагнер Ру» Владимир Афанасьев,  при такой концентрации кислорода человек чувствует себя так же, как если бы он находился на высоте 2700 м над уровнем моря (по санитарным нормам в атмосфере с содержанием кислорода 15% можно работать в течение 4 ч). Разработанная компанией система OxyReduct содержит генератор азота, который вырабатывает его непосредственно из окружающего воздуха. Эта система может понижать концентрацию кислорода в помещении до 15%.

Для продвинутой противопожарной системы нужна столь же продвинутая система детекции дыма. Как предупреждает В. Афанасьев, традиционные датчики дыма, которые устанавливают на потолке в офисах, в дата-центрах бесполезны. Wagner предлагает использовать в ЦОДах аспирационные дымовые извещатели Titanus и трубную разводку, которая позволяет детектировать дым там, где он действительно может появиться в ЦОДе. Оптимальное решение – это детекция дыма непосредственно в стойках. В этом случае до пожара дело даже не дойдет: получив сигнал извещателя, к стойке, в которой зафиксирован дым, придет специалист службы эксплуатации и примет меры. Организация трубной разводки по всем остальным помещениям и системам дата-центра для быстрого обнаружения дыма требует индивидуального проекта. Чувствительность аспирационных извещателей можно настроить так, чтобы исключить ложные срабатывания. Кроме того, центральная система интеллектуальной обработки сигналов умеет подстраиваться под уровень фона и включать сигнал тревоги только тогда, когда динамика показаний извещателей соответствует динамике развития пожара. Иначе говоря, ситуации, когда московским дымным летом 2010 г. извещатели, фиксирующие абсолютное содержание дыма в воздухе, включали системы пожаротушения без пожара, возникнуть не могут.

В мире сейчас работает более 700 установок активного предотвращения пожара OxyReduct. Их применение официально разрешено и у нас в стране (осенью 2016 г. в России будет запущено локальное производство аспирационных пожарных извещателей от Wagner). Такую систему планирует, например, использовать в своем коммерческом дата-центре компания КРОК. Как отметил эксперт по комплексным системам безопасности КРОКа Дмитрий Шипелов, ответственность коммерческого ЦОДа перед заказчиками выше, чем у корпоративного. Поэтому в интересах провайдера использовать самые современные противопожарные системы, которые позволяют не допустить никаких перерывов в предоставлении ИТ-сервисов и обеспечивают круглосуточный доступ персонала в защищаемое помещение. Правда, подсчеты капитальных затрат и операционных расходов для ЦОДа на 240 стоек показывают проигрыш OxyReduct по «цене вопроса» в сравнении с традиционными системами пожаротушения, поскольку энергопотребление у системы генерации азота в десятки раз выше, чем у традиционных противопожарных систем. Однако весь этот «проигрыш» имеет место быть буквально до первого инцидента. Если коммерческий ЦОД с уровнем надежности Tier III простоит из-за возгорания или задымления максимально разрешенные для данного уровня 96 минут в год, то, по подсчетам Д. Шипелова, ущерб как минимум вдвое превысит все затраты на покупку, установку и эксплуатацию системы OxyReduct.

Качественное электричество для больших

Динамические роторные ИБП новыми и революционными не назовешь, но в российских дата-центрах они появились только с увеличением мощности этих объектов до 1–2 МВт. До этого уровня ДРИБП себя не оправдывают, а новые системы от компании Hitec серии PowerPRO вообще имеют мощность 3000 кВА. Рене Лацина,  директор по продажам Hitec в Центральной и Восточной Европе, подчеркивает, что эти интегрированные системы, предназначенные для обеспечения гарантированного бесперебойного электропитания, решают проблемы не только с отключением электричества, но и с качеством сигнала в электросети, поскольку состоят из ДГУ, кинетического модуля и синхронного генератора. Кроме того, их использование в крупном дата-центре позволяет упростить всю схему его электроснабжения, а это само по себе немало.

В числе достоинств ДРИБП PowerPRO указываются также надежность защиты всех типов критически важных для заказчика нагрузок, высокая операционная эффективность, низкая стоимость владения. Эти системы могут обходиться без частого обслуживания. В них реализована технология автоматической смазки подшипников, а ремонтировать их требуется раз в 10 лет. Чтобы минимизировать количество случаев запуска и отключения дизель-генератора при кратковременных пропаданиях электропитания, есть возможность установить задержку старта дизеля на промежуток времени до 2 с. Это позволяет сэкономить и дизельное топливо, и ресурс работы двигателя.

Хотя все ДРИБП имеют довольно внушительные размеры и вес, но среди систем разных производителей есть «монстры» более и менее компактные. В отношении динамических роторных ИБП серии PowerPRO можно говорить о некой компактности: система занимает площадь 14,2 кв. м, а весит 25 т (по сравнению с ближайшими конкурентами выигрыш по площади составляет 5–10%, а по массе – 1 т). Добавим еще, что в России первые системы ДРИБП Hitec появились в 2010 г., и за это время на 16 объектов было поставлено 90 таких систем. Из них запущены в эксплуатацию 49 установок на 12 объектах, а остальные пока находятся в стадии монтажа или пусконаладочных работ. Динамические роторные ИБП от Hitec уже работают в ЦОДах КРОКа, «Яндекса», DataPro, Cloud DC. На очереди крупный дата-центр в Лыткарино и другие объекты.

В известном ЦОДе «ВымпелКома» в Ярославле динамических роторных ИБП нет, обошлись обычными ДГУ, но реализация системы электроснабжения там довольно интересная. Как рассказал старший инженер по работе с проектными организациями компании Schneider Electric Павел Мурзакаев, концепция схемы электроснабжения этого ЦОДа, которая состоит из двух распределительных пунктов и шести трансформаторных подстанций, возникла из географического расположения и архитектуры отдельно стоящего здания этого дата-центра. Электропитание ЦОДа осуществляется по четырем лучам от двух независимых источников, что позволило получить систему электроснабжения с резервированием 2N, минимизировав при этом количество кабелей и распределительных модулей. Наличие шести трансформаторных подстанций потребовало организации автоматизированной системы оперативно-диспетчерского управления электроснабжения. Она необходима и службе главного энергетика для управления выключателями трансформаторных подстанций, отображения текущего состояния электрической схемы, диагностики электрораспределительного оборудования, обработки и вывода на монитор диспетчера информации о событиях в электросети ЦОДа, и службе эксплуатации инженерных систем для управления электроснабжением оборудования конечных пользователей. В дата-центре «Вымпелкома» автоматизированы все распределительные пункты и подстанции, на которых установлены шкафы с телемеханическими системами, где собираются данные о всех выключателях распределительных устройств, об энергопотреблении каждой единицы оборудования, о состоянии дверей шкафов, температуре и т.п. Из этих данных формируются отчеты, которые, по заявлению П. Мурзакаева, позволяют удаленно идентифицировать место аварии и даже устранить ее за считанные секунды. В этой автоматизированной системе управления используются компактные модульные распределительные устройства Premset от Schneider, которые производятся на заводе в Екатеринбурге, и интеллектуальные распределительные щиты Smart Panel, позволяющие получать информацию об энергопотреблении всего оборудования и управлять им через локальную Ethernet-сеть.

Ethernet-технологии используются и в СКС, объединяющих ИТ-оборудование ЦОДа, причем скорости передачи данных, которые обеспечиваются этими кабельными линиями, с каждым годом растут. Как рассказал технический директор компании Brand-Rex Тони Бен, еще в 2008 г. в дата-центрах присутствовали только кабели Gigabit Ethernet, а сегодня их доля не превышает половины, 40% приходится на 10-гигабитные соединения, а 10% – на 40-гигабитные. В 2018 г. в ЦОДах появятся порты 50 Gigabit Ethernet, а в 2020 г. обычным явлением станут 100-гигабитные. В принципе скорости 100 Гбит/с в лабораторных условиях удалось добиться еще в 2015 г. с использованием четырех оптических волокон по 25 Гбит/с в каждом волокне. Сейчас это можно сделать на одном оптоволокне, но с использованием четырех разных длин волн, т.е. эффективность СКС можно повысить в разы без больших затрат.

И огород в придачу

Идут по пути повышения эффективности и системы охлаждения для дата-центров. Так, компания Climaveneta в 2016 г. выпустила новый модельный ряд модульных межстоечных охладителей Multidensity, которые допускают подключение к одному внешнему компрессорно-конденсаторному блоку (ККБ) до 10 таких охладителей, что позволяет сократить капитальные затраты на этапе запуска нового ЦОДа. Далеко не всегда дата-центр сразу работает на полную мощность, поэтому поначалу можно подключить к каждому ККБ по два или три охладителя, а через год-полтора с ростом загрузки ЦОДа их количество увеличить.

Кроме того, недавно в каталоге компании появился новый чиллер TECS-FC с функцией фрикулинга с холодопроизводительностью 200–1700 кВт в зависимости от модели. В нем компрессоры включаются при наружной температуре от –5°С до +40°С. Это означает, что зимой он работает в режиме фрикулинга. Примечательны и его скоростные характеристики: после отключения питания и перехода на аварийный источник электроснабжения компрессор перезапускается через 26 с, а мощности 1 МВт машина достигает за 6,5 мин после старта, что позволяет использовать чиллер в высоконадежных ЦОДах.

Верхом эффективности представляется серия чиллеров Climaveneta с производством горячей воды (50–60°С) и новой системой рекуперации тепла Climaveneta Smart Thermal Energy Management, которая позволяет совместить систему холодоснабжения дата-центра с системой отопления здания. По подсчетам компании, при использовании такой системы дата-центр мощностью 1 МВт сможет отапливать до 60 тыс. кв. м жилых и офисных помещений или обогревать теплицы площадью до 1,5 га. И тогда коэффициент PUE, посчитанный в деньгах, опустится ниже единицы. В российских условиях это пока звучит как фантастика, но через некоторое время, может быть, и у нас у каждого ЦОДа появится ферма-компаньон.