Rambler's Top100
Статьи ИКС № 12 2012
Евгения ВОЛЫНКИНА  11 декабря 2012

Проектирование и строительство ЦОДа: уникальность с типизацией

Проект каждого ЦОДа считается уникальным, но все эти «частные случаи» можно тем не менее свести к нескольким крупным типам. Рецепты выбора заготовки дата-центра для ее последующей «заточки» давали участники 7-й международной конференции «ЦОД-2012», организованной журналом «ИКС».

Евгения ВОЛЫНКИНА Процесс проектирования дата-центров за время существования этой отрасли оброс гласными и негласными правилами, но на самом начальном этапе он в принципе не отличается от процесса проектирования промышленных зданий и бизнес-центров. Заказчик должен определиться с тем, каких специалистов и какие организации он хочет и должен привлечь для проектирования и строительства данного конкретного ЦОДа, чтобы на выходе получить дата-центр, способный решать поставленные перед ним бизнес-задачи.

Кого позовем?

На рынке, как отметил генеральный директор ADM Partnership Максим Иванов, уже сложилось несколько типичных моделей организации проектирования и строительства ЦОДа. В этом увлекательном занятии участвуют заказчик, консультант, проектная компания и системный интегратор. Консультанты, о важной роли которых в создании дата-центров давно говорили эксперты этого рынка, наконец-то перестали восприниматься заказчиками как лишнее звено. Теперь их все более активно привлекают на этапах формирования технических требований к проекту, составления технического задания и заданий на проектирование. Не сомневаются теперь заказчики и в необходимости привлечения специализированной проектной компании.

Но вот проект дата-центра выполнен и принят заказчиком. Что дальше? В простых проектах, где заказчик уверен в собственных силах, вполне правомерен традиционный подход: в качестве подрядчика нанимается системный интегратор, который реализует проект, решает все связанные с этим задачи и сдает ЦОД под ключ. Но и в таком простом случае заказчику стоит оснащать свой дата-центр оборудованием, поставщики которого оказывают техническую поддержку при монтаже. При этой конфигурации все риски реализации проекта берет на себя заказчик, и можно только пожелать ему удачи.

В достаточно серьезных проектах заказчик обычно привлекает генерального подрядчика, который берет на себя все функции управления процессом (в том числе выбор субподрядчиков для выполнения тех или иных работ) и несет ответственность перед заказчиком за соблюдение сроков и сметы проекта. Более того, правильный генподрядчик может даже взять на себя финансирование части работ субподрядчиков, если заказчик по каким-то причинам не хочет раздавать крупных авансов. В этом случае заказчик передает ответственность за проект генподрядчику, что, правда, чревато определенным риском. Поэтому некоторые заказчики, особенно крупные, в последнее время стали брать на себя подбор субподрядчиков и управление строительством. По мнению М. Иванова, такая схема вполне имеет право на жизнь, но только при наличии у компании собственной сильной службы технического заказчика и производственно-технического отдела. Кроме того, заказчик должен быть готов к работе с большим количеством субподрядчиков (а их на проекте ЦОДа мощностью от 1 до 3 МВт может быть 10–15) и к финансовым рискам. Так что при реализации относительно несложных проектов заказчики все чаще обращаются к управляющим компаниям, которые выбирают подрядчиков и несут ответственность за их работу перед заказчиком, а последний сохраняет за собой функции управления финансовыми потоками. Ну а для масштабных и сложных проектов, особенно если строящийся объект будет состоять из нескольких корпусов и/или предполагается поэтапный ввод мощностей в эксплуатацию, нужны и управляющая компания, и генподрядчик, причем финансово независимые друг от друга. Генподрядчик должен отвечать за качество работ и соблюдение сроков, а управляющая компания – за финансовую эффективность строительства. Но в любом случае выбор схемы реализации проекта ЦОДа остается за заказчиком.

Опыт варягов

 
 
 
 
 
 
 
В России уже не первый год работают международные управляющие компании и компании, выступающие в качестве генеральных подрядчиков. Именно их часто привлекают для своих проектов крупные российские заказчики, справедливо полагающие, что для создания столь серьезного объекта, как дата-центр, нужен достаточно большой опыт строительства аналогичных сооружений. Подобные компании обычно не ограничивают свои услуги функциями генерального подрядчика, они способны обеспечить полный жизненный цикл проекта – от проектирования инженерной и ИТ-инфраструктуры до запуска оборудования в эксплуатацию. Одной из таких компаний, присутствующих на российском рынке, является M+W Germany. Как отметил руководитель ее отдела развития бизнеса в области ИТ и телекоммуникаций Мальте Матиас, благодаря правильной организации работ можно сократить сроки строительства ЦОДа с 15 до 12 месяцев и даже до восьми. Кроме того, при разработке концепции действительно продвинутого ЦОДа нужно учитывать не только требования к надежности и безопасности или технологии, которые планируется в нем использовать, но и варианты поэтапного модульного строительства и развертывания всей инфраструктуры, корпоративные стандарты, географическое расположение дата-центра, климат в этой местности и даже политическую ситуацию в стране.

Принцип модульности строительства дата-центра, похоже, стал уже всеобщим. Он позволяет сократить первоначальные расходы и свести к минимуму простаивающие площади и оборудование. Хотя, по мнению М. Матиаса, главное в концепции построения ЦОДа – даже не модульность, а возможность масштабирования. Это позволяет строить гибридные решения, объединяющие достоинства классических и модульных подходов, т. е. можно к крупному дата-центру добавлять по мере необходимости новые модули, совместимые с ранее построенными системами. Например, в арсенале M+W есть и так называемый дата-контейнер площадью от 20 до 100 кв. м, и «дата-куб» размером от 100 до 1000 кв. м, и дата-модуль площадью более 1000 кв. м. Кроме финансовой эффективности не забыта и энергоэффективность. В одном из проектов в центральной Европе M+W удалось добиться PUE, равного 1,12, что потребовало использования технологии адиабатического воздушного охлаждения, отказа от водяных теплообменников и механических систем охлаждения.

PUE vs TCO

Подумать о том, какой ценой получается низкий PUE, предлагает директор проекта ЕРЦОД «Ростелекома» Александр Мартынюк: «При разработке проекта дата-центра надо найти некий баланс PUE и общей стоимости владения ТСО, без которого проект может получиться либо технически совершенным, но слишком дорогим, либо очень дешевым, но ненадежным, и значит, никому не нужным». О проектах с низким PUE говорят очень много, однако среднемировой уровень PUE в реально существующих дата-центрах сейчас составляет 1,9, а в новых проектах – 1,5. Какую экономию на счетах за электричество может дать снижение PUE? Понятно, что при небольшом общем энергопотреблении ИТ-нагрузки и уменьшение затрат на электроэнергию окажется небольшим. Если же потребляемая мощность нагрузки составляет весьма внушительные 5 МВт (таких проектов в России пока очень немного), то, по подсчетам А. Мартынюка, при нынешних ценах на электричество разница в его стоимости для дата-центров с PUE, равными 2,0 и 1,5, составит 63 млн руб. в год, а за 4,5 года набежит сумма, позволяющая построить ЦОД мощностью 1 МВт.

Однако надо помнить, что снижение PUE далеко не всегда дает прямой экономический эффект, поскольку внедрение энергоэффективных решений может оказаться довольно дорогим удовольствием. Например, более эффективные системы охлаждения обычно занимают больше места, чем традиционные, что в условиях вписывания ЦОДа в существующее здание, да если оно еще находится в центре Москвы, будет означать оплату дополнительных квадратных метров, которую не покроет никакая энергоэффективность. В такой ситуации владелец дата-центра, скорее всего, предпочтет традиционные системы охлаждения, а всю свободную площадь займет серверными стойками. Если же ставится задача построения ЦОДа с рекордно низким PUE (порядка 1,1–1,17), то на это должен быть изначально нацелен весь проект, т. е. дата-центр придется строить с нуля по специальному проекту с выбором площадки под конкретное техническое решение, что подходит не каждому заказчику.

Пока для подавляющего большинства российских заказчиков дата-центров актуальны не инновационность и энергоэффективность, а максимально достижимое качество реализации проекта в рамках выделенного бюджета. Строительство же дата-центров со сверхнизким PUE, даже при наличии благоприятных, как в нашей стране, климатических условий, имеет чисто маркетинговый смысл.

Модульная экономия

Принцип модульности при построении дата-центров появился в свое время как способ сокращения капитальных и операционных затрат, а также непроизводительного простоя площадей и оборудования. Этот же принцип взяли на вооружение производители оборудования для инженерной инфраструктуры. Как рассказал технический специалист Emerson Network Power Андрей Вотановский, он реализован в семействе ИБП Liebert, которые позволяют наращивать мощность системы бесперебойного питания с достаточно небольшим шагом (минимум 10 кВА). Таким «квантом», в частности, является ИБП Liebert NXc (модели мощностью 10 и 20 кВА), поддерживающий работу до четырех систем в параллельном режиме. Он отличается длительным временем работы на встроенных батареях при отключении питания (до 64 мин), что по достоинству должны оценить заказчики, которые по каким-то причинам не хотят устанавливать ДГУ или дополнительные батарейные шкафы. Средненизкий мощностной диапазон этого семейства ИБП представлен моделью Liebert NX (от 30 до 60 кВА), которая также поддерживает соединение в параллель до четырех систем. Но ее «конек» – почти плоская нагрузочная характеристика, что означает возможность работы с высоким КПД при разных нагрузках.

ИБП Liebert APM (диапазон мощностей от 30 до 150 кВА) – это модульная система с возможностью «горячей замены» силовых и батарейных модулей, которая отличается своим пассивным шасси: в нем нет активных элементов, все можно снять и заменить. Более того, в этом ИБП можно применять внешние батареи сторонних производителей. На использование в современных системах электропитания в новых мощных ЦОДах нацелен ИБП Liebert 80NET (диапазон мощностей от 60 до 500 кВА), который поддерживает подключение в параллельной конфигурации до восьми таких систем. Наконец, самый мощный ИБП в арсенале Emerson – модульный Liebert Trinergy (мощности от 200 до 1200 кВА), что при возможности устанавливать в параллель до восьми систем позволяет строить решения мощностью 9600 кВА. Кроме мощности эта модель отличается интеллектуальным режимом отключения избыточных силовых модулей в зависимости от нагрузки.

Сделано на заводе

Еще одна тенденция, проявившаяся на рынке в последние два-три года, – ориентация вендоров на выпуск готовых комплектных модулей электропитания и кондиционирования. Однако, как предупреждает начальник отдела технического пресейла компании R-Style Александр Шапиро, при общем высоком техническом уровне подобных решений далеко не все заявленные их производителями преимущества реально нужны заказчикам, а кроме того, подобная типизация и модульность не всегда приводят к экономии.

Комплектные модульные системы для инженерной инфраструктуры дата-центров выпускают и крупные мировые вендоры, и компании второго эшелона. В каталогах уже фигурируют готовые модульные решения для кондиционирования с системами воздушного фрикулинга и традиционными промышленными системами охлаждения на случай жаркой погоды, а также модули с полным набором инженерных систем, имеющие общий сверхнизкий PUE (от 1,05 до 1,15), которые помещаются в 20- или 40-футовые контейнеры. Причем это не просто попытка впихнуть стандартное решение в стандартный же контейнер, это действительно энергоэффективные решения достаточно высокого уровня, потребовавшие серьезных научных и опытно-конструкторских разработок. Они прибывают на площадку заказчика фактически в готовом виде, собранные и протестированные на заводе с высоким качеством производства, и имеют технические характеристики, которые не сможет гарантировать даже опытный системный интегратор, собирающий подобное решение на заказ. Эти решения не требуют длительного монтажа и пусконаладочных работ, и их можно дополнять другими модулями по мере роста ЦОДа. Однако цена таких решений довольно высока и, несмотря на все заявления производителей, не позволяет снизить общую стоимость владения дата-центром.

В качестве достоинства подобных систем производители указывают возможность их перебазирования, но, как показывает жизнь, такой потребности у заказчика практически никогда не возникает. Кроме того, подобное решение требует создания дополнительных интерфейсов для систем охранно-пожарной сигнализации, контроля доступа, мониторинга и видеонаблюдения. Оно также увеличивает количество зон контроля и общий периметр ЦОДа, который надо охранять. К числу недостатков следует еще добавить неизбежную привязку к одному вендору. Так что, по мнению А. Шапиро, при всей технической прогрессивности комплектных модулей использовать их следует, лишь если они соответствуют концепции ЦОДа заказчика и обеспечивают значительное улучшение количественных характеристик дата-центра (низкий PUE), если заказчик не только готов за это платить, но и уверен в долговременной поддержке производителя и сможет действительно с выгодой использовать сэкономленное на монтаже время.

Традиции в большинстве

Большинство заказчиков пока предпочитают традиционный подход к созданию дата-центра, несмотря на то что этот процесс обычно ограничен по времени. Как считает Павел Савранский, заместитель директора по развитию компании «Электронная Москва», ЦОД следует проектировать под конкретную задачу, чтобы оптимизировать и капитальные, и операционные расходы. В данном случае предстояло построить дата-центр, который должен обеспечить бесперебойную работу собственных информационных систем «Электронной Москвы», использующих облачные технологии, и информационных систем клиентов, в числе которых есть и городские ИС.

Список основных технических требований к ЦОДу был довольно серьезный: отдельно стоящее здание, допускающее реконструкцию, возможность организации широкополосных каналов связи, высокий уровень отказоустойчивости инженерных систем, большая плотность размещения серверного оборудования (что означает наличие соответствующих электрических мощностей и построение серьезной системы охлаждения), управляемость инженерных систем, поэтапное строительство и экономическая эффективность дата-центра. При выборе тех или иных технических решений проектная команда руководствовалась их качеством (поскольку от него зависит отказоустойчивость ЦОДа), стоимостью (учитывая ограниченность бюджета), экономической эффективностью при эксплуатации, возможностью масштабирования, скоростью и простотой монтажа, поскольку сроки реализации проекта были очень сжатыми. Стоит отметить, что в финансировании проекта принимает участие и владелец здания ЦОДа, которое «Электронная Москва» арендует. В итоге слаженной работы инженерной команды проектирование дата-центра было выполнено в фактически рекордные сроки – три месяца. Из-за тех же ограничений по времени на объекте одновременно находятся четыре-пять подрядчиков, что требует четкого планирования их работы, а это непросто, так что работы идут в круглосуточном режиме. Дата-центр еще не запущен в эксплуатацию, но, как сказал П. Савранский, все ключевые участники буквально живут этим проектом (и даже видят о нем сны), так что он просто обязан быть успешным.

Контейнеры с перспективами

И тем не менее модульные контейнерные решения для ЦОДов упорно пробиваются на рынок, в том числе на российский, где есть уже свои отечественные производители подобных систем. В числе первых на него вышла компания «Ситроникс», предложившая свой мобильный ЦОД еще в 2008 г. Как отметил главный архитектор бизнес-решений в области ЦОД «Ситроникса» Владимир Алеев, сейчас активно развиваются и одноконтейнерные («все в одном»), и многоконтейнерные конфигурации (со специализированными контейнерами для ИТ-оборудования и инженерных систем) модульных дата-центров. Одноконтейнерные представляют собой фактически автономный мобильный ЦОД, который для запуска в эксплуатацию нужно только подключить к источнику электроэнергии и каналам связи. Существуют даже мобильные дата-центры, предусматривающие размещение ИТ-оборудования до доставки ЦОДа на место. Но у них есть ограничения по вычислительной мощности: в 20-футовый контейнер пока не удалось вместить больше семи стоек, а в 40-футовый – больше 12. Тем не менее это направление развития ЦОДов представляется очень перспективным, особенно в свете автоматизации управления дата-центрами, которая позволяет создавать по-настоящему автономные ЦОДы и устанавливать их на удаленных площадках, где нет дефицита электричества, но есть проблемы с обслуживанием.

Сейчас «Ситроникс» предлагает несколько модификаций своих контейнерных ЦОДов «Датериум» для разных вариантов использования. Мобильный ЦОД «Датериум-2» размещается в 20-футовом контейнере, он допускает установку семи полноразмерных стоек с ИТ-оборудованием общей подводимой мощностью 40 кВт. В этом дата-центре типа «все в одном» внутри установлены системы бесперебойного электроснабжения (с резервированием по схеме N+1), прецизионного кондиционирования, газового пожаротушения, удаленного мониторинга и управления. МЦОД «Датериум-3-80» в 40-футовом контейнере позиционируется как дата-центр для мощных виртуализованных систем. Он рассчитан на установку ИТ-оборудования с энергопотреблением до 80 кВт. Правда, в нем из-за более высокого уровня резервирования ИБП (N+N) можно установить только шесть серверных стоек. Оба контейнера рассчитаны на российский климат, поэтому в них серверные помещения отделяются от входа тамбур-шлюзом. Но для сугубо суровых северных условий есть особая модификация «Датериум-3-Север», работающая в диапазоне температур от –55 до +45°С. Правда, не всегда контейнерные ЦОДы действительно стоят на улице; бывает, что заказчик, желая избежать дорогой общестроительной подготовки помещения для традиционного дата-центра, просто устанавливает контейнер с ЦОДом внутри бывшего цеха или какого-то быстровозводимого здания.

Почти одновременно с «Ситрониксом» свое первое изделие в категории мобильных дата-центров на базе 40-футового контейнера представил еще один российский производитель – компания TeleCore. Как сообщил ее коммерческий директор Виталий Кустуктуров, производство создавалось на базе оборонного предприятия, которое более 40 лет специализировалось на выпуске мобильных пунктов охраны для систем залпового огня, так что принципы автономности инженерных систем известны там давно. Поэтому решение от TeleCore является полностью автономным. Оно обеспечивает отвод до 10 кВт тепла со стойки, системы бесперебойного питания и охлаждения в нем имеют резервирование по схеме N+1, возможны использование фрикулинга и работа с ДГУ (дизель-генератор может находиться как внутри контейнера, так и за его пределами).

Первый экземпляр мобильного ЦОДа TeleCore был установлен в 2008 г. в С.-Петербурге на площадке одной из ритейлерских компаний, а всего на сегодняшний день выпущено 10 таких дата-центров, контейнеры для них изготавливались по индивидуальным проектам под конкретную конфигурацию и компоновку ЦОДа каждого заказчика. За это время было разработано три типовых решения разных размеров и вариантов компоновки, на базе которых и выполнены все проекты. В некоторых из них была использована система охлаждения на фреоновых кондиционерах производства Fujitsu, которые не требуют сертифицированного запуска и обслуживания, что снижает начальную цену и общую стоимость владения решением. По словам В. Кустуктурова, производственный цикл с изготовлением, установкой мобильного ЦОДа и пусконаладочными работами занимает три-четыре месяца, все инженерные системы тестируются и устанавливаются на заводе, так что на площадку приезжает фактически готовое изделие, которое вводится в эксплуатацию за несколько дней, а цена по сравнению с зарубежными аналогами со сходными мощностными характеристиками получается ниже. Но производитель признает и наличие недостатков у этих контейнерных ЦОДов, а именно относительно высокую удельную стоимость стойкоместа и невысокую вычислительную мощность из-за ограничений на отвод тепла из контейнера.

В принципе недостатки модульных контейнерных дата-центров известны давно, но есть много ситуаций, когда заказчики готовы с ними мириться и считают именно такие решения выгодными. Поэтому перспективы развития у мирового рынка модульных ЦОДов довольно хорошие. По данным компании The 451 Group, которые привел В. Алеев, объем этого рынка в 2011 г. составил $460 млн, а к 2015 г. должен увеличиться до $2,5 млрд (рост более чем впятеро); кроме того, опрос, проведенный в 2012 г., показал, что 9% компаний уже используют такие ЦОДы и 8% планируют это сделать в ближайшее время. К примеру, именно модульный ЦОД решила заказать компания «Башнефть» в ситуации, когда дата-центр нужен был срочно, а строительство «нормального» корпоративного ЦОДа, даже при возможности начать его немедленно, в эти сроки никак не укладывалось. Как рассказал начальник отдела развития инженерной инфраструктуры и связи АНК «Башнефть» Виталий Шункин, ни одна из технологических площадок, имевшихся у шести предприятий, которые входят в состав этой компании, не соответствовала требованиям обеспечения бесперебойной и катастрофоустойчивой работы ИТ-оборудования, предназначенного для централизации всех имеющихся информационных систем. Поэтому решено было строить новый корпоративный дата-центр. Площадку с возможностью подключения достаточных электрических мощностей и оптоволоконных линий связи искали пять месяцев, к этому моменту был подготовлен рабочий проект ЦОДа, но бизнес-критичные информационные системы не могли ждать окончания строительства, поэтому проект был разделен на временное и постоянное решение. В качестве временного был выбран мобильный ЦОД от «Ситроникса», который соответствовал климатическим условиям Уфы (от –42 до +42°С), так что через четыре месяца корпоративная ИТ-инфраструктура была запущена в эксплуатацию. По словам В. Шункина, мобильный ЦОД успешно выдержал башкирскую зиму, а технический персонал навещал его только для техобслуживания. А в это время шло строительство постоянного ЦОДа с общим энергопотреблением 930 кВт, половина из которого приходится на ИТ-нагрузку (т. е. коэффициент PUE составил 2,0). Этот дата-центр находится внутри модульного помещения физической защиты Lampertz, которое, в свою очередь, располагается в легковозводимом ангаре общей площадью около 670 кв. м.

Проект с аутсорсингом

Совсем другой подход к консолидации ИТ-инфраструктуры у Департамента информационных технологий г. Москвы. Как отметил начальник управления технической политики ДИТ Москвы Алексей Аляев, в плане организации деятельности столичное правительство похоже на очень крупную компанию с территориально распределенными подразделениями, с той только разницей, что цель обеспечения прибыльности не стоит, но экономить надо. Именно для экономии городского бюджета и был начат проект централизации ведомственных и районных ИТ-систем.

Для получения действительно гибкой ИТ-инфраструктуры, которую можно было бы быстро расширять для выполнения различных проектов и точно так же сворачивать по их завершении, решено бы-ло использовать мощности коммерческих дата-центров. Работа с ними строится по нескольким моделям. Во-первых, это традиционная аренда стоек в ЦОДе для размещения собственного ИТ-обору-дования, во-вторых, покупка вычислительных ресурсов по требованию (облачная модель IaaS), в-третьих, использование модели SaaS (по такой схеме, например, работает система электронного документооборота, единая почтовая система правительства Москвы и некоторые другие приложения). Таким образом, проблемы проектирования и строительства дата-центра заказчик перекладывает на плечи провайдера, который выбирается по конкурсу и качество работы которого находится под контролем. И это тоже можно считать одним из типичных вариантов создания ЦОДа.

Словом, каждый выбирает по себе...  
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!
Поделиться: