Наперегонки с рынком, или ЦОД за полгода

Рецепты ускорения темпов строительства ЦОДов (при сохранении высокого качества) понятны – это распараллеливание всех процессов и использование модульного подхода. Основные модули изготавливаются и собираются на заводе, затем доставляются на площадку, где оперативно подключаются к инфраструктуре.

На рынке коммерческих ЦОДов, на котором регулярно возникает дефицит площадей, быстрота строительства новых площадок особенно актуальна. Один из проектов, реализованный в рекордно короткие сроки, – новый ЦОД IXcellerate Moscow Two, который получил премию DC Awards 2020 в номинации «Лучшая интегрированная инженерная инфраструктура». С начала разработки концепта проекта (январь 2019 года) до запуска первой очереди (июнь 2019 года) прошло всего полгода. За это время был создан самый большой в России монообъемный машинный зал площадью 3 тыс. кв. м, рассчитанный на 1480 стойко-мест.

Детали реализации проекта раскрыл Евгений Журавлев, директор по сервису KAM Colo & Cloud компании Vertiv. В качестве одного из возможных вариантов для системы охлаждения рассматривалась традиционная схема: чиллеры с адиабатическими матами и шкафные кондиционеры с подачей воздуха под фальшпол. Но при всех плюсах у этого решения есть существенный минус – большие сроки как производства и поставки чиллеров, так и монтажа гидравлического контура. Кроме того, было непонятно, где устанавливать чиллеры: на площадке места не было, а крышу пришлось бы усиливать – это тоже время и деньги.

В результате выбрали более быстрое в реализации и не требующее усиления крыши для размещения внешних блоков, но не менее эффективное решение: шкафные DX-кондиционеры с микроканальными конденсаторами и промежуточным насосным блоком для фрикулинга (система PDX-EconoPhase). К такому выбору склоняли еще несколько факторов: по уровню энергоэффективности это решение сравнимо с чиллерной системой, внешние блоки работаю практически бесшумно, а масштабирование системы осуществляется с минимальным шагом наращивания мощности охлаждения (порядка 170 кВт) с линейным распределением затрат. Кроме того, у компании IXcellerate имелся положительный опыт эксплуатации подобной системы в ранее построенном ЦОДе.

 

При выборе вариантов для организации системы электроснабжения рассматривали применение динамических ИБП либо статических ИБП c литий-ионными АКБ в паре с ДГУ в контейнерном исполнении. В итоге остановились на «статике». Для энергоцентра первоначально предполагалось использовать отдельно стоящее здание склада. Но после детального обследования строения, включая изучение фундамента, стало понятно, что его придется полностью демонтировать и залить новый фундамент, увеличив площадь. Такие мероприятия означали значительную задержку реализации проекта, поскольку потребовалось бы получать дополнительные согласования в городской администрации, не говоря уже о сроках выполнения собственно строительных работ. В качестве альтернативы было предложено разработать и изготовить в заводских условиях (на заводе Vertiv в Хорватии) энергомодули со всеми основными системами (ИБП, АКБ, ГРЩ и т.д.). Этот вариант и был выбран.

После утверждения основных технических решений был выработан план реализации проекта. Сразу был размещен заказ на производство 12 систем охлаждения PDX-EconoPhase. Пока это оборудование изготавливалось, велись работы по строительной подготовке здания (отделка стен, создание фальшпола, системы освещения, вентиляции, пожаротушения, кабельных каналов и шинопроводов), которые заняли порядка трех месяцев. Монтаж систем охлаждения занял около двух недель. Такой подход позволил обеспечить запуск первой очереди ЦОДа в запланированные сроки (июнь 2019 г.). Питание оборудования осуществлялось по временной схеме от существующего энергоцентра.

    

После завершения проектирования типового энергомодуля (с учетом требований клиента и особенностей эксплуатации в России) первый заказ на два модуля был размещен в июне. На производство модулей ушло четыре месяца. Затем в течение трех недель они были доставлены на объект и установлены на заранее подготовленные платформы. В связи с ростом спроса на услуги ЦОДа в течение года были сделаны заказы на оставшиеся модули, и к середине 2020 года все они были размещены на площадке.

Проект IXcellerate Moscow Two интересен еще и реализацией идеи отопления примыкающего к ЦОДу офисного здания за счет отводимого от дата-центра тепла. С этой целью было решено установить шкафные кондиционеры с выносными водоохлаждаемыми конденсаторами – драйкулерами. Летом жидкость охлаждается в драйкулерах, а зимой поступает в систему отопления здания. При необходимости (низкой нагрузке или недостаточной для отопления температуре) жидкость дополнительно подогревается в электробойлерах, после чего поступает в радиаторы отопления, теплообменники вентиляции и тепловые завесы.

Сегодня заказчики ЦОДов, по словам генерального директора компании «Свободные Технологии Инжиниринг» Евгения Вирцера, основное внимание обращают на четыре момента: скорость создания объекта, его стоимость, масштабируемость (модульность), а также простоту и надежность эксплуатации.

 

 

Гендиректор СТИ рассказал о нескольких проектах, которые так же поражают высокой скоростью реализации. Один из них не связан с ЦОДами, но крайне показателен. Речь идет о строительстве хладоцентра мощностью 8,5 МВт для одного из заказчиков на Дальнем Востоке. Сложностей хватало: удаленность от европейской части страны, отсутствие квалифицированного персонала, но главное – сроки: объект надо было построить за полгода. «Если идти по традиционному пути: составление документации, согласование с заказчиком, создание объекта капитального строительства и т.д., то при хорошем раскладе такой объект можно сделать за год», – признал Евгений Вирцер.

Чтобы уложиться в отведенное время, решили применить модульный подход (по максимуму использовать компоненты высокой заводской готовности) и «запараллелить все, что можно». Модули хладоцентра – холодильные машины, обвязка, насосы – собирались в Испании, параллельно готовилась площадка. Расклад по времени получился такой: проектирование в системе BIM – один месяц; изготовление префаб-решений (модулей) – два месяца, логистика – один месяц, монтаж на месте – полтора месяца. «То, что мы перенесли большую часть процессов со стройплощадки на производство, помогло нам выполнить проект качественно и быстро», – заключил руководитель СТИ.

 

 

Предельно сократить сроки выполнения работ на площадке потребовалось от специалистов СТИ и при создании крупного корпоративного ЦОДа в Московской области. Кроме того, из-за недостатка свободного места на объекте надо было минимизировать количество смежников на одном участке. Было принято решение собирать в заводских условиях модули коридоров 6 x 3 x 3 м с воздуховодами, лотками и трубами. В это же время на площадке шли общестроительные работы. По мере готовности помещений модули привозили на площадку и монтировали за два дня. По оценке Евгения Вирцера, такой подход позволил сэкономить полтора-два месяца. 

Еще один корпоративный ЦОД по модульному принципу был построен СТИ также на Дальне Востоке (900 кВт ИТ-нагрузки, 72 стойки, соответствие Tier III). «Принцип модульности был принят заказчиком, поскольку он хотел построить объект в максимально сжатые сроки, получить его из одних рук, но при этом оформить ЦОД как объект капитального строительства, – отметил Евгений Колосков, технический директор СТИ. – Модули изготавливались на заводе, имели транспортабельные габариты, привозились на площадку, где собирались в единый конструктив и затем обшивались внешними панелями. Параллельно с модулями готовилась площадка».

На производстве изготавливались ИТ-блоки серверных залов со стойками, кондиционерами и дверьми. «Модульная конструкция ЦОДа позволила размещать различные по площади и количеству ИТ-стоек залы, а системы контейнеризации холодных коридоров – устанавливать стойки разных производителей и размеров», – добавил Евгений Колосков. Холодильные модули для этого проекта также собирались в заводских условиях. А вот при создании энергоблока специалисты СТИ пошли по компромиссному пути. На заводе в энергомодулях лишь готовились посадочные места для электрощитов и ИБП, а само оборудование монтировалось уже на объекте. 

Принцип разбиения большого объекта на коробочные решения (модули) и максимальное использование блоков высокой заводской готовности позволили существенно сократить сроки создания ЦОДов. 

В условиях дефицита финансовых средств и при нежелании (невозможности) одномоментно делать большие капитальные вложения многие заказчики могут быть заинтересованы в модульных расширяемых ЦОДах. Такие решения на форуме представила испанская компания SME. Ее «модульно расширяемые» ЦОДы комплектуются всеми необходимыми инженерными элементами, включая системы охлаждения, электропитания, газового пожаротушения, удаленного мониторинга, биометрические системы контроля доступа и т.д. ЦОД может быть выполнен в соответствии с требованиями Tier II, Tier III или Tier IV. Заслуживает внимания предлагаемая компанией специальная система перемещения стоек с обеспечением доступа как спереди, так и сзади.

 

Модульные расширяемые ЦОДы SME – часть экосистемы модульных решений, куда входят серверные шкафы, системы изоляции коридоров, всепогодные антивандальные узлы, мини-ЦОДы, контейнерные высокомобильные ЦОДы, системы автономного электроснабжения и т.д. Интерес аудитории вызвала система гибридного электроснабжения EcoCube, которая может оснащаться фотогальваническими и/или ветровыми источниками электроэнергии. Решение поставляется в 10-футовом фрахтовом контейнере (3 x 3 x 2,7 м) со средствами удаленного контроля и позволяет на 80% сократить время работы ДГУ.

Первая поставка оборудования компании SME в Россию была осуществлена в далеком 1995 году. Ее решения используются в ЦОДах «Газпромнефть-ОНПЗ» (Омск), Сбербанка в Сколково, технопарка «Жигулевская Долина». Компания существенно активизировала свою работу с открытием представительства и, как сообщил Александр Никитин, генеральный директор российского офиса компании, в ближайших планах – локализация производства.

Важной тенденцией, влияющей на выбор инженерных решений, является неуклонное повышение электрической мощности, подведенной к стойке. «Развитие индустрии ЦОДов в части строящихся и проектируемых объектов характеризуется увеличением энерговооруженности на единицу площади машинных залов и емкости объектов по количеству стойко-мест», – утверждает Илья Басин, руководитель проекта компании «СБ Девелопмент».

При проектировании первого мегаЦОДа Сбербанка («Южный порт», введен в эксплуатацию в 2011 году) предусматривалось, как сообщил Илья Басин, что на каждую стойку в среднем будет приходиться 5 кВт. В 2014 году в проект второго мегаЦОДа («Сколково») была заложена 1 тыс. стоек по 8 кВт. Сейчас проектируется объект, рассчитанный на 3 тыс. стоек по 15 кВт. 

«За последние полгода я не видел ни одного запроса, где мощность в расчете на стойку была бы менее 10 кВт», – отметил Сергей Вышемирский, технический директор IXcellerate. Причем, по его словам, те заказчики, которые сейчас берут 10-киловаттные стойки, по факту потребляют 8 кВт, а те, кто несколько лет назад покупали стойки, рассчитанные на 5 кВт, потребляют 4 кВт. Ситуация разительно отличается от той, что наблюдалась пять лет назад, когда нагрузка на стойку редко превышала 3 кВт.

 

 

Увеличение плотности размещения оборудования и соответственно плотности мощности на квадратный метр требует внедрения энергоэффективных решений. Для снижения стоимости владения своими ЦОДами IXcellerate придерживается нескольких практик:

В новых ЦОДах IXcellerate планирует задействовать системы LSV с низкоскоростным распределением воздушных потоков. Сергей Вышемирский считает, что такие решения будут доминировать в ЦОДах будущего. Они позволят использовать фрикулинг почти круглый год, отводя при этом до 50 кВт тепла с одной стойки, а также дают возможность устанавливать в машзале практически любые ИТ-шкафы. Последнее особенно важно коммерческому ЦОДу, предлагающему услуги colocation, поскольку заранее нельзя предвидеть, с каким оборудованием придет очередной клиент.

При поиске площадки, проектировании и выборе технических решений для ЦОДов существует масса нюансов, которые не всегда очевидны, но при этом важны.

Так, Сергей Вышемирский указал на то, что если неподалеку от ЦОДа растут тополя, с которых летом летит пух, то это чревато проблемами в работе систем охлаждения и вентиляции. Он также напомнил о необходимости предусмотреть меры по утилизации отходов. Для ЦОДа IXcellerate этот вопрос встает со всей остротой в моменты массового завоза клиентами ИТ-оборудования на площадку. «Сам сервер по размеру невелик, а вот его упаковка – пенопласт и картонные коробки – объемна. Когда единовременно завозилось много оборудования, нам для сбора отходов 20-кубового мусорного контейнера не хватало на день», – рассказал он. 

Проблему пожара в ЦОДе поднял на конференции Андрей Сахаров, руководитель отдела ИТ-Телекоммуникации компании ДКС. «Никто не собирается гореть, но пожары случаются», – заявил он. В качестве примера он привел пожар в одном из крупных московских дата-центров. Хотя пожар на крыше был довольно оперативно потушен, в ходе инцидента, по его данным, пропала телефонная связь с ЦОДом, не работала система видеонаблюдения, а также не было доступа к одному из залов, где оборудование функционировало в штатном режиме. Специалист ДКС связывает это с повреждением коммуникационных кабелей. «Если бы линии связи в составе СКС были огнестойкими, таких проблем можно было избежать», – полагает он.

 

 

Компания ДКС как раз представила на конференции огнестойкую СКС категории 6А для ЦОДов. Система построена на базе огнестойких кабелей производства Teldor и в штатном режиме обеспечивает производительность 10 Гбит/с. При работе в условиях пожара система будет гарантированно работать с производительностью 100 Мбит/с в течение 180 мин. Эта способность подтверждена испытаниями в Норвегии и Израиле.

О применении огнестойких кабелей в СКС российских ЦОДов сведений пока нет. В мире же такая практика есть. По словам Андрея Сахарова, эти кабели используются в Израиле в банковском ЦОДе Tier III (для подключения 250 видеокамер) и в правительственном ЦОДе (в ЛВС и в системе видеонаблюдения из 600 камер). Требования к надежности и отказоустойчивости ЦОДов постоянно растут, поэтому пришло время рассмотреть возможность развертывания таких СКС и на наиболее ответственных объектах в России.

Современный дата-центр – это множество различных систем, так или иначе влияющих друг на друга, и все они должны быть сбалансированы для обеспечения высокой надежности и отказоустойчивости. В ЦОДах мелочей нет.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>