ЦОД для банка: надежность и масштабируемость

До создания основного ЦОДа семь крупных организаций, входящих в финансовую группу «Открытие», эксплуатировали более 500 стоек на 24 собственных и пяти арендованных серверных площадках. Такую распределенную структуру было трудно поддерживать и развивать. Кроме того, серверные были реализованы на недостаточно высоком технологическом уровне и не могли обеспечить требуемую надежность. Инженерное и ИТ-оборудование было разнородным, и каждую площадку обслуживала своя команда эксплуатации. Усложняло работу большое количество арендодателей и поставщиков услуг.

Для поиска путей решения проблем банк привлек ИТ-компанию «Инфосистемы Джет». Совместно со специалистами банка эксперты компании оценили ТСО при различных подходах и пришли к выводу, что оптимальный вариант – построение централизованной архитектуры финансовой группы на базе собственного основного дата-центра и аренды площадей в коммерческом в качестве резерва.

 

Выбор площадки занял несколько месяцев. Остановились на варианте браунфилд (создание ЦОДа в существующем здании). Подробно, с выполнением эскизных проектов, рассмотрели несколько зданий, изучили особенности конструкции каждого из них и вынесли заключения о пригодности и затратах на адаптацию. В итоге выбрали здание советской постройки в районе ул. Окская недалеко от МКАД. Одно из важных преимуществ площадки – возможность подведения дополнительной электрической мощности. 

Банк провел проектно-изыскательские работы и представил отчеты, которые специалисты «Инфосистемы Джет» дополнили в отдельных точках. В частности, выяснилось, что при строительстве были использованы ригели (опорные балки) не одного типа, а трех, причем два из них – с меньшим сечением арматуры. Такие места были дополнительно обследованы и усилены. Были также усилены несущие колонны и фундамент.

Переделка существующего строения подразумевала ряд ограничений по высоте, площади и нагрузке на перекрытия. Усложняло проектирование двойное назначение здания: помимо ЦОДа банк хотел разместить в нем архив, что означало дополнительную нагрузку на перекрытия, сложную логистику и проблемы контроля доступа. Для каждой инженерной подсистемы был выбран оптимальный вендор: для ИБП – Vertiv, для дизель-генераторов – SDMO, для чиллерных установок и кондиционеров – Stulz. Поставку продукции Stulz осуществила компания HTS, официальный дистрибьютор Stulz на территории России. Компания Schneider Electric для этого проекта разработала независимую систему «парящих» изолированных холодных коридоров: решение Free-Flying позволяет устанавливать серверные стойки различных габаритов в смонтированном коридоре без нарушения целостности системы, по мере необходимости.

Специалисты HTS предложили классическую схему системы кондиционирования на жидкостном носителе: холодильные машины (чиллеры) Stulz СyberCool 2 наружной установки с фрикулингом и водяные прецизионные кондиционеры Stulz CyberAir 3 PRO с вентиляторной группой, вынесенной под фальшпол. Совокупное энергопотребление этой системы оказалось существенно ниже, чем в предложениях других участников тендера. Причем заявленные производителем характеристики были подтверждены результатами тестирования оборудования на заводе. В результате заказчик смог минимизировать годовое энергопотребление системы холодоснабжения и затраты на электроэнергию, снизить подводимую к объекту электрическую мощность, сократив тем самым капзатраты, а также уменьшить стоимость смежных систем ЦОДа.

Чтобы холодильные машины можно было обслуживать с любой стороны и безопасно работать с их верхней частью, в «Инфосистемы Джет» разработали, спроектировали и реализовали специальную раму для установки чиллеров на площадке заказчика.

По словам Алексея Колоколова из компании HTS, для удобства технического обслуживания и проведения регламентных работ вентиляторы на чиллере сделаны откидывающимися, что позволяет в безопасных условиях быстрее и качественнее проводить чистку теплообменников. Кроме того, электрический шкаф чиллера оснащен системой освещения, электрической розеткой и выдвижной крышей, благодаря которой оборудование можно обслуживать вне зависимости от погодных условий в любое время года.

 

Одно из достоинств выбранного чиллера – встроенный внутренний ИБП, от которого питается контроллер, что обеспечивает непрерывность его работы и быстрый выход на рабочий режим при переключении с одного ввода электропитания на другой. Короткое время выхода холодильной машины на рабочий режим (менее 2 мин) дало возможность уменьшить общий объем баков – накопителей жидкости.

Кондиционеры укомплектованы встроенными ИБП для обеспечения непрерывной работы их контроллера и вторым вводом питания, что позволяет не прерывать работу при переключении кондиционера с одного луча питания на другой.

В новом ЦОДе создали два хладоцентра. В первом установлены теплообменники «жидкость – жидкость» между внешним и внутренним контурами. Во втором, находящемся вблизи машзалов, охлажденная в первом хладоцентре вода разводится по кондиционерам шкафного типа. Поскольку кондиционеры расположены в отдельном помещении, специалисты по ИТ не имеют доступа к кондиционерам, а персонал, обслуживающий кондиционеры, не заходит в основной зал. В самих машзалах организована изоляция холодного коридора.

При проектировании основных инженерных систем – энергетических, климатических и слаботочных – компания «Инфосистемы Джет» использовала BIM-технологии, что позволило минимизировать коллизии пересечения кабельных трасс при строительстве. Для того чтобы спрогнозировать распределение воздушных потоков, проводили CFD-моделирование. В частности, изучали воздушные потоки при отключении кондиционера, анализировали, не появляются ли точки перегрева или ненужные завихрения.

 

Строительство выполнили в рамках капитального ремонта части здания. Это позволило уменьшить количество требуемой разрешительной документации. Заказчик и «Инфосистемы Джет» совместно выполнили комплекс работ по технологическому присоединению к электрическим сетям новой электроустановки мощностью 4 МВт. От момента оформления заявки до подачи напряжения на объект (включая монтаж шести трансформаторных подстанций) прошло всего шесть месяцев.

Компания «Инфосистемы Джет» получала документы на земляные работы, отвечала за организацию техники безопасности на стройплощадке, за пожарную безопасность и охрану периметра объекта. Также компания построила трансформаторную подстанцию на территории заказчика и сдала ее Ростехнадзору.

Проект реализовывался с привлечением проверенных подрядчиков «Инфосистемы Джет». В пиковый момент на объекте были заняты более 200 человек. Самая активная фаза работы пришлась на весну 2020 г., время самых жестких карантинных ограничений из-за COVID-19. Пришлось дополнительно организовывать контроль температуры сотрудников, изоляцию бригад, получение разрешений на работы. Эти непредвиденные проблемы хоть и затруднили, но не остановили строительство.

Электроснабжение в ЦОДе организовали по достаточно редко встречающейся схеме 3/2N. Причем каждый из трех лучей распределения электропитания на всем протяжении трассы от розеток и щитков до ИБП и ДГУ промаркировали своим цветом – черным, желтым и синим.

Схема резервирования системы холодоснабжения следующая: снаружи здания расположен дополнительный чиллер (N + 1), а для охлаждения машзалов установлены по два дополнительных шкафных кондиционера (N + 2). Для каналов связи используется полностью зеркальная схема резервирования 2N.

Сдача проекта проходила в три этапа. Для каждой подсистемы была разработана программа приемо-сдаточных испытаний. Первый этап – индивидуальные испытания каждой подсистемы. Второй – отработка аварийных ситуаций. На этом этапе мы имитировали аварии, например, отключали трансформаторную подстанцию. Для третьего этапа – 72-часового тестирования всех инженерных компонентов при полной проектной нагрузке – арендовали тепловые пушки. В результате и мы, и заказчик убедились, что все системы работают и в штатных, и в нештатных ситуациях, причем при полной нагрузке. 

От идеи до установки ИТ-оборудования прошло почти три года. На территории площадью около 1 га построен дата-центр емкостью 366 стоек с общим энергопотреблением 4 МВт. Серверные стойки размещаются в трех из четырех существующих независимых машинных залов. В настоящее время установлены 192 стойки – в основном с потреблением 7 кВт, но есть и высоконагруженные – 14 кВт. 

 

Помимо машзала и инженерных помещений создано более десятка вспомогательных помещений – кабинеты, переговорные, санузлы и кухня. Развернуты специальные склады для временного хранения оборудования и склад ЗИП. 

Во все инженерные решения заложена возможность быстрого масштабирования. На несколько лет заказчик будет полностью обеспечен вычислительными мощностями. И самое главное – проведена централизация ИТ-инфраструктуры, что позволяет оптимизировать затраты на эксплуатацию и повысить доступность ИТ-сервисов. 

Проект оказался самым крупным по направлению цодостроения в 30-летней истории компании «Инфосистемы Джет».

 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!