ЦОДы: от модели до эксплуатации

– Прежде всего уточняем, зачем клиенту дата-центр и что он планирует в нем делать. Будет это корпоративный ЦОД или коммерческий? Если коммерческий, то будет он ориентирован на модель colocation или на облака? Могут использоваться обе модели. Определяем с заказчиком концепцию построения ЦОДа, примерную требуемую мощность. Выясняем, есть ли на примете подходящая площадка: будет ли строительство в уже существующем здании (brownfield) или на свободном месте (greenfield). Изучаем возможности подведения электрических мощностей и каналов связи.

Иногда клиенты просят подобрать площадку. В любом случае объясняем возможные риски, рассматриваем варианты решения проблем и примерную их стоимость. Исходя из пожеланий клиента по срокам возведения, мощности, его финансовых возможностей определяем базовые требования, на которые будем ориентироваться на предварительном этапе. 

– Возьмем для примера ЦОД PNK group, проект которого мы закончили. Первая его очередь уже запущена в эксплуатацию, а вторая находится на этапе пусконаладки. Сначала, еще до подписания договора, мы выполнили несколько вариантов эскизного проекта, включающих 3D-модели объекта, чтобы посмотреть, как он будет размещаться на площадке.

Следующий этап – детальное проектирование и подготовка документации для сертификации в Uptime Institute. Причем после событий февраля 2022 г. пришлось сделать перепроектирование. Изначально планировался один ЦОД на 4 тыс. стоек, состоящий из четырех одинаковых модулей, а получилось четыре различающихся ЦОДа, так как часть оборудования заказчик купить не успел. Пришлось искать замену, но российские производители не справлялись с возросшими объемами заказов, поэтому в этих четырех ЦОДах оборудование, например чиллеры и кондиционеры, разное.

На этапе детального проектирования проводилось CFD-моделирование для оценки температур и движения воздушных потоков в проектируемом дата-центре. CFD-модели привязаны уже к конкретному оборудованию, размещенному на площадке.

К сожалению, далеко не у всех российских вендоров есть модели (BIM-объекты) поставляемых устройств, и часто приходится обрисовывать их самим. Конечно, без высокой детализации, которую раньше предоставляли мировые лидеры рынка. Но все же так, чтобы стало понятно, как оборудование размещается и крепится, чтобы избежать коллизий – противоречий в смежных разделах проекта и наложения друг на друга границ объектов. 

Кроме того, после автоматического анализа наши специалисты вручную проверяют проект на наличие коллизий. Практика показала, что не все проблемы выявляются автоматически. Например, пересечения лотков и шинопроводов могут идти впритирку друг к другу. С точки зрения Autodesk Revit это вполне допустимо, но неудобно в обслуживании. Хорошо, когда у заказчика уже есть служба эксплуатации ЦОДа, которая на этом этапе может высказать замечания по проекту. Если ее нет, привлекаем своих сервисных инженеров, которые оценят удобство доступа и обслуживания инфраструктуры, чтобы будущая служба эксплуатации объекта вспоминала нашу компанию добрым словом. 

В результате проделанных компанией работ заказчик получил BIM-модель объекта, которую использовал на этапе строительства и эксплуатации.

– Проектирование стало сложнее, поскольку рынок покинули многие знакомые заказчикам вендоры. Но это не глобальная проблема. У заказчика могут быть свои предпочтения в отношении вендоров, и мы обязательно их учитываем на этапе проработки концепции. Но сначала предлагаем оборудование, которое знаем и которое доступно в России. 

Компания «Хайтед-Энергетика» давно и плотно работает с Китаем, понимает китайский рынок, но в первую очередь рекомендует российских вендоров, так как они находятся в нашей стране, доступны и не прекратят сервисное обслуживание и гарантийную поддержку, подобно ушедшим поставщикам. Если подходящих решений нет, тогда обращаемся к китайскому рынку – у нас большой опыт работы с имеющими хорошую репутацию крупными китайскими поставщиками.

Кроме того, есть параллельный импорт, хотя мы стараемся его использовать в минимальном объеме.

– Еще за несколько лет до февральских событий компания провела большую работу по налаживанию взаимодействия с китайскими компаниями. Нашли много качественных поставщиков, работающих, если говорить о дизель-генераторах, с теми же брендовыми двигателями типа Cummins или Perkins, но использующих непривычный для российского потребителя бренд. Так что фактически это то же самое оборудование: собрано на той же хорошей китайской фабрике, протестировано и полностью соответствует заявленным параметрам. 

С российскими компаниями знакомимся, изучаем качество оборудования, тестируем. Если есть история эксплуатации, собираем у эксплуатирующих оборудование отзывы о качестве и удобстве обслуживания, доступности комплектующих, скорости реакции производителя. И только после этого начинаем с ними работать. 

Иногда с тестовыми образцами все нормально, а качество оборудования в партии падает из-за недостаточного технологического контроля. Поэтому еще на этапе производства стараемся привлекать специальный технический надзор, который периодически присутствует на площадке производителей и контролирует все этапы производства.

– Компания делает комплексное проектирование под ключ, включая системы электроснабжения. Еще на этапе предпроектного обследования мы рекомендуем заказчику предпочтительные схемы резервирования, делаем экономическое обоснование. Часто убеждали, что схема 2N не нужна и вполне достаточно 4/3N – дешевле, энергоэффективнее и удобнее в обслуживании. Но окончательный выбор за заказчиком.

– Комплекс RedPine, разработку которого компания «Хайтед-Энергетика» начала еще в 2007 г., включает оборудование для сбора данных, программное обеспечение и облачную платформу. Есть три вида решений. Первое – мониторинг качества электроэнергии. Его применяют и ЦОДы, и операторы связи, особенно имеющие много удаленных площадок. Второе – мониторинг генераторных установок и управление ими, когда с помощью нашей системы можно не только осуществлять контроль, но и управлять дизелем, включая сброс некритичных аварий. Его могут использовать не только ЦОДы, но и заказчики с большим территориально распределенным парком оборудования. Третье – мониторинг окружающей среды для серверных и дата-центров. В помещении устанавливается оборудование головного устройства, а к нему по интерфейсу RJ-45 подключаются датчики. С помощью этой системы контролируется состояние оборудования, климатические параметры, наличие напряжения, протечки, срабатывание пожарной сигнализации. В планах развития АСДУ – использование предиктивной аналитики.

При желании заказчик может осуществлять мониторинг через интерфейс устройства (контроллера PedPine), использовать собственную систему SCADA или нашу облачную платформу. У «Хайтед-Энергетика» есть диспетчерский центр, где уже обслуживаются около 500 дизель-генераторных установок и серверных. Если заключен договор, на проблемный объект выезжает сервисная служба. Можем предложить обслуживание ЦОДов по всей России. 

– За последние два с половиной года компания «Хайтед-Энергетика» реализовала несколько проектов в области дата-центров, суммарная мощность которых составила около 100 МВт. В 2022 г. закончили строительство дата-центра в Тверской области для федерального оператора связи, который с нуля строили на лесной площадке.

– Компания помогает сдавать ЦОДы в промышленную эксплуатацию. Пакеты узаконивающих документов для ЦОДов и промышленных объектов примерно одинаковые. Различия – в проведении испытаний: для ЦОДов программы испытаний прописаны более глубоко, включая имитацию замен оборудования и отказов.

– В основном «Хайтед-Энергетика» проводит проектирование своими силами – в штате большая команда проектировщиков. К имеющим огромный опыт проектировщикам, инженерам по пусконаладке и сервисному обслуживанию присоединились лучшие специалисты ушедших с российского рынка зарубежных компаний. Отдельное подразделение выполняет строительно-монтажные работы. Компания готова подключиться к проекту создания и эксплуатации ЦОДа на любом этапе. У нас собралась прекрасная команда, которой по плечу реализация проектов любой сложности, вплоть до ЦОДов гиперскейлеров.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!