Проект Свода правил проектирования ЦОДов: о ДГУ, швабрах и велопарковках

Исполнителем Свода правил (ЗДАНИЯ И СООРУЖЕНИЯ ЦЕНТРОВ ОБРАБОТКИ ДАННЫХ. Правила проектирования) выступило АО «ЦНИИПромзданий» («Центральный научно-исследовательский и проектно-экспериментальный институт промышленных зданий и сооружений»), а соисполнителем – НП «АВОК» (Некоммерческое партнерство «Инженеры по отоплению, вентиляции, кондиционированию воздуха, теплоснабжению и строительной теплофизике»). Кроме того, в авторский коллектив, разработавший Свод правил, вошли представители Ассоциации участников отрасли ЦОД.

Документ объемом 60 страниц содержит, в частности, требования:

В СП затрагиваются также вопросы соблюдения санитарно-эпидемиологических требований и энергосбережения.

Суммируя замечания и комментарии, полученные нами от известных экспертов, которые имеют большой опыт проектирования, построения и эксплуатации ЦОДов, можно выделить три основных момента.

Во-первых, большинству экспертов непонятна цель подготовки данного СП. Российская индустрия ЦОДов динамично развивается, превосходя по темпам роста большинство других сегментов экономики. Проектируемые и создаваемые в стране ЦОДы по основным показателям находятся на мировом уровне, а во многом превосходят лучшие зарубежные объекты. Неизвестны какие-либо случаи аварий или инцидентов в ЦОДах, связанные с недочетами в строительной практике. Помимо этого, в России используются разнообразные подходы к созданию ЦОДов, выбор которых обусловлен спецификой решаемых задач и особенностями применяемых аппаратных и программных решений. Это позволяет реализовывать проекты наиболее эффективно и обеспечивать требуемый уровень отказоустойчивости предоставляемых ИТ-сервисов. Попытка определить рамки используемых инженерных подходов и решений, очевидно, не пойдет на пользу развивающейся индустрии. Поэтому зачем отрасли на текущем этапе развития нужен еще один регламентирующий документ, непонятно.

Во-вторых, СП содержит ссылки на ГОСТ 70139 (Центры обработки данных. Инженерная инфраструктура. Классификация), который с момента его публикации подвергался серьезной критике со стороны экспертов и участников рынка ЦОДов по причине практической невыполнимости многих его положений. Минцифры поддержало предложение отрасли о приостановке действия этого ГОСТа. «К ГОСТ 70139 много вопросов, он не может быть применен ввиду ошибочности и невыполнимости многих пунктов. Ссылки на этот ГОСТ в СП ставят под вопрос целесообразность и этого документа», – говорит Тарас Чирков, директор по эксплуатации ЦОД Linx Datacenter.

В-третьих, многие формулировки и требования в СП являются неполными, неточными, некорректными или необоснованными. «Принятие многих пунктов СП как обязательных правил при проектировании ЦОДов может негативно отразиться на отрасли в целом, диктуя выполнение заведомо некорректных, непродуманных требований при проектировании, неоправданно ограничивая проектировщика в выборе корректного решения и ограничивая заказчика в использовании собственных ресурсов (площадки и капитала)», – комментирует документ Александр Мартынюк, исполнительный директор «Ди Си квадрат» и сооснователь Key Point – одного из крупнейших проектов построения ЦОДов в регионах России.

«В случае с данным СП просматривается пагубная для передовой и быстрорастущей отрасли тенденция в плане попытки регулирования, нормирования и стандартизации, когда за скобками оставляют опыт и знания передовых игроков рынка. Непонятно и опасно, что все эти активности модерируются “непричастными” субъектами в отрыве от представителей отрасли, ответственных за данные направления. И СП, и ГОСТ 70139, на который идут многочисленные ссылки, полны нестыковок и коллизий… «Ростелеком – ЦОД» не планирует применение указанных документов для собственных и клиентских объектов», – говорит Николай Паршин, директор по инфраструктуре и сервисам «Ростелеком – ЦОД».

Документ изобилует неточностями и некорректными рекомендациями. Взять хотя бы вопросы, связанные с компоновкой различных помещений ЦОДа. Так, в СП указано, что «помещения инженерной зоны схожего функционального назначения должны быть сблокированы между собой». «Для чего это требование? Для одновременной утраты этих помещений в случае ЧП?», – удивляется Т. Чирков. Многие эксперты с большим опытом проектирования и построения ЦОДов считают эту рекомендацию «крайне вредной». А в некоторых случаях, например при выделении отдельной инженерной инфраструктуры на каждый машзал, она просто невыполнима.

«Помещения для размещения оборудования инженерной инфраструктуры систем общего, бесперебойного и гарантированного электроснабжения следует выполнять в смежных помещениях», – указано в п. 6.4.5 обсуждаемого СП. Данный пункт также не учитывает практику проектирования и построения ЦОДов. Например, нередко помещения разделяют техническим коридором. Другой вариант – система бесперебойного и гарантированного электроснабжения конструктивно представляет собой одно целое, скажем, дизель-роторный ИБП, а потому не может оказаться в разных комнатах.

Еще один пример из СП: «Кабинеты инженерного и оперативного состава и склады соответствующих инженерных систем располагают вблизи помещений соответствующих инженерных систем». Но согласитесь, не всегда логично размещать кабинет главного энергетика рядом с помещениями энергоцентра, а главного механика – рядом с насосными хладоцентра. Ведь в этих зонах может быть существенный акустический шум, который не поспособствует комфортной работе ответственных специалистов. Кабинеты указанных руководителей нередко удобнее расположить в отдельном административно-бытовом комплексе.

И еще цитата из СП: «Не следует размещать машинные залы смежно с мокрыми зонами, а также размещать такие зоны над и под ними». «Данное требование несовместимо с ситуацией в большом числе современных ЦОДов. Например, зона систем с водяным охлаждением может находиться непосредственно в объеме машзала, а холодильный центр и насосная станция могут размещаться на техническом этаже над машзалом – с соответствующими мерами по защите от протечек», – отмечает А. Мартынюк. 

Кроме того, в случае одноэтажного ЦОДа, где над оборудованием есть только кровля, данное требование совершенно неуместно, ограничивает возможности реализации некоторых проектов, ведет к необоснованному удорожанию проекта.

Присутствуют в документе и рекомендации общего плана. Так, согласно п 4.8, «до начала строительства ЦОД следует: 

Все верно, но неполно. Как замечает Евгений Колосков, технический директор компании «Свободные Технологии Инжиниринг» (и руководитель одной из наиболее авторитетных и опытных команд проектировщиков ЦОДов), «до начала строительства следует выполнить еще много другой работы, например разработать и утвердить проектную документацию, пройти экспертизу (если применимо), разработать рабочую документацию и т.д.».

Документ требует, чтобы «температура в холодном коридоре составляла:

«Непонятно, почему для нагруженных решений верхний предел температуры установлен на 5 град. С ниже, чем для стандартных. Температура воздуха на входе в ИТ-оборудование определяется его паспортными данными, и этот параметр никак не связан с его энергопотреблением. Некоторое оборудование может штатно работать при температурах свыше 32 град. С», – замечает А. Мартынюк.

Кроме того, в документе указано, что «значение температуры в машинном зале ЦОД определяют в зоне холодного коридора на высоте 1,5 м над уровнем пола в зоне забора воздуха ИТ-оборудованием». Разработчики, видимо, не учитывают, что температура воздуха не менее важна и для ИТ-оборудования, установленного в нижних и верхних юнитах серверной стойки. Поэтому логичнее рекомендовать измерять температуру в трех точках по высоте.

Что касается выбора системы холодоснабжения, то он, по мнению разработчиков СП, «должен осуществляться на основании результатов технико-экономического анализа вариантов (стоимости и эксплуатационных расходов системы кондиционирования воздуха, условий размещения оборудования, наличия источников тепло- и холодоснабжения)». Странно, что не указаны два ключевых для такого выбора момента: параметры наружного воздуха и характеристики ИТ-оборудования.

При этом в документе перечислены допустимые варианты реализации комплекса технологического кондиционирования: это системы, использующие компрессионный цикл, различного рода системы свободного охлаждения, жидкостного охлаждения, гибридные установки, использующие экономичные режимы работы за счет внешних сред с более низкой температурой. В целом непонятно, зачем такой документ привязывать к конкретным технологиям. Это в корне неверно. Во-первых, перечислены не все варианты (нет адиабатического охлаждения, погружного охлаждения – хотя, возможно, они скрыты под термином «жидкостное охлаждение» – этот важный термин не раскрыт). Во-вторых, ЦОДы – инновационная область, поэтому могут появиться новые технологии охлаждения.

А для реализации системы технологического кондиционирования документ запрещает «использование оборудования кондиционирования бытового или комфортного класса». На практике применение канальных сплит-систем для помещений серверных, кроссовых, помещений АКБ и т.п. является рабочим и экономически оправданным вариантом. И это еще один пункт, который необоснованно ограничивает заказчика и проектировщика в принятии решения.

«Парные ряды шкафов устанавливаются с привязкой к схеме воздушного обмена и с делением на холодные и горячие коридоры». На практике схема с выделением горячих и холодных коридоров используется не всегда. Например, применение серверных стоек с так называемым дымоходом, отводящим теплый воздух вверх, в запотолочное пространство или в магистральный воздуховод, не требует организации горячих коридоров. При этом весь зал «затапливается» холодным воздухом.

Документ ограничивает значение «допустимой скорости воздуха в полезном сечении фальшпола – не более 2,5 м/с». «Ограничение скорости движения воздуха под фальшполом 2,5 м/с некорректно. Зачастую скорости под фальшполом выше, например в зоне выхлопа вентиляторов или при отсутствии возможности организовать фальшпол требуемой высоты в существующем здании. Корректность работы системы кондиционирования определяется давлением в подфальшпольном пространстве и проверяется при CFD-моделировании, которое выполняется с учетом всех коммуникаций», – считают эксперты «Ди Си квадрат».

По многим пунктам акценты в документе смещены в сторону второстепенных, а не главных вопросов. Взять, например, ДГУ – ключевой элемент инфраструктуры ЦОДа. В документе указана очевидная необходимость (при размещении ДГУ) соблюдать требования пожарной и экологической безопасности, а также обеспечивать подъездные пути для топливозаправщика. Но отсутствуют четкие отсылки или указания относительно этих требований.

«Если говорить о ДГУ, то в документе отсутствует информация об обеспечении автономной работы объекта и длительности автономной работы в часах, а также о том, какими нормативными документами руководствоваться при проектировании ДГУ/ДЭС, топливного хозяйства (резервуаров с топливом, площадок для размещения топливозаправщиков и слива топлива, пунктам (колонкам, колодцам) слива топлива)», – отмечает А. Мартынюк.

«Налицо явное непонимание важности раскрытия темы ДГУ в разрезе построения ЦОДа, – считает Т. Чирков. – При этом в других местах имеются конкретные определения для малозначащих тем, таких как организация велопарковки или места для хранения, очистки и сушки уборочного инвентаря (видимо, швабр) с прямыми указаниями на соответствующие СП».

«Машинные залы оборудуют розетками для подключения уборочного и вспомогательного оборудования с шагом не более 3,5 м по периметру ограждающих конструкций», – рекомендует СП. Это требование также непонятно. Почему именно через 3,5 м, а, например, не через 2,5 м? Можно еще регламентировать длину шнура пылесоса. Выполнение данной нормы может привести к необходимости установки тысяч розеток в крупном ЦОДе. А что, если зал убирает робот-пылесос? 

«Нам, в АНО “Координационный центр по ЦОДам и облачным технологиям”, поступило более сотни различных замечаний по предложенному СП. В целом его принятие несет серьезные риски для большинства участников рынка – от инвесторов, владельцев и провайдеров услуг ЦОДов до проектировщиков и поставщиков решений – и может негативно отразиться на развитии отрасли, а значит, и цифровой инфраструктуры страны, снижая ее конкурентность и темпы роста», – считает Дмитрий Бедердинов, генеральный директор АНО КС ЦОД.