DCDE-2021. От концепции ЦОДа до пожарной безопасности

Любой проект ЦОДа начинается с разработки концепции, и это очень важный этап, ошибки на котором могут привести к серьезному увеличению общей стоимости и сроков реализации проекта, а в некоторых случаях вообще сделать его невыполнимым. Причем при наличии общих практик и типовых решений, двух одинаковых ЦОДов практически не существует. «Даже при одинаковых вводных данных 10 компаний предложат вам 10 разных концепций ЦОДа», -- утверждает Андрей Воробьев, директор центра разработки приложений ЦОД подразделения Secure Power компании Schneider Electric.

Эксперт Schneider Electric проанализировал некоторые заблуждения, которые встречаются у заказчиков в отношении разработки концепции ЦОДа. «Часто в условиях, когда требования постоянно меняются, заказчик просит сделать что-нибудь универсальное. Но, чем более универсальна концепция, тем менее эффективным получается конечный результат», -- предостерегает он.

Нередко заказчики действуют по принципу: чем больше концепций, тем лучше. Они заказывают пять, шесть или даже больше концепций у разных разработчиков, а потом выбирают, как им кажется, оптимальную, используя, в частности, CFD-моделирования (для проверки эффективности системы охлаждения). Но увеличение количества концепций не гарантия получения оптимального результата. Гораздо важнее максимально точно сформулировать начальные данные и конечные цели.

Еще одно заблуждение заключается в том, что часть заказчиков считают возможным сделать хорошую концепцию без поддержки производителей оборудования – «сначала нарисуем, а потом пойдем смотреть, что есть на рынке». «Даже если вы построили 10 ЦОДов и строите 11-й не факт, что оборудование, которое вы использовали год назад, еще есть на рынке. Технологии быстро меняются, и из-за этого часто прошлый опыт уже не годится», -- отмечает А. Воробьев.

Наконец, ошибочный является мнение, что использование существующего здания снизит затраты на ЦОД. Если это возможно, лучше начинать «с чистого листа», строить здание специально под ЦОД. Это будет дешевле и обеспечит более эффективное решение.

При разработке концепции важно грамотно выбрать «квантование нагрузки» -- определить оптимальные мощность и число стоек на зал, а также топологию систем электро- и холодоснабжения, исходя и конфигурации подведенной мощности, ограничений здания и оптимальных моделей основного оборудования. Здесь надо просчитать всю цепочку систем – то что в Schneider Electric называют power train. Это позволит «не попасть», например, на необходимость обеспечить работу на высоком токе или установки специальных дорогих систем ИБП сверхвысокой мощности (свыше 5 МВт), что приведет к радикальному увеличению цены.

Также важно еще в концепции учесть то, как в дальнейшем ЦОД будет эксплуатироваться. В том числе рассмотреть вопросы автоматизации, актуальность которых повысила пандемия, наглядно показавшая важность «человеческого фактора» в обеспечении доступности ЦОДа. Кроме того, потребность в повышении уровня автоматизации ЦОДов связана с нехваткой квалифицированных кадров и стремлением сократить операционный расходы. По мнению А.Воробьева, для всех новых площадок пришло время рассматривать возможность комплексной автоматизации, а на существующих объектов – выборочное внедрение соответствующих технологий. Он считает, что на сегодня средства автоматизации наиболее востребованы корпоративными дата-центрами и edge-ЦОДами. 

Сегодня индустрию ЦОДов трудно представить без современных цифровых инструментов. Один из ключевых – технология информационного моделирования (BIM), важность которой отмечали многие эксперты, выступавшие на конференции DCDE-2021. Технический директор компании «Свободные технологии инжиниринг» Евгений Колосков был категоричен: «Сегодня проектировать и строить ЦОДы без BIM нельзя!» Он отметил, что ЦОД – это объект, максимально насыщенный дорогостоящими инженерными системами, и при этом необходимо быстро принимать решения на всех этапах его жизненного цикла, включая проектирование и строительство.

При реализации проектов всегда необходимо рассматривать различные варианты компоновочных и архитектурных решений, чтобы «выжать максимум из имеющейся площадки». Использование BIM позволяет выбрать оптимальные решения, а также на ранних стадиях разработки проектной документации выявить и устранить ошибки. Как подчеркнул эксперт СТИ, это особенно важно для объектов Tier IV, где надо соблюдать принцип секционирования (compartmentalized). 

Опыт компании СТИ говорит о том, что крупные госкорпорации на сегодня в 100% случаях используют BIM, однако коммерческие заказчики – только в каждом пятом проекте. Е. Колосков напомнил о том, что в марте 2021 года премьер-министр Михаил Мишустин подписал указ, согласно которому с 1 января 2022 года все объекты капитального строительства, которые финансируются с привлечением бюджетных средств, обязаны иметь информационные модели. А в июне Президент РФ Владимир Путин поручил до 1 июля текущего года подготовить дорожную карту по использованию технологий информационного моделирования при проектировании и строительстве объектов капитального строительства.

Понятно, что от BIM «не убежать». «Требования рынка диктуют такие условия, что иногда технологическое обеспечение и квалификации компании являются большим конкурентным преимуществом, нежели многолетний опыт и десятки успешных проектов. Внедрение цифровых технологий в процесс проектирования и строительства перестаёт быть прихотью заказчика и становиться обязательным требованием для крупных проектов», -- подытожил Е. Колосков. 

Кабельную систему одни эксперты относят к инженерной инфраструктуре, другие – к ИТ. Но вне зависимости от нюансов классификации, это ключевой элемент ЦОДа, значимость которого только растет по мере увеличения объема хранимых данных и роста требований к скорости их обработки.

Кабельная система (СКС) в ЦОДе «живет» существенно дольше, чем сетевое оборудование. При этом сетевая индустрия активно меняет способы повышения пропускной способности и подходы к построению сетей. И СКС должна «уметь» адаптироваться к изменяющимся требованиям.

Когда в 2002 году появилась технология 10G Ethernet сценарий дальнейшего развития высокоскоростных технологий казался понятным, рассказывает Степан Большаков, ведущий менеджер по работе с клиентами компании CommScope. Оборудование 10GE работало по дуплексному протоколу (используется одна пара волокон), при этом предполагалось, что для достижения более высоких скоростей (40G, 100G) будет применяться параллельная передача с увеличением числа волокон. Но затем, когда передовые заказчики начали внедрять 40GE по параллельным протоколам, Cisco предложила дуплексный вариант 40GE, а потом и 100GE. Возникла ситуация, когда для одних и тех же скоростей стали использоваться как дуплексные, так и параллельные протоколы. В результате клиенты, которые уже использовали параллельные системы, стали переходить на дуплекс при миграции на более высокие скорости.

На сегодняшний день разработанные институтом IEEE протоколы используют три метода повышения пропускной способности: увеличение скорости потока, числа физических волокон и спектральных каналов. В результате за «время жизни» объекта заказчики вынуждены мигрировать между параллельными оптическими протоколами и дуплексными оптическими протоколами, причем как туда, так и обратно.

Меняются и подходы к топологии сети. Сейчас часто наблюдается переход со схем EoR/MoR (коммутатор в конце/середины ряда стоек) на более распределенную схему ToR (коммутатор в каждой стойке). Но в архитектуре ToR объединение большого числа коммутаторов в mesh-сеть часто становится проблемой, считает С. Большаков, поэтому при увеличении производительности отдельных коммутаторов очень вероятен обратный переход к централизованной топологии. Это позволит уменьшить число коммутаторов, энергопотребление и, что самое важное, задержку при передаче трафика. Получается, что за время жизни площадки происходит миграция от схемы с высоким уровнем централизации к распределенной и обратно.

Еще больше запутывает дело наличие сразу нескольких типов многоволоконных MPO-интерфейсов с различным числом волокон -- MPO-8, MPO-12, MPO-16, MPO-24, -- а также появление новых соединителей класса VSFF с 4-мя (CS) и 8-ю волокнами (SN, MDCZ). Вариантов -- множество и надо сделать выбор так, чтобы кабельная система поддерживала несколько стадий миграции на более скоростные технологии.

Каковы здесь могут быть рекомендации? «Строить ЦОД на сварной оптике – это плохая идея», -- утверждает С. Большаков. Лучше использовать претерминированные решения, причем со сверхнизким затуханием. «Чем меньше затухание, тем больше вероятность, что кабельная инфраструктура выдержит следующий этап миграции», -- продолжает он. Кроме того, эксперт CommScope советует применять оптические компоненты с полярностью тип B -- они универсальны, что проще для службы эксплуатации.

В условиях частных изменений важно и при этом очень непросто поддерживать в актуальном состоянии документацию, включая кабельный журнал. Для этого эксперт CommScope рекомендует использовать системы управления инфраструктурой класса AIM. По его мнению, функционал систем DCIM часто избыточен, а вот AIM решают все основные задачи. В числе особенностей AIM-системы CommScope (imVision) он назвал корректное документирование соединений «один ко многим» (что не позволяют делать традиционные таблицы типа Excel), а также наличие, помимо всех функций автоматизированного управления кабельной инфраструктурой, базовых функций управление емкостью – всегда можно оценить доступность ресурсов, физического места и электрической мощности, для подключения нового оборудования.

Широко обсуждаемое событие весны этого года - повлиявший на работу web-сайтов по всему миру пожар в ЦОДе OVHcloud (Страсбург, Франция). Инцидент еще раз продемонстрировал, что большинство организаций не имеют плана по восстановлению работоспособности бизнеса в случае пожара, а надеются на надежность ЦОДа, в том числе его средств защиты от пожара.

При срабатывании часто применяемых систем пожаротушения дорогой газ заполняет весь машзал. По мнению генерального директора Marioff Олега Зуенко, в ЦОДах экономически эффективней и безопасней использовать установки пожаротушения тонкораспыленной водой HI-FOG. Когда вода превращается в пар, то поглощает больше тепла, чем любое другое огнетушащее вещество. Эффективность такой системы пожаротушения не зависит от герметичности помещения, а при ее работе функционирование большей части машзала не прерывается. Вода применяется локально и восстановление работы дата-центра сводится к замене сгоревшего оборудования. Да и по сравнению с хладоном и другими используемыми при пожаротушении газами вода практически бесплатна.

Среди защищенных системой пожаротушения HI-FOG ЦОДов – объекты компании Ericsson в Нидерландах, комиссариата по ядерной энергии (CEA) во Франции, KIO Networks в Испании, дата-центр IXcellerate в России.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!