«Инженерка»-2021: это сладкое слово «эффективность»

Организованная «ИКС-Медиа» конференция Data Center Design & Engineering (DCDE-2021) по традиции стала площадкой для обсуждения всего комплекса вопросов, связанных с проектированием, строительством, оборудованием и эксплуатацией ЦОДа.

Любой проект ЦОДа начинается с разработки концепции. Этот этап, являющийся частью стадии планирования (рис. 1), очень важен, ошибки на нем могут серьезно увеличить стоимость и сроки реализации проекта или даже сделать его невыполнимым. Несмотря на наличие общепринятых практик и типовых решений, двух одинаковых ЦОДов не найти. «Даже при одинаковых исходных данных 10 компаний предложат вам 10 разных концепций ЦОДа», – обрисовал ситуацию Андрей Воробьев, директор центра разработки приложений ЦОД подразделения Secure Power компании Schneider Electric.

Эксперт Schneider Electric проанализировал некоторые заблуждения, встречающиеся у заказчиков в отношении разработки концепции ЦОДа. «В условиях, когда требования постоянно меняются, заказчики часто просят сделать что-нибудь универсальное. Но чем более универсальна концепция, тем менее эффективным получается конечный результат», – предостерег он.

Нередко заказчики действуют по принципу: чем больше концепций, тем лучше. Они заказывают пять, шесть или даже больше концепций у разных разработчиков, а потом выбирают, как им кажется, оптимальную, используя, в частности, CFD-моделирование (для проверки эффективности системы охлаждения). Но множество концепций не гарантирует получения оптимального результата. Гораздо важнее максимально точно сформулировать начальные данные и конечные цели.

Заблуждаются и те заказчики, которые считают возможным создать хорошую концепцию без поддержки производителей оборудования – «сначала нарисуем, а потом пойдем смотреть, что есть на рынке». «Даже если вы построили 10 ЦОДов и строите 11-й, не факт, что оборудование, которое вы использовали год назад, еще есть на рынке. Технологии быстро меняются, и прошлый опыт уже не годится», – отметил А. Воробьев.

Наконец, ошибочно мнение, что использование существующего здания снизит затраты на ЦОД. Если есть возможность, лучше начинать с чистого листа, строить здание специально для ЦОДа. Это будет дешевле и обеспечит более эффективное решение.

При разработке концепции важно грамотно выбрать «квантование» нагрузки – определить оптимальные мощность и число стоек для одного зала, а также топологию систем электро- и холодоснабжения, исходя из конфигурации подведенной мощности, ограничений здания и выбранных моделей основного оборудования. Здесь надо просчитать всю цепочку систем – то, что в Schneider Electric называют power train. Это позволит «не попасть», например, на необходимость обеспечивать работу на высоком токе или устанавливать специальные дорогие системы ИБП сверхвысокой мощности (свыше 5 МВт), что приведет к радикальному увеличению цены.

Также важно еще в концепции учесть, как в дальнейшем ЦОД будет эксплуатироваться. В том числе рассмотреть вопросы автоматизации, актуальность которых повысила пандемия, наглядно показавшая важность «человеческого фактора» в обеспечении доступности ЦОДа. Потребность в повышении уровня автоматизации ЦОДов обусловлена и нехваткой квалифицированных кадров, и стремлением сократить операционные расходы. По мнению А. Воробьева, для всех новых площадок пришло время рассматривать возможность комплексной автоматизации, а для существующих объектов – выборочного внедрения соответствующих технологий. Он считает, что сегодня средства автоматизации наиболее востребованы корпоративными дата-центрами и edge-ЦОДами. 

Индустрию ЦОДов трудно представить без современных цифровых инструментов. Один из ключевых – технология информационного моделирования (BIM), важность которой на конференции DCDE-2021 отмечали многие эксперты. Технический директор компании «Свободные Технологии Инжиниринг» Евгений Колосков был категоричен: «Проектировать и строить ЦОДы сегодня без BIM нельзя!» Он подчеркнул, что ЦОД – это объект, насыщенный дорогостоящими инженерными системами, причем на всех этапах его жизненного цикла, включая проектирование и строительство, решения нужно принимать быстро.

При проектировании необходимо рассматривать различные компоновочные и архитектурные решения, чтобы «выжать максимум из имеющейся площадки». Использование BIM позволяет выбрать оптимальные варианты, а также на ранних стадиях разработки проектной документации выявить и устранить ошибки (рис. 2). Как указал эксперт СТИ, это особенно важно для объектов Tier IV, где надо соблюдать принцип секционирования. 

По данным СТИ, крупные госкорпорации применяют BIM уже в 100% проектов, однако коммерческие заказчики – только в каждом пятом. Е. Колосков напомнил о том, что в марте 2021 г. премьер-министр Михаил Мишустин подписал указ, согласно которому с 1 января 2022 г. все объекты капитального строительства, возводимые с привлечением бюджетных средств, обязаны иметь информационные модели. А в июне Президент РФ Владимир Путин поручил до 1 июля текущего года подготовить дорожную карту использования технологий информационного моделирования при проектировании и строительстве объектов капитального строительства.

Понятно, что от BIM не уйти. «Рынок диктует такие условия, что иногда технологическое обеспечение и квалификация компании являются бо́льшим конкурентным преимуществом, нежели многолетний опыт и десятки успешных проектов. Внедрение цифровых технологий в процесс проектирования и строительства перестает быть прихотью заказчика и становится обязательным требованием для крупных проектов», – подытожил Е. Колосков. 

Кабельную систему одни эксперты относят к инженерной инфраструктуре, другие – к ИТ. Но вне зависимости от нюансов классификации СКС – это ключевой элемент ЦОДа, значимость которого только растет по мере увеличения объема хранимых данных и повышения требуемой скорости их обработки.

Кабельная система в ЦОДе живет существенно дольше, чем сетевое оборудование. При этом сетевая индустрия активно меняет способы повышения пропускной способности и подходы к построению сетей. И СКС должна «уметь» адаптироваться к изменяющимся требованиям.

Когда в 2002 г. появилась технология 10G Ethernet, сценарий дальнейшего развития высокоскоростных технологий казался понятным. Как напомнил Степан Большаков, ведущий менеджер по работе с клиентами компании CommScope, оборудование 10GE работало по дуплексному протоколу (используется одна пара волокон), при этом предполагалось, что для достижения более высоких скоростей (40G, 100G) будет применяться параллельная передача с увеличением числа волокон. Но затем, когда передовые заказчики начали внедрять 40GE по параллельным протоколам, Cisco предложила дуплексный вариант 40GE, а потом и 100GE. Теперь для одних и тех же скоростей задействуются как дуплексные, так и параллельные протоколы, а клиенты, которые уже реализовали параллельные системы, стали внедрять дуплекс при переходе на более высокие скорости.

Сегодня разработанные институтом IEEE протоколы используют три метода повышения пропускной способности: увеличение скорости потока, числа физических волокон и числа спектральных каналов (рис. 3). В результате за время жизни объекта заказчики вынуждены переходить от параллельных оптических протоколов к дуплексным оптическим протоколам и обратно.

Меняются и подходы к топологии сети. Сейчас часто наблюдается переход от схем EoR/MoR (коммутатор в конце/середине ряда стоек) к более распределенной схеме ToR (коммутатор в каждой стойке). Но в архитектуре ToR объединение большого числа коммутаторов в mesh-сеть часто становится проблемой, считает С. Большаков, поэтому при увеличении производительности отдельных коммутаторов очень вероятен обратный переход к централизованной топологии. Это позволит уменьшить число коммутаторов, энергопотребление и, что самое важное, задержку при передаче трафика. Получается, что за время жизни площадки происходит миграция от схемы с высоким уровнем централизации к распределенной и обратно.

Еще больше запутывает дело наличие сразу нескольких типов многоволоконных MPO-интерфейсов с различным числом волокон – MPO-8, MPO-12, MPO-16, MPO-24, – а также появление новых соединителей класса VSFF с четырьмя (CS) и восьмью волокнами (SN, MDCZ). Вариантов множество, и надо сделать выбор так, чтобы кабельная система поддерживала несколько стадий миграции на более скоростные технологии.

Что здесь можно порекомендовать? «Строить ЦОД на сварной оптике – плохая идея», – заявил С. Большаков. Лучше использовать претерминированные решения, причем со сверхнизким затуханием. «Чем меньше затухание, тем больше вероятность того, что кабельная инфраструктура выдержит следующий этап миграции», – продолжил он. Кроме того, эксперт CommScope советует применять оптические компоненты с полярностью типа B – они универсальны, что упрощает работу службы эксплуатации.

В условиях частых изменений важно, но очень непросто поддерживать в актуальном состоянии документацию, включая кабельный журнал. Для этого С. Большаков рекомендовал использовать системы управления инфраструктурой класса AIM. По его мнению, функционал систем DCIM часто избыточен, а вот AIM решают все основные задачи. В числе особенностей AIM-системы CommScope (imVision) он назвал корректное документирование соединений «один ко многим» (что не позволяют делать традиционные таблицы типа Excel), а также наличие, помимо всех функций автоматизированного управления кабельной инфраструктурой, базовых функций управления емкостью. С их помощью можно оценить доступность ресурсов, наличие места и электрической мощности для подключения нового оборудования.

Широко обсуждаемое событие весны этого года – повлиявший на работу веб-сайтов по всему миру пожар в ЦОДе OVHcloud (Страсбург, Франция). Инцидент еще раз продемонстрировал, что большинство организаций не имеют плана восстановления работоспособности бизнеса в случае пожара, а надеются на надежность ЦОДа, в том числе его средств пожаротушения.

При срабатывании часто применяемых газовых систем пожаротушения дорогой газ заполняет весь машзал. По мнению генерального директора компании Marioff Олега Зуенко, в ЦОДах экономически эффективнее и безопаснее использовать установки пожаротушения тонкораспыленной водой. Когда вода превращается в пар, она поглощает больше тепла, чем любое другое огнетушащее вещество. Эффективность такой системы пожаротушения не зависит от герметичности помещения, а при ее работе функционирование большей части машзала не прерывается. Вода применяется локально, и восстановление работы дата-центра сводится к замене сгоревшего оборудования. Да и по сравнению с хладоном и другими используемыми при пожаротушении газами вода практически бесплатна.

Именно такова разработанная компанией Marioff система пожаротушения HI-FOG. В числе защищенных ею ЦОДов – объекты компании Ericsson в Нидерландах, Комиссариата по ядерной энергии (CEA) во Франции, KIO Networks в Испании, дата-центр IXcellerate в России.

«Последние пару лет мы видим запрос рынка на упрощение климатических систем. Заказчики хотят, чтобы системы были простыми, компактными и, что немаловажно, более понятными в эксплуатации», – констатировал Максим Орехов, технический эксперт Vertiv. Один из вариантов, предлагаемых этой компанией, – связка внутреннего фанкойла и уличного чиллера, по сути, жидкостная сплит-система (рис. 4). 

В этом решении применяются небольшие чиллеры со спиральными компрессорами. Такой чиллер в расчете на киловатт холода существенно дешевле больших систем, а невысокая мощность (120–150 кВт) подразумевает более простую и дешевую обвязку (трубы, кабели, арматура, баки и т.д.). Небольшие вес и габариты упрощают доставку оборудования и его монтаж. Эксперт Vertiv также указал на малый шаг наращивания мощности, который позволяет легко адаптировать ЦОД к неполной загрузке. Наконец, при использовании подобных решений проще обеспечить отсутствие единой точки отказа, что важно, например, для набирающих популярность ЦОДов Tier IV. 

Как сообщил представитель Vertiv, заказчики оценили столь компактные и эффективные системы охлаждения: в России их установлено уже более 100, а это порядка 15 МВт. Решения на сотни мегаватт находятся в стадии проектирования.

По данным Vertiv, более половины заказчиков рассматривают решения, которым не нужен фальшпол. Это могут быть, например, интегрированные в здания или устанавливаемые в сервисные коридоры решения типа «холодная стена». В качестве альтернативы «стенам» Vertiv предлагает Mega CRAH – периметральный блок на охлажденной воде. Забирает воздух такая система сверху, а раздача может производиться как вперед, так и назад. Соответственно обслуживать ее можно из машзала или из сервисного коридора. Как отметил М. Орехов, машина сочетает преимущества классических кондиционеров и «холодных стен» и по своим характеристикам находится посередине между ними.

Несмотря на доминирование в ЦОДах прецизионных кондиционеров, все больше заказчиков интересуются относительно новым (для ЦОДов) классом оборудования: воздухоохлаждающими приборами (ВОПами), которые чаще всего выполняются в виде уже упомянутых «холодных стен».

«До недавнего времени порядка 95% проектов в ЦОДах делались на прецизионных кондиционерах. И все было бы замечательно, если бы не высоконагруженные стойки, – заметила Александра Эрлих, сеньор-консультант ГК Cabero и генеральный директор компании «ПрофАйТиКул». – В таких проектах на две-три высоконагруженные стойки приходится один межрядный прецизионный кондиционер. Кондиционеры занимают в машзале много места, что дорого и неэффективно. ЦОДам же хочется стоек побольше, расходов поменьше, процедуры эксплуатации попроще. Поэтому они и обратили внимание на ВОПы».

ВОПы сохраняют место в машзале для ИТ-стоек, не требуют ни фальшпола, ни фальшпотолка, зоны их обслуживания располагаются со стороны технических коридоров (по крайней мере в решениях Cabero). ВОП позволяет реализовать принцип низкоскоростного воздухораспределения в сочетании с большой площадью теплообмена. Именно большая площадь обеспечивает низкое сопротивление воздушному потоку в теплообменнике, что дает возможность использовать недорогие вентиляторы с низким энергопотреблением. В результате удается сэко­номить как на стоимости вентиляторов, так и на расходах на электричество. Низкое сопротивление жидкости (максимум 1 бар против 2–2,5 бар в случае прецизионных кондиционеров) означает малые затраты на энергопотребление насосов, а высокий температурный график – увеличение времени работы в режиме фрикулинга. Наконец, низкая скорость движения воздуха обеспечивает его равномерное распределение по машзалу, отсутствие зон турбулентности, формирование единого холодного бассейна, из которого каждая стойка забирает столько холода, сколько ей нужно.

Преимущества ВОПов, по мнению А. Эрлих, настолько очевидны, что приведут к постепенному отказу от традиционных прецизионных кондиционеров в ЦОДах в пользу этого класса систем охлаждения. Причем такие системы охлаждения эффективны в ЦОДах различного типа, включая контейнерные (рис. 5).

Но традиционные фреоновые системы не сдаются. Низкие первоначальные затраты делают их привлекательными для многих заказчиков. Как отметил Александр Ежов, менеджер по продукции «Системы контроля климата» компании Rittal, фреоновые решения обычно используют, когда опасаются протечек систем на основе охлажденной воды, а также когда нужно снизить стоимость решения – в первую очередь в небольших ЦОДах.

Компания Rittal, выпускающая промышленные кондиционеры с 1988 г., сегодня имеет в своем арсенале весь спектр систем охлаждения (как своей разработки, так и полученных благодаря сотрудничеству с Stulz). Но на DCDE-2021 она акцентировала внимание специалистов именно на своих внутрирядных фреоновых кондиционерах. Модель LCP DX шириной 300 мм может обеспечить холодильную мощность до 25 кВт, что позволяет «снять» со стойки до 23 кВт тепла – очень высокий показатель. Для ряда российских регионов может оказаться важным наличие этого кондиционера в специальном исполнении (разработано совместно с Stulz) для эксплуатации при температурах наружного воздуха до −60°С. Кроме того, производитель может поставлять такие кондиционеры для серверных стоек разной высоты, в том числе 47U и 52U.

Энергоемкие компоненты систем охлаждения обычно не подключают к ИБП, только к системе гарантированного электроснабжения (ДГУ). А после сбоя питания необходимо как можно скорее обеспечить охлаждение. Представленный на конференции продакт-менеджером Mitsubishi Electric Сергеем Новиковым новый высокотемпературный чиллер NR-FC-Z запускается не более чем за 20 с и выходит на 100%-ную холодопроизводительность в пределах 72 с после восстановления подачи электроэнергии.

Для повышения надежности оборудованное автоматическим переключателем (ATS) устройство может быть подключено к двум отдельным линиям электропередачи. В случае отключения электроэнергии в основной линии ATS автоматически переключается на резервную, обеспечивая бесперебойное питание устройства. Благодаря задублированному источнику питания чиллер NR-FC-Z подходит для проектных топологий Uptime Institute Tier IV и может быть использован для критически важных систем.

Отрадно отметить, что на рынке присутствуют системы охлаждения, полностью разработанные российскими компаниями – от «железа» до программного обеспечения. Например, компания BOREY изготавливает работающие на воде рядные кондиционеры ВРК-30 и ВРК-60 для охлаждения средних и крупных ЦОДов. Свои системы она комплектует контроллерами также собственного производства.

На DCDE-2021 компания BOREY презентовала свой мини-ЦОД, оборудованный системой прецизионного кондиционирования с фрикулингом, что позволяет отводить от 3 (модель BMD-3) до 10 кВт (BMD-10) тепла, выделяемого ИТ-оборудованием. Особенность – охлаждение реализовано на воде. Мини-ЦОД представляет собой герметичный шкаф, в котором отсутствуют дополнительные вентиляторы – работают только вентиляторы серверов, которые гонят воздух по замкнутому контуру, передавая тепло теплообменнику. «Аналогов в России и в мире нет. Мы подали патент на безвентиляторный принцип охлаждения в Европе и ждем его одобрения», – сообщил Ратмир Трошин, акционер BOREY.

Увеличение масштабов ЦОДов приводит к увеличению номиналов систем бесперебойного питания. Так, по данным Vertiv, если раньше средняя мощность системы составляла 200–400 кВт, то за последние два года более 60% инсталляций приходится на системы номиналом 500 кВА и более. В числе тенденций в области систем бесперебойного питания М. Орехов назвал повышение плотности мощности систем (как следствие – сокращение занимаемой площади) и возможность работы при более высоких температурах (40°С и выше) без снижения эксплуатационных характеристик.

Ведущие вендоры представили на DCDE-2021 новинки, ориентированные именно на объекты большой мощности. Так, компания АBB впервые в России показала новые ИБП MegaFlex DPA. Это интеллектуальное модульное масштабируемое решение с пеналом на 1500 кВт. Единичный модуль имеет мощность 250 кВт. «На глобальный рынок новинку вывели в конце прошлого года. В прошлом году была одна инсталляция, а за четыре месяца текущего года в Европе этими системами оборудовано 12 площадок с общей установленной мощностью около 20 МВт», – рассказал менеджер по развитию бизнеса ABB Евгений Вецпер. 

По утверждению эксперта, решение обеспечивает лучшую на рынке эффективность в режиме двойного преобразования с КПД 97,4%. На 30% снижено выделение тепла. По сравнению с предыдущими решениями компании удалось уменьшить занимаемую площадь на 45%. До 15 лет увеличен проектный срок службы (при соблюдении условий эксплуатации). В течение этого времени через семь лет производится всего одна замена вентиляторов и силовых конденсаторов. Причем для замены вентиляторов достаточно отвинтить два винта, вытащить кассету с вентиляторами и поставить новую. Легко заменяются и конденсаторы.

На крупные ЦОДы ориентированы и динамические ИБП, представленные на DCDE-2021 купленной Rolls-Royce компанией MTU. Такие ИБП в отличие от решений на основе аккумуляторных батарей не нуждаются в мощных системах кондиционирования. «Требования к охлаждению минимальные, решения могут работать и при температуре 50–60°С. Для кондиционирования достаточно простой вентиляции», – пояснил Игорь Гегеня, менеджер по продажам дизельного и газового оборудования МТУ РУС. По его словам, решения MTU характеризуются низкой стоимостью эксплуатации и сроком службы до 20 лет. Уменьшить занимаемую источниками бесперебойного питания площадь можно, полностью вынеся их из дата-центра. Например, расположив в контейнерах, как это и предлагает делать компания MTU.

Очевидна и тенденция к все более активному применению в ЦОДах литий-ионных АКБ. Как сообщил М. Орехов, за последние три года стоимость таких решений снизилась примерно на 10%, а главное – заказчики больше не боятся ЛИ АКБ. «За три года активной эксплуатации литий-ионных батарей не было ни одного инцидента», – подчеркнул он. Все больше производителей предлагают системы с использованием таких батарей. Так, на DCDE-2021 литий-ионные решения – ИБП SmartLi – представила компания Huawei.

Для обеспечения надежной работы систем бесперебойного электропитания важно отслеживать состояние АКБ. Литий-ионные системы имеют встроенные средства мониторинга, а для доминирующих пока на рынке свинцово-кислотных аккумуляторов подобные средства обычно устанавливают дополнительно.

Об опыте эксплуатации системы мониторинга и балансировки батарей в ЦОДе O2xygen рассказал ведущий менеджер отдела проектов компании «Смарт Бэттериз» (бренд ENERGON) Евгений Швецов. В ЦОДе уровня Tier III на 400 стоек с установленной электрической мощностью 12 МВА и фактическим потреблением 1,5 МВт используется 10 ИБП Eaton мощностью от 500 до 600 кВА и 800 батарей.

«Главная проблема в ЦОДе – ограниченное пространство. Мы взяли стеллажи высотой 2,5 м с каркасом повышенной жесткости. На одном стеллаже располагаются 120 батарей – три группы по 40 шт. Однако из-за высокой плотности батарейного массива с дальних батарей оказалось физически невозможно снимать параметры. Поэтому решили поставить на все АКБ системы мониторинга», – пояснил Е. Швецов.

В ЦОДе установили 12 систем мониторинга батарей. Для исключения разбаланса АКБ установили 480 балансиров S1. В итоге удалось сократить затраты на обслуживание четырех аккумуляторных стеллажей АКБ на 560 тыс. руб. в год, повысить эффективность использования площади ЦОДа, минимизировать негативное влияние человеческого фактора и обеспечить прогнозирование сроков замены батарей.

Снижение качества входного электричества – одна из причин растущей заинтересованности ЦОДов в современных системах мониторинга параметров электропитания. Среди других причин – необходимость повышения эффективности использования электроэнергии при повышении надежности и управляемости ее доставки до ИТ-оборудования.

Сергей Дик, директор по развитию бизнеса компании Janitza, рекомендует использовать технические решения, обеспечивающие постоянное измерение необходимых параметров. «Периодические измерения влекут только затраты и не дают никаких преимуществ – прозрачность может быть достигнута только при непрерывном измерении», – отметил он.

По словам представителя Janitza, технические решения компании способны в одной системной среде выполнять сразу три блока функций: энергоменеджмент, мониторинг качества электроэнергии и контроль дифференциальных токов. Данные энергоменеджмента позволяют оптимизировать системы электропитания и снижать расходы на электроэнергию. Основная задача, которую решает мониторинг качества электроэнергии, – обеспечение высокого коэффициента доступности и сокращение времени простоев. Наконец, контроль дифференциальных токов предоставляет возможность раннего распознавания неполадок, что предотвращает перегрузки и повышает пожарную безопасность.

«Чаще всего пожары на объектах случаются по причине нарушения правил устройства и эксплуатации электрооборудования. Измерение дифференциальных токов с высокой точ­ностью позволяет заранее локализовать проблему, которая может привести к пожару», – уверен С. Дик.

Инженерная инфраструктура ЦОДа – область в целом консервативная ввиду чрезвычайной важности ее надежного функционирования. Инновация имеет шанс быть принятой отраслью только при том условии, что она не увеличит риск остановки работы. А возможность повышения эффективности рассматривается только при незыблемости параметров надежности.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>