Rambler's Top100
Статьи
Илья ОСТАПОЛЕЦ   28 июля 2022

Как создавать системы электроснабжения ЦОДов сегодня

Сегодняшняя ситуация – серьезный вызов для российских поставщиков и производителей оборудования для дата-центров. Она требует от них полного знания продукта, умения его испытывать, обслуживать и ремонтировать, а при необходимости – компенсировать отклонение параметров от заявленных значений.

Глобальные и локальные тренды цодостроения

В специализированных зарубежных изданиях активно обсуждаются уменьшение углеродного следа, сокращение выбросов парниковых газов, внедрение гибридного дизайна и систем искусственного интеллекта. К сожалению, у нас смысл этих фраз и их актуальность зачастую непонятны даже специалистам, отвечающим за выбор технологий и их реализацию. Иной раз с грустью видишь, что разделы проекта, посвященные охране окружающей среды, энергетической эффективности или обеспечению доступа инвалидов, рассматриваются как формальное бремя, нести которое нужно исключительно для того, чтобы проектная документация прошла экспертизу. 

Поэтому, пока принципы концепции устойчивого развития только начинают внедряться в сознание российской общественности, обратимся к более приземленным трендам цодостроения. В первую очередь следует назвать дальнейшее повышение надежности, отказоустойчивости, физической и информационной безопасности проектируемых и возводимых дата-центров. Все шире применяются модульность и стандартизация элементов. От объектов все чаще требуется масштабируемость. Продолжает расти плотность мощности ИТ-оборудования. Повышается и уровень автоматизации, чему в немалой степени способствовала прокатившаяся по миру эпидемия коронавируса. Необходимость сохранять работоспособность технологических объектов при малом участии и без личного присутствия людей потребовала развития средств мониторинга, автоматизации и телеуправления. В России мы наблюдаем примерно такой же набор трендов. Не без иронии ширящееся внедрение средств автоматизации российские специалисты назвали движением к «бесчеловечному» ЦОДу.

Конечно, нельзя не упомянуть и о всемирном дефиците полупроводников, который серьезно затруднил приобретение любой электронной продукции, в том числе в составе инженерного оборудования. Наиболее ярким примером стал дефицит EC-вентиляторов.

Российские тенденции в системах электроснабжения ЦОДа

Если же фокусироваться на системах электроснабжения, то мы увидим еще один ряд тенденций.
  • Мощность серверного шкафа уверенно приближается к 14 кВт. Фиксация на этом значении мощности связана со все большей популярностью внедряемых сообществом Open Computing Project стандартов OpenRack. Это открытая спецификация конструктива серверных шкафов и серверного оборудования, которая широко распространена у крупных облачных провайдеров с гипермасштабируемыми дата-центрами. В настоящее время на их объектах мощность одного серверного шкафа именно такова.
  • Все шире применяются схемы распределенного резервирования (так называемые дробные схемы, например, 3/2 и ей подобные). Можно заметить, что даже самые рьяные приверженцы схем 2N уже начали переходить на менее затратные схемы резервирования. Оценка эффективности дробных схем электроснабжения и описание всех нюансов данной топологии заслуживает отдельной статьи. Тем не менее доказанная возможность создавать на таких схемах дата-центры уровня Tier IV заставляет всерьез рассматривать их в текущих и перспективных проектах.
  • Область применения ДГУ сужается. Еще в начале года в кругах крупных компаний – строителей дата-центров шла активная полемика о сокращении применения дизель-электрических агрегатов для резервирования электроснабжения всего ЦОДа. Практика, в рамках которой ДГУ на современном объекте работают несколько часов в год, да и то, в целях регламентного обслуживания, заставляет владельцев ЦОДов задуматься: так ли они необходимы? Сегодня дата-центры стремятся приобрести статус объектов связи, что, в свою очередь, даст им возможность пользоваться преференциями, благодаря которым они смогут существенно повысить надежность внешнего электроснабжения. Конечно, потребность в гарантированном электроснабжении никуда не исчезнет, а позволить себе резервирование исключительно на уровне информационных систем смогут только крупные игроки рынка.
Однако сложившиеся в течение последнего полугодия обстоятельства сильно повлияли на дальнейший ход полемики.

Новые условия

Главным камнем преткновения в планомерном развитии российской отрасли ЦОДов стали политически мотивированные ограничения субъектов внешнеэкономической деятельности. Санкции…

За истекшие несколько месяцев санкции были наложены на физических лиц, на предприятия и целые отрасли. В страну запрещен экспорт высокотехнологичной продукции, введены ограничения на финансовый сектор. Разорванными оказались цепочки оплаты импортных товаров и физической доставки продукции. При этом самые серьезные трудности были созданы не юридическими действиями иностранных правительств, а солидарной поддержкой вводимых ограничений компаниями – производителями технологического оборудования и их отказом от сотрудничества с российскими организациями, т.е. фактическим уходом с российского рынка.

Российская отрасль ЦОДов существенно зависима от импортного оборудования, как вычислительного, так и оборудования инженерных систем. Процессы импортозамещения за истекшие годы не были столь масштабными, чтобы радикально изменить ситуацию. Да и эффективность полного самообеспечения в рамках одной страны для коммерческих структур на настоящий момент не доказана. Несмотря на появление на рынке российского инженерного оборудования для ЦОДов, потребность в импорте сохраняется и никуда не исчезнет. А ключевой вопрос текущего момента: как обеспечить заказчика качественным и надежным оборудованием?

Основным, я бы даже сказал центровым, субъектом российского рынка цодостроения становятся российские инжиниринговые компании, производители и/или поставщики инженерного, в том числе импортного, оборудования. Именно на этих участников рынка ляжет основной груз ответственности за развитие собственных технологий и производств или же за поставку и обслуживание импортного оборудования.

Организации – заказчики создания ЦОДов вне зависимости от того, попали они под внешние санкции или нет, в обеспечении строительства, поставок оборудования, его монтажа и обслуживания будут опираться исключительно на российские юридические лица. Чтобы понять, в каком направлении будут развиваться инжиниринговые компании, поставщики и производители инженерного оборудования для систем электроснабжения ЦОДов, рассмотрим структуру системы электроснабжения и текущую ситуацию с точки зрения доступности оборудования.

Структура российского рынка элементов для систем электропитания ЦОДа

Переходя к технической стороне вопроса, отметим, что существенных изменений в структуре систем электроснабжения ЦОДов за последнее время не произошло. Мы не увидели прорывных технологий или новых подходов в системах бесперебойного и гарантированного электроснабжения. Эволюция систем охлаждения ЦОДов была в этом плане гораздо интереснее. 

 Набор электротехнических компонентов остался прежним:
  • блоки распределения электропитания и оконечные устройства;
  • кабельно-проводниковая продукция;
  • шинопроводы;
  • кабеленесущие системы;
  • электрощитовое оборудование;
  • источники бесперебойного электропитания, преобразователи и статические переключатели;
  • дизель-генераторные установки;
  • силовые трансформаторы;
  • распределительные устройства среднего напряжения.

Обеспечение перечисленными компонентами может идти тремя путями: поставка российского оборудования, поставка оборудования из «дружественных» стран, «серый»/параллельный импорт. По сложности приобретения эти компоненты можно разделить на проблемные и беспроблемные. 

Беспроблемные компоненты системы электроснабжения
  • Блоки распределения электропитания и оконечные устройства. Данная продукция под российскими брендами уже существует. Правда, комплектующие для этих изделий производятся в большинстве своем в КНР. Однако в настоящее время проблем с завозом этой продукции нет. Это касается как самых простых розеточных блоков, так и блоков с мониторингом и управлением. Сюда же нужно отнести маломощные статические переключатели.
  • Кабельно-проводниковая продукция. Это, наверное, самый беспроблемный тип продукции, поскольку традиционно она российского производства.
  • Шинопроводы. В нашей стране работают несколько отечественных производителей шинопроводов. К тому же на российском рынке остался и заявляет о стабильном присутствии один из крупнейших мировых брендов турецкого происхождения. Цепочки поставок из Турции неподсанкционного оборудования к настоящему моменту российскими поставщиками отлажены и считаются надежными.
  • Кабеленесущие системы. В России действует достаточное количество отечественных производителей, которые создают конкурентный рынок данного вида изделий. 
  • Силовые трансформаторы, распределительные устройства среднего напряжения. Электротехническое оборудование этого класса широко выпускается российскими производителями. За наличие этих изделий мы, вероятно, должны благодарить еще план ГОЭЛРО. Он не обошелся без импортных технологий, но созданный тогда задел, судя по всему, сохранился до сих пор. Единственная трудность, которая может возникнуть при построении ЦОДа, – это подбор микропроцессорных блоков защиты и сложной автоматики. Нивелировать этот риск можно выбором простых топологий. В современном ЦОДе вполне можно обойтись простой схемой сети среднего напряжения.
Проблемные компоненты системы электроснабжения
  • Дизель-генераторные установки. В России нет производства ДГУ и компонентов для них на мощности, приемлемые для создания систем гарантированного электроснабжения более или менее крупного ЦОДа. Основные компоненты ДГУ изготавливаются (или производство контролируется головными компаниями) в «недружественных» на данный момент странах. Производители ДГУ из КНР плохо представлены на российском рынке, и изделия китайских фирм пока никак себя не зарекомендовали. Присутствие на российском рынке оборудования из КНР, вероятно, станет расширяться. Ожидать появления российского производителя в ближайшее время не стоит. Известные и хорошо зарекомендовавшие себя производители (сборщики) ДГУ из Италии и Турции по-прежнему готовы поставлять оборудование на российский рынок. Однако поставки из Италии связаны с серьезными логистическими рисками политической природы. Таким образом, сегодня наиболее приемлема поставка ДГУ турецких производителей. «Серый» импорт ДГУ нецелесообразен.
  • Источники бесперебойного электропитания, преобразователи и статические переключатели. Российские производители этого вида оборудования существуют. Налажен даже выпуск отечественной элементной базы – силовых элементов. Правда, и они производятся из импортного сырья. К счастью, сырье это из «дружественных» стран. Спрос российского заказчика, требующего исключительно российского оборудования, может быть удовлетворен. Кроме того, на рынке присутствуют производители ИБП из КНР и других стран Юго-Восточной Азии, хорошо зарекомендовавшие себя с точки зрения качества. Сохраняется возможность поставки ИБП известных турецких производителей. «Серый» импорт ИБП нецелесообразен.
  • Электрощитовое оборудование. Как ни парадоксально, но именно с этим компонентом системы электроснабжения в настоящее время связаны самые большие трудности. Распредустройства состоят из оболочки-шкафа, шинных разводок, коммутационных аппаратов, а также средств мониторинга и телеуправления. Производство первых двух компонент в России отлажено хорошо, и проблем с ним нет. А вот обеспечение качественными коммутационными электрическими аппаратами затруднено: замену продукции крупных европейских производителей, к качеству и технической поддержке которых давно привыкли российские заказчики, подобрать гораздо труднее. Параллельный импорт этого оборудования возможен, но целесообразен только для некрупных проектов. Его замещение – серьезный вызов для российских поставщиков и производителей.
Для российского заказчика проблемность текущей ситуации связана с уходом известных и хорошо зарекомендовавших себя производителей и появлением производителей, надежность и качество оборудования которых не имеет достаточного подтверждения. При этом неважно, идет ли речь о российском производителе, производителе из Юго-Восточной Азии или из «дружественной» страны. Для заказчика они практически одинаковы.

Проблемность ситуации для российского поставщика оборудования гораздо серьезнее…

Требования заказчика, его страхи и чаяния

Перед российским заказчиком при поставке оборудования для дата-центра в явном виде встают риски четырех видов:
  • срыв поставки из-за рубежа;
  • задержка поставки;
  • валютно-курсовые риски;
  • качество.
Логистические риски до сих пор превалируют. Ежедневно меняющаяся обстановка не дает никаких гарантий в том, что даже самый надежный зарубежный партнер сможет исполнить свои обязательства. Защитой для заказчика может стать только российский партнер, предоставивший банковскую гарантию исполнения контракта. Этот инструмент давно используется российскими заказчиками, а сейчас стал особенно актуален. Он не защитит от срыва сроков строительства, но обеспечит финансовую защиту.

Задержка поставки может коснуться не только импортной техники. Очевидно, что спрос на российскую продукцию сейчас возрастет. Отечественные изготовители вполне могут попасть в ситуацию, в которой спрос превысит текущие возможности производства. Да и локализация российской продукции еще далека от 100%.

Поведение курсов иностранных валют заставляет волноваться любого финансиста. Курс рубля существенно осложняет жизнь российским производителям, побуждая заказчиков смещать центр внимания на более доступное импортное оборудование из «дружественных» стран. Валютно-курсовые риски также в большей степени ложатся на поставщика и требуют от него высокой финансовой дисциплины. Одним из инструментов, гарантирующих финансовую дисциплину поставщика, для заказчика является использование при расчетах обособленных банковских счетов.

Как видим, если первый риск, по сути, не зависит от российских игроков, то для двух следующих есть все инструменты либо для полного перекладывания этих рисков на поставщика, либо для их распределения между сторонами по обоюдному согласию. Но главный риск, лежащий вне круга юридических вопросов, – это качество.

Качество, качество, качество…

В обеспечении качества можно выделить два основных аспекта: соответствие готового изделия заявленным параметрам и сохранение параметров с течением времени. Второй аспект еще называют надежностью.

Новый бренд – это всегда «кот в мешке». Европейские производители, много лет работавшие на российском рынке, успели за время своего присутствия сформировать хороший послужной список. О качестве и надежности их изделий в большинстве случаев можно было навести справки у российских пользователей. 

Заслужить репутацию тяжело, потерять – просто. Новым брендам как российского производства, так и зарубежным, пришедшим на освобождающийся рынок, еще предстоит завоевать доверие. Однако времени нет. ЦОДы нужно строить прямо сейчас! Как же убедить заказчика в качестве своей продукции?

Пути и возможности

Вопрос обеспечения качества и доказательства этого качества заказчику всегда был краеугольным. Параметры поставляемого для создания ЦОДа инженерного оборудования невозможно оценить при приемке на складе. По-настоящему оно может быть оценено только на испытаниях готового объекта. Но есть и промежуточные точки. Например, испытания на заводе-изготовителе или наличие образцов, испытания которых проводились ранее и задокументированы. Испытания – это действенный инструмент убеждения заказчика в качестве продукции.

При посещении разнообразных производств, в первую очередь иностранных, я обычно особое внимание обращал на оснащение исследовательских и испытательных лабораторий завода-изготовителя, наличие и мощности испытательных стендов. Неспособность завода испытать произведенное изделие на полной мощности всегда становилась стоп-фактором для выбора такого производителя. У многих европейских компаний проведение испытаний в присутствии заказчика – отлаженный бизнес-процесс. Порою грустно посещать российские производства и узнавать, что на предприятии, выпускающем электротехническую продукцию, нет прибора для измерения гармонических искажений в цепях питания.

Не всегда специалист или руководитель, который не сталкивался с проведением испытаний, понимает все нюансы этого процесса. Испытания – это достаточно дорогостоящая процедура. Затраты на подготовку испытательных стендов могут быть существенными, а сами испытания – ресурсоемкими. Одна из возможностей для производителей оптимизировать свои расходы на проведение испытаний – сделать их маркетинговым, медийным событием. А для этого заказчики должны пойти навстречу производителям и позволить им приглашать на испытания закупаемой продукции других заказчиков, экспертов профессионального сообщества и представителей прессы. Только так возможен совместный рост.

О надежности же представление может дать только статистика, накопленная со временем. При этом всем понятно, что любая техника может ломаться и выходить из строя. Компенсировать это может только отлаженная служба сервиса. Наличие, оснащенность и квалификация сервисных центров – существенный критерий для выбора поставщиков. Финансовым инструментом заказчика для обеспечения этого аспекта качества может быть гарантийное удержание.

Таким образом, в современных условиях поставщик оборудования просто обязан иметь высокую квалификацию. Не может быть никакого «перемещения коробок». Только полное знание продукта, умение его испытывать, обслуживать и ремонтировать, разрабатывать компенсирующие мероприятия при обнаружении отклонения параметров от требуемых (заявленных) значений. Такие услуги может оказать только серьезная инжиниринговая компания.

Распределение рисков

Как было показано выше, сегодня у российского заказчика есть все механизмы для перекладывания практически всех рисков, связанных с поставками оборудования, на плечи поставщика/производителя. В текущих обстоятельствах это, наверное, не совсем справедливо. Полагаю, всегда можно по договоренности распределить риски, в том числе в отношении качества. 

В условиях становления нового, собственного производства вполне вероятны ситуации, когда поставленное оборудование не сможет продемонстрировать заявленные параметры, и не всегда можно реализовать компенсирующие технические мероприятия. Умение сторон еще на стадии проектирования справедливо рассчитать размер финансовой компенсации за нарушение результирующих параметров может стать действенным стимулом для производителя и поставщика к обеспечению качества и его честной оценке.

В заключение

Как бы ни сложилась дальнейшая экономическая и политическая ситуация, единственный целесообразный путь технологического развития в России – повышение квалификации российских производителей и поставщиков. Только компании с глубокой технической компетенцией могут обеспечить создание качественных объектов инженерной инфраструктуры ЦОДов. Можно предположить, что степень локализации производства со временем, по мере восстановления логистики и необходимой для мира разрядки не будет иметь решающего значения. Существенным будет местонахождение центра компетенции. Если российский производитель пока занимается лишь переклеиванием ярлычков на иностранном оборудовании, это все же лучше, чем обычное перемещение коробок. Если же производитель является автором и держателем технической документации и/или технологии, то это очень серьезная заявка на лидерство.

И последнее, но немаловажное. Применять в проектах ЦОДов простые схемотехнические решения – хорошая стратегия создания надежной системы.

Илья Остаполец, руководитель проекта строительства ЦОД, СБД
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!