Как строить ЦОДы в условиях санкций

− Мы в санкционном режиме живем с 2014 г., приспособились к нему и спокойно работали. Ощутимые коррективы в нашу жизнь внесла пандемия, которая повлекла за собой нарушение сроков поставок. Если раньше мы рассчитывали на три, максимум шесть месяцев с момента заказа, то в 2020 г. сроки выросли до 12 месяцев и более. Большинство западных вендоров увеличили сроки поставок практически вдвое. Вот к этому адаптироваться было уже намного сложнее, ведь планы строительства никто не менял! Потом в Суэцком канале застрял контейнеровоз, и все мировые логистические цепочки нарушились снова. Цены на контейнерные перевозки взлетели, следом − цены на оборудование и стоимость проектов в целом. 

Эти катаклизмы повлекли за собой ощутимый на мировом уровне дефицит чипов, которые используются во всех моделях холодильного оборудования. Каждый вентилятор имеет свой «головной мозг», который подстраивается под команды контроллера чиллера; это высокотехнологичная конструкция, работа которой напрямую зависит от чипов. Из-за того, что сроки поставок сдвинулись, вся индустрия холодоснабжения оказалась на голодном вентиляторном пайке. Из этой ситуации у производителей было два выхода. Первый – возвращаться на старые технологии, например, на внешний частотный преобразователь для регулирования скорости вращения вентилятора вместо «умного» встроенного микрочипа. Но такое решение снизило бы эффективность работы чиллера, поэтому поставщики пошли по другому пути – они увеличили сроки поставок готового оборудования.

Справиться с этой проблемой нам помогло давнее стратегическое партнерство с вендором – одним из мировых лидеров по производству критически важной инфраструктуры для ЦОДов. Он присвоил заказам IXcellerate повышенный приоритет и отгружал оборудование в более короткие сроки. Для оптимизации строительных работ мы перешли на модульную сдачу проекта, закрывали этапы последовательно по мере поступления готового оборудования. В итоге оба новых машзала были запущены в плановые сроки. Первый − в декабре 2021 г., второй − в марте 2022 г. 

− Экономия достигается за счет применения энергоэффективных решений. Мы используем в системе охлаждения чиллеры с фрикулингом и подбираем их на несколько большую мощность, чем нужно. Благодаря этому добиваемся наиболее энергоэффективного режима с точки зрения нагрузки. Дело в том, что самый большой расход электричества требуется на предельных режимах работы оборудования, когда вентилятор задействует 100% своей мощности. Чем выше скорость вращения лопастей, тем больше нужно электричества. Но между скоростью и энергозатратами зависимость не линейная: если снизить скорость вращения на 20%, прибор будет потреблять электричества существенно меньше. 

То же самое с теплообменниками и конденсаторами. Таким образом, благодаря переразмериванию мы снижаем максимальные нагрузки на компрессоры и продлеваем срок службы охлаждающего оборудования, а заодно экономим электричество. 

Второе наше ноу-хау − температурный режим. Установленное в ЦОДе оборудование может работать при уличной температуре +38°С, что выше, чем рекомендуют в ASHRAE и Uptime Institute. На случай повышенных температур чиллеры оборудованы комплектами с адиабатическим предохлаждением, что позволяет в летние периоды снижать температуру воздуха на входе в чиллер на 10−15°С. Если на улице, допустим, +40°С, то на входе в чиллер мы будем иметь +25−30°С. Адиабатика обеспечивает повышение энергоэффективности при минимальном расходе воды.

На площадке Северного кампуса у нас уже были установлены комплекты для предохлаждения чиллеров. Когда мы включаем предох­лаждение, энергопотребление системы холодоснабжения снижается на 5%. На уровне всего ЦОДа это огромная экономия. 

– 85% всей энергоэффективности зависит от системы охлаждения − ее настроек и параметров. Чтобы повысить энергоэффективность, мы переразмерили мощность оборудования, повысили температуру холодоносителя, а также перешли на практически круглогодичный режим фрикулинга, совмещенного с использованием адиабатики. 

Следуя мировым тенденциям, мы стали работать на горячей воде, повысив температуру холодоносителя в системе. Если на первом нашем объекте в кондиционеры подавалась вода с температурой 10°С, а возвращалась обратно с температурой 17°С (дельта 7°С), то сейчас мы применяем технологию «холодная стена», которая позволяет использовать температурный график 18/28 (дельта 10°С).

Чем ниже температура на улице, тем выше процент фрикулинга. На 100%-ный фрикулинг мы переходим при температуре +10°С. Совмещенный режим фрикулинга обеспечивает экономию, начиная с температуры +26°С, а так как у нас есть адиабатическая система предохлаждения, мы теоретически можем использовать частичный фрикулинг, даже если на улице +30°С. Таким образом, мы выходим практически на круглогодичный режим совмещенного фрикулинга и работаем на одних компрессорах не более трех месяцев в году. Благодаря такому подходу проектное среднегодовое значение PUE снижается до 1,3.

На экономию электричества также работают зальные кондиционеры, которые за счет низкой скорости воздуха и большой площади теплообменника потребляют значительно меньше электричества, чем классические кондиционеры с выдувом под фальшпол.

– Технология пожаротушения выбирается клиентом. Пока не все готовы переходить на тонкораспыленную воду, поэтому мы сделали универсальное решение, которое позволяет использовать и дистиллированную воду, и газ – на выбор клиента. Если мы знаем, какой клиент к нам придет в тот или иной зал, – устанавливаем то, что ему нужно, если нет, ставим по умолчанию водяное тушение. Это вопрос гибкости нашего сервиса.

– Это также связано с гибкостью нашей сервисной политики и индивидуальным подходом к требованиям заказчиков. В дата-центре MOS5 мы уменьшили площадь помещений и разделили один большой машзал (1600 стойко-мест) на несколько мелких, чтобы иметь возможность использовать в них газовую систему пожаротушения. 

– Основное преимущество – это занимаемая площадь. Помещения для хранения таких батарей не требуют супермощной системы охлаждения, достаточно простой вентиляции. Литий-ионные батареи можно размещать в одном помещении с ИБП, в то время как свинцовые всегда требуют отдельной локации и обустройства систем охлаждения и вентиляции. 

Срок службы у литий-ионных батарей дольше: за время эксплуатации мы не сменили ни одной, в отличие от свинцовых − там каждые полгода выбраковывается одна-две. Плюс у «лития» есть онлайн-мониторинг, позволяющий предотвращать вероятностные отказы. 

По цене литий-ионные батареи стали доступнее. Это происходит за счет появления новых поставщиков и увеличения производства литиевых батарей. Драйвер роста − автомобильная индустрия (электрокары). Мир переходит на «зеленые» технологии, и мы вместе с ним. 

Раньше использование литий-ионных батарей сдерживалось тем, что при возгорании они выделяют кислород, который поддерживает горение. Но сегодня эта проблема уже практически решена. Мы, например, используем батареи Samsung, в которых объем выделяемого кислорода сведен к минимуму. 

Что касается утилизации – да, технология пока не разработана. Но я думаю, что вскоре должны создать технологию реанимации литий-ионных батарей, чтобы иметь возможность использовать их повторно, а не выбрасывать. Эти батареи «умные», у них внутри много всякой электроники, и отправлять их в утиль дорого. 

– Обслуживание выполняют те же компании, что и раньше. Наша сервисная служба проводит ТО и поддерживает эксплуатацию многих элементов своими силами, что положительно сказывается на бюджете. Модернизация ИБП, чиллеров, кондиционеров не предполагается. Нам она не нужна, потому что в IXcellerate всегда приобретали новые модели, которые только выходили на рынок, а некоторые даже разрабатывались специально по нашему запросу, как это было, например, с технологией «холодная стена» от Vertiv. Так же и чиллеры с адиабатическим предохлаждением – мы их получили еще в 2019 г., и новая линейка ИБП, в которой учтены и устранены все старые погрешности. 

Согласно политике IXcellerate, все запчасти дол­жны находиться под нашим контролем, поэтому при закупке оборудования мы всегда приобретали запчасти с большим запасом. Мы обеспечены ЗИП на ближайшие пять лет. В случае непредвиденных ситуаций будем увеличивать закупки за счет как импорта, так и перехода на локальные решения от российских производителей.

– Это трансформаторные узлы/системы, «умные» PDU, зальные блоки распределения питания, серверные шкафы, системы герметизации горячих и холодных коридоров, телекоммуникационные лотки, переключатели и другие элементы для электрической коммутации. Таких решений становится все больше, но надо отметить, что на работу с российскими поставщиками требуется больше времени. Мы проводим тщательный отбор и дополнительное тестирование всех решений, так как для нас самое важное – качество и надежность.

– Это системы безопасности, пожаротушения, видеонаблюдения и контроля доступа. В этих сегментах можно смело использовать российское ПО. Недавно появились даже аналоги технологии тушения тонкораспыленной водой – их стали выпускать сразу три российских предприятия. По качеству они нисколько не уступают зарубежным. 

После ухода многих международных поставщиков оказалось, что некоторые из них (например, производители фальшпола) уже давно использовали в своих решениях российские компоненты. А отдельные элементы инфраструктуры, такие как контроллеры, кабельные лотки, несущие системы, еще до санкций были пол­ностью заменены нами на российские.

Российские аналоги могут составить конкуренцию по своей технологичности и качеству в сегменте кондиционеров, как фреоновых, так и фанкойлов. Проигрыш будет только в цене: российские дороже за счет ручной сборки (на Западе трудозатраты ниже благодаря автоматизации сборочных процессов). 

– На рынке ЦОДов самая сложная ситуация с отсутствием российских аналогов в сегменте ДГУ и чиллеров большой мощности. В России пока не производятся решения для таких крупных дата-центров, как IXcellerate. 

– Я вижу необходимость переходить на «зеленые» технологии и более мощные накопители энергии, которые позволят минимизировать использование дизелей в работе дата-центров. Иначе рано или поздно все коммерческие ЦОДы с большой энергомощностью превратятся в аналог машинно-тракторной станции. За десять лет у нас, например, не было ни одного отключения от городской электросети, но отказаться от дизелей мы, согласно требованиям Uptime Institute, не можем. Если какой-нибудь глобальный коллапс все же случится, то запасов топлива все равно хватит не более чем на 12 ч. На случай крупных форс-мажоров резервирование должно строиться за счет двух независимых фидеров, идущих разными лучами от реально независимых питающих центров. Например, если подключиться по второй категории к сети ФСК и к генерации «Газпрома» (ТЭЦ), то необходимость в дизелях на всю мощность ЦОДа отпадет.

Альтернативой бесконечному наращиванию дизельного парка может также стать индивидуальный подход к резервированию данных, как это делает большинство крупных западных ЦОДов: они не резервируют всех клиентов на 100%. Заказчик может выбирать: свои самые важные данные резервировать за счет ДГУ, а остальное – за счет размещения в другом ЦОДе. 

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!