Edge принято подавать в масле

Концепция Edge Computing предполагает вынесение вычислительных ресурсов на границу сети, чтобы приблизить их к пользователям. В сетях телеком-операторов edge-ЦОДов в сотни раз больше, чем традиционных дата-центров, а сами они во столько же раз меньше: по сути это микроЦОДы. Часто они размещаются в неидеальных условиях – в телекоммуникационных шкафах, устанавливаемых в промзонах или населенных пунктах. 

Это вызывает ворох проблем, связанных с поиском подходящих локаций, обеспечением энергоснабжения, надежности, энергоэффективности, регламентного и аварийного обслуживания. Ограничения на размеры edge-ЦОДов затрудняют эффективное охлаждение (дополнительная система воздушного охлаждения потребовала бы увеличения размера сайта и проведения дополнительных регламентных работ и квалифицированного обслуживания). Вследствие ограничений на размер и стоимость микроЦОДов их PUE (отношение общего энергопотребления к энергии, затраченной непосредственно на вычисления) трудно сделать меньше 1,8, что уменьшает рентабельность: практически половина электроэнергии ЦОДов расходуется впустую, повышая эксплуатационные расходы. Необходимость периодического обслуживания сотен и тысяч разнесенных площадок требует содержания соответствующего штата квалифицированных специалистов.

Актуальность темы граничных вычислений повышается вследствие распространения открытых стандартов в сетях мобильной связи. Использование открытого ПО и стандартного сетевого и серверного оборудования в сетях OpenRAN потенциально позволяет объединить сети мобильного и стационарного доступа (концепция MEC, Multi-access Edge Computing).

Ближайшим аналогом периферийных ЦОДов в сетях OpenRAN можно считать распределенные блоки (Distributed Unit, DU). Они служат мостиками между центральными блоками (Central Unit, CU) и радиоблоками (RU) и генерируют управляющие сигналы и потоки данных для последних. К RU подключаются антенны, обеспечивающие формирование радиосигналов и мобильный доступ. В зависимости от плотности абонентов и требований к задержкам и качеству обслуживания один CU может обслуживать до нескольких десятков DU, которые, в свою очередь, могут обслуживать несколько сайтов с установленными на них RU. Суммарная мощность RU сопоставима с DU, но энергоэффективность RU существенно выше: мощности отдельных RU относительно невысоки, заметная часть мощности излучается в эфир, принудительное охлаждение, как правило, не требуется.

Таким образом, при использовании традиционных систем теплоотвода DU не только наиболее распространенный, но и наиболее энергозатратный элемент сетей OpenRAN. Характерный пример – в сети японского оператора Rakuten, объединяющей более 70 тыс. сайтов, насчитывается несколько тысяч DU. При том, что средняя мощность одного DU составляет 500–1500 Вт, суммарно это образует мегаватты потребляемой мощности, часть которых уходит на обогрев окружающей среды.

Ситуация усугубляется разработкой проектов внедрения в сетях мобильного доступа технологий искусственного интеллекта, направленных как на оптимизацию сети, так и на удовлетворение запросов пользователей. Такие проекты неминуемо приведут к повышению мощности, потребляемой отдельными DU. 

У пользователей новые возможности, предоставляемые сетями 5G, пока не очень востребованы, и, согласно недавнему исследованию Dell’Oro, отрасль находится в стагнации и еще пять лет не будет расти (в России, где 5G только пилотируется, ежегодный рост телеком-рынка, по прогнозу Nexign и Telecom Daily, до 2027 г. будет составлять 6%. – Прим. ред.). Новых источников прибыли пока не видно, трафик в сетях растет медленно. Идея брать с массового потребителя деньги за незначительные для него улучшения пользовательского опыта – чуть большие скорости или чуть меньшие задержки – провалилась.

В условиях, когда нельзя заработать на новых сервисах, экономят на издержках. Наверняка экономия коснется и сетевого оборудования OpenRAN, и DU, как одного из наиболее массовых его элементов, обладающего к тому же немалым потенциалом снижения затрат. Технологии виртуализации DU, использование современных серверных и графических процессоров, обладающих высоким вычислительным потенциалом, позволят не только сосредоточить в компактном корпусе несколько виртуальных DU, но и развернуть на них нейросетевые вычисления для оптимизации сетей, а, возможно, и для предоставления услуг ИИ-агентов, в надежде, что они станут-таки востребованными и на них можно будет заработать.

Аппетиты современной электроники хорошо известны: тепловыделение пары серверных процессоров легко может потянуть на киловатт, графического нейропроцессора B200 от Nvidia – на другой. Вся эта мощность может быть сосредоточена в одном-двух юнитах, где могли бы виртуально выполняться функции одного или нескольких DU. Вот только как быть с теплоотводом?

Сервер высотой 2U и мощностью 2 кВт вместе с системой охлаждения можно разместить в герметичном корпусе размерами 60 х 60 х 90 см. Для этого используется технология погружного охлаждения: серверные платы погружаются в диэлектрическую жидкость (назовем ее для простоты маслом), обладающую высокой теплопроводностью. Это позволяет обеспечивать в небольшом объеме рекордные значения PUE – по оценкам ряда производителей, ниже 1,08. В таком конструктиве масло выполняет не только функции теплоотвода, оно надежно защищает электронику от влаги, пыли и перепадов температуры. И, что немаловажно, блокирует доступ кислорода к металлическим проводникам и контактам (вспомним, основная причина неисправностей в радиотехнике – лишний контакт или его отсутствие). 

 

Герметичность корпуса и погружение компонентов в масло позволяют нивелировать воздействие внешней среды: избежать таких опасных явлений, как выделение конденсата и образование скоплений пыли, уменьшить внешние вибрации и т.д. Неудивительно, что производители систем погружного охлаждения заявляют о повышении надежности и отказоустойчивости серверного оборудования на 20–80%. Фактически такие системы можно назвать необслуживаемыми – масло требует замены раз в 5–10 лет, а основной причиной деградации его параметров являются неплановые вмешательства и замена оборудования. Сервисное обслуживание погружного сервера не требует участия квалифицированных специалистов и использования расходных материалов, поскольку сводится к очистке пылесосом решетки внешнего радиатора. Уровень развития современной электроники и использование внешних интерфейсных плат позволяют свести к минимуму моральное устаревание оборудования (DU с недостаточной производительностью могут перемещаться на границу сети). Десятилетний срок службы часто закладывают и проектировщики оборудования OpenRAN.

Дополнительное преимущество предлагаемого подхода – компактность DU. Она не только упрощает подбор площадок и снижает арендные платежи, но и позволяет в случае возникновения неисправностей быстро и без проблем заменять DU и ремонтировать их в комфортных условиях на специально оборудованных площадках или с помощью сторонних организаций.

Практически двукратный выигрыш в энергоэффективности edge-ЦОДа с погружным охлаждением значительно снижает расходы на его энергообеспечение. Годовая экономия только на стоимости электроэнергии для одного DU в текущих ценах может превышать 100 тыс. руб. (см. таблицу), в то время как при использовании воздушного охлаждения нужно учесть бОльшие расходы на эксплуатацию и размещение и на регламентные работы. Следует отметить, что малые размеры DU с погружным охлаждением и их устойчивость к неблагоприятным внешним воздействиям позволят намного уменьшить затраты на подготовку помещений (значительная часть DU, как упоминалось выше, размещается в телекоммуникационных шкафах уличного исполнения), повысить скорость предоставления и масштабирования услуг, одновременно существенно снизив текущие затраты на эксплуатацию сети.

 

Репутация погружного охлаждения у владельцев российских ЦОДов неоднозначная. Многие считают, что работа с системами погружного охлаждения и маслами требует особых навыков и обучения специалистов. Замена погружных серверных плат может вести к снижению характеристик и деградации охлаждающих жидкостей. Однако рост удельной мощности серверного оборудования и востребованность технологий искусственного интеллекта, столь энергоемких, что для использующих их ЦОДов уже начинают проектировать и строить собственные атомные электростанции, практически не оставляют альтернатив. 

Замечу, технология погружного охлаждения может быть особенно перспективна для нашей северной страны – высокая удельная теплоемкость масла может позволить эффективно утилизировать тепло для обогрева соседних микрорайонов, или, например, включать погружные серверы в контуры теплого пола и втихую пестовать искусственные интеллекты. Среди принципиальных недостатков погружного охлаждения называют возможную деградацию серверных плат, не рассчитанных специально на такое использование (во многих случаях охлаждение серверного оборудования с помощью погружных систем приводит к потере гарантии производителя. – Прим. ред.), и деградацию герметизирующих прокладок в горячем масле (температура которого может достигать 70–80℃).

Тем не менее аналитические и консалтинговые компании дружно пророчат погружным технологиям прекрасное будущее и измеряемый десятками процентов ежегодный рост при объемах рынка $1–2 млрд. К перспективной нише подтягиваются и традиционные производители процессоров и серверного оборудования. Intel, занимающаяся погружным охлаждением более 10 лет (пять последних – с заметным прогрессом), сегодня развивает инициативу Open IP Immersion Cooling, в рамках которой сотрудничает с компанией Meta (признана экстремистской и запрещена в РФ). Проект поддерживают Microsoft, Google и компании, специализирующиеся на погружном охлаждении (GRC, LiquidStack и др.), а также OCP Foundation, курирующая разработку открытых стандартов для дата-центров.

Среди достижений – стандартизация интерфейсов (разработаны открытые спецификации для совместимости оборудования – серверов, жидкостей, систем мониторинга); патентная нейтральность (участники договорились делиться патентами без лицензионных отчислений, чтобы стимулировать инновации); референсные дизайны (созданы шаблоны для иммерсионных систем, которые могут адаптироваться для разных задач (например, для ИИ или высокопроизводительных вычислений). AMD участвует в проекте косвенно, через партнерства (например, с LiquidStack), рассчитывая, что открытые стандарты помогут упростить интеграцию EPYC в иммерсионные системы.

 

Для рынка внедрение открытых стандартов погружного охлаждения будет означать снижение стоимости внедрения за счет унификации и ускорение перехода на «зеленые» технологии: иммерсионное охлаждение сокращает энергопотребление ЦОДа на 30–50%. Уже в этом году ожидается массовое внедрение иммерсионного охлаждения в ЦОДах гиперскейлеров (Google, AWS) и HPC-кластерах. Open IP Immersion Cooling может стать стандартом де-факто, что, возможно, переубедит даже отъявленных скептиков погружного охлаждения.

* * *

Погружное охлаждение вызывает все больший интерес у гиперскейлеров, и у операторов традиционных ЦОДов. Но, пожалуй, преимущества погружного охлаждения нигде не могут проявиться так явно, как в распределенных сетях OpenRAN и edge-вычислениях.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

<< Предыдущая статья   Вернуться к содержанию   Следующая статья >>