От процессоров до принципов организации: как ИИ влияет на ЦОДы

Когда речь заходит об оборудовании для ИИ, в первую очередь вспоминают специализированные процессоры. Примечательно, что в их разработку инвестируют не только вендоры, но и гиперскейлеры. Свои достижения в этой области уже представили или анонсировали Google, Amazon, Microsoft и другие. 

Разброс в оценках рынка огромный. По прогнозам различных аналитических компаний, мировой рынок ИИ-ускорителей к 2027 г. составит от $70 до $400 млрд. Но в том, что больше половины этого рынка приходится на графические процессоры (GPU), сходятся все аналитики.

Флагман в области производства GPU – компания Nvidia. В частности, анонсированные ею в 2024 г. чипы GPU Blackwell (рис. 1), предназначенные для поддержки мощных ИИ-моделей, создают предпосылки для существенного повышения производительности в рабочих нагрузках ИИ и тем самым формируют рыночную тенденцию. Однако выпуск чипов неоднократно переносили из-за необходимости доработок. 

Успех Nvidia колоссален. Вместе с тем рынок растет настолько быстро, что, по мнению аналитиков, места хватит всем. GPU активно и успешно разрабатывают AMD и Intel. разрабатывают их и в КНР, поэтому вполне возможно, что в скором времени из Поднебесной будут поступать не только OEM-решения для лидеров рынка, но и конкурентоспособные системы китайских разработчиков. 

Помимо универсальных GPU на рынке представлены и другие решения для выполнения задач ИИ. Например, тензорные процессоры (TPU), «заточенные» под работу с нейросетями, – это направление развивает Google. Также стоит упомянуть нейропроцессоры (NPU), несомненный плюс которых заключается в том, что они позволяют выполнять предобработку данных, скажем, распознавание изображений, непосредственно на устройстве (видеокамере). К таким процессорам относится, в частности, Intel Meteor Lake. Активно развиваются и менее мощные чипы, эффективные для конкретных ИИ-задач: программируемые специализированные схемы (ASIC) и программируемые вентильные матрицы (FPGA).

Стоит отметить ИИ-ускорители на базе архитектуры RISC-V. Их разрабатывают, например, Tenstorrent и Samsung. Ставку на развитие устройств на базе RISC-V, в том числе предназначенных для высокопроизводительных вычислений и ИИ, делают в Евросоюзе. Несмотря на то что пока ИИ-ускорители на базе RISC-V редки, по прогнозам The SHD Group, к 2030 г. они будут занимать уже 27% рынка.

Не прекращается работа и над созданием процессоров альтернативных типов, которые будут менее энергоемкими и более быстрыми. Это в первую очередь нейроморфные чипы и фотонные процессоры. Успехи в этой области немалые. Так, в прошлом году Intel представила нейроморфную систему Hala Point, насчитывающую 1,15 млрд нейронов и до 128 млрд синапсов. Разрабатывают такие устройства и в России. В текущем году о выпуске российского фотонного процессора заявил стартап «Фистех», а несколько лет назад о работе над собственным нейроморфным процессором (рис. 2) сообщала «Лаборатория Касперского». Правда, о перспективах коммерческих внедрений в этих областях говорить преждевременно.

Рабочие нагрузки, связанные с ИИ, требуют значительно более высокой скорости передачи данных как внутри ЦОДа, так и между ЦОДами. Это связано с особенностями ИИ-вычислений, которые предполагают совместную одновременную работу множества процессоров, постоянно обменивающихся данными (рис. 3). 

Что касается передачи данных внутри ЦОДа, то речь идет уже о скоростях 1,6 Тбит/с (технология 1,6T Ethernet), которые обеспечат двукратный рост по сравнению с внедряемыми сегодня каналами 800G. А в обозримом будущем, предполагают некоторые специалисты, скорость будет увеличена еще вдвое, до 3,2 Тбит/с.

В 2025–2029 гг. объем продаж Ethernet-коммутаторов для ЦОДов, по оценкам Dell’Oro Group, может превысить $180 млрд. В интерфейсных (front-end) сетях будет развернуто более 100 млн портов коммутаторов 800 Гбит/с и 1600 Гбит/с, а поставки для серверных (back-end) сетей будут как минимум вдвое больше. Именно коммутаторы для высокоскоростной передачи данных обеспечат рост сегмента в целом, и спрос на них будет определяться развитием ИИ-технологий.

Из-за растущих требований к минимизации потерь, повышению энергоэффективности и скорости будут развиваться различные оптические технологии передачи данных внутри ЦОДа, такие как комбинированная оптика (CPO), предполагающая интеграцию оптических и электрических компонентов в одном корпусе, а также линейная фотонная оптика Linear Pluggable Optics (LPO) и Linear Receive Optics (LRO). Эти решения представляют собой подключаемые модули с линейными оптическими приводами. Они менее энергоемки и позволяют минимизировать потери на этапе передачи сигнала.

Сегмент оптических трансиверов для сетей, предназначенных для ИИ-нагрузок, согласно данным Lightcounting, вырастет с $5 млрд в 2024 г. до более чем $10 млрд в 2026 г. Крупные развертывания сетей с использованием LPO и CPO аналитики прогнозируют после 2026–2027 гг. (рис. 4). Что касается каналов между ЦОДами, то, по данным исследования, проведенного по заказу Ciena, к 2030 г. их пропускная способность вырастет как минимум в шесть раз.

Чем мощнее серверы, тем больше тепла они выделяют. Традиционное воздушное охлаждение, эффективное, когда одна стойка потребляет до 15–20 кВт, не справится с отведением тепла при той плотности мощности, которую требуют рабочие нагрузки ИИ. Между тем, по данным Uptime Institute, уже в 2022 г. около четверти всех ЦОДов имели стойки с потреблением 20 кВт и выше, а у 5% стойки потребляли более 50 кВт.

Один из способов более эффективного отвода тепла – использование жидкостных систем, продуктивность которых значительно выше. По данным IDC, в 2024 г. 22% ЦОДов уже применяли системы жидкостного охлаждения, и в дальнейшем их доля будет расти.

Выделяют три типа систем жидкостного охлаждения:

Первый из указанных типов относится к непрямому жидкостному охлаждению, остальные два – к прямому (Direct Liquid Cooling, DLC). В дальнейшем речь пойдет именно о них.

DLC-системы, как правило, намного дороже традиционных воздушных, и их может быть сложно реализовать в существующих помещениях. Масштабная интеграция технологий прямого жидкостного охлаждения в инфраструктуру ЦОДа будет серьезнейшим образом влиять на планировку зданий и помещений. Причем это касается не только новых объектов, но и действующих ЦОДов, где отсутствует инфраструктура для поддержки DLC-систем.

Тем не менее аналитики фиксируют увеличение количества ЦОДов, использующих DLC-системы. По данным Dell’Oro Group, начиная с 2020 г. отмечается стабильный рост внедрения и контактного, и погружного охлаждения. Аналитики прогнозируют, что к 2027 г. объем рынка жидкостного охлаждения достигнет $1,7 млрд (рис. 6). Впрочем, несмотря на оптимистичный прогноз, такие факторы, как нарушения цепочек поставки, нестабильная экономическая ситуация и колебания на рынке, могут заставить операторов ЦОДов сократить капзатраты, что затормозит рост рынка DLC.

Еще одним сдерживающим фактором могут стать экологические нормы, связанные с использованием некоторых охлаждающих жидкостей. Особенно значим этот фактор для иммерсионного охлаждения, где традиционно применяются вещества, содержащие PFAS-соединения (так называемые вечные химикаты). В ряде стран были приняты законы, запрещающие их использование, поскольку они способны нанести вред окружающей среде. Впрочем, производители охлаждающих жидкостей разрабатывают новые, более экологичные составы, которые должны помочь ЦОДам адаптировать системы охлаждения к строгим требованиям. Например, в прошлом году компания Castrol представила нетоксичную жидкость для систем жидкостного охлаждения на основе пропиленгликоля. А Perstorp разработала биоразлагаемую жидкость специально для иммерсионных систем.

К существенным ограничениям внедрения DLC-систем относятся и более высокие первоначальные затраты на установку, что сдерживает инвестиции, несмотря на возможную долгосрочную экономию. Кроме того, не все существующее ИТ-оборудование дата-центров пригодно для использования DLC-охлаждения (особенно иммерсионного), поэтому может потребоваться модификация или замена оборудования, что также приведет к удорожанию проекта. Тем не менее в последние годы разрабатывается все больше ИТ-оборудования, оптимизированного для работы с погружным охлаждением, и по мере развития технологии стоимость внедрения охлаждения этого типа будет снижаться, а его экономическая привлекательность для ЦОДов – расти.

Наконец, для обслуживания и эксплуатации систем иммерсионного охлаждения требуются специальные знания, что делает необходимым целевое обучение и повышение квалификации персонала службы эксплуатации.

Но, несмотря на имеющиеся проблемы, технологические и экологические требования непрерывно подталкивают отрасль к более широкому использованию жидкостного охлаждения. DLC-решения становятся более стандартизированными, что способствует их более широкому внедрению.

Параллельно с развитием систем жидкостного охлаждения продолжают развиваться (и удерживать лидерство) системы воздушного охлаждения, ключевое преимущество которых заключается в том, что в том или ином варианте они уже установлены в большинстве ЦОДов. Дорабатывать и оптимизировать их, а также внедрять новые технологии в этой области может быть экономически выгоднее, нежели инвестировать в новые технологии и оборудование для жидкостного охлаждения.

Наиболее вероятным в ближайшей перспективе аналитики считают сочетание в ЦОДах воздушного и жидкостного охлаждения, которое обеспечит сбалансированное и эффективное управление температурным режимом (рис. 7). Кроме того, ведутся поиски новых, более эффективных способов охлаждения высоконагруженных систем. Например, в этом году исследователи сообщили о разработке технологии охлаждения лазером.

Вендоры представляют комплексные решения для ИИ-систем, включающие весь спектр устройств и технологий. Лежащая в основе таких решений интеграция упрощает их развертывание и повышает производительность. Здесь можно назвать, например, решение Dell AI Factory, которое вендор разработал совместно с Nvidia и выпустил в марте 2024 г. Это целостное корпоративное решение для ИИ, которое объединяет вычислительные системы, СХД, сетевые устройства, пользовательские устройства Dell с ИИ-инфраструктурой Nvidia и ПО Enterprise AI на основе сетевой структуры Spectrum-X. AI Factory обеспечивает поддержку всего жизненного цикла GenAI, а также широкого круга ИИ-приложений. Его можно развернуть в любом месте, в том числе на периферии сети. По мнению аналитиков, подобные решения под ключ будут набирать популярность, так что, возможно, мы увидим немало интересных коллабораций и предложений. 

ИИ также дал новый стимул развитию модульных ЦОДов – их использование позволяет сократить сроки строительства с нескольких лет до нескольких месяцев, обеспечивая масштабируемость по требованию. За рубежом такие компании, как Equinix, Digital Realty, Vertiv и Schneider Electric, активно продвигают модульные конструкции (рис. 8), чтобы заказчики могли быстрее развертывать требуемые мощности. Использование модульных ЦОДов позволяет активнее развивать граничные вычисления, которые, в свою очередь, дают возможность минимизировать задержки в вычислениях за счет размещения ЦОДов вблизи конечных пользователей, что крайне важно для IoT-приложений. 

Подход edge-first, предполагающий разработку компактных, энергоэффективных и масштабируемых решений, поддерживают, например, Dell Technologies и Supermicro. Их стратегии согласуются с тенденциями рынка, в соответствии с которыми в 2025 г. на edge-решения может прийтись до 30% роста рынка ЦОДов. Использование быстровозводимых и легко масштабируемых edge-ЦОДов позволит идти за спросом на ИИ-сервисы, а не бежать впереди рынка.

В последнее время эксперты высказывают опасения по поводу возможного перенасыщения рынка ИИ-ЦОДов, которое может возникнуть из-за слишком большого количества уже строящихся или планируемых капитальных объектов. Если спрос на ИИ достигнет плато или предприятия сократят масштабы развертывания LLM (например, из-за высокой стоимости или ограниченной окупаемости инвестиций), отрасль может столкнуться с переизбытком мощностей для ИИ, когда предложение превысит спрос. Если такой сценарий реализуется, то наступит своего рода «зима ИИ».

Также эксперты предупреждают о возможности стремительного обесценивания оборудования для ИИ. GPU, особенно high-end-модели, приобретаются в огромных количествах, чтобы обеспечивать рабочие нагрузки ИИ. Однако жизненный цикл таких устройств может оказаться короче, чем ожидалось, из-за быстрых инноваций в области процессоров или стагнации в развитии приложений для ИИ. Из-за того, что оборудование устаревает слишком быстро, операторы, закупившие много GPU, могут столкнуться с тем, что их системы теряют стоимость быстрее, чем приносят прибыль. Лидеры индустрии ЦОДов уже начинают предостерегать от формирования «технологического долга», связанного с избыточными закупками GPU для GenAI без четкого плана использования процессоров для более широкого спектра рабочих нагрузок. 

Подобные опасения усилились в начале текущего года, после того как китайские разработчики представили модель DeepSeek, которая потребляет значительно меньше вычислительных ресурсов и соответственно энергии, чем GPT, созданная OpenAI. Если менее энергоемкие модели станут мейнстримом, то, вполне возможно, мощности, к которым сейчас готовятся игроки рынка, окажутся не востребованы.

Узким местом остается обеспеченность энергией и иными ресурсами. Поскольку GPU для ИИ чрезвычайно энергоемки, увеличение их кластеров может привести к перегрузке существующих систем электропитания и охлаждения, вызывая нестабильность энергосистемы. Стоимость энергии может резко возрасти, что сделает развертывание ИИ экономически невыгодным для ряда компаний. Поскольку энергоэффективность становится важнейшим фактором конкурентоспособности, некоторые отраслевые аналитики говорят о необходимости разработки контрольных показателей устойчивости для ИИ, опасаясь, что текущие тенденции роста могут опередить внедрение эффективных систем охлаждения и питания.

Кроме того, поскольку потребление энергии ИИ-ЦОДами конкурирует с потребностями общества в этой же энергии, наращивание мощностей ИИ может столкнуться с негативной реакцией со стороны общественности. Ситуацию усугубляет тот факт, что для систем охлаждения в ЦОДах нередко используется вода. В нескольких засушливых районах власти уже в 2024 г. заявили о том, что если дата-центры будут наращивать потребление воды, то ситуация для жителей может оказаться крайне сложной.

***

Быстрое развитие ИИ-технологий, с одной стороны, и способность индустрии ЦОДов адаптироваться к новым требованиям – с другой, будут определять ландшафт цифровой инфраструктуры в ближайшие годы. Помимо очевидных плюсов, которые операторы ЦОДов могут получить от ИИ-технологий, есть немало рисков, которые необходимо учитывать, планируя инвестиции в ИИ-ЦОДы. Минимизировать эти риски можно, сосредоточившись не на погоне за технологиями, а на окупаемости инвестиций. В связи с этим операторам стоит уделить особое внимание гибкости и масштабируемости инфраструктуры, в частности, модульным или многоцелевым ЦОДам, чтобы иметь возможность переключаться между рабочими нагрузками. 

Также имеет смысл рассматривать для использования в ЦОДах не только GPU, но и иные виды процессоров, адаптированные для решения конкретных задач – более дешевые и менее энергоемкие (например, чипы ASIC или ускорители на базе RISC-V). В конечном счете операторам потребуются четкая стратегия и высокая адаптивность, чтобы справиться с ростом инфраструктуры ИИ в условиях непредсказуемого молодого рынка.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!