GPUaaS: что предлагают российские провайдеры

В 2023 г. объем мирового рынка GPU as a Service (GPUaaS) аналитики Global Market Insights оценили в $6,4 млрд. Они ожидают, что в период с 2024 по 2032 гг. этот рынок будет расти более чем на 30% в год (рис. 1). 

 

Согласно данным Европейской комиссии, в 2023 г. облачными сервисами воспользовались более 45% компаний в ЕС. По сравнению с 2021 г. этот показатель увеличился на 4,2%. GPUaaS хорошо вписывается в эту динамику, обеспечивая компаниям возможность доступа к вычислительным ресурсам без необходимости покупки и эксплуатации дорогостоящего оборудования.

Российские провайдеры также в полной мере осознают высокий потенциал сегмента облачных вычислений с использованием графических процессоров. В условиях растущего спроса на вычислительные ресурсы для обработки больших объемов данных – от финансового анализа до научных исследований – GPUaaS становится ключевым сервисом на рынке ИТ-услуг. Предоставление услуг на базе GPU позволяет облачным провайдерам расширять ассортимент сервисов в области ИИ и привлекать новых клиентов.

По нашим оценкам, в РФ облачные сервисы на базе GPU уже предлагают больше полутора десятков провайдеров, и этот список постоянно увеличивается. Большинство из них предоставили данные для нашего обзора.

Компания предлагает услуги IaaS с поддержкой GPU на основе собственной инфраструктуры. На данный момент доля GPUaaS в общем объеме ее выручки невелика, однако Beeline Cloud рассматривает эту услугу как стратегически важную для дальнейшего роста. В своих решениях этот провайдер использует графические процессоры Nvidia. Его представители заявляют, что отказоустойчивость обеспечивается с помощью кластеров с высокой доступностью, проактивного мониторинга и резервирования необходимых ресурсов сетевой инфраструктуры.

В ближайшее время Beeline Cloud планирует запуск услуг, связанных с MLOps (Machine Learning Operations), для оптимизации разработки и внедрения решений на базе искусственного интеллекта.

Компания предлагает услуги аренды серверов с GPU в рамках облачного сервиса GPUaaS, используя собственный мобильный ЦОД. Эти услуги для GPUdc являются основными, на них приходится значительная доля ее общей выручки.

 

Для предоставления услуг GPUdc использует такие GPU, как Tesla P100, Tesla V100 и RTX 3070/3090. Предлагается поминутная оплата, при этом пользователь может завершать аренду с сохранением состояния и в будущем продолжить работу на другом сервере.

Компания активно работает над отказоустойчивостью своих услуг, что, как отмечают ее представители, важно для клиентов, использующих GPUaaS для непрерывного запуска нейросетей в режиме 24/7. В таких случаях применяются стандартные схемы обеспечения надежности, включая два независимых ввода электропитания, ИБП и резервирование сетевого оборудования.

Вместе с тем представители компания утверждают, что для большинства клиентов, использующих услуги GPUaaS для обучения нейросетей, проектирования, монтажа видео и игр, максимальная отказоустойчивость не столь принципиальна. В этих случаях запланированные отключения сервиса вполне допустимы, они позволяют снизить стоимость предоставляемых услуг. Соответствующие предложения компании привлекательны для клиентов, которым важна экономия средств.

В планах компании – развитие сервиса в регионах, так как удобство работы с облаком напрямую зависит от расстояния до серверов.

Используемая компанией платформа функционирует в дата-центре с дублированными каналами связи и бесперебойным питанием (собственный ЦОД расположен в Москве около метро «Южная»). Пользователи GPUaaS имеют возможность через личный кабинет создавать инфраструктуру из имеющегося пула ресурсов, включая ускорители GPU, сетевое хранилище и преднастроенное программное окружение. В настоящее время доступны серверы с GPU Nvidia Tesla H100 и A100, а также «дробные» части этих ускорителей для менее ресурсоемких задач. 

Тарифы варьируются от помесячной до поминутной оплаты. Стоимость аренды сервера с Nvidia Tesla H100 (на данный момент это одна из самых дорогих и мощных GPU на рынке) обойдется в 10,08 руб. за минуту или 290 тыс. руб. за 30 дней.

Цены на GPUaaS формируются с учетом стоимости дорогостоящего оборудования, включая GPU, а также повышенного потребления электроэнергии, затрат на отвод тепла и разработку платформы. Эти факторы существенно влияют на конечную стоимость предлагаемых услуг. Вместе с тем компания дает клиентам возможность бесплатно протестировать сервис и определить необходимый объем ресурсов для решения конкретных задач. Базовые сроки тестирования могут достигать одного месяца.

В последнее время компания отмечает рост потребления сервисов с GPU в сфере медиа и развлечений. Клиенты используют нейросети (LLM) для генерации текста, изображений и видео. Кроме того, увеличивается спрос на VDI-сервисы на базе GPU в контексте импортозамещения ПО класса CAD/CAE. Доля выручки от GPUaaS постоянно растет, что делает это направление стратегически важным для компании. В настоящее время HPC Park работает над улучшением платформы для применения идей MLOps, включая внедрение управляемых средств Kubernetes и совершенствование внешнего API.

Успешные проекты включают использование мощностей HPC Park студией Артемия Лебедева для обучения нейросети ironov.ai, а также проекты в агросфере и медицине. Кроме того, компания внедряет решения на базе компьютерного зрения для анализа данных в промышленности и разрабатывает проекты в сфере спорта.

Компания предлагает услуги GPUaaS на базе собственного ЦОДа в Москве, использующего погружное (иммерсионное) охлаждение. Услуги аренды GPU-серверов приносят immers.cloud значительную долю выручки – до 90%, что говорит об их стратегической важности для бизнеса.

 

immers.cloud предлагает разнообразные серверы с GPU, включая H200, B200, H100, A100 и другие модели от Nvidia, такие как RTX 4090 и 3090. Тарифы на аренду GPU основаны на посекундной тарификации. Также есть скидки до 50% на долгосрочную аренду. 

 

Хотя, как отмечают в компании, отказоустойчивость менее критична для услуг GPUaaS по сравнению с классическим корпоративным облаком, immers.cloud применяет ряд мер для повышения надежности. Это, в частности, резервирование электропитания с помощью ИБП и дизель-генераторов, резервирование охлаждения и репликация данных клиентов.

Клиенты компании используют GPUaaS для решения различных задач, таких как обучение и инференс нейросетей, стриминг, сегментация и классификация объектов на видеопотоках. 

Инфраструктура, используемая ITGLOBAL.COM, представляет собой разновидность публичного облака на платформе VMware. На данный момент услуги c GPU составляют около 15% общей выручки компании, и она активно инвестирует в развитие этого направления. Для предоставления услуг ITGLOBAL.COM задействует разные модели графических ускорителей Nvidia, включая HGX H100 на архитектуре Superpod, A800, L40s и A16.

Одна из ключевых характеристик услуг GPUaaS, по словам представителей компании, – высокий уровень доступности и отказоустойчивости. Он достигается благодаря комплексным мерам, в частности исключению единой точки отказа: при выходе какого-либо оборудования из строя происходит автоматическое переключение на дублирующий элемент инфраструктуры, что позволяет конечным пользователям продолжать работать в привычном режиме. Технологии виртуализации и кластеризации обеспечивают распределение нагрузки и отказоустойчивость на уровне ПО.

Представители компании заявляют, что отказоустойчивость особенно важна для GPUaaS, так как вычисления часто используются для задач, требующих значительных ресурсов, например, для машинного обучения и рендеринга. В случае сбоя большое количество вычислительных ресурсов окажется потраченным впустую, что может привести к значительным финансовым потерям для компаний.

Цена услуг складывается из стоимости аренды вычислительных мощностей (CPU, RAM), аренды конфигурации vGPU с лицензией Nvidia AI Enterprise и стоимости дискового хранения. Поддержка виртуализации vGPU, которая позволяет эффективно распределять ресурсы одного физического GPU между несколькими виртуальными машинами, помогает снизить затраты и повысить гибкость конфигурации. Лицензия Nvidia AI Enterprise предоставляет полный набор инструментов для разработки ИИ, совместимость с виртуальными и облачными платформами, а также техническую поддержку и обновления. Клиенты также могут воспользоваться дополнительными услугами, такими как резервное копирование, расширение полосы интернет-канала и система хранения S3.

В планах ITGLOBAL.COM – развитие услуг GPUaaS в нескольких направлениях: инвестиции в новые высокопроизводительные серверы и графические процессоры; географическое расширение для улучшения доступности и снижения задержек; развитие партнерских отношений для интеграции и расширения возможностей.

Компания K2 Cloud предлагает услуги серверов с GPU как в формате публичного облака, так и в формате HaaS, располагая собственной инфраструктурой для их предоставления. Данная услуга стратегически важна для K2 Cloud, так как она создает возможности для привлечения новых клиентов и ускорения роста компании. В арсенале K2 Cloud имеются серверы с GPU Nvidia A100 и T4, в скором времени планируется добавление H100.

Цены на услуги с GPU строятся по аналогии с классическими сервисами IaaS: базовая тарификация учитывает использование CPU, RAM и дискового пространства, а стоимость использования GPU добавляется отдельно.

Для повышения отказоустойчивости своих услуг с GPU K2 Cloud практикует дублирование оборудования и использование кластеров. Это позволяет перераспределять нагрузку и быстро восстанавливать работу в случае сбоев с помощью резервного оборудования. Клиенты K2 Cloud задействуют GPUaaS для различных задач, включая создание внутренних баз на основе генеративных моделей, разработку ИИ-агентов, например, чат-ботов, а также в решениях для документооборота.

Компания предоставляет услуги GPUaaS на базе собственной геораспределенной сети ЦОДов с 15 зонами доступности. Основные клиенты – крупные и средние предприятия, исследовательские институты, использующие GPU для анализа больших данных, прогнозирования, тестирования новых продуктов, работы с изображениями и видео, а также для биологических и медицинских исследований. На момент сбора информации для обзора (осень 2024 г.) доля услуг GPUaaS составляла 5% общей выручки компании, однако MWS видит значительный потенциал для роста этого сегмента, который ежегодно увеличивается на 40%.

Клиенты компании могут выбирать из широкого спектра конфигураций на базе серверов с GPU и TPU с возможностью расширения инфраструктуры в пиковые нагрузки, что позволяет оптимально подбирать ресурсы в зависимости от параметров задач. Для обеспечения отказоустойчивости могут задействоваться резервные площадки. До конца 2024 г. на базе GPU-инфраструктуры планируется развернуть платформу для разработки, обучения и развертывания ML-моделей, готовые ИИ-модели для разных индустрий и направлений, доступные по API, и ИИ-сервисы по модели SaaS.

Компания предлагает услуги GPUaaS на базе собственных дата-центров, предоставляя серверы с графическими картами Nvidia различных моделей, преимущественно A100. На одну виртуальную машину можно использовать до четырех карт GPU. Кластер GPU интегрирован в публичное облако и может работать совместно с другими нагрузками.

Для обеспечения отказоустойчивости Oxygen реализует различные механизмы. При использовании профилей GPU возможно выделение части карты для виртуальной машины, что повышает устойчивость к сбоям. В обычном режиме отказоустойчивость облака также поддерживается за счет перераспределения нагрузки на другие хосты виртуализации.

Oxygen заявляет, что спрос на эти услуги демонстрирует значительный рост – до 20–30% в год. Основные заказчики – компании из сфер электронной коммерции и финтеха, а также разработчики ПО. Доля услуг GPUaaS в общей выручке Oxygen составляет около 3–4%. Хотя в настоящее время это сопутствующий продукт, он имеет все шансы стать стратегическим важным. В планах Oxygen – дальнейшее развитие направления, включая увеличение размера кластера с GPU.

Провайдер предоставляет как выделенные, так и облачные серверы с GPU, а также большой запас видеокарт, модельный ряд которых регулярно обновляется. Это позволяет выбрать оптимальную модель для конкретных задач. Для повышения эффективности работы с GPU клиентам предлагаются технологии Multi-Instance GPU и Time Slicing (режим разделения времени) и возможность объединения GPU через высокоскоростную шину NVLink.

Selectel располагает шестью собственными дата-центрами уровня Tier III, расположенными в Москве, Санкт-Петербурге и Ленинградской области, а также партнерским дата-центром в Новосибирске. При аренде серверов клиенты могут выбирать город расположения своих ресурсов, что улучшает гибкость и доступность услуг.

В дополнение к серверным мощностям с GPU Selectel предоставляет набор инструментов и решений для ускорения работы с задачами в области искусственного интеллекта и машинного обучения. В ML-инфраструктуру для входят готовые образы для машинного обучения и анализа данных, кластеры Managed Kubernetes с GPU, работающие по принципу изоляции и автоматизации экспериментов, а также собственная платформа для обучения ML-моделей. 

 

Источник: Nvidia

Рис. 7. Nvidia H100 

В случае использования выделенного сервера с GPU все его ресурсы принадлежат клиенту, включая возможность использования видеокарт в облаке как выделенных PCI-устройств. Цены на услуги с GPU зависят от выбранной конфигурации сервера и срока аренды. Возможна посуточная или помесячная оплата. При аренде на срок от трех месяцев действует прогрессивная система скидок. Также доступна аренда облачных серверов с GPU с экономией до 80% за счет использования прерываемых серверов и функции заморозки ресурсов.

В дополнение к вычислениям на GPU, Selectel предлагает услуги сетевого файлового хранилища и S3, которые помогают клиентам эффективно сохранять результаты рендеринга и обмениваться данными между GPU-серверами и остальной инфраструктурой. Это решение актуально для компаний, использующих GPUaaS, поскольку позволяет обеспечивать надежное резервирование и доступность данных.

По словам представителей Selectel, спрос на GPU-услуги растет, компания рассматривает их как стратегически важное направление и планирует развивать. В ближайшем будущем Selectel намерена увеличить емкость облака, добавляя карты A100 80Gb и H100, что вызвано возросшим интересом крупных заказчиков. Также в планах – создание HPC-кластеров, которые позволят выполнять сложные вычисления одновременно на нескольких высокопроизводительных GPU-серверах, объединенных высокоскоростной сетью Infiniband.

Компания известна как поставщик физической инфраструктуры с GPU для частных облачных инсталляций (с возможностью установки оборудования на площадке клиентов), а недавно запустила и услугу GPUaaS. В число доступных для клиентов графических процессоров входят модели от Nvidia, включая RTX 2080, 3080, A4000, A5000 и Tesla A100, а также A40. Используемые Рег.ру серверы позволяют установить до четырех GPU для повышения производительности. Решения GPU могут быть интегрированы с другими продуктами, предлагаемыми компанией.

 

Клиенты компании передают на ее серверы с GPU задачи, связанные с дискретной обработкой массивов данных (например, в области машинного обучения) и потоковой обработкой данных (где важна отказоустойчивость, как в случае с голосовыми помощниками и чат-ботами). 

Сегодня доля выручки от решений с GPU составляет около 5,4%, однако рост спроса на услуги GPUaaS компания оценивает в сотни процентов по сравнению с 2023 г., поэтому делает стратегические инвестиции в это направление. В ближайших планах компании – запуск ML-платформы как сервиса для клиентских приложений, а также расширение ассортимента оборудования GPU. Вместе с тем в Рег.ру считают, что технологии TPU и FPGA в настоящее время не находят широкого применения у клиентов.

* * *

Использование облачных GPU дает значительные преимущества по сравнению с приобретением собственных серверов, включая экономию на капитальных затратах, возможность быстрого масштабирования и гибкого управления ресурсами. Клиенты могут адаптировать объем ресурсов к текущим задачам и не беспокоиться о поддержке и обновлении оборудования. Это особенно актуально для временных вычислительных задач. Модель pay-as-you-go позволяет оплачивать ресурсы по мере использования, что помогает эффективно управлять бюджетом.

Среди отраслей, активно использующих GPUaaS, выделяются ритейл, электронная коммерция и финтех. Клиенты в основном задействуют GPUaaS для следующих задач: обучение нейросетей, проектирование и моделирование, монтаж видео, анализ изображений и видеоигры.

Также мы видим, что GPU является основным инструментом для обучения ИИ. Ни один из опрошенных провайдеров не предоставляет решения на базе FPGA, и лишь одна компания предлагает решение на базе TPU. Все провайдеры акцентируют внимание на быстром росте спроса на услуги GPUaaS.

Заслуживает отдельного упоминания различное отношение провайдеров к отказоустойчивости услуг GPUaaS. Одни считают ее важной и прикладывают немалые усилия для ее обеспечения, другие отмечают, что для услуг GPUaaS отказоустойчивость менее критична по сравнению, например, с классическим корпоративным облаком. Здесь помимо очевидного влияния специфики решаемых с помощью GPU задач причина может корениться в различиях используемой вычислительной архитектуры, в том, насколько можно сохранить промежуточные результаты и насколько велики могут оказаться потери в случае незапланированного останова.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!