Рубрикатор |
Статьи |
Илья БЕДЕРДИНОВ  Федор ПОПКО  | 19 ноября 2024 |
GPUaaS: что предлагают российские провайдеры
Рынок GPU as a Service в России стремительно развивается, что соответствует глобальным тенденциям и отражает растущий интерес к облачным вычислениям в целом.
В 2023 г. объем мирового рынка GPU as a Service (GPUaaS) аналитики Global Market Insights оценили в $6,4 млрд. Они ожидают, что в период с 2024 по 2032 гг. этот рынок будет расти более чем на 30% в год (рис. 1).
Рис. 1. Мировой рынок GPUaaS
Согласно данным Европейской комиссии, в 2023 г. облачными сервисами воспользовались более 45% компаний в ЕС. По сравнению с 2021 г. этот показатель увеличился на 4,2%. GPUaaS хорошо вписывается в эту динамику, обеспечивая компаниям возможность доступа к вычислительным ресурсам без необходимости покупки и эксплуатации дорогостоящего оборудования.
Российские провайдеры также в полной мере осознают высокий потенциал сегмента облачных вычислений с использованием графических процессоров. В условиях растущего спроса на вычислительные ресурсы для обработки больших объемов данных – от финансового анализа до научных исследований – GPUaaS становится ключевым сервисом на рынке ИТ-услуг. Предоставление услуг на базе GPU позволяет облачным провайдерам расширять ассортимент сервисов в области ИИ и привлекать новых клиентов.
По нашим оценкам, в РФ облачные сервисы на базе GPU уже предлагают больше полутора десятков провайдеров, и этот список постоянно увеличивается. Большинство из них предоставили данные для нашего обзора.
Beeline Cloud
Компания предлагает услуги IaaS с поддержкой GPU на основе собственной инфраструктуры. На данный момент доля GPUaaS в общем объеме ее выручки невелика, однако Beeline Cloud рассматривает эту услугу как стратегически важную для дальнейшего роста. В своих решениях этот провайдер использует графические процессоры Nvidia. Его представители заявляют, что отказоустойчивость обеспечивается с помощью кластеров с высокой доступностью, проактивного мониторинга и резервирования необходимых ресурсов сетевой инфраструктуры.
В ближайшее время Beeline Cloud планирует запуск услуг, связанных с MLOps (Machine Learning Operations), для оптимизации разработки и внедрения решений на базе искусственного интеллекта.
GPUdc
Компания предлагает услуги аренды серверов с GPU в рамках облачного сервиса GPUaaS, используя собственный мобильный ЦОД. Эти услуги для GPUdc являются основными, на них приходится значительная доля ее общей выручки.
Рис. 2. Скриншот с ценами с сайта GPUdc (21.10.24)
Для предоставления услуг GPUdc использует такие GPU, как Tesla P100, Tesla V100 и RTX 3070/3090. Предлагается поминутная оплата, при этом пользователь может завершать аренду с сохранением состояния и в будущем продолжить работу на другом сервере.
Компания активно работает над отказоустойчивостью своих услуг, что, как отмечают ее представители, важно для клиентов, использующих GPUaaS для непрерывного запуска нейросетей в режиме 24/7. В таких случаях применяются стандартные схемы обеспечения надежности, включая два независимых ввода электропитания, ИБП и резервирование сетевого оборудования.
Вместе с тем представители компания утверждают, что для большинства клиентов, использующих услуги GPUaaS для обучения нейросетей, проектирования, монтажа видео и игр, максимальная отказоустойчивость не столь принципиальна. В этих случаях запланированные отключения сервиса вполне допустимы, они позволяют снизить стоимость предоставляемых услуг. Соответствующие предложения компании привлекательны для клиентов, которым важна экономия средств.
В планах компании – развитие сервиса в регионах, так как удобство работы с облаком напрямую зависит от расстояния до серверов.
HPC Park
Используемая компанией платформа функционирует в дата-центре с дублированными каналами связи и бесперебойным питанием (собственный ЦОД расположен в Москве около метро «Южная»). Пользователи GPUaaS имеют возможность через личный кабинет создавать инфраструктуру из имеющегося пула ресурсов, включая ускорители GPU, сетевое хранилище и преднастроенное программное окружение. В настоящее время доступны серверы с GPU Nvidia Tesla H100 и A100, а также «дробные» части этих ускорителей для менее ресурсоемких задач.
Рис. 3. Снимки экрана с ценами с сайта компании HPC Park (20.10.24)
Тарифы варьируются от помесячной до поминутной оплаты. Стоимость аренды сервера с Nvidia Tesla H100 (на данный момент это одна из самых дорогих и мощных GPU на рынке) обойдется в 10,08 руб. за минуту или 290 тыс. руб. за 30 дней.
Цены на GPUaaS формируются с учетом стоимости дорогостоящего оборудования, включая GPU, а также повышенного потребления электроэнергии, затрат на отвод тепла и разработку платформы. Эти факторы существенно влияют на конечную стоимость предлагаемых услуг. Вместе с тем компания дает клиентам возможность бесплатно протестировать сервис и определить необходимый объем ресурсов для решения конкретных задач. Базовые сроки тестирования могут достигать одного месяца.
В последнее время компания отмечает рост потребления сервисов с GPU в сфере медиа и развлечений. Клиенты используют нейросети (LLM) для генерации текста, изображений и видео. Кроме того, увеличивается спрос на VDI-сервисы на базе GPU в контексте импортозамещения ПО класса CAD/CAE. Доля выручки от GPUaaS постоянно растет, что делает это направление стратегически важным для компании. В настоящее время HPC Park работает над улучшением платформы для применения идей MLOps, включая внедрение управляемых средств Kubernetes и совершенствование внешнего API.
Успешные проекты включают использование мощностей HPC Park студией Артемия Лебедева для обучения нейросети ironov.ai, а также проекты в агросфере и медицине. Кроме того, компания внедряет решения на базе компьютерного зрения для анализа данных в промышленности и разрабатывает проекты в сфере спорта.
immers.cloud
Компания предлагает услуги GPUaaS на базе собственного ЦОДа в Москве, использующего погружное (иммерсионное) охлаждение. Услуги аренды GPU-серверов приносят immers.cloud значительную долю выручки – до 90%, что говорит об их стратегической важности для бизнеса.
Рис. 4. Система погружного охлаждения в ЦОДе immers.cloud
immers.cloud предлагает разнообразные серверы с GPU, включая H200, B200, H100, A100 и другие модели от Nvidia, такие как RTX 4090 и 3090. Тарифы на аренду GPU основаны на посекундной тарификации. Также есть скидки до 50% на долгосрочную аренду.
Рис. 5. Скриншот c ценами с сайта immers.cloud (16.10.2024)
Хотя, как отмечают в компании, отказоустойчивость менее критична для услуг GPUaaS по сравнению с классическим корпоративным облаком, immers.cloud применяет ряд мер для повышения надежности. Это, в частности, резервирование электропитания с помощью ИБП и дизель-генераторов, резервирование охлаждения и репликация данных клиентов.
Клиенты компании используют GPUaaS для решения различных задач, таких как обучение и инференс нейросетей, стриминг, сегментация и классификация объектов на видеопотоках.
ITGLOBAL.COM
Инфраструктура, используемая ITGLOBAL.COM, представляет собой разновидность публичного облака на платформе VMware. На данный момент услуги c GPU составляют около 15% общей выручки компании, и она активно инвестирует в развитие этого направления. Для предоставления услуг ITGLOBAL.COM задействует разные модели графических ускорителей Nvidia, включая HGX H100 на архитектуре Superpod, A800, L40s и A16.
Одна из ключевых характеристик услуг GPUaaS, по словам представителей компании, – высокий уровень доступности и отказоустойчивости. Он достигается благодаря комплексным мерам, в частности исключению единой точки отказа: при выходе какого-либо оборудования из строя происходит автоматическое переключение на дублирующий элемент инфраструктуры, что позволяет конечным пользователям продолжать работать в привычном режиме. Технологии виртуализации и кластеризации обеспечивают распределение нагрузки и отказоустойчивость на уровне ПО.
Представители компании заявляют, что отказоустойчивость особенно важна для GPUaaS, так как вычисления часто используются для задач, требующих значительных ресурсов, например, для машинного обучения и рендеринга. В случае сбоя большое количество вычислительных ресурсов окажется потраченным впустую, что может привести к значительным финансовым потерям для компаний.
Цена услуг складывается из стоимости аренды вычислительных мощностей (CPU, RAM), аренды конфигурации vGPU с лицензией Nvidia AI Enterprise и стоимости дискового хранения. Поддержка виртуализации vGPU, которая позволяет эффективно распределять ресурсы одного физического GPU между несколькими виртуальными машинами, помогает снизить затраты и повысить гибкость конфигурации. Лицензия Nvidia AI Enterprise предоставляет полный набор инструментов для разработки ИИ, совместимость с виртуальными и облачными платформами, а также техническую поддержку и обновления. Клиенты также могут воспользоваться дополнительными услугами, такими как резервное копирование, расширение полосы интернет-канала и система хранения S3.
В планах ITGLOBAL.COM – развитие услуг GPUaaS в нескольких направлениях: инвестиции в новые высокопроизводительные серверы и графические процессоры; географическое расширение для улучшения доступности и снижения задержек; развитие партнерских отношений для интеграции и расширения возможностей.
K2 Cloud
Компания K2 Cloud предлагает услуги серверов с GPU как в формате публичного облака, так и в формате HaaS, располагая собственной инфраструктурой для их предоставления. Данная услуга стратегически важна для K2 Cloud, так как она создает возможности для привлечения новых клиентов и ускорения роста компании. В арсенале K2 Cloud имеются серверы с GPU Nvidia A100 и T4, в скором времени планируется добавление H100.
Источник: Nvidia
Рис. 6. Сравнение GPU А100 и Н100
Цены на услуги с GPU строятся по аналогии с классическими сервисами IaaS: базовая тарификация учитывает использование CPU, RAM и дискового пространства, а стоимость использования GPU добавляется отдельно.
Для повышения отказоустойчивости своих услуг с GPU K2 Cloud практикует дублирование оборудования и использование кластеров. Это позволяет перераспределять нагрузку и быстро восстанавливать работу в случае сбоев с помощью резервного оборудования. Клиенты K2 Cloud задействуют GPUaaS для различных задач, включая создание внутренних баз на основе генеративных моделей, разработку ИИ-агентов, например, чат-ботов, а также в решениях для документооборота.
МТS Web Services
Компания предоставляет услуги GPUaaS на базе собственной геораспределенной сети ЦОДов с 15 зонами доступности. Основные клиенты – крупные и средние предприятия, исследовательские институты, использующие GPU для анализа больших данных, прогнозирования, тестирования новых продуктов, работы с изображениями и видео, а также для биологических и медицинских исследований. На момент сбора информации для обзора (осень 2024 г.) доля услуг GPUaaS составляла 5% общей выручки компании, однако MWS видит значительный потенциал для роста этого сегмента, который ежегодно увеличивается на 40%.
Клиенты компании могут выбирать из широкого спектра конфигураций на базе серверов с GPU и TPU с возможностью расширения инфраструктуры в пиковые нагрузки, что позволяет оптимально подбирать ресурсы в зависимости от параметров задач. Для обеспечения отказоустойчивости могут задействоваться резервные площадки. До конца 2024 г. на базе GPU-инфраструктуры планируется развернуть платформу для разработки, обучения и развертывания ML-моделей, готовые ИИ-модели для разных индустрий и направлений, доступные по API, и ИИ-сервисы по модели SaaS.
Oxygen
Компания предлагает услуги GPUaaS на базе собственных дата-центров, предоставляя серверы с графическими картами Nvidia различных моделей, преимущественно A100. На одну виртуальную машину можно использовать до четырех карт GPU. Кластер GPU интегрирован в публичное облако и может работать совместно с другими нагрузками.
Для обеспечения отказоустойчивости Oxygen реализует различные механизмы. При использовании профилей GPU возможно выделение части карты для виртуальной машины, что повышает устойчивость к сбоям. В обычном режиме отказоустойчивость облака также поддерживается за счет перераспределения нагрузки на другие хосты виртуализации.
Oxygen заявляет, что спрос на эти услуги демонстрирует значительный рост – до 20–30% в год. Основные заказчики – компании из сфер электронной коммерции и финтеха, а также разработчики ПО. Доля услуг GPUaaS в общей выручке Oxygen составляет около 3–4%. Хотя в настоящее время это сопутствующий продукт, он имеет все шансы стать стратегическим важным. В планах Oxygen – дальнейшее развитие направления, включая увеличение размера кластера с GPU.
Selectel
Провайдер предоставляет как выделенные, так и облачные серверы с GPU, а также большой запас видеокарт, модельный ряд которых регулярно обновляется. Это позволяет выбрать оптимальную модель для конкретных задач. Для повышения эффективности работы с GPU клиентам предлагаются технологии Multi-Instance GPU и Time Slicing (режим разделения времени) и возможность объединения GPU через высокоскоростную шину NVLink.
Selectel располагает шестью собственными дата-центрами уровня Tier III, расположенными в Москве, Санкт-Петербурге и Ленинградской области, а также партнерским дата-центром в Новосибирске. При аренде серверов клиенты могут выбирать город расположения своих ресурсов, что улучшает гибкость и доступность услуг.
В дополнение к серверным мощностям с GPU Selectel предоставляет набор инструментов и решений для ускорения работы с задачами в области искусственного интеллекта и машинного обучения. В ML-инфраструктуру для входят готовые образы для машинного обучения и анализа данных, кластеры Managed Kubernetes с GPU, работающие по принципу изоляции и автоматизации экспериментов, а также собственная платформа для обучения ML-моделей.
Источник: Nvidia
Рис. 7. Nvidia H100
В случае использования выделенного сервера с GPU все его ресурсы принадлежат клиенту, включая возможность использования видеокарт в облаке как выделенных PCI-устройств. Цены на услуги с GPU зависят от выбранной конфигурации сервера и срока аренды. Возможна посуточная или помесячная оплата. При аренде на срок от трех месяцев действует прогрессивная система скидок. Также доступна аренда облачных серверов с GPU с экономией до 80% за счет использования прерываемых серверов и функции заморозки ресурсов.
В дополнение к вычислениям на GPU, Selectel предлагает услуги сетевого файлового хранилища и S3, которые помогают клиентам эффективно сохранять результаты рендеринга и обмениваться данными между GPU-серверами и остальной инфраструктурой. Это решение актуально для компаний, использующих GPUaaS, поскольку позволяет обеспечивать надежное резервирование и доступность данных.
По словам представителей Selectel, спрос на GPU-услуги растет, компания рассматривает их как стратегически важное направление и планирует развивать. В ближайшем будущем Selectel намерена увеличить емкость облака, добавляя карты A100 80Gb и H100, что вызвано возросшим интересом крупных заказчиков. Также в планах – создание HPC-кластеров, которые позволят выполнять сложные вычисления одновременно на нескольких высокопроизводительных GPU-серверах, объединенных высокоскоростной сетью Infiniband.
«Онланта»
Компания «Онланта»
предлагает услуги по предоставлению серверов с GPU в формате GPUaaS на
базе собственной инфраструктуры, построенной с учетом избыточности и
расположенной в дата-центрах уровня Tier III. Это позволяет
гарантировать доступность сервиса на уровне 99,95%, что критически важно
как для компании, так и для клиентов, учитывая высокие затраты на ИИ и
возможные последствия простоев.
В настоящее
время услуги GPU приносят около 10% общей выручки компании, и эта доля
постепенно увеличивается. Клиентам доступны серверы с
высокопроизводительными GPU, такими как Nvidia H100, для обучения
моделей и A30 для инференс-вычислений. Ценовая структура услуг с GPU
предполагает помесячную оплату за виртуальные серверы с подключенной
GPU-картой.
Клиенты компании «Онланта» используют GPUaaS
для задач, связанных с рекомендательными системами, аналитикой и
другими решениями, требующими значительных вычислительных ресурсов. В
будущем компания планирует увеличивать мощности для удовлетворения
растущих потребностей рынка и разрабатывать собственные продукты на базе
искусственного интеллекта.
Рег.ру
Компания известна как поставщик физической инфраструктуры с GPU для частных облачных инсталляций (с возможностью установки оборудования на площадке клиентов), а недавно запустила и услугу GPUaaS. В число доступных для клиентов графических процессоров входят модели от Nvidia, включая RTX 2080, 3080, A4000, A5000 и Tesla A100, а также A40. Используемые Рег.ру серверы позволяют установить до четырех GPU для повышения производительности. Решения GPU могут быть интегрированы с другими продуктами, предлагаемыми компанией.
Рис. 8. Скриншот с ценами с сайта Рег.ру (20.10. 24)
Клиенты компании передают на ее серверы с GPU задачи, связанные с дискретной обработкой массивов данных (например, в области машинного обучения) и потоковой обработкой данных (где важна отказоустойчивость, как в случае с голосовыми помощниками и чат-ботами).
Сегодня доля выручки от решений с GPU составляет около 5,4%, однако рост спроса на услуги GPUaaS компания оценивает в сотни процентов по сравнению с 2023 г., поэтому делает стратегические инвестиции в это направление. В ближайших планах компании – запуск ML-платформы как сервиса для клиентских приложений, а также расширение ассортимента оборудования GPU. Вместе с тем в Рег.ру считают, что технологии TPU и FPGA в настоящее время не находят широкого применения у клиентов.
* * *
Использование облачных GPU дает значительные преимущества по сравнению с приобретением собственных серверов, включая экономию на капитальных затратах, возможность быстрого масштабирования и гибкого управления ресурсами. Клиенты могут адаптировать объем ресурсов к текущим задачам и не беспокоиться о поддержке и обновлении оборудования. Это особенно актуально для временных вычислительных задач. Модель pay-as-you-go позволяет оплачивать ресурсы по мере использования, что помогает эффективно управлять бюджетом.
Среди отраслей, активно использующих GPUaaS, выделяются ритейл, электронная коммерция и финтех. Клиенты в основном задействуют GPUaaS для следующих задач: обучение нейросетей, проектирование и моделирование, монтаж видео, анализ изображений и видеоигры.
Также мы видим, что GPU является основным инструментом для обучения ИИ. Ни один из опрошенных провайдеров не предоставляет решения на базе FPGA, и лишь одна компания предлагает решение на базе TPU. Все провайдеры акцентируют внимание на быстром росте спроса на услуги GPUaaS.
Заслуживает отдельного упоминания различное отношение провайдеров к отказоустойчивости услуг GPUaaS. Одни считают ее важной и прикладывают немалые усилия для ее обеспечения, другие отмечают, что для услуг GPUaaS отказоустойчивость менее критична по сравнению, например, с классическим корпоративным облаком. Здесь помимо очевидного влияния специфики решаемых с помощью GPU задач причина может корениться в различиях используемой вычислительной архитектуры, в том, насколько можно сохранить промежуточные результаты и насколько велики могут оказаться потери в случае незапланированного
останова.
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!