• Новости
• Блоги
• Аналитика
• Новости компаний
• В СНГ и в мире
• Анонсы

Скайнет становится ближе

Китай объединяет дата-центры страны в единый пул для обучения моделей искусственного интеллекта.

Для обучения моделей искусственного интеллекта нужны большие вычислительные мощности, и чем больше обрабатываемых данных и чем быстрее идет обработка, тем лучше. В то же время задачи обучения ИИ-моделей неплохо распараллеливаются, что создает предпосылки для одновременного использования не только множества серверов, но и множества дата-центров. По такому пути пошел Китай, официально объявивший о запуске крупнейшего в мире вычислительного пула для задач искусственного интеллекта, на разработку которого в рамках национального научно-технического инфраструктурного проекта в сфере информационных и коммуникационных технологий FNTF (Future Network Test Facility) ушло 10 лет. В настоящее время FNTF охватывает 40 городов, а общая протяженность оптических линий связи превышает 55 тыс. км. Этот подход очень интересен для России: после 2022 г. страна последовательно теряет позиции в списке Top500, включающем самые мощные вычислительные системы мира. 

Если в России основные потребители электроэнергии, в том числе ЦОДы, находятся в западной части страны, а дешевые источники — в восточной, то в Китае наоборот: районы активной экономической деятельности расположены ближе к морю на востоке, а свободные мощности дата-центров — в глубине материка на западе. Но проблема дисбаланса между размещением свободных энергетических мощностей и потребителями общая. 

Новый вычислительный пул идеально подходит для реализации национального китайского проекта East Data West Computing, запущенного в 2022 г. Его цель — перенести работу по обработке данных с загруженного восточного побережья на запад, где больше чистой энергии. Например, мощность расположенных в горах солнечных электростанций провинции Гуйчжоу в 2023 г достигла 15 ГВт.

Источник: Reddit

Горный хребет в китайской провинции Гуйчжоу, покрытый солнечными панелями

Государство активно субсидирует строительство ЦОДов на западе страны, в том числе во Внутренней Монголии, Тибете и Синьцзяне. Но проблемы те же, что у нас в Сибири, — отсутствие достаточного числа местных клиентов, нехватка кадров, большая задержка, критичная для онлайн-сервисов. Поэтому перспективы использования ЦОДов запада связывают с резервным копированием и ИИ.

Основа вычислительного пула — высокоскоростная волоконно-оптическая сеть передачи данных. Причем для связи по сети используется не популярный протокол Ethernet, а специально разработанный, с гарантированной доставкой пакетов.

Во время демонстрации исследователи активировали два параллельных канала между Гуйчжоу и Уханем: детерминированную сеть со скоростью 50 Гбит/с и обычную сеть со скоростью 42 Гбит/с. Когда добавили дополнительный цифровой трафик для имитации перегрузки, в обычной сети скорость упала ниже 1 Гбит/с, в то время как детерминированная сеть стабильно поддерживала полную скорость 50 Гбит/с.

Вычислительный пул шириной 2 тыс. км, сформированный с помощью этой сети, может работать как единый компьютер. «Возможности этой выделенной линии передачи данных имеют революционное значение для сценариев с чрезвычайно высокими требованиями к работе в режиме реального времени, таких как обучение больших моделей ИИ, телемедицина и промышленный интернет», — заявил в интервью Science and Technology Daily член Китайской инженерной академии и генеральный директор проекта Лю Юньцзе.

«Обучение большой модели с сотнями миллиардов параметров требует более 500 тыс. итераций. В нашей детерминированной сети каждая итерация занимает около 16 с. В обычной — более 20 с, что увеличивает весь цикл обучения на несколько месяцев», — отметил эксперт.

Команда проекта разработала 206 международных и национальных стандартов, получила 221 патент на изобретения и создала первую в мире распределенную крупномасштабную сетевую операционную систему.

«Небесная сеть» SkyNet для искусственного интеллекта, описанная в фильме «Терминатор», пока остается фантастикой, а вот «поднебесная» уже становится реальностью.