Яндекс открывает исходный код платформы для работы с большими данными

Например, Поиск строит с помощью YTsaurus поисковый индекс, а беспилотные автомобили используют платформу, чтобы обрабатывать данные о поездках и улучшать свои алгоритмы. YTsaurus управляет суперкомпьютерами Яндекса, распределяя нагрузку так, чтобы их вычислительные мощности использовались наиболее эффективно.

«Яндекс ведёт разработку YTsaurus — или YT, как мы называем её внутри — с 2010 года. Мы начали строить собственную экосистему для больших данных, потому что ни одно из имевшихся на рынке решений не удовлетворяло всем нашим требованиям. Сейчас YTsaurus — один из ключевых элементов внутренней инфраструктуры Яндекса. Над платформой работают десятки разработчиков, и её возможности постоянно расширяются», — говорит руководитель отдела технологий распределённых вычислений Максим Бабенко.

В Яндексе YTsaurus развёрнута на десятках тысяч серверов и обрабатывает экзабайты данных; с ней работает каждый второй сотрудник компании. YTsaurus можно использовать как классическую MapReduce-систему, но при этом она поддерживает и другие популярные подходы к обработке данных — например, у неё есть интеграции с ClickHouse и Apache Spark. 

«Платформа YTsaurus отлично зарекомендовала себя в Яндексе. Теперь мы сделали её доступной и за его пределами. Наибольшую пользу YTsaurus может принести крупным компаниям, которые обрабатывают гигантские объёмы данных на тысячах серверов в условиях постоянно возрастающей нагрузки», — говорит руководитель Yandex Cloud Алексей Башкеев.

Исходный код и документация YTsaurus доступны на GitHub. Код распространяется под лицензией Apache 2.0. Использовать платформу или доработать её под себя может любой желающий.

Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!