Rambler's Top100
Все новости Новости компаний
Гузель КУЛИКОВА 23 августа 2017

«Яндекс» запустил новую систему поиска на основе нейронных сетей.

Решение сопоставляет смысл запроса и содержание веб-страницы и позволяет поисковой системе точнее отвечать на запросы пользователей, заявили разработчики.

Новая система поиска названа в честь основоположника отечественной космонавтики Сергея Королева. По словам Александра Сафонова, руководителя службы релевантности и лингвистики «Яндекса», работу в направлении обучения нейронных сетей компания начала с модели DSSM. «Для того чтобы обучить нейронную сеть, нам нужно было показать ей множество положительных и отрицательных примеров. Положительный пример -- это запрос и текст страницы, которые связаны по смыслу, отрицательный -- два текста, не связанных по смыслу. Для обучения новой версии поиска используются поисковая статистика и оценки миллионов людей. Здесь к нам на помощь пришли пользователи, ежедневно они набирают свои запросы и получают ответы. Таким образом, наша машина «учится» на основе этих больших данных (big data)», -- рассказал Александр Сафронов.

«Королёв» использует нейронную сеть, которая анализирует не только заголовок, а всю страницу целиком. Это сложная вычислительная задача, поэтому «Яндекс» определяет суть страницы заранее, на этапе индексирования. Благодаря этому количество страниц, которые поиск сравнивает по смыслу с запросом, выросло со 150 документов до 200 тысяч.

Другая особенность нового алгоритма заключается в том, что он учитывает еще и смысл других запросов, по которым пользователи переходят на ту или иную страницу.

Разработчики отметили, что в помощи пользователей нуждается и Матрикснет (метод машинного обучения, разрабатываемый в «Яндексе»), который строит формулу ранжирования. Для развития системы необходимо, чтобы люди постоянно давали оценку его работе.

«В «Яндексе» уже несколько лет сбором данных для машинного обучения занимаются наши сотрудники, так называемые асессоры. Но чем больше оценок, тем лучше: поэтому мы решили привлечь к этому всех желающих и запустили краудсорсинговую платформу. Здесь вы можете зарегистрироваться как исполнитель, найти интересные задания и выполнить их за вознаграждение. В свою очередь клиенты, которым нужны данные для машинного обучения, могут зарегистрироваться и разместить свои заказы. Платформа получила название «Толока». В деревне была такая традиция, когда люди собирались вместе, чтобы сделать одно большое дело. На нашей платформе за несколько лет ее существования собралось уже больше 1 млн таких исполнителей. Сообща они дали больше 2 млрд оценок, которые пошли на обучение искусственного интеллекта», -- рассказала Ольга Мегорская, руководитель отдела качества обработки данных «Яндекс».

По словам разработчиков новой системы, алгоритмы придумывают разработчики, а учат -- миллионы пользователей «Яндекса». Любой запрос -- это анонимный сигнал, который помогает машине всё лучше понимать людей.

Поделиться:
Заметили неточность или опечатку в тексте? Выделите её мышкой и нажмите: Ctrl + Enter. Спасибо!

Оставить свой комментарий:

Для комментирования необходимо авторизоваться!

Комментарии по материалу

Данный материал еще не комментировался.