Запуск алгоритма Палех от Яндекса: лучший поиск по необычным запросам

Второго ноября Яндекс анонсировал алгоритм, который предполагает использование нейронных сетей для более точного ответа на сложные поисковые запросы.

Какие запросы считать сложными?

Яндекс условно делит все запросы на три большие группы, проводя аналогию с птицей. Почему бы и нет?

Условно говоря, частые, простые запросы – это клюв. К ним относятся слова и выражения, которые пользователи вводят в строку поиска по несколько десятков миллионов раз ежедневно. Это «вконтакте», «рефераты» или «погода».

Среднечастотные запросы – тело птицы, их больше всего.

А вот низкочастотные сложные запросы – единичные случаи в вольной формулировке пользователя. Это и есть длинный «хвост» птицы. Повторный ввод такого запроса – редкое совпадение. Тем не менее, Яндексу приходится анализировать почти 100 миллионов таких запросов ежедневно. И на поиск решения этих пользовательских задач как раз-таки и направлен новый алгоритм.

Почему «Палех»?

Если вдруг IT-технологии интересуют вас больше, чем мировая художественная культура – вкратце о том, почему алгоритм назван именно так. Палех – в прошлом поселок Вязниковского уезда. Поселок издревле славился своими миниатюрами, нарисованными на папье-маше. Частым персонажем этих изображений была жар-птица, хвост которой и ассоциируется в Яндексе с уникальными запросами.

Как работает алгоритм?

Если речь идет о простых, распространенных задачах поиска, Яндекс пользуется анализом поведенческих данных – реакции пользователей, которые зашли на сайт из выдачи по определенному запросу. Если пользователи ушли значит сайт не соответствует требованиям. Остались? Хорошо, значит контент качественный.

Для уникальных запросов таких данных нет, и на помощь приходят самообучающиеся нейронные сети. Они, со временем, могут научиться «понимать» смысловое наполнение страницы и анализировать его на соответствие запросу. Понимание основано на огромной массе примеров соответствия и несоответствия, показанных алгоритму до этого.

Что в итоге?

Яндекс строит большие планы по обучению нейронной сети распознавать смысл наравне с живым человеком. Сейчас же мы имеем обещания увеличить точность выдачи данных по запросам типа «фильм, в котором на одну доску не поместилось два человека» или «посоветуй новые мультики про машинки, которые разбираются» - частый тип запроса от детей, если верить статистике Яндекса.

Если говорить о перспективе использования нейронных сетей, рабочий алгоритм обучения мог бы стать настоящим новшеством в мире информационных технологий. Пока поисковые системы только учатся точно распознавать низкочастотные запросы, но по прежнему борются за естественную выдачу. Именно поэтому создаются подобные алгоритмы. Естественность - современный тренд. Наш сервис следит за последними новинками и развивается вместе с ними.