Алгоритм "Палех" от Яндекс. Искусственный интеллект теперь в поиске

Сейчас пойдет речь о новом алгоритме от Яндекса под названием “Палех”. Если ввести в поиск данное название, то релевантной страницей будет “Палехская миниатюра — народный промысел, развившийся в поселке Палех Вязниковского уезда Владимирской губернии” — цитата из Википедии. Название данного алгоритма неспроста пошло именно от этого искусства. Часто в Палехской миниатюре рисуют Жар-птицу, собственно глядя на которую Яндекс видит свой поиск.

Почему Жар-Птица

Теперь немного подробней. Яндекс поделили свои запросы на три типа первый самые часто запрашиваемые, релевантность ответа на которые уже известна поисковой системе благодаря статистике пользователей. Следующий вид запросов, которые менее запрашиваемые, но уже благодаря пользователям сформировалась некая релевантная выдача. И собственно третий вид запросов, это те, которые могут быть введены совсем один раз за все время и чтобы даже по ним выдавать релевантные страницы Яндекс и выпустили новый алгоритм Палех.
Как вы уже могли понять, Жар-птица тоже делится на три этапа. Клюв — это те запросы которых много и ответ, на которые яндекс знает, туловище — это средней сложности запросы и так как у Жар-птицы огромный хвост он ассоциируется с теми низкочастотными запросами которых очень много.

На чем строится алгоритм Палех

За основу взята нейронная сеть которая помогает Яндексу формировать релевантную выдачу. Задача была сделать так, чтобы низкочастотные запросы стали одинаковыми по смыслу с документами, на которые они отвечают, при этом не иметь общих ключевых слов. Например, вводя в поисковике “фильм где говорили о фейсбуке” он сам понимает что речь идет о “Социальной сети”.

Для нас искусственный интеллект в поиске это уже не новинка, он уже давно используется в поиске картинок. В поисковом индексе большое количество проиндексированных изображений, переведенных в вектор N-мерном пространстве. При вводе запроса, поисковик также переводит ваш запрос в вектор и сравнивает их, чем больше совпадение тем релевантней изображение вашему запросу.
В поиске сейчас происходит точно так же берется запрос и заголовок документа и переводится в векторную форму. Опять же происходит совпадение и чем больше совпадение тем выше данная страница в выдаче.
При этом все нейронная сеть, начинает сортировать выдачу проверяя сама себя и добавляя новые совпадения векторов. И при лучшем совпадении ставит новую релевантность.

Новая поисковая выдача

Совет для продвижения, теперь можно использовать не полный ключевой запрос, а его описательный аналог, который можно найти в поисковых Подсказках. Наверняка в будущем кто-то выпустит методику продвижения по Подсказкам опираясь на Полех.
Яндекс хочет сделать поисковую выдачу качественную для пользователей, но все сложней для веб мастеров. Данные изменения в очередной раз намекают на то что уже нету смысла делать контент на сайте для робота, нужно делать его для людей, иначе скоро поисковик будет “думать” как человек.