Алгоритм YATI: новая разработка Яндекса

Алгоритм YATI: новая разработка Яндекса

Одним из продуктов, который был представлен на конференции YaC 2020, стал новый алгоритм YATI. Расшифровка этой аббревиатуры − Yet Another Transformer with Improvements («Ещё один трансформер с улучшениями»).

Специалисты Яндекса подчеркнули, что этот алгоритм является наиболее значимым изменением поиска за последние 10 лет. Разберёмся, что представляет собой указанный продукт и что от него ждать.

YATI: в чём его особенности?

Этот алгоритм создан для того, чтобы выполнять анализ запросов пользователей и онлайн-площадок, которые демонстрируются по ним. Его эффективность выше, чем у предшественников − Палеха и Королёва.

Возвращаясь к Палеху

Указанный алгоритм позволяет сравнивать тексты поисковых запросов и заголовков страниц. Поскольку он не умеет читать статьи, определение релевантности выполняется путём сравнения чисел.

Фактически каждой странице соответствует группа, состоящая из двух чисел. Каждое из них означает конкретную координату на двух осях, а страница − точку на координатной плоскости. Перевод запроса осуществлялся по такому же сценарию: он располагался в той же плоскости вместе со страницей. Чем ближе положение, тем выше соответствие.

Такой сценарий обработки запросов называют семантическим вектором. Его достоинство − возможность определить соответствие поискового запроса конкретной странице даже в том случае, если общих слов у них нет.

Алгоритм достаточно тяжёлый, его применение начинается только на поздних этапах ранжирования, когда остаётся отфильтровать 150 лучших страниц.

Приход Королёва

Затем появился новый алгоритм − Королёв. Архитектура его работы была аналогичной Палеху, однако вектор страниц начал вычисляться раньше, что позволило применять его в отношении большего количества страниц. Порядок следующий:

• вычисление вектора страниц в режиме офлайн и внесение сведений в базу;
• введение пользователем поискового запроса;
• перевод алгоритмом запроса в вектор;
• вычисление релевантности.

Если вычисление вектора страниц не происходит заранее, то применить нейронные сети к большему количеству страниц невозможно, поскольку требуется много времени на выдачу результатов.

Кроме того, Королёв мог сравнивать векторы запросов, введённых только что и ранее. Это дало возможность быстро находить уже известный лучший ответ. Если векторы были расположены рядом друг с другом, то результаты выдачи были схожи.

Необходимость в создании нового алгоритма возникла, поскольку предыдущие разработки хотя и улучшили механизм ранжирования, однако имели ряд недостатков. Среди основных из них следующие:

• учёт порядка слов был неполным;
• всё содержимое страницы описывалось только одним вектором, имеющим ограниченный размер.

В новом трансформере каждая составляющая текста представляется в виде отдельного вектора.

Обучение трансформера выполняется по принципу transfer learning. Его специфика состоит в том, что сначала обеспечивается решение одной задачи, происходит консолидация сведений, а затем полученные данные применяются вновь для решения других задач. Трансформер на ранних этапах получает много информации, которая приходит от пользователей Яндекс.Толоки, происходит предобучение. Потом поступают экспертные сведения в небольших объёмах (предоставляются асессорами Яндекса).

Ещё одна особенность YADI − умение предсказывать клик пользователя. Эта новая метрика будет учитываться в процессе ранжирования.

Как YATI влияет на продвижение?

Указанный алгоритм проводит достаточно глубокий анализ текста, поэтому смысл контента приобретёт большее значение. В ТОП выдачи будут попадать материалы, которые действительно полезны и интересны пользователям.

Чем YATI отличается от BERT?

Специалисты Google ещё в прошлом году анонсировали появление трансформера BERT. Он представляет собой нейронную сеть, созданную для анализа поисковых запросов и контекста. Это значит, что исследуется всё предложение, а не его части.

Исходя из этого, можно сделать вывод, что оба трансформера работают для того, чтобы улучшить понимание смысла пользовательского запроса. YATI пока выглядит сильнее, ведь умеет анализировать ещё и тексты документов, предугадывать клики.

Как понравиться YATI?

В первую очередь нужно понимать, что все предыдущие требования остаются в силе, действующие ранее факторы ранжирования сохраняются. Это значит, что техническая оптимизация, естественные ссылки и т. д. остаются важными. Чтобы YATI был доволен текстами, нужно выполнить следующее:

• поработать над структурой материалов и адекватно использовать ключи;
• создать хороший сниппет за счёт улучшения title и description;
• использовать LSI-фразы;
• сформировать максимально полное семантическое ядро для страниц.

Время на подготовку улучшенных текстов есть, поскольку YATI сначала будет обучаться. Помочь вам в доработке контента готовы специалисты нашей веб-студии.