Анализ выдачи Яндекса: шторм и изменение логики апдейтов впервые за 8 лет

В последние несколько недель SEO-специалисты замечают сильный шторм в выдаче Яндекса.

Похоже, Яндекс изменил логику апдейтов. Исчезло классическое разделение индекса на новостной (80 часов ≈ 3 дня) и основной. Так считает Дмитрий Севальнев, совладелец и руководитель отдела SEO и рекламы «Пиксель Плюс».

 Дмитрий Севальнев,
 «Пиксель Плюс»

Все SEO-специалисты знают, что апдейты в Яндексе случаются 1 раз в 3-4 дня и поисковая система «порциями» выкладывает новые документы в свою базу данных. А еще есть новостной бот, его называют «быстробот», он отвечает за индексацию свежих результатов. По крайней мере, именно так было «всегда», а новостной бот появился еще в далеком 2012 году.

Что изменилось?

Похоже, что больше нет классического разделения индекса на новостной (80 часов ≈ 3 дня) и основной, говорит Дмитрий. Типичный путь нового URL, который был проиндексирован быстроботом Яндекса, был таким:

А типичный апдейт Яндекса с разбивкой документов на дату индексации выглядел следующим образом:

На скриншоте оранжевым прямоугольником выделены документы, которые относятся к новостной базе, далее идет «пропасть» в 1-3 дня. Документы, проиндексированные в эти даты, Яндексу как бы неизвестны.

Далее видно, что начиная с 28 декабря, идут документы, которые уже находятся в основном индексе поисковой системы.

Стоит также обратить внимание и на размер баз: новостная совсем «небольшая» – десятки или сотни тысяч страниц за сутки, а основная – десятки миллионов URL, отмечает Дмитрий.

На текущий момент (IV квартал 2020) ситуация кардинально изменилась:

1. Больше нет «склейки» из нескольких дат с нулевым числом проиндексированных документов.
2. Количество URL, по которым осуществляется поиск за последние 3-5 дней, соизмеримо по количеству с другими датами – десятки миллионов.

Зачем внесены изменения?

Архитектура базы данных Яндекса была устаревшей относительно Google, который уже давно может включать URL в индекс по запросу, не дожидаясь текстового апдейта.

Это свойство базы данных Google получило название «непрерывный индекс». Фактически, новые документы просто дописывались в основную базу без дополнительной процедуры апдейта.

В беседах с представителями Яндекса проскакивала мысль, что этот успех важно повторить, но это крайне сложная инженерная задача. Если она была успешно решена, то мы поздравляем коллег!

В конечном счете, данный подход позволит Яндексу повысить качество поиска за счет более быстрой индексации новых документов и отсутствия «пустого окна дат» (см. выше)», – говорит Дмитрий.

Быстрый поиск новостных результатов

В мае 2020 года SEO-эксперт Сергей Людкевич предложил способ «быстрого определения быстроботовской примеси». В частности, в мае 2020 новостные результаты проходили кворум даже по запросам со словами, которые полностью отсутствовали на странице, что говорило об особенном статусе этих документов.

«На момент написания новости указанное выше свойство у недавно проиндексированных документах – уже отсутствует. Что также указывает на сильные изменения, которые произошли в Яндексе», – утверждает Дмитрий.

Но исключить новостные результаты из ТОПа все же возможно – используя оператор «date» с указанием даты, например, на 3-7 дней ранее текущей.

Как это использовать специалистам?

Изменение не сильно коснется тех, кто ранее никогда не испытывал сложностей с индексацией своего сайт. Корректировки архитектуры БД могут быть крайне важны тем, кто:

• работает с новостными проектами и привлекает трафик по событийным запросам;
• устраняет сложности с индексацией крупных проектов.

Текущий перманентный шторм в Яндексе

Дмитрий не исключает, что текущий постоянный шторм в выдаче Яндекса связан, в том числе, и с новой архитектурой, а не только массовым применением алгоритма «Многоруких бандитов», который, в свою очередь, может использоваться и для поиска накрутчиков поведенческих метрик и применения нового фильтра.

Напомним, предыдущие сильные колебания в выдаче Яндекса были замечены в апреле и в июле. Весной шторм примерно в равной степени коснулся как информационных, так и коммерческих запросов (отдельные выборки), что вероятно свидетельствовало об изменении всей формулы целиком.

Летнее изменение выдачи представители Яндекса объяснили тем, что это связано с работой обновленного алгоритма по определению релевантности.

Отметим, что изменения Яндекса и других поисковых систем будут обсуждаться 18 ноября 2020 в секции «Тренды поискового маркетинга 2021» на конференции Optimization.

Источник: Апдейты Яндекса в Пиксель Тулс.