Как ускорить индексацию сайта при помощи IndexNow

Артур Зотов

SEO-специалист диджитал-агентства AdvertPro

Или другая ситуация. Сделав выгрузку страниц сайта из Вебмастера, вы можете столкнуться с большим количеством страниц, находящихся в поиске, но которых там быть не должно. Среди них могут быть те, которые отдают 404-й код ответа и являются неактуальными для сайта. Также вы сможете встретить среди них страницы с настроенным 301-м редиректом.

Что в первом, что во втором случае можно было бы сказать: «На индексацию нужно время, давайте подождем, пока поисковый робот обойдет все страницы и проиндексирует их». Но что, если такая ситуация наблюдается несколько месяцев, а стандартные способы индексации не помогают?

Для решения подобных задач мы протестировали IndexNow. Что у нас получилось, читайте в этой статье.

Что такое IndexNow и когда его использовать

IndexNow − это открытый протокол, разработанный для оптимизации процесса индексации веб-страниц поисковыми системами. Этот инструмент позволяет владельцам сайтов мгновенно информировать поисковые системы об изменениях на своих ресурсах, что значительно ускоряет процесс обновления поисковой выдачи.

Особенно эффективно его использование в следующих случаях:

1. При работе с большими сайтами с сотнями или тысячами страниц:

• При массовом обновлении контента (например, изменение описаний товаров во всем каталоге).
• Для быстрого информирования о новых 301-редиректах.
• При удалении большого количества страниц, чтобы избежать появления «мертвых» ссылок в выдаче.

2. Для обновления информации о сайтах с поддоменами:

• Для уведомления поисковых систем о появлении новых поддоменов.
• Для улучшения индексации контента на поддоменах.

3. В работе с динамическими сайтами с частыми обновлениями:

• Новостные порталы, блоги с высокой частотой публикаций.
• Интернет-магазины с регулярным обновлением ассортимента.

4. После крупных технических изменений:

• После миграции сайта на новый домен или CMS.
• При существенном изменении структуры URL.

Использование IndexNow в этих случаях позволяет значительно оптимизировать процесс индексации, улучшить видимость сайта в поисковых системах и более эффективно управлять своим присутствием в сети.

Популярность инструмента

IndexNow пока еще не получил повсеместного распространения среди владельцев сайтов и SEO-специалистов. Это связано с несколькими факторами:

1. Многие SEO-специалисты и владельцы сайтов могут испытывать опасение перед терминами «протокол» и «API», полагая, что работа с IndexNow требует глубоких технических знаний.
2. Не все специалисты в области интернет-маркетинга знают о существовании IndexNow и его преимуществах.
3. Многие продолжают использовать традиционные методы управления индексацией, такие как XML-карты сайта и ручная отправка URL через панели вебмастеров (например, «Переобход страниц» в Яндекс Вебмастер) просто потому, что привыкли к этим методам.

Важно отметить, что использование IndexNow не требует отказа от других методов управления индексацией. Его можно и нужно использовать в комплексе с другими SEO-инструментами для достижения наилучших результатов.

Какие страницы отправлять на индексацию

При работе с IndexNow важно понимать, какие именно страницы следует отправлять на индексацию. Это не только поможет вам оптимизировать процесс, но и решит ряд проблем, связанных с видимостью сайта в поисковых системах.

1. Страницы из структуры сайта: в первую очередь на индексацию стоит отправлять все страницы, которые являются частью основной структуры сайта: главную страницу, разделы категорий, страницы товаров или услуг, информационные разделы и т.д.
2. Страницы, отсутствующие в структуре, но находящиеся в индексе. Здесь есть важный нюанс, о котором часто забывают даже опытные SEO-специалисты. Иногда в поисковой выдаче могут присутствовать страницы, которых уже нет на сайте или которые не включены в основную структуру. Это могут быть устаревшие страницы товаров, архивные новости или страницы, созданные автоматически системой управления контентом.

Для эффективного управления индексацией недостаточно просто отправить все страницы сайта, обнаруженные при парсинге сайта. Необходимо также учитывать те URL-адреса, которые уже находятся в поисковой выдаче, даже если их нет на сайте.

Представим, что интернет-магазин удалил 1000 товаров. В некоторых случаях даже спустя несколько месяцев эти страницы все еще могут отображаться в поисковой выдаче, создавая проблемы для пользователей и негативно влияя на SEO-продвижение. В таком случае целесообразно использовать IndexNow для информирования поисковых систем об удалении этих страниц.

Таким образом, при работе с IndexNow следует:

• Отправлять все актуальные страницы, обнаруженные при парсинге.
• Проверять и отправлять информацию о страницах, которые есть в поисковой выдаче, но отсутствуют на сайте.

Такой комплексный подход позволяет более эффективно управлять индексацией и улучшать общее состояние сайта в поисковых системах.

Как пользоваться инструментом IndexNow

Для использования IndexNow требуется выполнить несколько простых шагов:

1. Сгенерировать уникальный ключ API.
2. Файл с ключом разместить на сайте;
3. Сформировать список URL и отправить его в Яндекс через API или плагины CMS.

Подробнее о настройке можно прочитать в документации Яндекс.

Сравнение «Переобход страниц» Яндекс Вебмастера и IndexNow

«Переобход страниц» в Яндекс Вебмастере и IndexNow предназначены для управления индексацией сайта, но имеют ряд существенных отличий:

Выбор между этими инструментами зависит от конкретных задач и масштаба сайта. Для небольших сайтов «Переобход страниц» может быть достаточным. Для крупных и динамичных сайтов IndexNow предоставляет более широкие возможности и эффективность.

Как работает IndexNow

Мы протестировали работу IndexNow для нескольких проектов с разными задачами.

1. Использование IndexNow для удаления страниц из поисковых систем

Исходные данные

Сайт в мебельной тематике, насчитывает порядка 3000 страниц. После вывода товаров без мультикатегории предыдущим подрядчиком в индексе осталось 1500 страниц дублей, которые уходили из поисковой выдачи очень медленно (3-5 адресов за сутки либо вообще не уходили).

Что мы сделали:

• выгрузили все страницы из Вебмастера;
• составили техническое задание на отправку всех страниц через IndexNow;
• реализовали техническое задание 20 марта 2024.

Результат: минус 1201 страниц из поисковой выдачи к 26 марта.

Вывод: использование инструмента позволило очистить поисковую выдачу от мусорных страниц меньше чем за неделю.

2. Улучшение индексации доменов через IndexNow

Исходные данные

Два сайта в разных тематиках: строительство модульных домов и изделия из искусственного камня.

Проблема: сайты насчитывают несколько поддоменов, по каждому из них страниц в индексе намного меньше, чем на основном домене.

Задача: увеличить количество индексируемых страниц по поддоменам.

Что сделали:

• выгрузили все страницы, найденные парсером;
• составили техническое задание на отправку всех страниц через IndexNow;
• реализовали техническое задание 20 марта 2023.

Результат: показатели по количеству добавленных страниц спустя две недели после реализации ТЗ

Сайт по строительству модульных домов: +53 страницы в поисковой выдаче.

Сайт по производству изделий из искусственного камня: +136 страниц в поисковой выдаче.

Вывод: использование инструмента позволило увеличить количество индексируемых страниц в поисковой выдаче по поддоменам.

Основные преимущества использования IndexNow:

1. Скорость. IndexNow мгновенно уведомляет поисковые системы об изменениях на сайте.
2. Эффективность. Вы сможете точечно управлять индексацией конкретных страниц.
3. Универсальность. Протокол поддерживается несколькими крупными поисковыми системами.
4. Автоматизация. Можно интегрировать IndexNow в различные CMS и рабочие процессы.

Важно помнить, что IndexNow − это не волшебное решение всех SEO-проблем, а лишь один из инструментов в арсенале веб-мастера и SEO-специалиста. Его эффективность напрямую зависит от правильного использования и сочетания с другими методами оптимизации.

Для максимальной эффективности использования IndexNow мы рекомендуем:

1. Регулярно обновлять контент сайта, поддерживая его актуальность и качество.
2. Использовать IndexNow в комплексе с другими SEO-практиками.
3. Внимательно следить за изменениями в алгоритмах поисковых систем и адаптировать свою стратегию соответственно.
4. Анализировать результаты использования IndexNow и корректировать подход при необходимости.

IndexNow позволяет сделать значительный шаг вперед в управлении индексацией сайтов. Этот инструмент особенно ценен для крупных и динамичных веб-ресурсов, где быстрое отражение изменений в поисковой выдаче критически важно для успеха.

Заключение

Используя IndexNow грамотно и систематически, владельцы сайтов и SEO-специалисты могут существенно улучшить видимость своих ресурсов в поисковых системах, обеспечивая более быстрое и точное отображение актуальной информации для пользователей. Это, в свою очередь, способствует улучшению пользовательского опыта и потенциально ведет к повышению позиций сайта в поисковой выдаче, что особенно важно в современном динамичном интернет-пространстве.