Скорость индексации сайта исключительно важна при его продвижении. Чем быстрее роботы поисковых систем изучат ресурс и внесут страницы в реестр, тем раньше начнут сказываться эффекты оптимизации и расти позиции в выдаче. Часто этот процесс затягивается, что снижает результативность SEO-работ.
О том, можно ли повлиять на скорость индексации с помощью бесплатного функционала поисковых систем, узнаем из нового кейса агентства поискового продвижения Sape Agency.
О проекте
Команда Sape Agency решила разработать методику ускорения индексации страниц сайта. В случае успеха результативность поисковой оптимизации должна была существенно улучшиться. Проведенные работы давали бы эффект быстрее, кроме того, уменьшилось бы время, необходимое для оценки их эффективности и внесения корректировок.
Однако данная задача осложнялась некоторыми обстоятельствами. За услугами продвижения обращаются клиенты, на сайтах которых используются самые разные CMS, в том числе, самописные. Это создает дополнительные трудности: так, невозможно создать некое готовое решение, которое подойдет для любого ресурса. Требовалось разработать автоматизированный и легко контролируемый инструмент для управления индексацией страниц.
Для тестирования скорости попадания новых страниц в индекс поисковой системы Яндекс был выбран продвигаемый сайт, который проходил «процедуру» переезда на другую CMS: с устаревшей версии Joomla на новую версию WordPress. На начало эксперимента поисковику были известны 66 страниц данного ресурса.
В процессе переезда произошла смена структуры URL страниц, поэтому было принято решение повлиять на скорость индексации – для этого команда воспользовалась технологией IndexNow. Важно отметить, что Google пока не поддерживает данную технологию, поэтому ее эффективность проверялась исключительно в Яндексе.
IndexNow для поисковой оптимизации
IndexNow – это протокол, посредством которого можно мгновенно сообщить поисковым системам об изменениях на сайте. При создании, обновлении или удалении новых страниц он позволяет быстрее отразить эти изменения в результатах поиска. Таким способом можно отправить на индексацию до 10000 URL за раз.
IndexNow предлагается на условиях лицензии Attribution-ShareAlike Creative Commons License и пользуется поддержкой Microsoft Bing, Seznam.cz, Яндекс. В качестве альтернативы можно использовать Яндекс Вебмастер (инструмент «Переобход страниц») или Google Search Console (функция «Запросить индексирование»). Однако эти варианты уступают IndexNow, поскольку ограничены в числе URL, которые можно одновременно отправить на переиндексацию. Также можно использовать XML-карту сайта, однако у многих ресурсов она не поддерживается в актуальном состоянии.
Работа с IndexNow
Для начала работ необходимо подтвердить права на управление сайтом с помощью специального ключа. Ключ может быть сформирован несколькими способами:
1. Генерация происходит на сайте.
Процесс генерации ключа, который необходимо скопировать в текстовый документ и разместить в корневом каталоге сайта
2. Ключ можно сформировать вручную.
При этом у Яндекса есть ряд требований к ключу, которые необходимо учитывать:
- Кодировка только UTF-8.
- Минимальное количество символов в ключе – 8, максимальное – 128.
- Ключ может содержать символы a-z, A-Z , 0-9, -.
- Файл не должен содержать HTML-разметку.
- Сгенерированный ключ скопируйте в TXT-файл.
- Файл с ключом разместите в корневой директории сайта. Он должен быть доступен по адресу https://domain.ru/ключ..txt.
Каждый поддомен должен быть оснащен собственным ключом – уникальный ключ, подтверждающий право владения сайтом, передается в запросах к API поисковых систем. При этом такой обмен предполагает использование HTTP и JSON запросов.
При работе с инструментом можно воспользоваться следующими способами отправки страниц на переиндексацию в Яндекс:
- Установить соответствующий плагин на сайт. Например, воспользовавшись плагином, рекомендуемым поисковой системой.
- При отправке одного адреса, использовать метод GET.
- Чтобы отправить массово несколько адресов, можно применить метод POST.
По указанным ссылкам также можно ознакомиться с кодами ответов на запросы, чтобы узнать, корректно ли были переданы данные.
Ход работ
Для создания нового инструмента был разработан скрипт, который передает данные в Яндекс и Bing согласно стандартам протокола IndexNow. При этом был реализован простой, но в достаточной мере информативный графический интерфейс. Инструмент Sape Agency IndexNow Tool работает по следующему принципу:
- Готовый файл скрипта размещается в корне сайта.
- При запуске файла в браузере доступен сам инструмент, в поле которого вставляется перечень страниц для индексации.
- После отправки запроса формируется JSON, которые передает данные поисковым системам.
- По каждому из отправленных адресов выводится актуальный статус кода ответа.
При этом предусмотрено логирование действий в модуле, чтобы контролировать выполнимость процесса. Также добавлена возможность сохранения лога.
Интерфейс инструмента
Результаты эксперимента
После начала работы с инструментом индексация обновленных и созданных страниц на продвигаемых сайтах ускорилась более чем на 10%. Это сразу же сказалось и на ключевых показателях эффективности продвижения.
Так, по окончании эксперимента число известных Яндексу страниц сайта, на котором проводилось тестирование, составило 396 (по сравнению с 66 на его начало). Процесс сканирования страниц осуществляется практически мгновенно, в течение 9 минут просканировано 306 страниц из отправленных 418. При этом URL начали появляться в индексе Яндекса в течение 30 минут после отправки.
Частота сканирования сайта до и после использования Sape Agency IndexNow Tool
Также сайт показал положительные результаты по выводу ключевых запросов в топ-10 выдачи Яндекса. На момент старта эксперимента туда попадали 2% запросов, а в конце – уже 15% ключевиков.
Вместе со скоростью индексирования ускорился и процесс поисковой оптимизации
Органический трафик из поисковых систем возрос на 2180%. До применения инструмента он составлял 20 визитов в день, а после вырос до более чем 450 визитов.
Такой бурный рост трафик показал всего за полтора месяца
Итоги
Эксперимент с использованием утилиты на основе протокола IndexNow показывает, что инструмент способен эффективно и достаточно быстро сообщать поисковым системам об изменениях на страницах сайта. Особенно впечатляющие результаты он показывает в случае отправки новых страниц, неизвестных поисковой системе. Итогов сканирования и индексации теперь не нужно ожидать по 2–3 недели, как это происходило ранее. При этом эффект в виде роста трафика и позиций в выдаче становится заметен практически сразу.
Этот пример наглядно иллюстрирует большую пользу, которую можно извлечь из дополнительных возможностей, которые бесплатно предоставляет поисковая система. Создание инструмента Sape Agency IndexNow Tool помогло не только решить проблему со скоростью индексации страниц, но и оказало заметное влияние на общую эффективность SEO.
ВКонтакте
