Google опубликовал руководство по управлению краулинговым бюджетом

В Справке Google появилось расширенное руководство по управлению лимитом на сканирование для владельцев крупных сайтов.

Это руководство предназначено для владельцев очень больших сайтов (более 1 млн уникальных страниц) с достаточно часто (раз в неделю) меняющимся контентом, а также средних или больших сайтов (более 10 тыс. уникальных страниц) с очень часто (ежедневно) меняющимся контентом.

Лимит на сканирование сайта зависит от двух основных факторов: скорости сканирования и потребности в сканировании.

Увеличить лимит на сканирование можно только двумя способами: выделив дополнительные ресурсы сервера для сканирования или (что гораздо важнее) повысив ценность контента, размещенного на сайте, для пользователей Google Поиска.

Рекомендации для повышения эффективности сканирования:

• Закрывать от сканирования дублирующиеся URL, чтобы робот это время потратил на обнаружение более ценных страниц.
• Удалить страницы с идентичным контентом.
• Заблокировать сканирование URL, которые не нужно индексировать с помощью файла robots.txt или инструмента "Параметры URL".
• Не использовать тег noindex. А также не использовать файл robots.txt, чтобы временно увеличить лимит на сканирование для других страниц. Лимит на сканирование не будет перераспределен в пользу других страниц, пока он не будет исчерпан.
• Возвращать код ошибки 404 или 410 для окончательно удаленных страниц.
• Устранить ложные ошибки 404.
• Вовремя обновлять файлы Sitemap.
• Избегать длинных цепочек переадресации. Они создают проблемы при сканировании.
• Оптимизировать страницы для ускорения их загрузки.
• Проверять, как сканируется сайт.

Более подробная информация в полной версии руководства. 

Это руководство не нужно читать, если у владельца сайта нет большого количества часто обновляемых страниц или если страницы сканируются в течение суток после публикации. Достаточно вовремя обновлять файлы Sitemap и проверять отчет об индексировании.

Если на сайте есть контент, который не индексировался в течение продолжительного времени, чтобы выяснить причины, воспользуйтесь инструментом проверки URL.

Источник: Справка Search Console