Google не рекомендует уменьшать частоту сканирования сайта 4хх статус-кодом

Google не рекомендует использовать код статуса 404 и другие 4хх для уменьшения частоты сканирования сайта роботом Google.

В последние несколько месяцев мы наблюдаем всплеск среди владельцев сайтов, которые пытаются использовать код 404 и другие 4xx для снижения частоты сканирования сайта роботом Google. Пожалуйста, не делайте так. Лучше прочтите нашу документацию по этому вопросу и следуйте рекомендациям.

Роботы Googlebot игнорируют любой контент, получаемый с URL, которые возвращают код статуса 4xx, и не индексируют такие URL. В итоге страницы с таким статус-кодом могут быть исключены из поиска Google. А если еще и файл robots.txt отдается с такой ошибкой, для Google он вообще будто не существует, и робот проиндексирует все подряд. Единственное исключение – 429 статус-код, который означает «слишком много запросов». Именно он покажет роботу, что сервер перегружен, и надо замедлиться.

Чтобы ограничить частоту сканирования сайта роботом Google, рекомендуется:

• Настроить частоту сканирования сайта в Google Search Console,
• Если нужно срочно снизить частоту сканирования на небольшой период времени (например, на несколько часов или дней), можно показывать вместо контента информационную страницу с кодом статуса HTTP 500, 503 или 429. Но Google не рекомендует использовать этот вариант дольше двух дней, так как URL, на котором робот Googlebot будет обнаруживать эти коды статуса в течение нескольких дней, может быть исключен из индекса Google.

Напомним, Google обновил документацию для вебмастеров по ссылкам: в раздел добавилась информация о правильном использовании анкорного текста, а также о внутренних и внешних ссылках.

Источник: Google Search Central