Компания Google объявила о прекращении поддержки инструмента для ограничения скорости краулеров в консоли Search Console. Инструмент существовал почти десять лет, свою работу он прекратит 8 января 2024.
Одна из причин такого решения – это снижение эффективности ограничителя скорости краулеров, на введение лимита могло уходить больше суток.
Теперь скорость сканирования регулируется автоматически. Для поискового робота Googlebot по-прежнему будет доступен специальный отчет, в котором будут фиксироваться экстренные ситуации и нестандартное поведение робота.
Для управления скоростью сканирования можно использовать корректные ответы сервера, следуя рекомендациям Google.
По ссылке вы найдете все новости про Google.
Источник: pr-cy.ru