Google объяснил, что такое краулинговый бюджет
Google рассказал, что такое краулинговый бюджет. Представитель компании Гэри Илш опубликовал подробный пост, посвященный этой теме. В нем он объяснил, что понимается под этим термином, какие факторы могут влиять на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.
Как рассказал Илш, большинству сайтов не стоит беспокоиться о краулинговом бюджете. Обращать внимание на бюджет сканирования стоит только крупным сайтам.
Краулинговый спрос – это количество страниц, которые хочет просканировать Google. Показатель основан на популярности страниц сайта и актуальности контента в индексе поисковой системы.
Краулинговый бюджет объединил в себе скорость сканирования и краулинговый спрос. Под краулинговым бюджетом Google понимает количество URL, которые хочет и может просканировать Googlebot.
Факторы, которые влияют на краулинговый бюджет
В Google отмечают, что к таким факторам относится большое количество некачественных страниц, к которым относятся:
- Фасетная навигация и идентификаторы сессий.
- Дубликаты.
- Страницы, возвращающие ошибку soft 404.
- Взломанные страницы.
- Низкокачественный и спамный контент.
- URL, создающие бесконечные пространства (календари).
Влияет ли скорость сайта на краулинговый бюджет? И как насчет ошибок сканирования?
Высокая скорость сайта улучшает UX и одновременно повышает скорость сканирования. А для Googlebot быстрый сайт является признаком хорошей работы серверов.
Google рекомендует следить за отчетом «Ошибки сканирования» в Search Console и поддерживать количество ошибок сервера на низком уровне.
Сканирование – это фактор ранжирования?
Нет. И высокая скорость сканирования совсем не обязательно приведет к повышению позиций сайта в выдаче.
Краулинговый бюджет расходуется на альтернативные URL и встроенный контент?
Чаще всего учитываются все URL, сканируемые Googlebot. Сканируются и альтернативные URL (AMP, hreflang), а также встроенный контент (CSS, JavaScript). На них расходуется краулинговый бюджет.
Можно контролировать Googlebot с помощью директивы «crawl-delay»?
Он не обрабатывает эту директиву.
А директива nofollow влияет на краулинговый бюджет?
Здесь все бывает по-разному. Любой сканируемый URL влияет на краулинговый бюджет. То есть, даже если URL содержит директиву nofollow, он может сканироваться в случае, если на другой странице на сайте или любой другой странице в интернете эта ссылка не помечена как nofollow.
Источник: Google
Подписывайся!
ВКонтакте
Случилось что-то важное? Поделитесь новостью с редакцией.
-
Alex Gusev больше года назадНормальная статья. Я зашёл узнать, что за термин "краулинговый бюджет" - я узнал. Просто кто-то не понимает, что он ищет, а когда находит не то, что хотелось, начинает брюзжать. В жизни полно странных людей, а в интернетах их ещё больше. -
Гость больше года назадКак и добрая половина всего вашего контента.
Вот нафига такие статьи? Про - и так это знает, а новичку вы ещк тезисов накидали, а зачем? Нифига ведь суть не выделена. -
Константин Сокол больше года назадЗачем вообще пытаться объяснять, если можно раскрыть 5% информации. Как будто никто ранее не знал, что по nofolow ходят пауки и что кроме disalow и alow в robots больше ничего не учитывается.
