Google объяснил, что такое краулинговый бюджет

Россия+7 (495) 960-65-87
Шрифт:
4 3965

Google рассказал, что такое краулинговый бюджет. Представитель компании Гэри Илш опубликовал подробный пост, посвященный этой теме. В нем он объяснил, что понимается под этим термином, какие факторы могут влиять на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

Как рассказал Илш, большинству сайтов не стоит беспокоиться о краулинговом бюджете. Обращать внимание на бюджет сканирования стоит только крупным сайтам.

Краулинговый спрос – это количество страниц, которые хочет просканировать Google. Показатель основан на популярности страниц сайта и актуальности контента в индексе поисковой системы.

Краулинговый бюджет объединил в себе скорость сканирования и краулинговый спрос. Под краулинговым бюджетом Google понимает количество URL, которые хочет и может просканировать Googlebot.

Факторы, которые влияют на краулинговый бюджет

В Google отмечают, что к таким факторам относится большое количество некачественных страниц, к которым относятся:

  • Фасетная навигация и идентификаторы сессий.
  • Дубликаты.
  • Страницы, возвращающие ошибку soft 404.
  • Взломанные страницы.
  • Низкокачественный и спамный контент.
  • URL, создающие бесконечные пространства (календари).

Влияет ли скорость сайта на краулинговый бюджет? И как насчет ошибок сканирования?

Высокая скорость сайта улучшает UX и одновременно повышает скорость сканирования. А для Googlebot быстрый сайт является признаком хорошей работы серверов.

Google рекомендует следить за отчетом «Ошибки сканирования» в Search Console и поддерживать количество ошибок сервера на низком уровне.

Сканирование – это фактор ранжирования?

Нет. И высокая скорость сканирования совсем не обязательно приведет к повышению позиций сайта в выдаче.

Краулинговый бюджет расходуется на альтернативные URL и встроенный контент?

Чаще всего учитываются все URL, сканируемые Googlebot. Сканируются и альтернативные URL (AMP, hreflang), а также встроенный контент (CSS, JavaScript). На них расходуется краулинговый бюджет.

Можно контролировать Googlebot с помощью директивы «crawl-delay»?

Он не обрабатывает эту директиву.

А директива nofollow влияет на краулинговый бюджет?

Здесь все бывает по-разному. Любой сканируемый URL влияет на краулинговый бюджет. То есть, даже если URL содержит директиву nofollow, он может сканироваться в случае, если на другой странице на сайте или любой другой странице в интернете эта ссылка не помечена как nofollow.

Источник: Google

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Гость
    6 месяцев назад
    Как и добрая половина всего вашего контента.

    Вот нафига такие статьи? Про - и так это знает, а новичку вы ещк тезисов накидали, а зачем? Нифига ведь суть не выделена.
    -
    0
    +
    Ответить
  • Гость
    6 месяцев назад
    Бесполезный высер
    -
    0
    +
    Ответить
  • Константин Сокол
    24
    комментария
    0
    читателей
    Константин Сокол
    6 месяцев назад
    Зачем вообще пытаться объяснять, если можно раскрыть 5% информации. Как будто никто ранее не знал, что по nofolow ходят пауки и что кроме disalow и alow  в robots больше ничего не учитывается.
    -
    -1
    +
    Ответить
  • Вадим Асипенко
    5
    комментариев
    0
    читателей
    Вадим Асипенко
    6 месяцев назад
    очень сжато
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
SEOnews и Serpstat запускают конкурс для интернет-маркетологов
Marina Lagutina
1
комментарий
0
читателей
Полный профиль
Marina Lagutina - Добрый день! Видимо я из тех, кто пытается последней вскочить в уходящий поезд. Ночью написала статью на тему "обзор инструментов контент-маркетинга". Своего блога нет. Отправила вам не мейл. Я еще могу у вас разместиться или искать, кто возьмет статью к себе в блог?
«Я оптимизировал сайт, а он не в ТОП! Что делать?»
Павел Горбунов
8
комментариев
0
читателей
Полный профиль
Павел Горбунов - Как можно в инструменте tools.pixelplus.ru/tools/text-natural сравнить текст со страницы конкурента и со своей страницы? Я вижу возможность только для проверки одного урла.
Монетизация сайта. Как, когда, сколько?
Гость2
1
комментарий
0
читателей
Полный профиль
Гость2 - Руслан! Спасибо за ваш сервис и за данную статью в частности! С апреля являюсь вашим пользователем - очень доволен как сервисом, так и уровнем заработка! Еще раз спасибо, удачи вашему проекту!
Влияние HTTPS на ранжирование региональных поддоменов в Яндексе
Екатерина Иванова
1
комментарий
0
читателей
Полный профиль
Екатерина Иванова - Посмотрите на сколько упал трафик и на сколько потом вырос:упал на 10-20% на 1 месяц, а вырос в итоге в 5 раз. Одним мартовским трафиком всё падение перекрыли. Или можно ждать Яндекс неопределённое количество времени со стартовым уровнем трафика. Упущенные возможности и всё-такое.
Мир глазами поисковых систем
Александр Рунов
7
комментариев
0
читателей
Полный профиль
Александр Рунов - Какой регион, если не секрет? В Мск, в ряде ВК тематик (в тех же "окнах" или "колесах"), без работы с внешними факторами по ВЧ запросам в ТОП не выплывешь. Хотя в большинстве направлений вполне реально.
Google.ru внесли в реестр запрещенных сайтов
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Гон, все работает и будет работать. Да и пусть банят, будет как с рутрекером.
День рождения SEOnews: 12 лет в эфире!
Анна Макарова
308
комментариев
0
читателей
Полный профиль
Анна Макарова - Ура )
7 причин не работать на биржах копирайтинга
Dasha Shkaruba
6
комментариев
0
читателей
Полный профиль
Dasha Shkaruba - Спасибо за мнение! Кстати, на бирже главреда прием анкет закрыт
Инфографика: самые распространенные SEO-ошибки Рунета
Alex Wise
3
комментария
0
читателей
Полный профиль
Alex Wise - Спасибо, Женя, за рекомендацию! :) Андрей, чтобы понять, какой программой пользоваться, нужно сделать несколько вещей: 1. Попробовать обе: у нас в Netpeak Spider бесплатный триал на 14 дней с полным функционало; у SFSS до 500 URL всегда бесплатно, но с ограниченным функционалом. 2. Понять свой стиль работы – если вы любите полный контроль и из-за этого более высокую скорость пробивки, тогда выбирайте Netpeak Spider. Если для вас не так важна скорость и количество пробитых URL, то можно остановиться на SFSS. 3. Определиться с нужными функциями: их в обоих программах очень много и как в Netpeak Spider есть уникальные, так и в SFSS есть свои уникальные. Мы всегда ориентируемся на то, чтобы быстро и чётко показать ошибки – для этого у нас вся таблица красится в соответствующие цвета. Думайте!) И, если что, обращайтесь с вопросами – мы будем рады помочь!)
Конкурс: угадайте пятерку лидеров рейтинга «SEO глазами клиентов 2017»
Оля
1
комментарий
0
читателей
Полный профиль
Оля - 1 Ingate 2 Wezom 3 Bynjg vtlbf 4 seo energy 5 директ лайн
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
308
Комментариев
262
Комментариев
224
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
55
Комментариев
53
Комментариев
52
Комментариев
46

Отправьте отзыв!
Отправьте отзыв!