×
Россия +7 (495) 139-20-33

Как посчитать краулинговый бюджет и понять, есть ли препятствия к попаданию в выдачу

Россия +7 (495) 139-20-33
Шрифт:
0 6013
Подпишитесь на нас в Telegram

Краулинговый бюджет (Crawl Budget) это количество страниц сайта, которое сканирует краулер поисковых систем. После сканирования страницы, релевантные, по мнению бота, запросам пользователей, индексируются. И только после этого сайт попадает в органическую выдачу.

Напрямую краулинговый бюджет не влияет на ранжирование, однако он все равно важен для продвижения. Если на сайте много страниц, не факт, что бот их проиндексирует все — он может проиндексировать ошибочные, а на важные не хватит времени и бюджета.

Краулингового бюджета не хватает в нескольких случаях:

  • если на сайте есть технические ошибки – их обязательно следует исправить, чтобы увеличить бюджет сканирования;
  • если робот тратит объем сканирования на ненужные разделы, а важные пропускает. Важная страница останется без сканирования и не попадет даже на сотую позицию выдачи;
  • если на сайте заброшенный и нерелевантный контент. Из-за того, что сайт не обновляет информацию, боты будут реже его посещать, и краулинговый бюджет снизится.

С ситуацией нехватки бюджета может столкнуться как крупный, так и маленький сайт. Мы выявляем это на аудите.

На сканирование всем сайтам, в зависимости от их размера, выделяется разный бюджет. Небольшому – до 1000 страниц, вероятнее всего, будет выделен меньший бюджет, нежели крупному сайту.

Чаще всего того минимума бюджета, что выделяется изначально, небольшому сайту хватает для хорошей индексации. Это значит, что все нужные страницы индексируются и присутствуют в поиске. А большому сайту вполне может потребоваться увеличение бюджета.

Сайты с историей меняют свой краулинговый бюджет при каждом сканировании, которое происходит ежедневно. На рост показателя влияют PageRank, поведенческие факторы и возраст ресурса.

В статье расскажем и покажем на примере нашего сайта, как определить уровень краулингового бюджета, какими сервисами для этого пользуемся мы. Это поможет проанализировать достаточность краулингового бюджета, сделать вывод о наличии ошибок и перейти к их дальнейшему анализу и исправлению. Поехали!

Шаг 1. Определите количество страниц, которое должно быть в индексе

Страницы, которые должны быть в индексе, мы определяем в ScreamingFrog. Сервис видит, какие страницы уже просканированы – это и будет искомый показатель. По нашему сайту количество таких страниц составляет 150.

Определение количества страниц, которое должно быть в индексе

Если эти страницы нашел ScreamingFrog, значит, бот тоже найдет и потратит на них краулинговый бюджет.

Шаг 2. Определите количество обращений робота к сайту

Существует два способа, как узнать количество обращений робота к сайту: один попроще, другой посложнее. Рассмотрим оба.

1 способ – при помощи сервисов Google или Яндекс для расчета примерного бюджета

Google Search Console и Яндекс.Вебмастер помогают определить количество просканированных ботами страниц. В Google Search Console вы сможете узнать информацию за период 90 дней, в то время как в Яндексе можно выбрать любой период.

Краулинговый бюджет, который мы узнаем благодаря информации из Google Search Console и Яндекс.Вебмастер, будет примерный. Это связано с тем, что указанные сервисы засчитывают обращение роботов за день к любым страницам один раз.

То есть робот зайдет один раз на ошибочную страницу, ничего там не найдет, позже зайдет еще несколько раз в попытках обнаружить там контент. Все эти попытки в отчетах мы не увидим – зафиксируется только одно обращение робота, хотя по факту их может быть 4-5.

Способ хоть и примерный, но идеально подходит для сайтов с количеством страниц до 50 000. По нашему опыту у таких сайтов обычно четкая структура, а боты индексируют все необходимые страницы, поэтому нет необходимости в сложном анализе. Если нужно больше подробностей, необходим анализ логов, о котором расскажем в следующем подпункте.

Чтобы узнать краулинговый бюджет в Google Search Console, заходим в «Настройки» → «Статистика сканирования» → «Открыть отчет».

Как узнать краулинговый бюджет в Google Search Console

В отчете мы смотрим на общую статистику сканирования и конкретно на показатель «Всего запросов сканирования» – кликаем на него, чтобы увидеть точное значение. В нашем случае запоминаем цифру 6051, она пригодится для дальнейших расчетов.

Как узнать краулинговый бюджет в Google Search Console

Также здесь можно посмотреть и другие отчеты. Они разделяются на группы по ответу, по типу файла и робота Googlebot, цели. Здесь можно посмотреть, куда конкретно бот ходит, какой процент ответов дает сайт, сколько бот посещает корректных страниц и сколько ошибочных.

Как узнать краулинговый бюджет в Google Search Console

Чтобы узнать краулинговый бюджет при помощи Яндекс.Вебмастер, выбираем раздел «Индексирование» → «Статистика обхода». Сервис показывает количество обращений к сайту за текущий день, но не показывает общий показатель за желаемый период. Количество обращений можно посмотреть на графике слева:

Как узнать краулинговый бюджет при помощи Яндекс.Вебмастер

Наглядные графики и анализ отчетов помогут выявить возможные проблемы при сканировании, а также отследить изменения или проблемы краулингового бюджета.

Мы рекомендуем использовать анализ сайта при помощи сервисов Google и Яндекс примерно раз в неделю. Это поможет просто и быстро понять общую картину по сайту и выявить ошибки.

2 способ – при помощи анализа логов сервера для точного расчета бюджета

Этот способ сложнее, нежели вариант с сервисами Google и Яндекс, и будет настоящим маст-хэвом для сайтов с количеством страниц от 7000 – чем крупнее сайт, тем больше ошибок встречается и, как правило, найти их становится сложнее.

Анализ логов позволяет не только рассчитать точный краулинговый бюджет, но и посмотреть более глубокие данные: по одному пути ходят боты или по разным, когда на какую страницу зашел бот, как глубоко прошел, сколько раз обращался к одной и той же странице.

Логи – файлы, содержащие информацию о работе сервера или компьютера. Внутри этих файлов собираются следующие данные:

  • IP-адрес, с которого происходило посещение;
  • адрес страницы;
  • GET-запрос, означает получение данных;
  • page/2 – когда обращение было ко второй странице;
  • код ответа сервера;
  • размер переданной информации;
  • общие данные о пользователях (операционная система, регион и т.д.).

Для анализа логов мы рекомендуем программы Screaming Frog Log Analyzer, LogViewer, Loggly. В программе Screaming Frog Log Analyzer удобно отображаются графики с количеством обращений самых разных роботов.

Графики посещений роботов в программе Screaming Frog Log Analyzer

Например, на нашем сайте количество страниц в индексации составило 150, количество обращений роботов – 67.

Количество страниц в индексации

Мы рекомендуем проводить проверку логов минимум раз в полгода, если у сайта 50 000-70 000 страниц и раз в 3 месяца для сайтов от 70 000 страниц. Это гораздо сложнее проверки в Google и Яндекс и требует специальных знаний, но помогает выявлять серьезные недоработки технической части сайта. Например, ошибки с кодами ответа 300, 404 и 500 и неправильную структуру сайта, из-за которых страницы могут долго индексироваться, не попадать в поиск и лишать вас конверсий.

Шаг 3. Подставьте данные в формулу и определите бюджет

Теперь у вас на руках должны быть все данные:

  • количество страниц, которые должны быть в индексе;
  • количество обращений роботов к сайту.

Можно приступать к вычислению данных по сайту.

Сначала нам нужно выяснить среднее число обращений в день:

В Google Search Console определили, что за 90 дней боты поисковых систем обращались к нашему сайту 6051 раз.

Вычисляем среднее количество обращений роботов к сайту в день:

6051/90= 67 страниц

Затем остается посчитать уровень краулингового бюджета:

Считаем уровень краулингового бюджета

В сервисе ScreamingFrog определили, что на сайте в индексе должно быть 150 страниц. Теперь делим полученное количество страниц в индексе на среднее число обращений роботов за день:

150/67= 2,23

Как интерпретировать результаты:

  • ≤ 3 – размера краулингового бюджета хватает для сайта;
  • 4-10 – средний результат;
  • > 10 – необходимо увеличение бюджета.

Если показатель краулингового бюджета оказался меньше 3, то у вас хороший уровень краулингового бюджета. Если больше 3, но меньше 10, значит, надо провести работу по устранению ошибок. В этом случае рекомендуем проанализировать сайт, чтобы понять, правильно ли бюджет распределяется на сайте.

А если показатель больше 10, то на сайте есть уязвимые места. Низкий краулинговый бюджет говорит, что, скорее всего, на сайте присутствуют технические ошибки. Также боту может не нравиться контент на вашем сайте – например, он не отвечает на запросы пользователей.

В случае с нашим сайтом на момент проверки краулинговый бюджет составил 2,23, что считается хорошим показателем – нет поводов для беспокойства.

В следующей части статьи мы детально разберем, какие действия предпринять, чтобы исправить на сайте технические ошибки и повысить краулинговый бюджет. 

Друзья, теперь вы можете поддержать SEOnews https://pay.cloudtips.ru/p/8828f772
Ваши донаты помогут нам развивать издание и дальше радовать вас полезным контентом.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Альманах фатальных ошибок b2b-сайта: как владельцы бизнеса обрекают сайты на бесславное существование. Часть первая
Сергей Ерофеев
3
комментария
0
читателей
Полный профиль
Сергей Ерофеев - Спасибо за комментарий! Вы правы, если за CMS следит заинтересованный профессионал - риски минимальны. Но мы же с вами понимаем, что: а) Не каждый разработчик делает все, как "для себя". б) После создания сайта разработчик редко остается на проекте в) Часто разработчик не является маркетологом. В этом случае принцип "функционал работает и этого достаточно" может быть на первом месте. Мы тоже видели большое количество хороших и качественных проектов на бесплатных CMS, но проблемных проектов мы видели сильно больше. Просто статистика.
Белые и серые методы продвижения. Тренды 2023
sarges
2
комментария
0
читателей
Полный профиль
sarges - Нужно учитывать и тот факт, что со временем методы продвижения меняются и необходимо подстраиваться под новые реалии. Посоветую заглянуть на zenlink.ru/blog/kak-izmenilsja-internet-marketing-za-10-let и почитать статью, там рассказывается о том, как изменился интернет-маркетинг за последние 10 лет, какие сейчас тенденции и какие прогнозы в этой сфере.
Почему сайтам нужно переезжать с конструкторов на полноценные CMS
Seodm.ru
3
комментария
0
читателей
Полный профиль
Seodm.ru - Ааа по мне, сам seo специалист, вероятность внедрения необходимого контента на тильда того же блока этапом работы или преимуществ, намного выше чем на движке. А что тильда что движок малый бизнес норм продвигается особо супер разработки не требуется
Как мы увеличили для клиента трафик из поиска в 7 раз. Кейс
Кирилл Половников
2
комментария
0
читателей
Полный профиль
Кирилл Половников - Оба этих статуса (редирект и малополезная) преобладали в качестве проблем с индексацией. Помогла работа с .htaccess (в нем были ошибки и его чистили), работа над корректировкой редиректов, каноникалами и прочими техническими ошибками. Нельзя сказать, что только редиректы были ключевым препятствием.
Как показывать рекламу посетителям сайтов конкурентов
Павел
2
комментария
0
читателей
Полный профиль
Павел - Спасибо за комментарий. Гипотеза была в том, что с указанными счетчиками конкурентов показы будут не просто похожей аудитории их сайтов (как при рекламе по доменам), а именно на аудиторию которую Яндекс для себя разметил как целевая дл сайтов конкурентов. Важно, это гипотеза. А про белые нитки, как говорится, доверяй, но проверяй))
Как автоматизировать мессенджеры для бизнеса в CRM-системе
Алиналина
1
комментарий
0
читателей
Полный профиль
Алиналина - Кстати да. Но мы зарегались, CRMка реально интересная
Чек-лист: как настроить рекламу в Яндекс Директе и избежать ошибок
Сергей Ильин
2
комментария
0
читателей
Полный профиль
Сергей Ильин - я ваще не туда написал
Кейс MediaNation: увеличили еженедельный трафик автомобильной компании на 50% за год и вышли в топ поиска по 300 запросам
Игорь Скляр
1
комментарий
0
читателей
Полный профиль
Игорь Скляр - Действительно, изначально рост был именно по информационным запросам. Но рост позиций и трафика по информационным запросам положительно повлиял и на связанные позиции по коммерческим запросам и сдвинул видимость с мёртвой точки
Как продвигать интернет-магазин в поисковой выдаче, если она забита маркетплейсами
Олег
1
комментарий
0
читателей
Полный профиль
Олег - Так как все-таки продвигать?)
Как попасть в топ-10 Яндекса и Google при продвижении сайта на регион Молдовы
Гость
9
комментариев
0
читателей
Полный профиль
Гость - "В первое время наши работы продолжали давать результат (сайт несколько месяцев рос), а потом начал постепенно терять позиции. По этой причине заказчик решил возобновить сотрудничество и вернулся в июле 2022. Мы еще ведем работы по восстановлению утраченных результатов." Хитрожопый клиент.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
116
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!