Google объяснил, что такое краулинговый бюджет

Россия+7 (495) 960-65-87
Шрифт:
4 6241

Google рассказал, что такое краулинговый бюджет. Представитель компании Гэри Илш опубликовал подробный пост, посвященный этой теме. В нем он объяснил, что понимается под этим термином, какие факторы могут влиять на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

Как рассказал Илш, большинству сайтов не стоит беспокоиться о краулинговом бюджете. Обращать внимание на бюджет сканирования стоит только крупным сайтам.

Краулинговый спрос – это количество страниц, которые хочет просканировать Google. Показатель основан на популярности страниц сайта и актуальности контента в индексе поисковой системы.

Краулинговый бюджет объединил в себе скорость сканирования и краулинговый спрос. Под краулинговым бюджетом Google понимает количество URL, которые хочет и может просканировать Googlebot.

Факторы, которые влияют на краулинговый бюджет

В Google отмечают, что к таким факторам относится большое количество некачественных страниц, к которым относятся:

  • Фасетная навигация и идентификаторы сессий.
  • Дубликаты.
  • Страницы, возвращающие ошибку soft 404.
  • Взломанные страницы.
  • Низкокачественный и спамный контент.
  • URL, создающие бесконечные пространства (календари).

Влияет ли скорость сайта на краулинговый бюджет? И как насчет ошибок сканирования?

Высокая скорость сайта улучшает UX и одновременно повышает скорость сканирования. А для Googlebot быстрый сайт является признаком хорошей работы серверов.

Google рекомендует следить за отчетом «Ошибки сканирования» в Search Console и поддерживать количество ошибок сервера на низком уровне.

Сканирование – это фактор ранжирования?

Нет. И высокая скорость сканирования совсем не обязательно приведет к повышению позиций сайта в выдаче.

Краулинговый бюджет расходуется на альтернативные URL и встроенный контент?

Чаще всего учитываются все URL, сканируемые Googlebot. Сканируются и альтернативные URL (AMP, hreflang), а также встроенный контент (CSS, JavaScript). На них расходуется краулинговый бюджет.

Можно контролировать Googlebot с помощью директивы «crawl-delay»?

Он не обрабатывает эту директиву.

А директива nofollow влияет на краулинговый бюджет?

Здесь все бывает по-разному. Любой сканируемый URL влияет на краулинговый бюджет. То есть, даже если URL содержит директиву nofollow, он может сканироваться в случае, если на другой странице на сайте или любой другой странице в интернете эта ссылка не помечена как nofollow.

Источник: Google

Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Гость
    больше года назад
    Как и добрая половина всего вашего контента.

    Вот нафига такие статьи? Про - и так это знает, а новичку вы ещк тезисов накидали, а зачем? Нифига ведь суть не выделена.
    -
    0
    +
    Ответить
  • Гость
    больше года назад
    Бесполезный высер
    -
    0
    +
    Ответить
  • Константин Сокол
    25
    комментариев
    0
    читателей
    Константин Сокол
    больше года назад
    Зачем вообще пытаться объяснять, если можно раскрыть 5% информации. Как будто никто ранее не знал, что по nofolow ходят пауки и что кроме disalow и alow  в robots больше ничего не учитывается.
    -
    -1
    +
    Ответить
  • Вадим Асипенко
    6
    комментариев
    0
    читателей
    Вадим Асипенко
    больше года назад
    очень сжато
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Кейс: как продвинуть сайт производителя мебели на заказ в Москве
Art Moderator
2
комментария
0
читателей
Полный профиль
Art Moderator -
Рейтинг «Известность бренда SEO-компаний 2017»: народное голосование
Гость
1
комментарий
0
читателей
Полный профиль
Гость - 1) Ingate 2) Ашманов 3) Кокос 4) Russian Promo 5) Netpeak
«Баден-Баден»: как выйти из-под фильтра
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Здравствуйте! У меня совсем новый сайт (около месяца). Как только добавила страницы - были на 64, 45 и т.д. местах в выдаче яндекса по нч и сч запросам, но через несколько дней улетели за пределы 200. Что это баден - баден или песочница? Текст вроде не спамный, но мне трудно судить. Сайт portretnazakaz.ru
Второе дыхание ссылочного продвижения
Rookee.ru
24
комментария
0
читателей
Полный профиль
Rookee.ru - Еще лучше, когда продвижение осуществляется комплексно :)
32 инструмента в помощь SEO-специалисту
Cynthia Morgans Funding
2
комментария
0
читателей
Полный профиль
Cynthia Morgans Funding - Мы предоставили более 1 миллиарда долларов бизнес-кредитов более чем 15 000 владельцев бизнеса, как и вы. Мы используем нашу собственную технологию определения рисков, чтобы предоставить вам подходящий бизнес-кредит, чтобы вы могли развивать свой бизнес. Наши услуги быстрые и надежные, кредиты утверждены в течение 72 часов после успешного применения. Мы предлагаем кредиты от минимального диапазона от 10 000 долларов США до 500 миллионов долларов США. Мы предоставляем вам кредит с низкой процентной ставкой 2% и продолжительностью кредита от 1 до 30 лет, чтобы погасить кредит (безопасный и необеспеченный). Не держите свои финансовые проблемы в себе, чтобы вы не были владельцем долга или финансовым стрессом, поэтому вы должны быстро связаться с нами для решения ваших финансовых проблем. Это будет большой радостью для нас, когда вы будете финансово стабильны. E-mail: onlinefunding01@gmail.com
Исследование: влияние smart-ссылок на продвижение по СЧ-запросам
Анатолий Шевчик
1
комментарий
0
читателей
Полный профиль
Анатолий Шевчик - +1097988
Контекст под SEO. Как поисковая реклама помогает позициям в органической выдаче
Сергей Дембицкий «Sima-Land.ru»
22
комментария
0
читателей
Полный профиль
Сергей Дембицкий «Sima-Land.ru» - Боже мой, неужели SEO-маги вернулись??? Открыть в роботс utm-метки для индексации и наплодить дублей...что? А расчеты в конце статьи про бюджет на SEO и контекст...откуда эти пропорции? Как по мне, SEO-магия вне Хогвартс. Спасибо, развеселили!
Западные специалисты выяснили, как повысить позиции ресурса в выдаче Google
Максим Мирошник
2
комментария
0
читателей
Полный профиль
Максим Мирошник -
Все, что нужно SEO-специалисту. Обзор инструментов
Администратор Сайта
1
комментарий
1
читатель
Полный профиль
Администратор Сайта - Шаришь в seo! Сервис реально хороший
«Прямая линия» с Артуром Латыповым: отвечаем на вопросы
God Koss
1
комментарий
0
читателей
Полный профиль
God Koss - Добрый день! Есть сайты одной компании продвигающиеся в разных странах. .ru .com .net. На российском сайте два языка ru и en, на остальных до 10 языков. Недавно сайт ru по основному брендовому запросу выпал из выдачи Яндекс но после апа вернулся на вторую позицию. На вопрос аффилирования в тех поддержку, получит ответ, что всё в порядке и сайт com не учавствует в выдаче. Но он есть и занимает 1 место. Как быть в данной ситуации? Так же, после возврата в топ 10 по этому запросу зашла еще одна внутренняя страница. Могло ли это случиться из-за каннибализации запроса? Немного изменил description на внутренней, исключил вхождения брендового запроса. Жду апа. Хотел бы услышать ваше мнение. Заранее благодарю!
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
321
Комментариев
262
Комментариев
234
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
86
Комментариев
80
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55
Комментариев
54
Комментариев
53

Отправьте отзыв!
Отправьте отзыв!