×
Россия +7 (495) 139-20-33

Google объяснил, что такое краулинговый бюджет

Россия +7 (495) 139-20-33
Шрифт:
5 13850

Google рассказал, что такое краулинговый бюджет. Представитель компании Гэри Илш опубликовал подробный пост, посвященный этой теме. В нем он объяснил, что понимается под этим термином, какие факторы могут влиять на краулинговый бюджет, что такое скорость сканирования и краулинговый спрос.

Как рассказал Илш, большинству сайтов не стоит беспокоиться о краулинговом бюджете. Обращать внимание на бюджет сканирования стоит только крупным сайтам.

Краулинговый спрос – это количество страниц, которые хочет просканировать Google. Показатель основан на популярности страниц сайта и актуальности контента в индексе поисковой системы.

Краулинговый бюджет объединил в себе скорость сканирования и краулинговый спрос. Под краулинговым бюджетом Google понимает количество URL, которые хочет и может просканировать Googlebot.

Факторы, которые влияют на краулинговый бюджет

В Google отмечают, что к таким факторам относится большое количество некачественных страниц, к которым относятся:

  • Фасетная навигация и идентификаторы сессий.
  • Дубликаты.
  • Страницы, возвращающие ошибку soft 404.
  • Взломанные страницы.
  • Низкокачественный и спамный контент.
  • URL, создающие бесконечные пространства (календари).

Влияет ли скорость сайта на краулинговый бюджет? И как насчет ошибок сканирования?

Высокая скорость сайта улучшает UX и одновременно повышает скорость сканирования. А для Googlebot быстрый сайт является признаком хорошей работы серверов.

Google рекомендует следить за отчетом «Ошибки сканирования» в Search Console и поддерживать количество ошибок сервера на низком уровне.

Сканирование – это фактор ранжирования?

Нет. И высокая скорость сканирования совсем не обязательно приведет к повышению позиций сайта в выдаче.

Краулинговый бюджет расходуется на альтернативные URL и встроенный контент?

Чаще всего учитываются все URL, сканируемые Googlebot. Сканируются и альтернативные URL (AMP, hreflang), а также встроенный контент (CSS, JavaScript). На них расходуется краулинговый бюджет.

Можно контролировать Googlebot с помощью директивы «crawl-delay»?

Он не обрабатывает эту директиву.

А директива nofollow влияет на краулинговый бюджет?

Здесь все бывает по-разному. Любой сканируемый URL влияет на краулинговый бюджет. То есть, даже если URL содержит директиву nofollow, он может сканироваться в случае, если на другой странице на сайте или любой другой странице в интернете эта ссылка не помечена как nofollow.

Источник: Google

(Голосов: 4, Рейтинг: 4.25)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Alex Gusev
    1
    комментарий
    0
    читателей
    Alex Gusev
    6 месяцев назад
    Нормальная статья. Я зашёл узнать, что за термин "краулинговый бюджет" - я узнал. Просто кто-то не понимает, что он ищет, а когда находит не то, что хотелось, начинает брюзжать. В жизни полно странных людей, а в интернетах их ещё больше.
    -
    1
    +
    Ответить
  • Гость
    больше года назад
    Как и добрая половина всего вашего контента.

    Вот нафига такие статьи? Про - и так это знает, а новичку вы ещк тезисов накидали, а зачем? Нифига ведь суть не выделена.
    -
    0
    +
    Ответить
  • Гость
    больше года назад
    Бесполезный высер
    -
    0
    +
    Ответить
  • Константин Сокол
    25
    комментариев
    0
    читателей
    Константин Сокол
    больше года назад
    Зачем вообще пытаться объяснять, если можно раскрыть 5% информации. Как будто никто ранее не знал, что по nofolow ходят пауки и что кроме disalow и alow  в robots больше ничего не учитывается.
    -
    -3
    +
    Ответить
  • Вадим Асипенко
    6
    комментариев
    0
    читателей
    Вадим Асипенко
    больше года назад
    очень сжато
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Что скрывает «Прогноз бюджета Яндекс.Директ»?
Михаил Мухин
14
комментариев
0
читателей
Полный профиль
Михаил Мухин - Здравствуйте! 1-2. Считает стенд. Ссылка на него дана, но могу повторить: online.p-c-l.ru/competition/task/card/id/106. Нажмите на кнопку "Начать" и заранее приготовьте прогноз бюджета Яндекс. Суть расчета: перебор комбинаций всех ставок на всех фразах, построение бюджетных когорт - бюджетов с одинаковым СРС, отбор в каждой когорте бюджета с максимальным количеством кликов и ..., да упорядочивание этих бюджетов по мере возрастания СРС, причем берем не все, а с фиксированным шагом. 3. Гугл считается через поправочные коэффициенты. Мы перевариваем океан данных и представляем их. На удивление, получается не менее, хотя и не более точно, как и прогноз Яндекс. Конечно, нужно понимать, что это очень примерные прикидки, фактически перевод неточного прогноза Яндекс в удобочитаемую форму, не больше. Самое интересное начинается, когда применяешь метод бюджетных когорт к измерению показателей фраз на реальной рекламной кампании в режиме 48х7. Первые результаты очень хорошие. Если хотите присоединиться к бесплатному тестированию, напишите Эльвире r-support@r-broker.ru. В теме укажите "хочу присоединиться к тестам Умного управления рекламой"
Ссылочное продвижение локальных сайтов: ТОП худших SEO-методов
demimurych
5
комментариев
0
читателей
Полный профиль
demimurych - о господи. это для регионального сайта? в яндексе? где у сайта по региону конкурентов меньше чем выдачи на двух страницах из которых перваш это реклама москвы? потешно ей богу. ктото чего то не понеимает.
Как вывести сайт в ТОП 10 Google в 2019 году
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Интересная статья. Подскажите на каких ресурсах расположить ссылки бесплатно по автобезопасности? Наш сайт bastion-center.ru/
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
Зачем подменять контент на сайте: разбираем инструмент и развенчиваем мифы
Дмитрий Сульман
4
комментария
0
читателей
Полный профиль
Дмитрий Сульман - Все верно, об этом я и говорю. У крупных компаний есть много данных и они имеют доступ к дорогим технологиям и решениям для персонализации контента. Топовые западные сервисы для персонализации, такие как RichRelevance или Dynamic Yield, стоят от нескольких тысяч до десятков тысяч долларов в месяц. Понятно, что малый бизнес не может себе этого позволить. Да даже если бы чисто теоретически и мог, то это вряд ли бы имело хоть какой-то смысл. Во-первых, у малого бизнеса недостаточно данных, чтобы подобные алгоритмы персонализации начали эффективно работать, а во-вторых, тот профит, который МСБ получит от персонализации, никогда не покроет таких расходов. Мы же предлагаем решение, доступное как раз для малого и среднего бизнеса. При этом наше решение комплексное: МультиЧат - это одновременно и инструмент для персонализации, и для коммуникации.
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
Монетизируйте свой сайт вместе с VIZTROM
VIZTROM
3
комментария
0
читателей
Полный профиль
VIZTROM - Добрый день! Так как мы сейчас работаем в приватном режиме, Вы врятли можете объективно оценить нашу рекламную площадку. У нас будет официальный запуск 3 марта для вебмастеров. Приглашаем Вас присоединиться к нам и лично посмотреть наш функционал.
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как улучшить репутацию сайта недвижимости с помощью крауд-маркетинга
Евгений
3
комментария
0
читателей
Полный профиль
Евгений - а у вас какое впечатление от статьи?
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
363
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
83
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!