×
Россия +7 (495) 139-20-33

Google опубликовал руководство по управлению краулинговым бюджетом

Россия +7 (495) 139-20-33
Шрифт:
0 1564

В Справке Google появилось расширенное руководство по управлению лимитом на сканирование для владельцев крупных сайтов.

Это руководство предназначено для владельцев очень больших сайтов (более 1 млн уникальных страниц) с достаточно часто (раз в неделю) меняющимся контентом, а также средних или больших сайтов (более 10 тыс. уникальных страниц) с очень часто (ежедневно) меняющимся контентом.

Лимит на сканирование сайта зависит от двух основных факторов: скорости сканирования и потребности в сканировании.

Увеличить лимит на сканирование можно только двумя способами: выделив дополнительные ресурсы сервера для сканирования или (что гораздо важнее) повысив ценность контента, размещенного на сайте, для пользователей Google Поиска.

Рекомендации для повышения эффективности сканирования:

  • Закрывать от сканирования дублирующиеся URL, чтобы робот это время потратил на обнаружение более ценных страниц.
  • Удалить страницы с идентичным контентом.
  • Заблокировать сканирование URL, которые не нужно индексировать с помощью файла robots.txt или инструмента "Параметры URL".
  • Не использовать тег noindex. А также не использовать файл robots.txt, чтобы временно увеличить лимит на сканирование для других страниц. Лимит на сканирование не будет перераспределен в пользу других страниц, пока он не будет исчерпан.
  • Возвращать код ошибки 404 или 410 для окончательно удаленных страниц.
  • Устранить ложные ошибки 404.
  • Вовремя обновлять файлы Sitemap.
  • Избегать длинных цепочек переадресации. Они создают проблемы при сканировании.
  • Оптимизировать страницы для ускорения их загрузки.
  • Проверять, как сканируется сайт.

Более подробная информация в полной версии руководства

Это руководство не нужно читать, если у владельца сайта нет большого количества часто обновляемых страниц или если страницы сканируются в течение суток после публикации. Достаточно вовремя обновлять файлы Sitemap и проверять отчет об индексировании.

Если на сайте есть контент, который не индексировался в течение продолжительного времени, чтобы выяснить причины, воспользуйтесь инструментом проверки URL.

Источник: Справка Search Console

(Голосов: 2, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Как работать с сервисом для блогеров и бизнеса Perfluence
SergZa
1
комментарий
0
читателей
Полный профиль
SergZa - Не знал, что с небольшим количеством подписчиков можно заработать, буду пробовать;)
Диагностика и снятие ссылочного фильтра «Минусинск» в 2021 году. Кейс
Stanislav Romanenko
7
комментариев
0
читателей
Полный профиль
Stanislav Romanenko - Просто чисткой ссылочного можно просадить позиции в гугле, поэтому с бухты-барахты начинать удалять ссылки как-то тоже не хотелось бы. Ну в общем, если попадётся ещё подобный случай - не стесняйтесь выкладывать новый кейс :) Просто видите как мало кейсов по этому поводу, поэтому каждый на вес золота. "с этой бедой также приходится сталкиваться и пока кроме как крутить в обратную сторону ничего лучше не придумали." - на серче один товарищ скрипт антибота своего под это дело заточил searchengines.guru/ru/forum/981615/page39#unread - вроде боты пропадают, но и часть живых людей тоже :)
Михаил Ляшенко (PostMarket): о рынке инфлюенс-маркетинга и рекламе у блогеров
Данил Щеглов
1
комментарий
0
читателей
Полный профиль
Данил Щеглов - Сервис вообще отличный. Я обращался для рекламы к блогерам, которых я мог даже сам выбрать. Справляются быстро и качественно.
Алгоритм продвижения сайта через Pinterest
Виктор Гаврюков
5
комментариев
0
читателей
Полный профиль
Виктор Гаврюков - если так пытаются раскрутится, то терзают сомнения, что они лучшие_) лол
Облако тегов в интернет-магазине: прикладная инструкция по увеличению трафика
Юлия Дмитриева
2
комментария
0
читателей
Полный профиль
Юлия Дмитриева - Согласна с вами, что в любом деле важен индивидуальный подход:)
Как мы увеличили трафик из Яндекса более чем в 3 раза за неделю на сайте клиники. Кейс
Андрей
1
комментарий
0
читателей
Полный профиль
Андрей - У большинства сайтов произошел рост в Гугле в декабре и в марте Яндекса. Ваши шаманства тут не причём :)
Специалисты в Рунете заметили глобальную накрутку поведенческих факторов
Дмитрий Кулаевский
1
комментарий
0
читателей
Полный профиль
Дмитрий Кулаевский - кто-нибудь знает как с этим бороться? очень много такого трафа идёт с июля, сайт сильно просел
Увеличение трафика новостного сайта в 2 раза с помощью SEO. Кейс
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Делали подобное тут ruszakony.ru/rubrikator/ , получилось полная фигня
5 книг от эксперта: Александр Алаев (АлаичЪ и Ко)
Сергей
1
комментарий
0
читателей
Полный профиль
Сергей - Богатый папа, бедный папа - сборник мифов, которые уже разоблачил все. Все сразу стало понятно про "эксперта". Дальше можно список не смотреть. Прочитать ее конечно можно, если ничего другого нет под рукой, но советовать другим, это уже извините, совсем людей не уважать.
Как забрать 5 мест в выдаче из 10. Кейс-эксперимент
Павел Берсенев
1
комментарий
0
читателей
Полный профиль
Павел Берсенев - Мы тоже такое делали, только по СЧ. vc.ru/marketing/226855-ohrana-perimetra-alternativa-polucheniya-100500-poziciy-v-tope-poiskovoy-vydachi
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
113
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
92
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
65
Комментариев
62
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!