×
Россия +7 (495) 139-20-33

Google развеял SEO-мифы о краулинговом бюджете

Россия +7 (495) 139-20-33
Шрифт:
0 5293

Google выпустил новое видео SEO Mythbusting, в котором старший аккаунт-менеджер Merkle Алексис Сандерс смогла задать вопросы сотруднику поисковика Мартину Сплитту, касающиеся краулингового бюджета. 


Ключевые моменты

  • Google вынужден разумно распоряжаться ресурсами при сканировании контента. Веб – огромен, поэтому приходится выбирать, что поисковик будет сканировать. 
  • Контент новостных сайтов меняется часто и быстро, поэтому поисковик сканирует их чаще, чем сайты, которые обновляются редко. 
  • Google пытается выяснить, нужно ли определенный сайт сканировать чаще или достаточно проверять его время от времени. Поисковик сохраняет фингерпринт контента, чтобы посмотреть, когда было последнее обновление.
  • Для отслеживания изменений сайта Google учитывает структурированные данные и элементы даты. 
  • Etag, заголовки Last-Modified также могут быть полезны для понимания, как часто обновляется сайт, но Google их учитывает только как подсказки и может игнорировать. Изменение только даты на странице без обновления контента не приведет к тому, что сайт будет сканироваться чаще.
  • Беспокоиться о краулинговом бюджете следует только большим сайтам с миллионом URL. Например, с этим могут столкнуться сайты электронной коммерции или издатели. 
  • Нередко владельцы сайтов говорят о краулинговом бюджете, если их ресурс не индексируется. Часто проблема бывает не в сканировании, а в плохом качестве контента, поэтому Google и игнорирует сайт.
  • Важно следить, чтобы серверы работали без сбоев и не выдавали коды ошибок, а редиректы были настроены корректно. 
  • Если URL нет в Sitemap, Google может не сразу найти страницу. Для начала поисковику придется просканировать другую страницу и найти ссылку на этот URL.
  • Важные изменения на сайте нужно внедрять постепенно. Не стоит сразу переезжать на другой сервер, менять контент, URL, домен. Это «слишком много для одного проекта». 
  • Google не кеширует POST-запросы, так как это быстро исчерпывает краулинговый бюджет. Следует использовать запросы GET. 
  • Владельцы сайтов должны блокировать страницы, которые не нужно сканировать: внутреннюю аналитику, внутренние инструменты и т. п. Для этого следует использовать robots.txt. 
  • Невозможно сделать так, чтобы Google сканировал сайт чаще. Если система обнаружит, что на странице много хорошего контента, а Sitemap будет содержать много URL, Google просканирует столько, сколько сможет, и будет продолжать это делать. В конечном итоге краулинговый бюджет может увеличиться до того параметра, который хочет видеть владелец сайта. 

Напомним, ранее Мартин Сплитт рассказал, как Googlebot использует ссылки для обнаружения страниц в интернете, и как использовать JavaScript со ссылками без лишних проблем.   

Источник: YouTube

(Голосов: 14, Рейтинг: 4.86)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
«Юзабилити-лаборатория»: оставляйте заявку на участие!
Анна Макарова
381
комментарий
0
читателей
Полный профиль
Анна Макарова - Антон, добрый день! Ваш сайт не попал в основную выборку для юзабилити-анализа, но эксперты постараются сделать по вашему сайту видеоразбор (ю-ревью). Будем держать вас в курсе )
Тест по SEO – проверь свой уровень знаний
Артем Дорофеев
8
комментариев
0
читателей
Полный профиль
Артем Дорофеев - Полный текст вопроса со скриншотом панели прикладываю. Итого, что имеем: - на скриншоте отмечено, что это фильтр МПК - сайт коммерческий - рекламы на сайте нет С вероятностью 95% это ошибка (которая уже дважды случалась в Яндексе), когда они случайно "закосили" неповинные сайты. Тогда по запросу Платону фильтр быстренько снимали. Но вопрос даже не на знание этого нюанса. В любой непонятной ситуации, прежде чем что-либо предпринимать (особенно переписывать весь контент на сайте или менять дизайн, как указано в других вариантах) - фильтр следует подтвердить. Правильный ответ: "Написать письмо в техподдержку Яндекса".
Кейс: как за 30 дней вывести новый сайт в ТОП выдачи Google
Сергей
2
комментария
0
читателей
Полный профиль
Сергей - Прошёл у Паши курс год назад, пытался продвигать свой сайт portativ.org.ua, но особых продвижений нет. Наверное сео уже умерло??
Выбираем CMS для сайта с точки зрения SEO: базовые требования
SEO.RU
6
комментариев
0
читателей
Полный профиль
SEO.RU - Спасибо за замечание, действительно была допущена неточность - возможно информация была не так давно обновилась. Данные в статье поправим на актуальные.
Digital-marketing: как выжить в кризис. Опыт реальной компании
Maks
1
комментарий
0
читателей
Полный профиль
Maks - Спасибо за опыт Вашей компании, Иван Папусь. Интересно получилось! Желаю Вашему бизнесу стабильности и успешно пережить все кризисы))
100+ ресурсов по SEO для изучения поисковой оптимизации с нуля
Марина Ибушева
0
комментариев
0
читателей
Полный профиль
Марина Ибушева - Спасибо за добавление. Мы уже работаем над отдельным материалом про курсы, потому что одной статьи мало, чтобы охватить все крутое по обучению)
SEO must go on! Почему в кризис нельзя останавливать продвижение сайта
everystraus
43
комментария
0
читателей
Полный профиль
everystraus - Мы даже варианты не рассматривали. Если проект неустойчив, сразу предлагали сбавить обороты до минимума, но и так, чтоб не свалиться в штопор. Именно по СЕО чаще всего.
Как стандартизировать данные семантики с помощью логарифмов
Юлий
1
комментарий
0
читателей
Полный профиль
Юлий - Чем снималась коммерцелизация?
Создаем качественный и релевантный контент, или Как подружить копирайтера и SEOшника
Оксана Павлюк
1
комментарий
0
читателей
Полный профиль
Оксана Павлюк - Толковые копирайтеры это все по умолчанию знают. Но на практике только на Тургеневе сольется 80% копирайтеров.
Вебмастера жалуются на массовое выпадение страниц из индекса Яндекса
Дмитрий Севальнев
113
комментария
0
читателей
Полный профиль
Дмитрий Севальнев - Яна, да, в таком случае события могут быть более чем связаны! Мы в проектах отслеживаем суммы частот по всему ядру. Где-то просадки и правда есть 50%.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
381
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
113
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
89
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
60
Комментариев
59
Комментариев
57

Отправьте отзыв!
Отправьте отзыв!