Сотрудники Google поделились информацией по краулинговому бюджету и индексации контента

Сотрудники Google в подкасте Search Off the Record обсудили краулинговый бюджет и рассказали, что влияет на индексацию контента. 

Как рассказал сотрудник Google Гэри Илш, термин «краулинговый бюджет» был придуман сообществом специалистов. В самой компании Google «не было ничего, что могло бы означать краулинговый бюджет сам по себе». 

Так как люди говорили об этом, мы попытались придумать что-то, какое-то определение. Мы работали с двумя, тремя или четырьмя командами и пытались придумать хотя бы несколько внутренних метрик, которые можно было бы объединить в то, что пользователи называли «краулинговый бюджет», – говорит Гэри Илш. 

По словам Илша, часть расчетов для краулингового бюджета основана на практических соображениях. Например, сколько URL на одном сайте может просканировать Googlebot, не перегружая сервер. 

Как заметил в ходе обсуждения Гэри Илш, более 90% сайтов не нужно беспокоиться о краулинговом бюджете. Эта проблема встречается очень редко, но по какой-то причине ее обсуждают на курсах по SEO и на конференциях. 

Далее сотрудники Google немного рассказали о том, по какому принципу поисковик индексирует контент. В частности, решая, стоит ли индексировать новый контент на сайте, алгоритмы опираются на имеющуюся информацию на ресурсе. Например, если компания запускает блог на основном сайте, то Google может сделать вывод, нужно ли ему много информации из этого блога или нет, опираясь на весь сайт. 

Важным критерием, будет ли контент проиндексирован, являются сигналы качества основного сайта. Одним из таких сигналов качества является интерес пользователей. Google понимает, что сайт интересен, если другие сайты на него ссылаются, а пользователи обсуждают. 

Напомним, ранее Google начал раскатывать алгоритм, направленный на борьбу с некачественным контентом. 

Источник: Search Engine Journal