Noindex и rel=canonnical не экономят краулинговый бюджет сайта

Noindex и rel=canonnical не экономят краулинговый бюджет сайта.

Джон Мюллер (Google) рассказал, что метатег noindex влияет на индексирование, а не на сканирование страницы. Гуглбот в любом случае будет сканировать страницу, чтобы найти метатеги, и так или иначе израсходует долю краулингового бюджета.

@idanbenor nope.

— John ☆.o(≧▽≦)o.☆ (@JohnMu) 30 ноября 2016 г.

Аналогичная ситуация с атрибутом rel=canonnical. Google в любом случае пройдется по всем страницам, чтобы посмотреть, что они действительно дублируются.

@bheligman probably not (or not much). we have to pick a canonical & have to crawl the dups to see that they're dups anyway.

— John ☆.o(≧▽≦)o.☆ (@JohnMu) 30 ноября 2016 г.

Источник: seroundtable.com