Как Google определяет дубли и выбирает канонические страницы

В новом подкасте для вебмастеров Google рассказал, как определяет дубли и канонические страницы.

Поиск дублей и каноникализация – это разные вещи. В первую очередь необходимо найти дубли, сгруппировать их, а затем выявить лидера в этой группе. Это и будет каноникализация.

Чтобы выявить дубликаты, Google создает контрольную сумму (checksum) для каждой страницы. Это похоже на уникальный отпечаток документа на основе слов на каждой страницы. Таким образом, если есть две страницы с одинаковой контрольной суммой, то Google расценивает их как дубликаты.

С помощью этого подхода Google определяет не только полные дубликаты, но и частичные.

Контрольная сумма (checksum) – это значение, полученное из блока цифровых данных с целью обнаружения ошибок, которые могли быть внесены во время их передачи или хранения. Сами по себе контрольные суммы часто используются программистами для проверки целостности данных.

Для выбора канонической страницы – главной страницы в кластере, Google учитывает более 20 сигналов, например, контент, PageRank страницы, наличие HTTPS-протокола, переадресация, атрибут rel=canonical и прочие.

Google использует машинное обучение, чтобы присвоить вес этим сигналам.

Илш также отметил, что каноникализация не имеет отношения к ранжированию: выбранная страница будет ранжироваться, но на основании других сигналов, а не тех, что учитывались при каноникализации.

Источник: Seroudtable