4 способа каноникализации URL

Каноническая ссылка представляет собой метатег, который дает возможность поисковикам ранжировать и индексировать желаемый URL-адрес для одного сайта из нескольких URL-адресов, которые есть в доступе. 

С помощью каноникализации можно показать поисковой системе, какой URL необходимо индексировать, если на сайте существуют страницы с повторяющимся или похожим контентом, а также страницы, которые служат для одной цели.

Канонические ссылки: что это такое

В 2016 году разработчики Google добавили тег rel = "canonical", чтобы с его помощью веб-мастера могли «подсказывать» поисковикам, какая страница является предпочтительней на сайте.

Каноническим URL является адрес, который поисковики Google ставят приоритетным между несколькими вариантами страниц на сайте. К примеру, если одна страница имеет несколько URL-адресов, таких как example.com?dress=1234 и example.com/dresses/1234, то одна из версий будет канонической. Обратите внимание, что страницы не всегда являются полностью одинаковы. Они могут иметь различия в настройках фильтров или сортировке (установка фильтров по цвету или цене не делают страницу уникальной). При этом, домен главной страницы может отличаться от домена дублирующей страницы, – говорится в Справке Google Search Console.

Например:

Канонический адрес сайта site.com/a с дубликатом site.com/b.

Такие адреса могут появиться из-за проблем в архитектуре сайта. Кроме того, дублирующие страницы создаются для отслеживания или тестирования.

Есть еще одна версия: site.com/х?ref=facebook. Эта ссылка имеет специальный параметр, который не влияет на изменение контента. Ее содержимое такое же, как у страницы, но в наши задачи не входит, чтобы поисковик Google индексировал эту версию. Если он это сделает, то можно увидеть URL-адреса, которые не являются исходными и имеют непонятный рейтинг параметров URL-адресов Google. Поэтому поисковику нужно показать, какие адреса подлежат индексации, а какие нет.

Для этого используют атрибут rel= “canonical”. Этот атрибут с элементом добавляют в раздел . Благодаря этому, Google будет понимать, какой адрес является основным, и выдавать его в результатах поиска.

Страницу site.com/a можно ссылать саму на себя. Если кто-то добавит к вашему адресу неизвестный параметр, Google отличит указанную вами версию от неоригинала.

Таким образом, чтобы поисковик проиндексировал нужную вам страницу, используйте атрибут rel= “canonical”.

Какие способы каноникализации URL существуют

1. Переадресация 301 (редирект).

Указывает на перемещение страницы из одного места в другое. Например: a.site.com перенаправляется на abc.com/a.

Редирект 301 как бы сообщает Google, что искомая страница была навсегда перемещена, ее здесь больше не будет. В результате браузер перенаправляет пользователей на новое место расположения страницы.

2. Атрибут rel= “canonical”.

Один из наиболее рекомендуемых тегов для каноникализации адреса.

3. Хештеги (#) местоположения. 

Для того, чтобы страница /b имела такое же содержимое, что и страница /а с незначительными отличиями, блок контента из подраздела темы помещают в верхнюю часть страницы. Контент остается тем же с одинаковым поисковым намерением. В данном случае можно использовать хеш (#) в URL. Такие адреса также называют фрагментированными. Они применяются для того, чтобы юзабилити попадал в нужный раздел страницы. В результате Google считает, что это один и тот же адрес. Так можно каноникализировать одинаковый URL.

4. Пассивные параметры в Google Search Console.

На сайты, которые имеют большое количество страниц с адресами, содержащими параметры, не всегда возможно добавить атрибут rel=canonical. В этом случае для того, чтобы сделать параметры адреса пассивными, применяют инструмент Search Console.

Пассивный параметр: sessionid – не изменяет контент, позволяет вести статистику по просмотрам и переходам. К пассивным параметрам относится идентификатор сеансов.

К примеру, есть адрес с параметром sessionid=… Его можно сделать пассивным для отдельных URL и для всех адресов. Google будет обрабатывать их также, как и обычные.

Если URL сайта содержат много таких параметров, советуем воспользоваться инструментом в Google Search Console «Параметры URL» и свести к минимуму сканирование одинаковых страниц.

Что не нужно делать

1. Закрывать дубликаты от индексации тегом Noindex.

Если закрыть дубликат от индексирования, то Google продолжит сканировать страницы и увидит их сходство. Поисковик не сможет объединить сигналы ранжирования одинаковых страниц. Google достаточно умен для автоматического определения главной страницы.

DYK blocking a page with both a robots.txt disallow & a noindex in the page doesn't make much sense cos Googlebot can't "see" the noindex? pic.twitter.com/N4639rCCWt

— Gary 鯨理／경리 Illyes (@methode) February 10, 2017

2. Редиректы 302, 307 и любые другие, кроме 301.

Несмотря на то, что Google не различает переадресацию 301-м и 302-м редиректами, лучше использовать 301-й. Он является наиболее надежным и эффективным для каноникализации и лучше гарантирует необходимый результат.

3. Блокировка дублирующих страниц от сканирования с помощью robots.txt.

При использовании robots.txt для каноникализации дублирующих страниц, бот Google при сканировании не сможет понять, что у них схожее содержание, и не объединит их сигналы. Поэтому данный способ не подходит для каноникализации.

4. Настройка кода ответа сервера 404 для неканонической версии.

Нельзя допускать ситуаций, когда страница выдает ошибку 404. Если страница возвращает код ответа 404, то сигналы по переадресации теряются. Для этого лучше использовать 301 редирект или добавлять атрибут rel=canonical в раздел .

Каноникализация URL: когда применять

1. Полностью одинаковый или похожий контент.

Каноникализация необходима, если сайт имеет две или более страницы с одинаковым или схожим контентом.

Это касается и дублирования описания товара на страницах каталогов. На страницах категорий часто выводят краткое описание товара, которое дублирует описание на странице категории. Поэтому необходимо размещать уникальное описание, которое не будет дублироваться на странице товара.

2. При повторной публикации или обновлении старого контента.

Если вам нужно сохранить старую версию сайта, но сигналы ранжирования должны приходить к новой версии, можно повторно разместить старый контент и настроить переадресацию или опубликовать новую версию и назначить страницу канонической. В этом случае старый контент, размещенный на новом адресе, будет считаться старым.

3. Если контент обслуживает одинаковое поисковое намерение.

Если содержание страницы имеет одинаковое поисковое намерение, то, несмотря на небольшие различия в ключевых запросах, эти страницы подлежат каноникализации.

Например, у вас список из таких ключевых слов:

• лучшая цена для iPhone 12;
• самые выгодные цены на iPhone;
• какой iPhone лучше купить.

У них одинаковое поисковое намерение, поэтому желательно их каноникализировать.

4. Если товар (или событие) уже неактуален или недоступен.

Когда товар или событие на странице уже неактуальны, есть смысл перенаправить пользователя на новую страницу с предложением. Для этого применяют 301 редирект вместо атрибута rel=canonical и делают новую версию страницы каноникализированной.

Вывод

Большое количество контента и дубликаты страниц значительно ухудшают юзабилити сайта и влияют на ранжирование. Чтобы избежать этого, стоит использовать канонические ссылки и редиректы. 

Метатег canonical позволяет приоритизировать один URL-адрес среди всех, которые содержат одинаковый или похожий контент. Мы не рекомендуем закрывать дубли страниц от индексации. Google и сам может определить главную страницу.

Также можно воспользоваться редиректом, если страница перемещена по новому адресу. Редирект позволит перенаправить пользователя на актуальный адрес, минуя старую страницу.

Ориентируйтесь по ситуации и используйте подсказки из этой статьи, чтобы избавиться от возможных проблем с индексацией страниц вашего сайта.