×
Россия +7 (495) 139-20-33

Яндекс о дублях на сайте: как обнаружить, и что с ними делать

Россия +7 (495) 139-20-33
Шрифт:
0 1937

Команда Яндекса в блоге для вебмастеров рассказала о вреде дублей на сайте, как их обнаружить, и что с ними делать.

Дубли – это страницы сайта с одинаковым или практически полностью совпадающим контентом. Наличие таких страниц может негативно сказаться на взаимодействии сайта с поисковой системой.

Дубли могут замедлять индексирования нужных страниц и затрудняют интерпретацию данных веб-аналитики.

Дубли могут появиться на сайт в результате:

  • Автоматической генерации. Например, CMS сайта создает ссылки не только с ЧПУ, но и техническим адресом: https://site.ru/noviy-tovar и https://site.ru/id279382.
  • Некорректных настроек. К примеру, при неправильно настроенных относительных ссылках на сайте могут появляться ссылки по адресам, которых физически не существует, и они отдают такой же контент, как и нужные страницы сайта.
  • Ссылок с незначащими GET-параметрами. Подробнее об этом можно посмотреть тут.
  • Ссылок со слешем на конце и без. Для поисковой системы сайты https://site.ru/page и https://site.ru/pages/ – это разные страницы (исключение составляет только главная страница, между https://site.ru/ и https://site.ru разницы нет).

Как обнаружить дубли

В разделе «Диагностика» появилось специальное уведомление, которое расскажет про большую долю дублей на сайте. Алерт появляется с небольшой задержкой в 2–3 дня – это обусловлено тем, что на сбор достаточного количества данных и их обработку требуется время.

Подписываться на оповещения не нужно, уведомление появится само.

Чтобы найти дубли вручную, нужно:

  • перейти в Вебмастер;
  • во вкладке «Индексирование» открыть «Страницы в поиске»;
  • нажать на «Исключенные» в правой части страницы;
  • прокрутив вниз, в правом нижнем углу найти опцию «Скачать таблицу»;
  • выбрать подходящий формат и загрузить архив. У страниц-дублей будет статус DUPLICATE.

Как оставить в поиске нужную страницу в зависимости от ситуации

дубли

В случае с «мусорными» страницами Яндекс рекомендует воспользоваться одним из способов:

  1. Добавить в файл robots.txt директиву Disallow, чтобы запретить индексирование страницы-дубля.
  2. Либо запретить их индексирование при помощи мета-тега noindex. Тогда поисковой робот сможет исключить страницы из базы по мере их переобхода.
  3. Если такой возможности нет, можно настроить HTTP-код ответа 403/404/410. Данный метод менее предпочтителен, так как показатели недоступных страниц не будут учитываться, и если где-то на сайте или в поиске еще есть ссылки на такие страницы, пользователь попадет на недоступную ссылку.

В случае со страницами-дублями можно воспользоваться одним из способов:

  1. Для дублей с незначащими GET-параметрами добавить в файл robots.txt директиву Clean-param. Директива Clean-param – межсекционная. Это означает, что она будет обрабатываться в любом месте файла robots.txt. Указывать ее для роботов Яндекса при помощи User-Agent: Yandex не требуется.
  2. Установить редирект с HTTP-кодом 301 с одной дублирующей страницы на другую. В этом случае в поиске будет участвовать цель установленного редиректа. Важно указать предпочитаемый (канонический) адрес страницы, который будет участвовать в поиске.
  3. Использовать атрибут rel=«canonical». При работе с атрибутом rel=«canonical» стоит учитывать, что если содержимое дублей имеет некоторые отличия или очень часто обновляется, то такие страницы все равно могут попасть в поиск из-за различий в этом содержимом. В этом случае рекомендуется использовать другие предложенные варианты.
Для страниц со слешем на конце и без рекомендуется использовать редирект 301. Можно выбрать в качестве доступной как ссылку со слешем, так и без него – для индексирования разницы никакой нет.

В случае с важными контентными страницами для их индексирования и представления в поиске важно использовать:

  1. Файлы Sitemap;
  2. Метрику;
  3. Установку счетчика;
  4. Настройку обхода страниц роботами.

Подробные рекомендации о работе со страницами-дублями читайте в Справке.

Источник: Блог Яндекса для вебмастеров
(Голосов: 3, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Известность бренда SEO-компаний 2021
Костя
1
комментарий
0
читателей
Полный профиль
Костя - Iqad самые классные!!!
Медицинская тематика в SEO: исследование спроса
Гость
1
комментарий
0
читателей
Полный профиль
Гость - В файле по ссылке запрос "как понизить голос" относят к 100-тысячным. Каким боком? Вордстат показывает в разы меньшую цифру.
Товары, которые не стоит продавать на Wildberries: типичные ошибки новичков
Николай
1
комментарий
0
читателей
Полный профиль
Николай - Похоже wildberries-edu.ru/
SEO-продвижение монобрендового интернет-магазина. Кейс Casio
Mike
11
комментариев
0
читателей
Полный профиль
Mike - Яндекс сам не знает, что рекомендует. Каноникал они игнорируют все равно. А вот в гугле четко сказано, что если у страниц разный контент, то каноникал ставить не правильно.
«Ашманов и партнёры» создали нейросеть, которая генерирует нешаблонные описания для страниц сайтов
Алексей
1
комментарий
0
читателей
Полный профиль
Алексей - Функционал есть, но он не отдельный. Он идёт в дополнение к LSI-анализу, интегрирован в него. Можете увидеть сгенерированные мета-теги на вкладке "Текст" в результатах LSI-анализа. Они будут указаны с пометкой (авто). Также сгенерированные мета-теги указаны в ТЗ для копирайтера, которое формируется по итогам анализа конкурентов.
Реклама в Google Ads и AdSense в России работает нестабильно
Гость
2
комментария
0
читателей
Полный профиль
Гость - У тебя трафик с поиска уменьшился?
Внедрение и тестирование поиска по товарам в интернет-магазине инструментов
Геннадий IQAD.RU
1
комментарий
0
читателей
Полный профиль
Геннадий IQAD.RU - На текущий момент достаточно часто (через 2-3 фида находятся проблемы). Причина в том, что инструмент пока находится в бета-версии и фиды проходят ручную модерацию через асессоров Яндекса. Тем не менее, как правило, правки минимальны.
7 трендов интернет-маркетинга на 2022 год
Иван
1
комментарий
0
читателей
Полный профиль
Иван - За трендами реально будущее!
Медицинская тематика в SEO: исследование выдачи
УточняюВопросы
1
комментарий
0
читателей
Полный профиль
УточняюВопросы - не очень понятен ваш запрос, можете чуть детальнее расписать? у нас же РУ-семантика, соответственно и язык сайтов в выдаче РУ конечно могуть быть какие то случайные выбросы, но вряд ли значимые
Как провести SEO-аудит сайта самостоятельно: пошаговый план
Юлия Шевалдова
1
комментарий
0
читателей
Полный профиль
Юлия Шевалдова - Рада быть полезной :)
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
385
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
115
Комментариев
97
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
62
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!