Магия rel=canonical и переменная ved
В данной статье хотелось бы привлечь внимание специалистов к несовершенству тега rel="canonical" и интересной переменной &ved=0CCMQ0Qw.
При стандартной проверке сайта на наличие ошибок было выявлено, что у продвигаемой страницы появился дубль в выдаче поисковой системы Google. В Яндексе такой проблемы замечено не было.
Дубль был обнаружен при проверке текста на уникальность.
http://site.com.ua/usluga1&ved=0CCMQ0Qw
При анализе дубля было выявлено, что это та же продвигаемая страница, которая отличается лишь переменной в GET запросе ved=0CC0Q0Qw, которая добавлена к URL-адресу. Откуда взялась эта переменная, я не знаю, ранее с таким не встречался.
Попробуем обнаружить, какое количество страниц с переменной &ved было проиндексировано на всем сайте, при помощи поискового запроса:
site:site.com.ua inurl:ved=
В результате найдены 3 таких страницы в индексе поисковой системы:
http://site.com.ua/usluga1&ved=0CCMQ0Qw
http://site.com.ua/usluga2&ved=0CCMQ0Qw
http://site.com.ua/usluga3&ved=0CCMQ0Qw
Хорошо, что дублей не так много. Однако совпадение значения переменной ved у всех таких страниц заставляет задуматься.
Проверим, сколько страниц поисковая система проиндексировала с таким значением переменной для всех сайтов:
inurl:0CCMQ0Qw
Как мы видим из скриншота, множество крупных магазинов содержит аналогичные дубли в индексе поисковой системы Google.
Совет. Проверьте свои сайты, возможно, страницы с переменной &ved есть в индексе, ведь такие сайты, как rozetka.com.ua, eldorado.com.ua и hotline.ua, уже вплотную с ними столкнулись.
Примеры проиндексированных страниц с переменной &ved:
http://hard.rozetka.com.ua/logitech_wireless_mouse_m185_910_002240_red/p178126/&ved=0CCMQ0Qw/
http://www.eldorado.com.ua/led/mystery/c1038962/v352/%26ved=0CCMQ0Qw/
http://hotline.ua/foto-fotoapparaty/nikon-1-aw1-series/?tab=2&ved=0CCMQ0Qw%2F
Я попытался узнать у своих коллег, встречался ли кто-то ранее с данной переменной. Но, к сожалению, это не дало результатов.
Почему данные страницы попали в индекс?
Самое интересное то, что со страниц-дублей (которые содержат различные переменные) на клиентском сайте автоматически прописывается rel="canonical" на основную страницу. Т.е. со всех страниц, которые содержат какие-либо переменные, автоматически добавляется canonical на родительскую страницу.
Приведу пример:
Есть продвигаемая страница http://site.com.ua/usluga1
Мы не хотим, чтобы какие-нибудь страницы с идентификатором сессии в URL-адресе индексировались и попадали в базы поисковых систем, поэтому мы прописываем на http://site.com.ua/usluga1 и всех страницах с переменными в URL:
< link rel="canonical" href="http://site.com.ua/usluga1" />
Т.е. если у нас появится каким-то образом страница http://site.com.ua/usluga1&ved=0CCMQ0Qw, —
то на ней автоматически будет прописан тег: < link rel="canonical" href="http://site.com.ua/usluga1" />
Таким образом мы избавляемся от всевозможных дублей с переменными, делая их дочерними от продвигаемой страницы. Но в данном случае это по каким-то неведомым мне причинам не срабатывает.
Получается так, что страница содержит canonical, является дочерней и все равно индексируется поисковой системой Google.
Попытки решения проблемы
Для того чтобы исключить данные страницы из индекса поисковой системы, было предпринято множество действий, но они не увенчались успехом. Добавляли страницы на повторное индексирование через GWT, пинговали, даже ждали 2 недели, все тщетно.
В конце концов прописали со страниц с переменной &ved=0CCMQ0Qw 301 редирект на соответствующие страницы, и через некоторое время дубли были устранены из индекса поисковой системы Google.
Выводы
Данной статьей я ни в коем случае не хочу сказать, что тег link rel="canonical" плох для избавления сайтов от страниц-дубликатов. Хочу только донести мысль о том, что нужно всегда следить за индексом поисковых систем и анализировать их результаты. Там может быть много интересного.
Также следует максимально часто перепроверять продвигаемые сайты на наличие ошибок с точки зрения оптимизации и своевременно их устранять.
P.S. Буду очень признателен, если кто-то мне объяснит происхождение данной переменной.
Подписывайся!
ВКонтакте
Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой
-
Сидор Оптимимизатор больше года назад"P.S. Буду очень признателен, если кто-то мне объяснит происхождение данной переменной."
Ох, я всегда считал что коллеги-SEOшники должны уметь искать информацию, особенно в поисковиках. Ну да ладно. Переменная показывает с какой именно части SERP Google (новости, картинка, просто ссылка из органики), пришел пользователь.
Ознакомьтесь: moz.com/blog/decoding-googles-referral-string-or-how-i-survived-secure-search -
Женя Кравчук больше года назадДобрый день ! Анализируя свои сайты тоже нашел такие переменные
&ved=0CMoBENEM
&ved=0CBwQ0Qw
&ved=0CJMBENEM -
Skarui больше года назадМожно же в robots.txt запретить этот ved не?
Disallow: */?ved=*
Disallow: */ved=*-
1.Можно закрыть в Robots.txt.
2.Можно прописать meta name="robots" content="noindex, nofollow".
3.Можно удалить данные url через GWT.
4.Можно сделать чтобы данная страница отдавала код отличный от 200.
5.Можно запретить сканирование через GWT.
6.Можно прописать 301 редирект.
Но тема статьи немножко о другом, а именно о теге link rel="canonical" и переменной ved.
-
SeoBudo больше года назад&ved=0CCMQ0Qw - подобные переменные могут быть сформированы cms сайта, проверьте, возможно у всех сайтов с наличием этой переменной в урл - одна и та же админка.
link rel="canonical" - если память не изменяте тег не гарантирует того, что страница с ним не будет проиндексирована, он указывает лишь дает сигнал поисквому роботу о на главную страницу, на которой расположен основной контент
"support.google.com/webmasters/answer/139066?rd=1 - В э...&ved=0CCMQ0Qw - подобные переменные могут быть сформированы cms сайта, проверьте, возможно у всех сайтов с наличием этой переменной в урл - одна и та же админка.
link rel="canonical" - если память не изменяте тег не гарантирует того, что страница с ним не будет проиндексирована, он указывает лишь дает сигнал поисквому роботу о на главную страницу, на которой расположен основной контент
"support.google.com/webmasters/answer/139066?rd=1 - В этой статье описано, как использовать канонические URL, чтобы улучшить рейтинг одинакового содержания, размещенного на разных страницах."-
На моем подопечном сайте какой-то самопис, не думаю что у розетки и work.ua такой же :)
Поисковая система ничего не гарантирует, чтобы к ней потом не предъявляли претензий вида :
- Моя страница не проиндексирована, а в справке написано что в Sitemap.xml укажите страницу и все будет проиндексировано.
- Canonical не склеил дубликаты.
- Запрещено сканирование страницы в Robots.txt, а страница всё-равно в индексе.
- На странице размещен мета тег met...На моем подопечном сайте какой-то самопис, не думаю что у розетки и work.ua такой же :)
Поисковая система ничего не гарантирует, чтобы к ней потом не предъявляли претензий вида :
- Моя страница не проиндексирована, а в справке написано что в Sitemap.xml укажите страницу и все будет проиндексировано.
- Canonical не склеил дубликаты.
- Запрещено сканирование страницы в Robots.txt, а страница всё-равно в индексе.
- На странице размещен мета тег meta name="robots" content="noindex,nofolow" но страница всё-равно индексируется.
- И так далее.
В справке рекомендуется устранять полные дубликаты при помощи тега link rel="canonical", а страницы, которые отличаются только по url как раз полными дубликатами и являются.
Поэтому следует логичный вывод - Доверяй, но проверяй)
-
