Дублирование контента: как с этим бороться?

Россия+7 (495) 960-65-87
Шрифт:
1 3120

Дублирование контента – это одна из тех проблем, которую создатели поисковых систем пытаются решить уже достаточно давно. Борьба с этим злом в области поисковых технологий происходит с переменным успехом, а, в конечном счете, страдают авторы материалов и простые пользователи.

Сами разработчики поисковых систем не раз поднимали эту проблему на множестве конференций, но воз, как и раньше ...

А что делать простому пользователю, который по определенному запросу на первых страницах находит один и тот же материал? Хорошо, если материал качественный, а если нет? Вот и остается пользователю либо довольствоваться тем, что дали, либо продолжить поиск, тратя на него свое время.

Проблема заключается еще и в том, что в большинстве случаев дублирование контента происходит незлонамеренно. Основными причинами дубляжа контента могут стать:

  • перечисление небольших фрагментов идентичного текста на всех страницах сайта либо на страницах других сайтов (это могут небольшие информационные блоки о каких-либо событиях, компаниях, людях и т.д.);
  • это могут быть сайты, на которых располагаются новостные агрегаторы (rss), которые просто перепечатывают новости с других сайтов;
  • могут возникнуть копии страниц, расположенных на одном «доме». Здесь, в большинстве случаев, проблема в технических неполадках или неграмотно составленном файле robots.txt . Так, к примеру, веб-мастера частенько забывают закрывать от индексации версии страниц, предназначенные для печати. Нередко на сайте присутствуют идентификаторы сессий, которые приводят к тому, что одна и та же страница индексируется поисковой системой по несколько раз и т.д.
  • нередко пользователи цитируют каких-либо людей, причем объемы цитат могут быть существенными, в этом случае поисковым системам не к чему придраться.

При этом не следует забывать, что переводные статьи (чем, собственно, занимается ваш слуга) не считаются дублированными статьями. Во всяком случае, об этом говориться на официальном блоге Google. Данная поисковая система даже старается помочь пользователям разных государств лучше понимать друг друга, осуществляя множественный перевод с одних языков мира на другие.

На блоге говорится, что фрагмент, который оформлен как цитата, дублированным контентом не считается. Хотя верится в это с трудом.

Несомненно, больше хлопот доставляют те, кто, не ставя ссылки на источник, сознательно ворует контент без соблюдения авторских прав.


Обнаружить «вредителей» можно с помощью следующих сервисов:

  • www.copyscape.com. (сервис позволяет найти, на каких сайтах сеть контент, похожий на тот, что представлен на введенной странице);
  • www.webconfs.com (http://www.webconfs.com/similar-page-checker.php) (сервис, показывающий процентное соотношении похожего контента на сравниваемых страницах).

Кроме этих сервисов, для выявления дубляжей используется параметр &rd=0 (только для поисковой системы Яндекс). В строку поиска вводится фрагмент текста, который, может быть, сворован, Яндекс выдает точные повторения, чтобы обнаружить нечеткие дубли в конец url на странице поиска ставится &rd=0, поиск проводится повторно. Но, повторюсь, данный параметр применим только для Яндекса.

Выявить сайты, которые воруют у вас контент, не ставя ссылку, - это полдела. Обратитесь к ним сначала с просьбой поставить ссылку. Безрезультатно? С предупреждением о том, что могут быть приняты адекватные меры. В том случае, если ваши требования не выполнены, можете смело жаловаться хостеру. Они обычно не церемонятся, в результате «сайт-вор» может прекратить свою деятельность на долгий срок.

Поисковые системы стараются бороться с дублирование текста так, как могут - придумывают различные фильтры. Конечно, какая-то часть повторяющегося материала отсеивается, но другая часть остается. И, к сожалению, очень много материала повторяется из-за ошибок веб-мастеров. Есть несколько шагов, которые помогут значительно сократить количество дублированного материала:

  • закрывайте в robots.txt версии для печати, страницы с ненужной повторяющейся информацией;
  • если вы перенесли свой сайт на другой домен, то не забудьте реализовать 301 редирект на новую версию сайта с помощью htaccess или просто закройте старую версию от индексации;
  • постарайтесь не допускать наличия таких страниц на сайте, как /index.html;
  • не допускайте на сайте наличия идентификаторов сессий;
  • следите, чтобы сайт индексировался только с www., пропишите директиву host в robots.txt;
  • если вы собираете на сайте подборку авторов с других сайтов, то не забывайте ставить ответную ссылку
  • .

Поисковая система Google просит пользователей сообщать о нарушении авторских прав, которое ведет к захламлению поиска спамом, и обещает принимать против нарушителей меры.

Иными словами, проблема, как сохранить релевантную выдачу, должна волновать не только разработчиков поисковых систем, но и всех, кто заинтересован в качественном поиске.



Перевод под ред. Сергея Стружкова, руководителя отдела ресурсов компании Ingate
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад

    Тут, тоже, можно было добавить ремарку, что, "только для Яндекс"
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
32 инструмента в помощь SEO-специалисту
Игорь
1
комментарий
0
читателей
Полный профиль
Игорь - отличная подборка, сам многим из этих сервисов пользуюсь (ETXT, TEXT.RU, Адаптивность, Pingdom Website Speed Test, Google PageSpeed Tools, 2IP, Whois, Букварикс) Правда не мог найти достойного кластеризатора, но потом наткнулся на вот этот seoquick.com.ua/keyword-grouping/ не сочтите за рекламу:) Было бы интересно услышать ваше мнение о нем. Мне очень даже зашел, из-за скорости работы. Как говорит автор - 100 000 запросов за несколько минут. Я с такими цифрами правда не работал, обычно это до 30 000 точно, но работает очень быстро и в правду. Ну и бесплатно, думаю, это был еще один решающий фактор для меня
Исследование: влияние smart-ссылок на продвижение по СЧ-запросам
Анатолий Шевчик
1
комментарий
0
читателей
Полный профиль
Анатолий Шевчик - +1097988
SEO глазами клиентов 2018
Анна Макарова
331
комментарий
0
читателей
Полный профиль
Анна Макарова - Нет, мы не собирали такую информацию.
Не очень удачный кейс продвижения сайта по услуге «Трезвый водитель» в Москве
Александр Селенков
1
комментарий
0
читателей
Полный профиль
Александр Селенков - Работа проделана огромная. Интересный кейс, все детально и понятно изложено.
Два идеальных способа разориться на старте интернет-магазина
Стас
4
комментария
0
читателей
Полный профиль
Стас - Seonews в последнее время такую чушь несет! Где вы таких афторов находите? Статья ничего не стоит и несет чушь! Кто хоть немного понимает в этом так вам и скажет, и такие де комментаторы горе-сеошники, просто смешно читать, вы хоть модерируете ваши статьи или просто для воды на сайте?! Бред сивой кобылы эта статья до самой последней точки!!!
Яндекс перестал индексировать сайты, созданные на Wix
Константин Даткунас
3
комментария
0
читателей
Полный профиль
Константин Даткунас - Было бы интересно посмотреть саму выборку из 10 000 и методику анализа.
4 способа быстро собрать теги для сайта
Рустем Низамутинов
5
комментариев
0
читателей
Полный профиль
Рустем Низамутинов - Расписал и закинул в Google Docs, а то здесь в комментариях ссылки на активны. docs.google.com/document/d/1r0TZLNrQyYLdIzDQsD5YKlMG41HUGQgEep3bxE_ij-M/edit?usp=sharing
Как мы разработали и вывели в ТОП сайт курсов рисования
Иван Стороженко
25
комментариев
0
читателей
Полный профиль
Иван Стороженко - Добрый день. 1)Чаще всего основная проблема заключается, в согласовании с клиентом добавляемого контента и то как он будет отображаться. На данном сайте фото и услуги конечно предоставлял клиент, все остальное уже делали мы. 2)Да в принципе, когда есть команда и понимание, что нужно делать, все идет быстро (опять же основная заминка идет на согласовании с клиентом) 3)Смысла делать новый в данном случает нет. В принципе доделывался полноценный сайт. 4)Когда клиент уже не предоставляет информацию, приходится искать у конкурентов (например с других стран или регионов). Но чаще всего клиент, хоть что-то "подкидывает".
Яндекс: как мы модерируем объявления
Гость
5
комментариев
0
читателей
Полный профиль
Гость - Это ж Яндекс, чего вы ожидали-то? Коммерческая структура с раздутым штатом, задачей которой является заработать больше денег. Любыми методами. Задача всех пользователей посадить на Директ, даже если придется разрушить суть рунета, реализуется по полной программе. Все возражающие караются и выпиливаются. И каждый из сотрудников делает все возможное и невозможное, чтобы реализовать любую дурацкую идею - за это еще и премию выхватить можно. Даже если потом придется выполнять "откат", премиальные уже заплачены. Так было с одним из фильтров Яндекса, так было с купленным им сайтом Кинопоиска, который из русскоязычной энциклопедии кино был превращен за безумные деньги в банальный платный онлайн-кинотеатр.
Эксперимент: как уникальность контента влияет на продвижение сайта
Гоша
4
комментария
0
читателей
Полный профиль
Гоша - Ну да! Тырить легче, чем самому писать... Или хотя бы заказать. Ещё и хвастаемся. Поисковики - не дураки - найдется фильтр и на тех, что воруют чужой контент. Еще немного... еще чуть-чуть. Получается, если ты украл в магазине - ты вор, а если в интернете - ты предприниматель. Успеха!
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
331
Комментариев
262
Комментариев
235
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
97
Комментариев
97
Комментариев
95
Комментариев
87
Комментариев
80
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55
Комментариев
54
Комментариев
53

Отправьте отзыв!
Отправьте отзыв!