×
Россия +7 (495) 139-20-33

Дублирование контента: как с этим бороться?

Россия +7 (495) 139-20-33
Шрифт:
1 3960

Дублирование контента – это одна из тех проблем, которую создатели поисковых систем пытаются решить уже достаточно давно. Борьба с этим злом в области поисковых технологий происходит с переменным успехом, а, в конечном счете, страдают авторы материалов и простые пользователи.

Сами разработчики поисковых систем не раз поднимали эту проблему на множестве конференций, но воз, как и раньше ...

А что делать простому пользователю, который по определенному запросу на первых страницах находит один и тот же материал? Хорошо, если материал качественный, а если нет? Вот и остается пользователю либо довольствоваться тем, что дали, либо продолжить поиск, тратя на него свое время.

Проблема заключается еще и в том, что в большинстве случаев дублирование контента происходит незлонамеренно. Основными причинами дубляжа контента могут стать:

  • перечисление небольших фрагментов идентичного текста на всех страницах сайта либо на страницах других сайтов (это могут небольшие информационные блоки о каких-либо событиях, компаниях, людях и т.д.);
  • это могут быть сайты, на которых располагаются новостные агрегаторы (rss), которые просто перепечатывают новости с других сайтов;
  • могут возникнуть копии страниц, расположенных на одном «доме». Здесь, в большинстве случаев, проблема в технических неполадках или неграмотно составленном файле robots.txt . Так, к примеру, веб-мастера частенько забывают закрывать от индексации версии страниц, предназначенные для печати. Нередко на сайте присутствуют идентификаторы сессий, которые приводят к тому, что одна и та же страница индексируется поисковой системой по несколько раз и т.д.
  • нередко пользователи цитируют каких-либо людей, причем объемы цитат могут быть существенными, в этом случае поисковым системам не к чему придраться.

При этом не следует забывать, что переводные статьи (чем, собственно, занимается ваш слуга) не считаются дублированными статьями. Во всяком случае, об этом говориться на официальном блоге Google. Данная поисковая система даже старается помочь пользователям разных государств лучше понимать друг друга, осуществляя множественный перевод с одних языков мира на другие.

На блоге говорится, что фрагмент, который оформлен как цитата, дублированным контентом не считается. Хотя верится в это с трудом.

Несомненно, больше хлопот доставляют те, кто, не ставя ссылки на источник, сознательно ворует контент без соблюдения авторских прав.


Обнаружить «вредителей» можно с помощью следующих сервисов:

  • www.copyscape.com. (сервис позволяет найти, на каких сайтах сеть контент, похожий на тот, что представлен на введенной странице);
  • www.webconfs.com (http://www.webconfs.com/similar-page-checker.php) (сервис, показывающий процентное соотношении похожего контента на сравниваемых страницах).

Кроме этих сервисов, для выявления дубляжей используется параметр &rd=0 (только для поисковой системы Яндекс). В строку поиска вводится фрагмент текста, который, может быть, сворован, Яндекс выдает точные повторения, чтобы обнаружить нечеткие дубли в конец url на странице поиска ставится &rd=0, поиск проводится повторно. Но, повторюсь, данный параметр применим только для Яндекса.

Выявить сайты, которые воруют у вас контент, не ставя ссылку, - это полдела. Обратитесь к ним сначала с просьбой поставить ссылку. Безрезультатно? С предупреждением о том, что могут быть приняты адекватные меры. В том случае, если ваши требования не выполнены, можете смело жаловаться хостеру. Они обычно не церемонятся, в результате «сайт-вор» может прекратить свою деятельность на долгий срок.

Поисковые системы стараются бороться с дублирование текста так, как могут - придумывают различные фильтры. Конечно, какая-то часть повторяющегося материала отсеивается, но другая часть остается. И, к сожалению, очень много материала повторяется из-за ошибок веб-мастеров. Есть несколько шагов, которые помогут значительно сократить количество дублированного материала:

  • закрывайте в robots.txt версии для печати, страницы с ненужной повторяющейся информацией;
  • если вы перенесли свой сайт на другой домен, то не забудьте реализовать 301 редирект на новую версию сайта с помощью htaccess или просто закройте старую версию от индексации;
  • постарайтесь не допускать наличия таких страниц на сайте, как /index.html;
  • не допускайте на сайте наличия идентификаторов сессий;
  • следите, чтобы сайт индексировался только с www., пропишите директиву host в robots.txt;
  • если вы собираете на сайте подборку авторов с других сайтов, то не забывайте ставить ответную ссылку
  • .

Поисковая система Google просит пользователей сообщать о нарушении авторских прав, которое ведет к захламлению поиска спамом, и обещает принимать против нарушителей меры.

Иными словами, проблема, как сохранить релевантную выдачу, должна волновать не только разработчиков поисковых систем, но и всех, кто заинтересован в качественном поиске.



Перевод под ред. Сергея Стружкова, руководителя отдела ресурсов компании Ingate
(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Олег Сахно
    483
    комментария
    0
    читателей
    Олег Сахно
    больше года назад

    Тут, тоже, можно было добавить ремарку, что, "только для Яндекс"
    -
    0
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Что скрывает «Прогноз бюджета Яндекс.Директ»?
Михаил Мухин
14
комментариев
0
читателей
Полный профиль
Михаил Мухин - Здравствуйте! 1-2. Считает стенд. Ссылка на него дана, но могу повторить: online.p-c-l.ru/competition/task/card/id/106. Нажмите на кнопку "Начать" и заранее приготовьте прогноз бюджета Яндекс. Суть расчета: перебор комбинаций всех ставок на всех фразах, построение бюджетных когорт - бюджетов с одинаковым СРС, отбор в каждой когорте бюджета с максимальным количеством кликов и ..., да упорядочивание этих бюджетов по мере возрастания СРС, причем берем не все, а с фиксированным шагом. 3. Гугл считается через поправочные коэффициенты. Мы перевариваем океан данных и представляем их. На удивление, получается не менее, хотя и не более точно, как и прогноз Яндекс. Конечно, нужно понимать, что это очень примерные прикидки, фактически перевод неточного прогноза Яндекс в удобочитаемую форму, не больше. Самое интересное начинается, когда применяешь метод бюджетных когорт к измерению показателей фраз на реальной рекламной кампании в режиме 48х7. Первые результаты очень хорошие. Если хотите присоединиться к бесплатному тестированию, напишите Эльвире r-support@r-broker.ru. В теме укажите "хочу присоединиться к тестам Умного управления рекламой"
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
362
комментария
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Ссылочное продвижение локальных сайтов: ТОП худших SEO-методов
Блорик Саакашвили
2
комментария
0
читателей
Полный профиль
Блорик Саакашвили - Ну а так конечно согласен видно что у автора статьи не такие и глубокие знания...
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
Как вывести сайт в ТОП 10 Google в 2019 году
Роман
1
комментарий
0
читателей
Полный профиль
Роман - Вот скажите пожалуйста, Мне разработали сайт на мою фирму, www.линк.kz и теперь надо решить, сео продвижение у нас стоит около 25000 - 30000 руб. в месяц, для меня сумма не маленькая стоит ли оно того? или можно просто оптимизировать сайт в плане СЕО и выходить в ТОП за счет трафика?
Как я пытался купить CRM-систему, но мне ее поленились продать
Kristina
1
комментарий
0
читателей
Полный профиль
Kristina - Очень рекомендую CRM-систему польской фирмы Firmao. Все функции настраиваются в соответствии с индивидуальным потребностям компании! Советую попробовать бесплатную демо-версию, чтобы попробовать все необходимые функции, без лишних кнопок и траты дополнительных финансов! :) Сайт: firmao.ru/info
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
362
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
82
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!