×
Россия +7 (495) 139-20-33

Adult-сайты. Мифы и реальность

Россия +7 (495) 139-20-33
Шрифт:
4 18042

В октябре 2010 года Яндекс внедрил специальный алгоритм, позволяющий с высокой степенью вероятности определять документы, содержащие рекламу «для взрослых». Под предполагаемый новый фильтр попали сайты, не содержащие ничего крамольного, кроме медийной рекламы. Сайты, на которых никогда не было «взрослого» контента также подверглись пессимизации.

Возник ряд вопросов:

  • Как Яндекс относится к ссылкам с таких сайтов?
  • Как Яндекс относится к ссылкам с сайтов, на которых встречаются adult-слова (ведь не все вебмастера модерируют, например, продаваемые ссылки со своих площадок, либо на сайте встречаются омонимы adult-словам)?
  • Как Яндекс относится к ссылкам со страниц, на которых встречаются adul-слова?

Используя различные выборки самой крупной биржи ссылок Sape.ru, была составлена следующая репрезентативная таблица, из которой видно, насколько засорена донорская база ссылок.

Таблица 1. Характеристики биржи Sape

№ п.п

Выборка сайтов

Количество

1

Всего сайтов в базе

176228

2

Количество сайтов в основной базе

125060

3

Количество сайтов сомнительного содержания

51169

4

Количество сайтов основной базы, в текстах которых встречаются adult слов

2232 (2%)

5

Количество сайтов основной базы, в title которых встречаются adult слов

1126 (1%)

6

Число документов с adult словами

41957013

По процентам, сайты с вхождениями adult-слов составляют менее 2%, однако число документов достаточно большое. На фоне данных цифр было принято решение провести исследование следующего содержания:

  • Выяснить, существует ли подобный фильтр по отношению к донорам.
  • Провести корреляционный анализ между позициями анкоров и вероятностью попадания донора под фильтр.
  • Выявить вероятность попадания ссылок с популярных бирж под семейный фильтр.

Типы сайтов с adult-контентом

Все сайты с контентом, на котором встречаются adult-слова можно разделить на 3 группы.

Первая группа — непосредственно сайты со «взрослым» содержанием.

Вторая группа — сайты, на которых встречаются adult-слова или ссылки на adult-сайты с соответствующими анкорами.

Третья группа — новости, медицинские сайты, сайты, в которых встречаются соответствующие омонимы.

Рис. 1. Типы сайтов с adult-контентом

Настоящие adult-сайты и ссылки с них

Для анализа ссылок с подобных доноров была отобрана небольшая база, которая исследовалась с помощью забытой методики «непот»: [(«уникальный_анкор») (url:домен_донора* | url:домен_сайта*)]. Главным условием отбора анкоров были уникальность и отсутствие точной фразы на сайте-акцепторе, т.е. поиск по НПС для минимизации влияния текстовой составляющей сайта.

В результате наблюдались следующие закономерности:

1. «Взрослые» сайты не ищутся в семейном поиске Яндекса (family.yandex.ru), поэтому в результате поиска точной фразы на доноре и акцепторе в семейном поиске — находится только НПС акцептора. В поиске без ограничений — присутствуют обе ссылки:

Рис.2. Семейный поиск. Донор adult-сайт

Рис. 3. Поиск без ограничений. Донор adult-сайт

2. В противовес ссылкам с adult-доноров, ссылки с обычных сайтов отображаются как в стандартном поиске, так и в семейном:

Рис. 4. Семейный поиск. Донор не adult-сайт

Рис. 5. Поиск без ограничений. Донор не adult-сайт

3. В выдаче без ограничений, НПС с adult-донора ниже, чем с обычного донора. Можно предположить, что текстовая составляющая анкора на adult-сайте перебивает передающий вес ссылки с этого сайта. ВАЖНО, чтобы анкор был уникальным, иначе порядок может не соблюдаться. Подобный пример, но с донором, не принадлежащем категории adult, где НПС выше, чем текстовая составляющая анкора:

Рис. 6. Взаимное положение акцептора и adult-донора в выдаче.

Рис. 7. Взаимное положение акцептора и донора не «adult» в выдаче.

На практике, ссылки с подобных сайтов не покупаются, поэтому провести более глубокое исследование не получилось, однако, с вероятностью 99%, можно говорить, что вес с таких ссылок меньший, чем с обычных сайтов!

Сайты с adult-словами

Покупая ссылки на донорах и проверяя эти страницы с помощью стандартного плагина для Firefox — Вебмастер SAPE 2.10.2 от автора Wink-RU, мы не проверяем весь сайт на наличие страниц со «взрослыми» словами. Чтобы выяснить, существует ли фильтр, накладывающийся на весь сайт и влияющий на ссылочную массу акцептора, было проведено корреляционное исследование.

Для этой цели был разработан инструмент, на вход которого подавался список url для проверки его наличия в выдачи «семейного поиска». Также данный инструмент позволял определить вероятность попадания всего сайта под гипотетический фильтр «ты взрослый». Вероятность рассчитывалась, как отношение разности количества страниц сайта, найденных в поиске без ограничения, и количества страниц, найденных в семейном поиске, к количеству страниц, найденных в поиске без ограничения:

где C unrestricted — количество страниц, найденное на сайте в поиске без ограничения;

C family — количество страниц, найденное на сайте в семейном поиске.

Корреляционный анализ проводился на отобранной базе ссылок, участвующих в непосредственном процессе продвижения, и собранных позиций соответствующих анкоров. К сожалению, назвать данный анализ «чистым» нельзя, т.к. все сайты оптимизированы по-разному, авторитетность сайтов — разная, количество ссылок на запросы также разное. Однако даже в этом случае присутствие фильтра, наложенного на весь сайт, должно было отразиться на позициях разбавленных анкоров.

Итоговые результаты представлены в таблице 2 и 3 ниже.

Таблица 2. Итоговая таблица корреляционного анализа по всем запросам


Позиция

Всего ссылок

Ссылок не в СП

Доноров с P>70

Ср. НИ в СП

Ср. P>70

Позиция

1

Всего ссылок

0,069958

1

Ссылок не в СП

-0,01015

0,694497

1

Доноров с P>70

0,04777

0,874579

0,683873

1

Ср. НИ в СП

-0,07208

-0,00167

0,448365

0,059198

1

Ср. P>70

-0,0356

-0,01762

0,079897

0,283385

0,203838

1

Таблица 3. Итоговая таблица корреляционного анализа по всем сайтам по усредненным показателям


Позиция

Всего ссылок

Ссылок не в СП

Доноров с P>70

Ср. НИ в СП

Ср. P>70

Позиция

1

Всего ссылок

-0,02037

1

Ссылок не в СП

-0,19268

0,680793

1

Доноров с P>70

-0,04807

0,901667

0,802514

1

Ср. НИ в СП

-0,27283

-0,01794

0,446652

0,069347

1

Ср. P>70

-0,05072

-0,06856

0,063691

0,141175

0,191851

1

Ссылок не в СП — это количество ссылок, которые не в индексе при поиске по семейному поиску.

Доноров с P>70 — это количество доноров, теоретическая вероятность которых больше порогового значения 70%. Выявлено на следующем этапе исследования.

Ср. НИ в СП — соответственно, среднее количество ссылок, которые не в индексе при поиске по семейному поиску, рассчитывается как отношение показателя «Ссылок не в СП» к общему количеству ссылок.

Ср. P>70 — соответственно, среднее количество доноров, теоретическая вероятность которых больше порогового значения 70%. Рассчитывается как отношение показателя «Доноров с P>70» к общему количеству ссылок.

Из таблиц видно, что корреляция очень слабая. Шкала корреляции представлена ниже:

Можно сделать вывод, что даже если существует фильтр «ты взрослый» — он накладывается не на сайт (корреляция позиции и Доноров с P>70 низкая). А наличие в индексе страницы в семейном поиске требует более глубокой проработки в виде экспериментов на чистых сайтах.

Статистика по биржам

На основе покупаемых ссылок проектов на разных биржах и проверки их по алгоритму, расписанному выше, был получен следующий результат:

Рис. 8. Результат проверки бирж по проставленным ссылкам.

Как видно из графика, в основном все купленные в рамках продвижения проектов ссылки имеют хорошие показатели, не превышающие в среднем 10%. Из графика ниже (увеличенный масштаб на интервале 50-100%) можно сделать вывод, что интервал 70-100%, т.к.

Рис. 9. Увеличенный масштаб графика проверки бирж на интервале 50-100%

В таблице 4 представлены проценты доноров, у которых 100% отсутствие страниц в индексе семейного поиска и у которых данный показатель лежит на интервале 70-100%.

Таблица 4. Вероятность теоретического adult-фильтра по биржам

Биржи

Всего ссылок

только 100%

70-100%

НИ

sape

11701

0,08307

0,086232

0,009572

blogun

4263

0,277504

0,29369

0,004692

gogetlinks

107

0,056075

0,065421

0

rotapost

320

0,11875

0,140625

0,03125

miralinks

1881

0,070707

0,077087

0,009038

sape pr

2093

0,117057

0,127568

0,005733

ручные ссылки

85

0,023529

0,023529

0,011765

всего sape

45734

0,095815

0,099007

0,031158

Таким образом, самым чистым способом оказался старый метод ручной закупки, однако проверяемых доноров было не так много. Из бирж — sape, gogetlinks и miralinks оказались достаточно чистыми, а вот blogun и rotapost получили худшие оценки.

По оценке непосредственного присутствия страницы со ссылкой в поиске лидирует gogetlinks и sape pr. Про blogun.ru можно сказать, что данные не совсем корректные из-за отсутствия страницы в индексе без ограничений.

Выводы

  1. Вес с adult-сайтов передается по ссылке с меньшим весом, чем с обыкновенных сайтов.
  2. Пессимизация, накладываемая на ссылку с сайта, где присутствуют adult-слова, не подтвердилась.
  3. Для подтверждения или опровержения пессимизации, накладываемой на ссылку со страницы, на которой присутствует adult-слово, необходимо проводить чистые исследования на новых сайтах.
  4. Стандартные фильтры по закупке себя оправдывают и не превышают 10% мусора. Однако если предположить, что суммы, ежемесячно выкладываемые за аренду ссылок крупными рекламодателями, составляют только по sape около 500 000 руб., то 10% — это 50000 руб., что немало для оплаты мусора.
  5. Дополнительно необходимо провести эксперимент — снять ссылки, которые не в индексе семейного поиска и отследить изменение в позициях. Если изменений не будет, то экономия в 10% будет существенна для крупных рекламодателей! В рамках же малых денежных вливаний трудозатраты на анализ мусора будут выше, чем прибыли на его экономии.
(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Анютка Акимова
    1
    комментарий
    0
    читателей
    Анютка Акимова
    больше года назад
    Подскажите у меня такой вот сайт адалт порно портал ledyxxx.com/, как его продвигать лучше ссллками или же материалами, дайте пару советов новичку )
    -
    0
    +
    Ответить
  • XoseErnest
    больше года назад
    Очень полезно!
    Будем ждать эксперимент по снятию не индексируемых "семейным поиском" ссылок...
    -
    0
    +
    Ответить
  • Seo-active.net
    больше года назад
    Информация крайне полезная, исследование проведено удачно.
    -
    -3
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
Светлана Зубрицкая
1
комментарий
0
читателей
Полный профиль
Светлана Зубрицкая - Нужно убрать пробелы между строк и заменить кавычки на вот такие "
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
0
комментариев
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
Война с дубликатами. Как нужно и как не нужно канонизировать URL
Ann Yaroshenko
5
комментариев
0
читателей
Полный профиль
Ann Yaroshenko - Дмитрий, добрый день! Если вы проставили на странице с автозапчастями rel=canonical ( а я вижу в коде, что не проставили) или в HTTP хедере, то бот, как правило: выберит ту страницу главной, которую вы указали в rel=canonical ссылке. Eсли же вы этого не сделали, то бот сам выберит оригинал (алгоритмы, по которым бот это делает, скрыты Googl-ом)
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как вывести сайт в ТОП 10 Google в 2019 году
Ирина
8
комментариев
0
читателей
Полный профиль
Ирина - Работают. Как естественные, так и закупные. >Мои сайты в первую очередь заточены на яндекс Соболезную. >Насколько поисковые алгоритмы с гугловскими у него. Разница в 10 лет. Вон в Яше все долбят на ключи, на вхождения и прочий трэш из древностей. А у Гугла, вон почитайте про eat, ymyl Не все понятно но спасибо за ответы. Я так понимаю что с ссылками деть никто точно не знает) Ну это и хорошо вообщем. Самому разбираться как то интересней. Но не всегда. Есть к примеру 2captcha.com/ru и на него 100к ссылок есть. Ну а смысл какой?
Как улучшить репутацию сайта недвижимости с помощью крауд-маркетинга
Евгений
2
комментария
0
читателей
Полный профиль
Евгений - а у вас какое впечатление от статьи?
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
360
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
79
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!