×
Россия +7 (495) 139-20-33

Adult-сайты. Мифы и реальность

Россия +7 (495) 139-20-33
Шрифт:
4 18623

В октябре 2010 года Яндекс внедрил специальный алгоритм, позволяющий с высокой степенью вероятности определять документы, содержащие рекламу «для взрослых». Под предполагаемый новый фильтр попали сайты, не содержащие ничего крамольного, кроме медийной рекламы. Сайты, на которых никогда не было «взрослого» контента также подверглись пессимизации.

Возник ряд вопросов:

  • Как Яндекс относится к ссылкам с таких сайтов?
  • Как Яндекс относится к ссылкам с сайтов, на которых встречаются adult-слова (ведь не все вебмастера модерируют, например, продаваемые ссылки со своих площадок, либо на сайте встречаются омонимы adult-словам)?
  • Как Яндекс относится к ссылкам со страниц, на которых встречаются adul-слова?

Используя различные выборки самой крупной биржи ссылок Sape.ru, была составлена следующая репрезентативная таблица, из которой видно, насколько засорена донорская база ссылок.

Таблица 1. Характеристики биржи Sape

№ п.п

Выборка сайтов

Количество

1

Всего сайтов в базе

176228

2

Количество сайтов в основной базе

125060

3

Количество сайтов сомнительного содержания

51169

4

Количество сайтов основной базы, в текстах которых встречаются adult слов

2232 (2%)

5

Количество сайтов основной базы, в title которых встречаются adult слов

1126 (1%)

6

Число документов с adult словами

41957013

По процентам, сайты с вхождениями adult-слов составляют менее 2%, однако число документов достаточно большое. На фоне данных цифр было принято решение провести исследование следующего содержания:

  • Выяснить, существует ли подобный фильтр по отношению к донорам.
  • Провести корреляционный анализ между позициями анкоров и вероятностью попадания донора под фильтр.
  • Выявить вероятность попадания ссылок с популярных бирж под семейный фильтр.

Типы сайтов с adult-контентом

Все сайты с контентом, на котором встречаются adult-слова можно разделить на 3 группы.

Первая группа — непосредственно сайты со «взрослым» содержанием.

Вторая группа — сайты, на которых встречаются adult-слова или ссылки на adult-сайты с соответствующими анкорами.

Третья группа — новости, медицинские сайты, сайты, в которых встречаются соответствующие омонимы.

Рис. 1. Типы сайтов с adult-контентом

Настоящие adult-сайты и ссылки с них

Для анализа ссылок с подобных доноров была отобрана небольшая база, которая исследовалась с помощью забытой методики «непот»: [(«уникальный_анкор») (url:домен_донора* | url:домен_сайта*)]. Главным условием отбора анкоров были уникальность и отсутствие точной фразы на сайте-акцепторе, т.е. поиск по НПС для минимизации влияния текстовой составляющей сайта.

В результате наблюдались следующие закономерности:

1. «Взрослые» сайты не ищутся в семейном поиске Яндекса (family.yandex.ru), поэтому в результате поиска точной фразы на доноре и акцепторе в семейном поиске — находится только НПС акцептора. В поиске без ограничений — присутствуют обе ссылки:

Рис.2. Семейный поиск. Донор adult-сайт

Рис. 3. Поиск без ограничений. Донор adult-сайт

2. В противовес ссылкам с adult-доноров, ссылки с обычных сайтов отображаются как в стандартном поиске, так и в семейном:

Рис. 4. Семейный поиск. Донор не adult-сайт

Рис. 5. Поиск без ограничений. Донор не adult-сайт

3. В выдаче без ограничений, НПС с adult-донора ниже, чем с обычного донора. Можно предположить, что текстовая составляющая анкора на adult-сайте перебивает передающий вес ссылки с этого сайта. ВАЖНО, чтобы анкор был уникальным, иначе порядок может не соблюдаться. Подобный пример, но с донором, не принадлежащем категории adult, где НПС выше, чем текстовая составляющая анкора:

Рис. 6. Взаимное положение акцептора и adult-донора в выдаче.

Рис. 7. Взаимное положение акцептора и донора не «adult» в выдаче.

На практике, ссылки с подобных сайтов не покупаются, поэтому провести более глубокое исследование не получилось, однако, с вероятностью 99%, можно говорить, что вес с таких ссылок меньший, чем с обычных сайтов!

Сайты с adult-словами

Покупая ссылки на донорах и проверяя эти страницы с помощью стандартного плагина для Firefox — Вебмастер SAPE 2.10.2 от автора Wink-RU, мы не проверяем весь сайт на наличие страниц со «взрослыми» словами. Чтобы выяснить, существует ли фильтр, накладывающийся на весь сайт и влияющий на ссылочную массу акцептора, было проведено корреляционное исследование.

Для этой цели был разработан инструмент, на вход которого подавался список url для проверки его наличия в выдачи «семейного поиска». Также данный инструмент позволял определить вероятность попадания всего сайта под гипотетический фильтр «ты взрослый». Вероятность рассчитывалась, как отношение разности количества страниц сайта, найденных в поиске без ограничения, и количества страниц, найденных в семейном поиске, к количеству страниц, найденных в поиске без ограничения:

где C unrestricted — количество страниц, найденное на сайте в поиске без ограничения;

C family — количество страниц, найденное на сайте в семейном поиске.

Корреляционный анализ проводился на отобранной базе ссылок, участвующих в непосредственном процессе продвижения, и собранных позиций соответствующих анкоров. К сожалению, назвать данный анализ «чистым» нельзя, т.к. все сайты оптимизированы по-разному, авторитетность сайтов — разная, количество ссылок на запросы также разное. Однако даже в этом случае присутствие фильтра, наложенного на весь сайт, должно было отразиться на позициях разбавленных анкоров.

Итоговые результаты представлены в таблице 2 и 3 ниже.

Таблица 2. Итоговая таблица корреляционного анализа по всем запросам


Позиция

Всего ссылок

Ссылок не в СП

Доноров с P>70

Ср. НИ в СП

Ср. P>70

Позиция

1

Всего ссылок

0,069958

1

Ссылок не в СП

-0,01015

0,694497

1

Доноров с P>70

0,04777

0,874579

0,683873

1

Ср. НИ в СП

-0,07208

-0,00167

0,448365

0,059198

1

Ср. P>70

-0,0356

-0,01762

0,079897

0,283385

0,203838

1

Таблица 3. Итоговая таблица корреляционного анализа по всем сайтам по усредненным показателям


Позиция

Всего ссылок

Ссылок не в СП

Доноров с P>70

Ср. НИ в СП

Ср. P>70

Позиция

1

Всего ссылок

-0,02037

1

Ссылок не в СП

-0,19268

0,680793

1

Доноров с P>70

-0,04807

0,901667

0,802514

1

Ср. НИ в СП

-0,27283

-0,01794

0,446652

0,069347

1

Ср. P>70

-0,05072

-0,06856

0,063691

0,141175

0,191851

1

Ссылок не в СП — это количество ссылок, которые не в индексе при поиске по семейному поиску.

Доноров с P>70 — это количество доноров, теоретическая вероятность которых больше порогового значения 70%. Выявлено на следующем этапе исследования.

Ср. НИ в СП — соответственно, среднее количество ссылок, которые не в индексе при поиске по семейному поиску, рассчитывается как отношение показателя «Ссылок не в СП» к общему количеству ссылок.

Ср. P>70 — соответственно, среднее количество доноров, теоретическая вероятность которых больше порогового значения 70%. Рассчитывается как отношение показателя «Доноров с P>70» к общему количеству ссылок.

Из таблиц видно, что корреляция очень слабая. Шкала корреляции представлена ниже:

Можно сделать вывод, что даже если существует фильтр «ты взрослый» — он накладывается не на сайт (корреляция позиции и Доноров с P>70 низкая). А наличие в индексе страницы в семейном поиске требует более глубокой проработки в виде экспериментов на чистых сайтах.

Статистика по биржам

На основе покупаемых ссылок проектов на разных биржах и проверки их по алгоритму, расписанному выше, был получен следующий результат:

Рис. 8. Результат проверки бирж по проставленным ссылкам.

Как видно из графика, в основном все купленные в рамках продвижения проектов ссылки имеют хорошие показатели, не превышающие в среднем 10%. Из графика ниже (увеличенный масштаб на интервале 50-100%) можно сделать вывод, что интервал 70-100%, т.к.

Рис. 9. Увеличенный масштаб графика проверки бирж на интервале 50-100%

В таблице 4 представлены проценты доноров, у которых 100% отсутствие страниц в индексе семейного поиска и у которых данный показатель лежит на интервале 70-100%.

Таблица 4. Вероятность теоретического adult-фильтра по биржам

Биржи

Всего ссылок

только 100%

70-100%

НИ

sape

11701

0,08307

0,086232

0,009572

blogun

4263

0,277504

0,29369

0,004692

gogetlinks

107

0,056075

0,065421

0

rotapost

320

0,11875

0,140625

0,03125

miralinks

1881

0,070707

0,077087

0,009038

sape pr

2093

0,117057

0,127568

0,005733

ручные ссылки

85

0,023529

0,023529

0,011765

всего sape

45734

0,095815

0,099007

0,031158

Таким образом, самым чистым способом оказался старый метод ручной закупки, однако проверяемых доноров было не так много. Из бирж — sape, gogetlinks и miralinks оказались достаточно чистыми, а вот blogun и rotapost получили худшие оценки.

По оценке непосредственного присутствия страницы со ссылкой в поиске лидирует gogetlinks и sape pr. Про blogun.ru можно сказать, что данные не совсем корректные из-за отсутствия страницы в индексе без ограничений.

Выводы

  1. Вес с adult-сайтов передается по ссылке с меньшим весом, чем с обыкновенных сайтов.
  2. Пессимизация, накладываемая на ссылку с сайта, где присутствуют adult-слова, не подтвердилась.
  3. Для подтверждения или опровержения пессимизации, накладываемой на ссылку со страницы, на которой присутствует adult-слово, необходимо проводить чистые исследования на новых сайтах.
  4. Стандартные фильтры по закупке себя оправдывают и не превышают 10% мусора. Однако если предположить, что суммы, ежемесячно выкладываемые за аренду ссылок крупными рекламодателями, составляют только по sape около 500 000 руб., то 10% — это 50000 руб., что немало для оплаты мусора.
  5. Дополнительно необходимо провести эксперимент — снять ссылки, которые не в индексе семейного поиска и отследить изменение в позициях. Если изменений не будет, то экономия в 10% будет существенна для крупных рекламодателей! В рамках же малых денежных вливаний трудозатраты на анализ мусора будут выше, чем прибыли на его экономии.
(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
  • Анютка Акимова
    1
    комментарий
    0
    читателей
    Анютка Акимова
    больше года назад
    Подскажите у меня такой вот сайт адалт порно портал ledyxxx.com/, как его продвигать лучше ссллками или же материалами, дайте пару советов новичку )
    -
    0
    +
    Ответить
  • XoseErnest
    больше года назад
    Очень полезно!
    Будем ждать эксперимент по снятию не индексируемых "семейным поиском" ссылок...
    -
    0
    +
    Ответить
  • Seo-active.net
    больше года назад
    Информация крайне полезная, исследование проведено удачно.
    -
    -3
    +
    Ответить
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Что скрывает «Прогноз бюджета Яндекс.Директ»?
Михаил Мухин
14
комментариев
0
читателей
Полный профиль
Михаил Мухин - Здравствуйте! 1-2. Считает стенд. Ссылка на него дана, но могу повторить: online.p-c-l.ru/competition/task/card/id/106. Нажмите на кнопку "Начать" и заранее приготовьте прогноз бюджета Яндекс. Суть расчета: перебор комбинаций всех ставок на всех фразах, построение бюджетных когорт - бюджетов с одинаковым СРС, отбор в каждой когорте бюджета с максимальным количеством кликов и ..., да упорядочивание этих бюджетов по мере возрастания СРС, причем берем не все, а с фиксированным шагом. 3. Гугл считается через поправочные коэффициенты. Мы перевариваем океан данных и представляем их. На удивление, получается не менее, хотя и не более точно, как и прогноз Яндекс. Конечно, нужно понимать, что это очень примерные прикидки, фактически перевод неточного прогноза Яндекс в удобочитаемую форму, не больше. Самое интересное начинается, когда применяешь метод бюджетных когорт к измерению показателей фраз на реальной рекламной кампании в режиме 48х7. Первые результаты очень хорошие. Если хотите присоединиться к бесплатному тестированию, напишите Эльвире r-support@r-broker.ru. В теме укажите "хочу присоединиться к тестам Умного управления рекламой"
#SEOnews14: мы празднуем – вы получаете подарки!
Анна Макарова
362
комментария
0
читателей
Полный профиль
Анна Макарова - Гость, добрый день! С победителями мы связывались сразу после розыгрыша. Если мы вам не написали, значит, ваш номер не выпал. Но не расстраивайтесь, у нас обязательно будут новые розыгрыши!
Ссылочное продвижение локальных сайтов: ТОП худших SEO-методов
demimurych
5
комментариев
0
читателей
Полный профиль
demimurych - о господи. это для регионального сайта? в яндексе? где у сайта по региону конкурентов меньше чем выдачи на двух страницах из которых перваш это реклама москвы? потешно ей богу. ктото чего то не понеимает.
Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
Георгий
1
комментарий
0
читателей
Полный профиль
Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
«Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
Евгений
1
комментарий
0
читателей
Полный профиль
Евгений - Воообще, на самом деле здесь двоякое впечатление от таких аудитов. Конечно, для полного глубокого анализа и подготовки рекомендаций по сайту - нужны доступы к системам аналитики и инструментам вебмастера. Но если оценивать подобные аудиты с точки зрения чистого SEO (которое все больше и больше становится лишь малой частью digital-маркетинга, лишь одним из каналов) - они имеют место быть. Но с оговоркой, что они сделаны с учетом анализа конкурентов/отрасли. Современные инструменты и алгоритмы позволяют делать это маркетологам в автоматическом режиме, и даже давать рекомендации - возможностями машинного обучения уже никого не удивишь. Да, полное перечисление "мифического" списка ошибок, построенного по предикативным правилам, да еще и с учетом устаревших особенностей ПС - это явный признак некачественного аудита. В первую очередь потому, что эти "ошибки" следует рассматривать в качестве рекомендаций от ПС (как и говорится в справочнике вебмастера у Яндекса/Google). Однако если эти данные даются с отсылкой на данные о конкурентах, об отрасли, используются методы ML и Natural language processing для обработки исходных данных, кластеризации запросов, классификации страниц/запросов/сайтов, определения структуры документа - такие отчеты имеют право на существование. Но ключевым моментом является то, что подобные инструменты достаточно сложны в разработке, а значит требуют квалифицированных специалистов для их разработки. Которых просто нет у студий рассылающих подобные "сео отчеты". Подобные отчеты по "ошибках" тоже неплохой источник информации, но лишь на 0 этапе анализа сайта. И в принципе, теоретически, возможно почти полное составление "хороших аудитов" без участия маркетолога, на основе лишь открытых данных сайта/внешних источников, но только при соответствующем применении всех современных возможностей анализа данных и рекомендательных систем. И в любом случае подобный "хороший отчет" требует конечного заключения от эксперта.
От мечты стать юристом к собственному SMM-агентству. Как найти себя в современном цифровом мире
Виктор Брухис
5
комментариев
0
читателей
Полный профиль
Виктор Брухис - Статья выглядит так, как пожелали редакторы и интервьюер) Вопросы к интервью подбирал не я)) Хотя, в целом я согласен с вашим видением. А за пожелание удачи большое спасибо!
Как вывести сайт в ТОП 10 Google в 2019 году
Роман
1
комментарий
0
читателей
Полный профиль
Роман - Вот скажите пожалуйста, Мне разработали сайт на мою фирму, www.линк.kz и теперь надо решить, сео продвижение у нас стоит около 25000 - 30000 руб. в месяц, для меня сумма не маленькая стоит ли оно того? или можно просто оптимизировать сайт в плане СЕО и выходить в ТОП за счет трафика?
BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
Kosta Bankovski
4
комментария
0
читателей
Полный профиль
Kosta Bankovski - Спасибо за приятные слова! Буду и дальше делиться наработками ;)
Как провести анализ содержания страниц товаров и категорий
Никита Седнин
3
комментария
0
читателей
Полный профиль
Никита Седнин - Спасибо!
10 элементов сайта, которые гарантированно отпугнут посетителей
Андрей
2
комментария
0
читателей
Полный профиль
Андрей - Ну типа потому что клиентское seo больше для коммерции предназначено. Типа контентники и сами знают что делать. В коммерции можно тысячу причин найти чтобы поработать с сайтом, а с контентными такие фокусы уже не прокатят, поэтому и не пишут. Всё продвижение для контентников сеошники описывают в трех словах: скорость, качество, систематичность. А, ну ещё конечно же СЯ, как же я про него забыл (фундамент жеть!).
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
362
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
137
Комментариев
121
Комментариев
107
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
82
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
57
Комментариев
55

Отправьте отзыв!
Отправьте отзыв!