Ссылочный спам: найти и обезвредить

Сегодня хочу рассмотреть проблему ссылочного спама. Возможно кому-то нижеизложенное покажется очевидным, но для тех, кто не так давно в оптимизации, надеюсь, она покажется интересной. Сама статья является симбиозом многих идей, которые я уже высказывал ранее в обсуждениях. Что-то было пересмотрено, что-то дополнено. Теперь пришла пора свести это воедино.

Для начала хочу отметить, что вся статья - это попытка логического осмысления проблемы ссылочного спама. Фактов приводить не буду, у большинства оптимизаторов их вполне достаточно, чтобы поискать соответствия или противоречия.

Итак, начнем с простого и очевидного - все ссылки можно условно разделить на:
• естественные, т.е. отражающие мнение участников Сети к тому или иному ресурсу или странице;
• искусственные, используемые оптимизаторами всех оттенков для повышения позиций в поисковых системах.

Вторые однозначно классифицируются поисковыми системами как спам и являются объектом для борьбы.
Перед тем как перейти к рассмотрению методов, которые могут использовать поисковики для идентификации ссылочного спама, необходимо рассмотреть два немаловажных момента.

В недалеком прошлом и весьма продолжительно бытовал миф о так называемой “склейке” ссылок. Судя по его стойкости, я уже начинал подозревать, что этот миф был “уткой”, закинутой самими поисковиками. Почему? Думаю, многие поймут далее самостоятельно. Несмотря на кажущуюся логичность, идея о “склейке” абсурдна потому, что открывает широкие возможности для злоупотребления ею со стороны оптимизаторов для “деоптимизации” конкурентов. А поскольку подобных прецедентов пока еще не было зафиксировано, то следует принять за постулат утверждение, что никакой метод “коррекции” ссылочного ранжирования, подразумевающий возможность стороннего влияния, не может быть использован.

Второй момент заключается в том, что никакие автоматизированные методы идентификации ссылочного спама не могут дать 100% гарантированного результата. Поэтому в реальности мы можем говорить лишь о коэффициенте естественности ссылки, рассчитываемому по ряду признаков. Чем больше факторов, указывающих на “спамность” ссылки, тем ниже коэффициент и ниже итоговый вес. Вполне естественно, что обсчет ссылочного ранжирования - весьма ресурсоемкая операция, поэтому вполне естественным было бы исключения из обсчета ссылок, имеющих пренебрежительно малый вес. Под эту категорию попадают доски объявлений, форумы, гостевые и т.д. Т.е. все то, что и так логично было бы не учитывать. Сделать это можно весьма просто - введением порога “учитываемости”. Если вес ссылки ниже этого порога, то ссылка не участвует в расчете ссылочного ранжирования. Возвращаясь к вопросу о коэффициенте естественности, рассмотрим простой пример. На некотором сайте установлен ссылочный блок. Каждая ссылка имеет некоторый вес, определяемый весом страницы, на которой установлены ссылки, и числом внешних ссылок с нее. Чем больше установлено ссылок, тем вес каждой - меньше. Теперь этот вес умножается на низкий коэффициент естественности и в результате итоговый вес ссылки оказывается ниже порога “учитываемости”. Налицо все признаки автоматического “непот-фильтра”.

Методы выявления и борьбы со ссылочным спамом

Условно их можно разделить на три группы:

1)Статистический

В основе метода - выявление набора признаков, характеризующих спамные ссылки. Само выявление представляет собой достаточно простую процедуру. Берется набор сайтов, которые однозначно раскручиваются (ТОП). Получаются их обратные ссылки и анализируются на предмет сходства. Выявленные признаки могут проверяться на другом наборе раскручиваемых сайтов.
Рассмотрим некоторые из них.

Принадлежность сайту. Алгоритм, идентифицирующий спамерские сайты, уже не новинка. Это общеизвестный TrustRank. И я считаю, что у Яндекса есть свой аналог. Но метод сам по себе достаточно топорен, т.к. автоматически понижает вес всех ссылок, что в принципе неверно. Поэтому его можно применять лишь в совокупности.

Число ссылок. Сайты, размещающие ссылки, стремятся продать их как можно больше. Но использовать простое число внешних ссылок для идентификации спамерского сайта недостаточно. Сайты, имеющие очень большой собственный вес, могут размещать несколько десятков ссылок, и все они будут достаточно эффективны. Поэтому разумнее использовать нелинейный коэффициент, значительно снижающий вес, передаваемый каждой ссылке в случае их большого числа. В этом случае ссылки быстрее будут попадать под порог “учитываемости”, т.е. под “непот”.

Расположение. Известно, что вебмастера, продающие места на “мордах” своих сайтов, размещают ссылки в отдельных блоках, вынося их в боковые колонки или низ сайта, т.е. не в контенте. Такое местоположение может с высокой степенью вероятности указывать на принадлежность ссылочного блока к спаму.

Окружение. Возвращаясь к блочному принципу размещения продажных ссылок, следует отметить, что это легко идентифицируется по повышенной плотности внешних ссылок на небольшом участке кода. И несмотря на то, что многие оптимизаторы стремятся добавлять к своим ссылкам текст, принципиально это картину не меняет.

Тематичность. По поводу автоматического определения тематичности сайтов уже сломано много копий. Лично я придерживаюсь мнения, что такие методы есть и активно используются. Соответственно, ссылка между двумя сайтами может иметь низкий вес, если тематики принципиально не совпадают. В случае блочного размещения нетематических ссылок, все они могут идентифицироваться как спамерские.

Код ссылки. Данный метод основывается на том факте, что многие автоматизированные системы установки ссылок (биржи, обменники и т.п.) устанавливают код автоматически по шаблону. Наличие блока идентичных по коду ссылок может указывать на их спамное происхождение. Но этот метод имеет и обратную сторону, т.к. автоматически ссылки устанавливаются, например, через функционал CMS-систем. Поэтому применимость его ограничена и может использоваться лишь в совокупности с другими.

Текст ссылки. Весьма неоднозначный признак. К анализу можно подходить с двух сторон. Во-первых, текст ссылки как самостоятельная конструкция. Составляя текст ссылки, многие оптимизаторы редко задумываются о его читаемости и близости к естественному языку. Главный критерий - уникальность, большее число ключевых слов и Директ-ориентированность. Результатом становятся конструкции вроде “продать купить автомобиль машина Москва” вместо “продать автомобиль в Москве”. Реальность использования такого подхода в анализе конечно спорна по очевидным причинам, но не невозможна. Другой подход к анализу текста ссылки базируется на соответствии ее тексту страницы, на которую она ведет. Некоторое время назад из-за возникшей истерии со “склейкой” ссылок многие вебмастера начали стремиться разбавлять тексты и в этом стремлении доходили порой до абсурда, добавляя рандом-генерированные слова. Несоответствие текста ссылки странице может также являться признаком спамности, хотя и весьма спорным.

Время жизни. Достаточно часто приходится слышать от оптимизаторов идею о том, что новые ссылки могут иметь небольшой вес, а затем постепенно его увеличивать. Предположение выглядит логичным, но исключительно с позиции оптимизатора, который ставит спамные ссылки. Если же мы возьмем естественную ссылку, то автор ее устанавливал в момент наибольшей актуальности и интереса к сайту, на который она ведет. Со временем эта актуальность может лишь уменьшаться вплоть до того, что автор просто забудет об этой ссылке, и ее актуальность будет для него почти нулевая. Использование данного параметра подразумевает вариацию скорости убывания веса ссылки и его нижнее значение в зависимости от сайта, где она установлена. Например, ссылка на новостном сайте быстрее теряет свою актуальность, чем на тематическом ресурсе.

Следует также отметить, что все вышеуказанные признаки должны применяться в совокупности, т.к. можно найти множество исключительных случаев, когда один или два признака не могут быть применимы. Соответственно каждый из этих признаков может иметь пополняемый перечень исключений.

2) Индивидуальный

Подход может базироваться на тех же признаках, что и в статистическом анализе, но в отличие от него, санкции применяются не в виде автоматического понижающего коэффициента, а в виде ручного бана или наложения непот-фильтра. Т.е. метод направлен против различным спамерских систем и сайтов, которые не поддаются автоматическому обнаружению и подразумевает использование человеческого интеллекта (модераторов).

3) Профилактический

В последнее время размещение продажных ссылок стало доходным бизнесом, в который вовлекаются крупные и авторитетные ресурсы. Разумеется, применение к ним автоматических методов фильтрации или даже бана не всегда допустимо. Поэтому остается только профилактический путь воздействия, т.е. наложения пессимизации, в результате которой сайт теряет часть аудитории с поисковой системы и вынужден снимать продажные ссылки. Замечу, что метод этот весьма неоднозначный, несмотря на то, что имеются ряд примеров его подтверждающих.

В заключение выражаю надежду, что все вышеизложенное поможет оптимизаторам в борьбе за место под солнцем.