На конференции WWW 2009 Яндекс рассказал о новом методе идентификации платных ссылок. Оригинальное название доклада - «Использование методов категоризации текстовых привязок и анализа графов для идентификации платных ссылок», сейчас он доступен как на русском, так и на английском.

Введение доклада рассказывает, что основным методом оптимизации сайтов для поисковых машин (SEO), принятым в Рунете, является использование платных ссылок. «Платные ссылки действительно влияют на рейтинги в индексах поисковиков, но не считаются спамом, поскольку встречаются в основном на вполне приличных страницах наряду с другими полезными ссылками и часто указывают на ценные коммерческие сайты. Создание платных ссылок вручную — сложная и кропотливая работа, поэтому неудивительно, что в них действительно содержатся актуальные сведения о целевом сайте», - констатируеткоманда Яндекса. Тем не менее, поисковым системам важно уметь выявлять платные ссылки, т.к. это значительно повышает эффективность рейтингов поисковиков.

Процесс выявления Яндекс осуществляет в два этапа. Сначала проводится анализ текста и классификация тематик, а затем формируется стартовое множество страниц различной тематики и строится граф ссылок с использованием модифицированного алгоритма HITS, где «посредники» — это сайты, продающие ссылки, а «лидеры» — сайты, покупающие ссылки. Главная задача алгоритма — выявление непосредственно платных ссылок, а не сайтов, их продающих и покупающих.

Проверка алгоритма на сформированных вручную тестовых выборках доказала его высокую точность (95%) и эффективность (93-96%).