Дайджест антиспамерской политики Яндекса (2005-2006 гг.)

Кривые успеха

Поисковые системы разрабатывают и усовершенствуют математические модели оценки качества страниц и ссылок в Сети. Но они редко озвучивают методы борьбы со спамом. Ниже приведен граф, задача которого показать, что поисковая система Яндекс борется со спамом. Граф представлен Александром Садовским, руководителем отдела веб-поиска компании «Яндекс» на конференции «Поисковая оптимизация и продвижение сайтов в Интернете'05». Александр презентовал в 2005 году новые разработки борьбы, только что запущенные в работу.

Этот граф свидетельствует только о том, что в 2005 году Яндексом были запущены в работу автоматические средства борьбы со спамом.

В 2006 году Яндекс перед очередной конференцией оптимизаторов выкладывает новую страницу FAQ для вебмастеров, в которой охарактеризовывает основные принципы «хороших» сайтов и примеры «плохих» методов продвижения. Формально спор SEO и Яндекса о том, что поисковики сами порождают спам SEO, не предоставляя оптимизаторам описание спама, можно считать завершенным. Теперь у оптимизаторов есть целая страница, являющаяся навигационным ориентиром для «правильной» оптимизации.

Методы борьбы

Использовать понятие «принцип оценки» спам-методов Яндекс начал за год до выкладывания описания принципов в справочном материале для вебмастеров. На конференции в 2005 году Александр Садовский выделил общие принципы, на основании которых Яндекс оценивает качество сайта и причисляет (или не причисляет) сайт к спаму. Со слов Садовского, Яндекс разделяет для себя «мусорные» страницы и «спамовые», но и те и другие не представляют интереса для пользователей, поэтому алгоритмы антиспама борются с обеими категориями.

Борьба с мусором

• дубликаты и клоны: шинглы, лексические сигнатуры, сниппеты;
• технический мусор: высокая изменчивость текстов и URL.

Антиспам

• статистический анализ текста;
• анализ распределения ссылок;
• обнаружение колец;
• TrustRank.

Хроники ратного труда Яндекса и SEO

Нигде не запечатлены. И я тоже вам их не представлю. Скажу лишь, что за короткий век функционирования сетевых поисковых систем были вехи «успехов» и «поражений» обеих сторон. И обе стороны отдают себе отчет, что противостояние – не лучший способ для сосуществования, если кидаться на амбразуру твоя звезда будет освещать поле боя несколько секунд, но если просто работать, на регулярной основе осваивая методики «противника», то практическая выгода не заставит себя ждать.

Очередной этап противостояния прошел в начале осени 2006 . В целом это обострение борьбы похоже на все предшествующие. Подробно об этом писал Хабрахабр. Основные вехи:

«Я не помню, чтобы лично мне ру-дорвеи приносили так мало денег, как стало в последние недели две-три, — говорит один из «черных» оптимизаторов, который скрывается за ником Дмитрий Гуглов. — Да и посмотрев топ-10 мастеров рупоиска за сутки (25 августа 2006 г.), хочется рыдать: относительно нормальные результаты только у первых четырех мест, остальное же просто ужас. Про себя вообще молчу, сутки я закончу примерно на 25-27 месте».

Ситуацию комментирует Илья Сегалович, технический директор «Яндекса»: «Возможно, автор заметки прав в том, что в “Яндексе” дорвеи любого типа перестали держаться дольше суток-двух. Мы действительно провели важный этап усовершенствований системы антиспама: по наши собственным измерениям, доля спама в выдаче во второй половине лета заметно и устойчиво упала».

О планах… технический директор «Яндекса» запугивает дорвейщиков «маховиком антиспама»: «Мы видим, что дорвеестроительство — пока еще выгодный бизнес, и нам надо немало потрудиться. Есть еще куда развивать систему, и мы намерены с еще большей энергией раскручивать “маховик” своего антиспама. Пользователи поисковой системы “Яндекс” должны видеть качественную выдачу, свободную от спама — это для нас приоритет номер один», — сказал Илья Сегалович.

«Дорвейщики рыдают так громко, что от их стенаний уже нигде не спрячешься. Однако те, кто уже подсели на иглу дешевого дорвейного трафика, так просто с нее не слезут.

Это значит что «блокнотиков» и «рупоисков» в рунете будет сотни и сотни. А что поделаешь, Яндекс ужесточает правила игры и ребята с темной стороны отвечают ему тем же. Пострадает, конечно, сервер, но до него дела нет ни тем, ни другим».

Отсутствие правового регулирования

Цитата из интервью Александра Садовского, руководителя отдела веб-поиска Яндекса:
SEONEWS:
- Возможно один из путей цивилизации данного рынка - это попытка внедрения определенных норм и законов? Александра Садовский:
- Проблема в том, что грань данной области настолько тонкая, если ее не могут определить даже на словах, то действие каких-либо законов, карающих в этой области, может привести к значительному перекосу, к каким-то непредсказуемым явлениям. Вмешательство серьезного игрока, например, государства, который действует по формальным законам, создаст сегодня гораздо больше перекосов, чем пользы. Веб-поиск – это поиск по открытой коллекции, проблемы спама в закрытой коллекции не существует. Открытая коллекция, по определению, бесконечна, поисковые системы дают себе право экономить ресурсы, не индексируя до бесконечности, а индексируя только то, что может быть интересно пользователям.

Лицом к Западу

Западный рынок поисковых систем шире и представляется более «цивилизованным», поэтому и возможные методы борьбы со спамом (они же и методы усовершенствования поисковых алгоритмов ранжирования) можно отслеживать по патентам, регистрируемым поисковиками.

Сейчас, например, SEO-общественность взбудоражена новым патентом Google, в котором описывается методология обнаружения спам-документов, основанная на анализе словосочетаний (фраз). Патенты (как официальные документы) позволяют оптимизаторам системно отслеживать обновления алгоритмов ранжирования, а не отдаваться целиком на гипотетические пересуды в формах. Стоит отметить, что представители российских поисковых систем участвуют в научных форумах, и представленные там материалы, конечно же, обладают ценностью для seo-шников.

В итоге

Фактически представители поисковых систем отказались от декларации противостояния оптимизаторскому сообществу. Огласка «плохих» методов и участие в SEO-шных конференциях это уже сотрудничество. Но не стоит сбрасывать со счетов и то, что возможными причинами для сотрудничества являются и такие: дезинформация, сбор информации, информация, нацеленная оказать влияние на методы вебмастеров (оптимизаторов) с целью защиты алгоритма, общность интересов.