Rookee
Россия+7 (495) 960-65-87

Как поисковые системы отличают запросы пользователей и ботов?

Россия+7 (495) 960-65-87
Шрифт:
0 7890

Не всегда поисковыми системами пользуются люди, которые ищут информацию. Иногда к поисковым системам интернета обращаются роботы, которые хотят собрать данные о позициях определенных страниц, исследовать ключевые слова или сделать максимальное количество кликов по результатам выдачи или контекстной рекламе, чтобы насолить конкурентам.

Такие роботы расходуют ресурсы поисковых систем и могут получить данные о пользователях, которые используются поисковиками для работы над алгоритмом ранжирования и формированием поисковых подсказок.

Google ещё давно попросил вебмастеров не использовать автоматические программы, которые добавляют страницы или проверяют позиции. «Такие программы нарушают правила использования поисковой системы и перегружают сервера».

Поэтому многие поисковые системы разработали принципы, по которым они отличают запрос человека от запроса робота. Недавно Microsoft опубликовал заявление на патент метода, который будет классифицировать трафик на пользовательский и полученный от автоматических программ в зависимости от некоторых характеристик запроса. Это заявление позволяет сказать, какие параметры используют поисковые системы, чтобы разграничивать два типа запросов.

Когда поисковая системы отслеживает запросы, она собирает большое количество информации о пользователях. Например, такая информация может включать, как сами ключевые слова, так и метаданные, связанные с ними:

  • Цепочки поисковых запросов.
  • Страницы результатов.
  • Место, где вводился запросы.
  • IP-адрес.
  • Уникальный идентификатор пользователя или программы.
  • Время введения запроса.

Определить, был ли задан запрос пользователем или роботом, поисковая система может, основываясь на двух группах факторов: физических параметрах запроса и его поведенческих характеристиках.

Физические параметры запросов пользователей

Один из способов узнать, кем был задан запрос, это отследить некоторые физические характеристики запроса.

Объем. Пользователи могут сделать только лимитированное количество запросов за определенный отрезок времени. Скорее всего вводящий 100 запросов за 10 секунд не человек. И тем более, если этот пользователь искал запрос «голые девочки» 12 тысяч раз в течение дня.

Месторасположение. Довольно-таки тяжело одному человеку находиться сразу в нескольких местах. А поисковая система может зафиксировать, когда пользователь с одним и тем же ID печатает запросы из разных, сильно удаленных друг от друга городов. Использовать несколько компьютеров для поиска в Интернете — дело обычное, только если эти компьютеры не разделены океаном или несколькими тысячами километров. В таком случае, поисковая система определяет ботнет или пользователя, использующего инструмент для анонимного поиска и не отключившего cookie.

Поведенческие характеристики

По физическим параметрам можно определить автоматические запросы. Но эти автоматические запросы также могут быть настроены так, чтобы они напоминали запросы, сделанные обычным пользователем.

Поэтому существует поведенческие характеристики, по которым возможно понять, что запросы автоматически сгенерированы. Ниже перечислены модели, по которым Microsoft в своем заявлении на патент собирается распознавать, кем был задан запрос.

CTR

Люди после введения поискового запроса обычно кликают на один или несколько результатов. Обычно это один клик на каждые десять результатов. В то время как автоматические программы не нажимают на результаты поиска, поэтому это может быть сигналом для поисковой машины. Некоторые боты к тому же собирают дополнительную информацию о некоторых урлах, поэтому существует несколько моделей, по которым может определяться активность ботов:

  • Бот, который не кликает на ссылки.
  • Бот, который кликает на каждую ссылку.
  • Бот, который кликает только на целевые ссылки.

Боты ищут в алфавитном порядке (иногда)

Вряд ли обычные пользователи, набирая серию запросов, распределяют их в алфавитном порядке. Поэтому такая модель выдаёт использование автоматических программ.

Боты ищут, используя спамовые слова

Некоторые запросы характеризуются высокой заспамленностью и употреблением спам-слов,. Поэтому если с одного ID задаётся большое количество вопросов со спамом, вероятнее всего это запросы бота. То же самое касается запросов, которые содержат обращение к adult-тематике.

Слишком большое количество слов

Запросы, которые содержат чрезмерное количество слов, не характерны в большом количестве для обычных пользователей. Другое, что может настораживать по поводу запросов большой длины, что они следуют друг за другом цепочкой, которая содержит примерно одинаково большое количество слов в разных запросах.

Периодичность запросов

Время, которое проходит между запросами одного пользователя, может измеряться. Это потом позволяет определить среднее время между запросами или время, которое проходит от введения запроса до клика по определенному результату. С помощью модели, построенной таким образом, возможно распознать запросы от пользователей и от ботов

Использование операторов запросов

Большое количество поисковых запросов, в которых используются операторы поиска (например, «allintitle:» и «allinurl;») исходят от автоматических программ.

Лимитированность категорий

Существует вероятность, что запросы были сделаны ботом, если вся цепочка запросов принадлежит к одной или нескольким узким категориям.

***

Здесь перечислены не все методы, которые описаны в заявке на патент. В документе описано, что сервис может классифицировать запросы в зависимости от того, из какого источника поступают запросы. Но не объясняется, каким образом эта классификация используется.

Когда поисковой системе серия запросов кажется подозрительной, она просит пользователя ответить на вопрос или расшифровать CAPTCHA, которая именно для этих целей и создана.

Оригинал статьи


(Нет голосов)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    Рейтинг Известности 2018: старт народного голосования
    Михаил Р
    1
    комментарий
    LANG_NO
    читателей
    Полный профиль
    Михаил Р - 1. Demis 2. кокс 3. Ашманов 4. Скобеев 5. Digital Strategy
    Сколько ссылок помогут продвинуть молодой сайт
    Павел Андрейчук
    29
    комментариев
    LANG_NO
    читателей
    Полный профиль
    Павел Андрейчук - Дело в том, что вряд ли в ваших платных "качественных" кейсах найдётся хоть пару % действительно новой и полезной информации которой бы не было на общедоступных источниках.
    Рейтинг Известности 2018: второй этап народного голосования
    Константин Сокол
    3
    комментария
    LANG_NO
    читателей
    Полный профиль
    Константин Сокол - Кто был ответственный за дизайн таблицы голосования? Копирайтер?
    Сайт на WordPress: за и против
    Мира Смурков
    1
    комментарий
    LANG_NO
    читателей
    Полный профиль
    Мира Смурков - Людмила, я согласен с большинством комментаторов. Вы хоть один полноценный магазин сделали на этих движках? Woocommerce это система с супер возможностями. И к ней есть дополнительные модули, с функционалом, который вряд ли появиться на Битрикс. А самому это программировать - сотни тысяч рублей на разработку. А приведя в пример сложности с robots.txt и Sitemap вы ставите под вопрос вашу компетенцию в понимании Интернет-бизнеса и веб-разработки в целом. Во-первых это такие мелочи, а во-вторых это все делается на вордпресса за 2 минуты, и опять же с возможностями многократно превышающими Битрикс.
    Кейс: вывод лендинга по изготовлению флагов на заказ в ТОП 1 по Санкт-Петербургу
    utka21
    5
    комментариев
    LANG_NO
    читателей
    Полный профиль
    utka21 - Кейс как кейс. Для некоторых станет вполне возможно полезным. ( Для конкурентов точно) . А вот с комментариями , что то пошло не так )
    Google обошел Яндекс по популярности в России в 2018 году: исследование SEO Auditor
    Рамблер
    1
    комментарий
    LANG_NO
    читателей
    Полный профиль
    Рамблер - Вот вроде отечественный - это сказано верно.. «Я́ндекс» — российская транснациональная компания, зарегистрированная в Нидерландах. Так говорится в Википедии. И с хрена ли ОТЕЧЕСТВЕННЫЙ поисковик зарегистрирован в Европе? И где платится основная часть налогов? Ну-ууу, точно не в России. И если запахнет жаренным, то был Яндекс и нет Яндекса!
    Обзор популярных CMS: плюсы и минусы
    Гость
    1
    комментарий
    LANG_NO
    читателей
    Полный профиль
    Гость - У Битрикса техническое seo сильно страдает, чтоб оно там было нормальным придется все переделать. Безопасность у Битрикса тоже низкая, особено если надо дорабатывать функционал, как только правиться функционал у Битрикс , то уровень ее безопасности определяет тот разработчик , который этим занимается. Самые безопасные движки те, что нет в общем доступе и где нельзя ничего редактировать в коде. =)
    8 методик в SEO, от которых давно пора отказаться
    Евгений Сметанин
    11
    комментариев
    LANG_NO
    читателей
    Полный профиль
    Евгений Сметанин - Факторов вообще очень много, согласитесь, вы будете использовать максимальное их количество, особенно, если в ТОПе засели агрегаторы с сумасшедшими ПФ. В таких случаях, вхождение ключа в домен для маленького профильного сайта, сыграет свою положительную роль. Конечно же, если контент на страницах хорошего качества. У меня есть несколько успешных кейсов на эту тему. На сайте продают несколько видов товаров, а выстреливает в ТОП тот, название которого присутствует в доменном имени. Как корабль назовешь, так он и поплывет, верно?))
    Инструкция: настраиваем цели Яндекс.Метрики через Google Tag Manager
    Roman Gorkunenko
    1
    комментарий
    LANG_NO
    читателей
    Полный профиль
    Roman Gorkunenko - Здравствуйте. Подскажите, пожалуйста, можно с айпи метрики вытащить среднюю стоимость клика по утм меткам? В метрике есть такой шаблон tags_u_t_m, но он не совместим с меткой директа, у них разные префиксы.
    Аудит структуры интернет-магазина мебели от «Ашманов и партнеры»
    Дмитрий
    8
    комментариев
    LANG_NO
    читателей
    Полный профиль
    Дмитрий - Сергей, а вы допускаете, что вся ваша жизнь - seo-миф?
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    343
    Комментариев
    262
    Комментариев
    244
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    100
    Комментариев
    97
    Комментариев
    97
    Комментариев
    96
    Комментариев
    80
    Комментариев
    73
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    57
    Комментариев
    56
    Комментариев
    55

    Отправьте отзыв!
    Отправьте отзыв!