Россия+7 (495) 960-65-87

Как поисковые системы отличают запросы пользователей и ботов?

Россия+7 (495) 960-65-87
Шрифт:
0 8747

Не всегда поисковыми системами пользуются люди, которые ищут информацию. Иногда к поисковым системам интернета обращаются роботы, которые хотят собрать данные о позициях определенных страниц, исследовать ключевые слова или сделать максимальное количество кликов по результатам выдачи или контекстной рекламе, чтобы насолить конкурентам.

Такие роботы расходуют ресурсы поисковых систем и могут получить данные о пользователях, которые используются поисковиками для работы над алгоритмом ранжирования и формированием поисковых подсказок.

Google ещё давно попросил вебмастеров не использовать автоматические программы, которые добавляют страницы или проверяют позиции. «Такие программы нарушают правила использования поисковой системы и перегружают сервера».

Поэтому многие поисковые системы разработали принципы, по которым они отличают запрос человека от запроса робота. Недавно Microsoft опубликовал заявление на патент метода, который будет классифицировать трафик на пользовательский и полученный от автоматических программ в зависимости от некоторых характеристик запроса. Это заявление позволяет сказать, какие параметры используют поисковые системы, чтобы разграничивать два типа запросов.

Когда поисковая системы отслеживает запросы, она собирает большое количество информации о пользователях. Например, такая информация может включать, как сами ключевые слова, так и метаданные, связанные с ними:

  • Цепочки поисковых запросов.
  • Страницы результатов.
  • Место, где вводился запросы.
  • IP-адрес.
  • Уникальный идентификатор пользователя или программы.
  • Время введения запроса.

Определить, был ли задан запрос пользователем или роботом, поисковая система может, основываясь на двух группах факторов: физических параметрах запроса и его поведенческих характеристиках.

Физические параметры запросов пользователей

Один из способов узнать, кем был задан запрос, это отследить некоторые физические характеристики запроса.

Объем. Пользователи могут сделать только лимитированное количество запросов за определенный отрезок времени. Скорее всего вводящий 100 запросов за 10 секунд не человек. И тем более, если этот пользователь искал запрос «голые девочки» 12 тысяч раз в течение дня.

Месторасположение. Довольно-таки тяжело одному человеку находиться сразу в нескольких местах. А поисковая система может зафиксировать, когда пользователь с одним и тем же ID печатает запросы из разных, сильно удаленных друг от друга городов. Использовать несколько компьютеров для поиска в Интернете — дело обычное, только если эти компьютеры не разделены океаном или несколькими тысячами километров. В таком случае, поисковая система определяет ботнет или пользователя, использующего инструмент для анонимного поиска и не отключившего cookie.

Поведенческие характеристики

По физическим параметрам можно определить автоматические запросы. Но эти автоматические запросы также могут быть настроены так, чтобы они напоминали запросы, сделанные обычным пользователем.

Поэтому существует поведенческие характеристики, по которым возможно понять, что запросы автоматически сгенерированы. Ниже перечислены модели, по которым Microsoft в своем заявлении на патент собирается распознавать, кем был задан запрос.

CTR

Люди после введения поискового запроса обычно кликают на один или несколько результатов. Обычно это один клик на каждые десять результатов. В то время как автоматические программы не нажимают на результаты поиска, поэтому это может быть сигналом для поисковой машины. Некоторые боты к тому же собирают дополнительную информацию о некоторых урлах, поэтому существует несколько моделей, по которым может определяться активность ботов:

  • Бот, который не кликает на ссылки.
  • Бот, который кликает на каждую ссылку.
  • Бот, который кликает только на целевые ссылки.

Боты ищут в алфавитном порядке (иногда)

Вряд ли обычные пользователи, набирая серию запросов, распределяют их в алфавитном порядке. Поэтому такая модель выдаёт использование автоматических программ.

Боты ищут, используя спамовые слова

Некоторые запросы характеризуются высокой заспамленностью и употреблением спам-слов,. Поэтому если с одного ID задаётся большое количество вопросов со спамом, вероятнее всего это запросы бота. То же самое касается запросов, которые содержат обращение к adult-тематике.

Слишком большое количество слов

Запросы, которые содержат чрезмерное количество слов, не характерны в большом количестве для обычных пользователей. Другое, что может настораживать по поводу запросов большой длины, что они следуют друг за другом цепочкой, которая содержит примерно одинаково большое количество слов в разных запросах.

Периодичность запросов

Время, которое проходит между запросами одного пользователя, может измеряться. Это потом позволяет определить среднее время между запросами или время, которое проходит от введения запроса до клика по определенному результату. С помощью модели, построенной таким образом, возможно распознать запросы от пользователей и от ботов

Использование операторов запросов

Большое количество поисковых запросов, в которых используются операторы поиска (например, «allintitle:» и «allinurl;») исходят от автоматических программ.

Лимитированность категорий

Существует вероятность, что запросы были сделаны ботом, если вся цепочка запросов принадлежит к одной или нескольким узким категориям.

***

Здесь перечислены не все методы, которые описаны в заявке на патент. В документе описано, что сервис может классифицировать запросы в зависимости от того, из какого источника поступают запросы. Но не объясняется, каким образом эта классификация используется.

Когда поисковой системе серия запросов кажется подозрительной, она просит пользователя ответить на вопрос или расшифровать CAPTCHA, которая именно для этих целей и создана.

Оригинал статьи


(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Даше Калинской


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
    ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
    Google Data Studio: делаем красивые отчеты по контекстной рекламе для клиентов
    Светлана Зубрицкая
    1
    комментарий
    0
    читателей
    Полный профиль
    Светлана Зубрицкая - Нужно убрать пробелы между строк и заменить кавычки на вот такие "
    #SEOnews14: мы празднуем – вы получаете подарки!
    Rizat Sundetov
    1
    комментарий
    0
    читателей
    Полный профиль
    Rizat Sundetov - 14
    Как ускорить сайт на WordPress, чтобы получить 100/100 в Google PageSpeed Insights
    Георгий
    1
    комментарий
    0
    читателей
    Полный профиль
    Георгий - Все что рекомендуется в этой статье есть у w.tools. Ни разу не пожалел что подключился. Своя CDN сеть, кеш статики и динамики, минификация js\css и кешируемого html, оптимизация всех типов картинок и еще куча всего полезного. Сайт летает и я не знаю проблем. Могу рекомендовать от души.
    Война с дубликатами. Как нужно и как не нужно канонизировать URL
    Ann Yaroshenko
    5
    комментариев
    0
    читателей
    Полный профиль
    Ann Yaroshenko - Дмитрий, добрый день! Если вы проставили на странице с автозапчастями rel=canonical ( а я вижу в коде, что не проставили) или в HTTP хедере, то бот, как правило: выберит ту страницу главной, которую вы указали в rel=canonical ссылке. Eсли же вы этого не сделали, то бот сам выберит оригинал (алгоритмы, по которым бот это делает, скрыты Googl-ом)
    «Аудит, чтобы ты заплакала…», или Что делать, когда получил сторонний аудит сайта
    TehotdelSamara@gmail.com
    4
    комментария
    0
    читателей
    Полный профиль
    TehotdelSamara@gmail.com - Артур! Задели своим комментарием "за живое") Абсолютно,... целиком.... и полностью согласны с вами! А именно, с тем, что продажи клиента зависят в первую очередь от клиента, перечисленных вами выше и других факторов! А ещё с тем, что чистое SEO в классическом его понимании зачастую уже не даёт результата в виде роста продаж. Если хотим увеличить продажи - нужно бить по всем фронтам, SEO - только один из них, об этом клиент должен знать и быть предупреждён... Касательно нашей рекомендации смотреть на эффективность по тому, увеличилось ли число и качество заказов или нет - в контексте данной статьи говорится о том, что SEO бывает разное. По большому счёту, результат SEO — это именно привлекаемый поисковый трафик. И этот трафик может быть качественным, целевым или нет. Кроме того, трафик должен расти. Мы говорим о том, что если специалист хорошо проработал семантику, изучил бизнес клиента, исключил фразы с околонулевым спросом и проч., то трафик должен быть целевым, растущим, что значит рост обращений в отдел продаж клиента !при условии! , что само предложение и сайт располагают к тому, чтобы обратиться в отдел продаж клиента. Действительно, современное SEO предполагает учёт значительного количества факторов, в том числе и коммерческих. Без этого и трафика зачастую не будет. Нужно доносить всё это до клиента, включать подобные работы в стоимость по SEO или отдельно. А с "хочу все подряд за 25к в месяц" мы сталкиваемся тоже. Тут только пояснять и подсказывать, давать рекомендации заранее, чтобы клиент заранее был предупреждён о том, что ему требуется сделать параллельно с нашими работами по SEO. И в итоге вся эта деятельность должна привести к росту целевого трафика как на сайт, так и в отдел продаж.
    Как вывести сайт в ТОП 10 Google в 2019 году
    Анна Макарова
    355
    комментариев
    0
    читателей
    Полный профиль
    Анна Макарова - Сергей, в нашей отрасли много заимствований из английского, иногда с ними быстрее, проще .Но будем стараться ))
    Как улучшить репутацию сайта недвижимости с помощью крауд-маркетинга
    Евгений
    2
    комментария
    0
    читателей
    Полный профиль
    Евгений - а у вас какое впечатление от статьи?
    Как построить качественный ссылочный профиль на основе конкурентов
    Ирина
    7
    комментариев
    0
    читателей
    Полный профиль
    Ирина - Давно сотрудничаю с megaindex.com и считаю данный сервис одним из лучших в сео сегменте рунета да и не только рунета. Пользуюсь их инструментами для аналитики своих работ и выявлению своих и чужих ошибок. Да и ссылочный профиль, как и говорится в данной статье сделать гораздо проще и правильней при помощи как раз мегаиндекса. Добавлю еще что инструмент для поиска конкурентов у мегаиндекса очень удобный и простой в применении.
    Как я пытался купить CRM-систему, но мне ее поленились продать
    Kristina
    1
    комментарий
    0
    читателей
    Полный профиль
    Kristina - Очень рекомендую CRM-систему польской фирмы Firmao. Все функции настраиваются в соответствии с индивидуальным потребностям компании! Советую попробовать бесплатную демо-версию, чтобы попробовать все необходимые функции, без лишних кнопок и траты дополнительных финансов! :) Сайт: firmao.ru/info
    BDD 2019: Как перестать убивать время на сбор и обработку тонны данных для SEO-аудита
    Kosta Bankovski
    3
    комментария
    0
    читателей
    Полный профиль
    Kosta Bankovski - Иногда такое случается, попробуйте следующий способ: 1. скачать документ в формате .xlsx, 2. импортировать его в новую таблицу. Может на 5 минут подвиснуть или выдать ошибку, но потом загрузится. Если не будет получаться, напишите в личку на ФБ, я отправлю лично. bit.ly/FB-Kosta-Bankovski
    ТОП КОММЕНТАТОРОВ
    Комментариев
    910
    Комментариев
    834
    Комментариев
    554
    Комментариев
    540
    Комментариев
    483
    Комментариев
    373
    Комментариев
    355
    Комментариев
    262
    Комментариев
    249
    Комментариев
    171
    Комментариев
    156
    Комментариев
    137
    Комментариев
    121
    Комментариев
    105
    Комментариев
    97
    Комментариев
    97
    Комментариев
    96
    Комментариев
    80
    Комментариев
    77
    Комментариев
    69
    Комментариев
    67
    Комментариев
    60
    Комментариев
    59
    Комментариев
    57
    Комментариев
    55

    Отправьте отзыв!
    Отправьте отзыв!