×
Россия +7 (495) 139-20-33

Как поисковые системы отличают запросы пользователей и ботов?

Россия +7 (495) 139-20-33
Шрифт:
0 12237
Подпишитесь на нас в Telegram

Не всегда поисковыми системами пользуются люди, которые ищут информацию. Иногда к поисковым системам интернета обращаются роботы, которые хотят собрать данные о позициях определенных страниц, исследовать ключевые слова или сделать максимальное количество кликов по результатам выдачи или контекстной рекламе, чтобы насолить конкурентам.

Такие роботы расходуют ресурсы поисковых систем и могут получить данные о пользователях, которые используются поисковиками для работы над алгоритмом ранжирования и формированием поисковых подсказок.

Google ещё давно попросил вебмастеров не использовать автоматические программы, которые добавляют страницы или проверяют позиции. «Такие программы нарушают правила использования поисковой системы и перегружают сервера».

Поэтому многие поисковые системы разработали принципы, по которым они отличают запрос человека от запроса робота. Недавно Microsoft опубликовал заявление на патент метода, который будет классифицировать трафик на пользовательский и полученный от автоматических программ в зависимости от некоторых характеристик запроса. Это заявление позволяет сказать, какие параметры используют поисковые системы, чтобы разграничивать два типа запросов.

Когда поисковая системы отслеживает запросы, она собирает большое количество информации о пользователях. Например, такая информация может включать, как сами ключевые слова, так и метаданные, связанные с ними:

  • Цепочки поисковых запросов.
  • Страницы результатов.
  • Место, где вводился запросы.
  • IP-адрес.
  • Уникальный идентификатор пользователя или программы.
  • Время введения запроса.

Определить, был ли задан запрос пользователем или роботом, поисковая система может, основываясь на двух группах факторов: физических параметрах запроса и его поведенческих характеристиках.

Физические параметры запросов пользователей

Один из способов узнать, кем был задан запрос, это отследить некоторые физические характеристики запроса.

Объем. Пользователи могут сделать только лимитированное количество запросов за определенный отрезок времени. Скорее всего вводящий 100 запросов за 10 секунд не человек. И тем более, если этот пользователь искал запрос «голые девочки» 12 тысяч раз в течение дня.

Месторасположение. Довольно-таки тяжело одному человеку находиться сразу в нескольких местах. А поисковая система может зафиксировать, когда пользователь с одним и тем же ID печатает запросы из разных, сильно удаленных друг от друга городов. Использовать несколько компьютеров для поиска в Интернете — дело обычное, только если эти компьютеры не разделены океаном или несколькими тысячами километров. В таком случае, поисковая система определяет ботнет или пользователя, использующего инструмент для анонимного поиска и не отключившего cookie.

Поведенческие характеристики

По физическим параметрам можно определить автоматические запросы. Но эти автоматические запросы также могут быть настроены так, чтобы они напоминали запросы, сделанные обычным пользователем.

Поэтому существует поведенческие характеристики, по которым возможно понять, что запросы автоматически сгенерированы. Ниже перечислены модели, по которым Microsoft в своем заявлении на патент собирается распознавать, кем был задан запрос.

CTR

Люди после введения поискового запроса обычно кликают на один или несколько результатов. Обычно это один клик на каждые десять результатов. В то время как автоматические программы не нажимают на результаты поиска, поэтому это может быть сигналом для поисковой машины. Некоторые боты к тому же собирают дополнительную информацию о некоторых урлах, поэтому существует несколько моделей, по которым может определяться активность ботов:

  • Бот, который не кликает на ссылки.
  • Бот, который кликает на каждую ссылку.
  • Бот, который кликает только на целевые ссылки.

Боты ищут в алфавитном порядке (иногда)

Вряд ли обычные пользователи, набирая серию запросов, распределяют их в алфавитном порядке. Поэтому такая модель выдаёт использование автоматических программ.

Боты ищут, используя спамовые слова

Некоторые запросы характеризуются высокой заспамленностью и употреблением спам-слов,. Поэтому если с одного ID задаётся большое количество вопросов со спамом, вероятнее всего это запросы бота. То же самое касается запросов, которые содержат обращение к adult-тематике.

Слишком большое количество слов

Запросы, которые содержат чрезмерное количество слов, не характерны в большом количестве для обычных пользователей. Другое, что может настораживать по поводу запросов большой длины, что они следуют друг за другом цепочкой, которая содержит примерно одинаково большое количество слов в разных запросах.

Периодичность запросов

Время, которое проходит между запросами одного пользователя, может измеряться. Это потом позволяет определить среднее время между запросами или время, которое проходит от введения запроса до клика по определенному результату. С помощью модели, построенной таким образом, возможно распознать запросы от пользователей и от ботов

Использование операторов запросов

Большое количество поисковых запросов, в которых используются операторы поиска (например, «allintitle:» и «allinurl;») исходят от автоматических программ.

Лимитированность категорий

Существует вероятность, что запросы были сделаны ботом, если вся цепочка запросов принадлежит к одной или нескольким узким категориям.

***

Здесь перечислены не все методы, которые описаны в заявке на патент. В документе описано, что сервис может классифицировать запросы в зависимости от того, из какого источника поступают запросы. Но не объясняется, каким образом эта классификация используется.

Когда поисковой системе серия запросов кажется подозрительной, она просит пользователя ответить на вопрос или расшифровать CAPTCHA, которая именно для этих целей и создана.

Оригинал статьи


Друзья, теперь вы можете поддержать SEOnews https://pay.cloudtips.ru/p/8828f772
Ваши донаты помогут нам развивать издание и дальше радовать вас полезным контентом.

Есть о чем рассказать? Тогда присылайте свои материалы Марине Ибушевой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Примеры использования ChatGPT в SEO-стратегии
Гость
1
комментарий
0
читателей
Полный профиль
Гость - Если кто то хочет протестировать Cat GPT в SЕО проектах на базе нашего агенства, приглашаем наудалкнную работу Tg: @thegoodlink
Эффективное продвижение сайтов: 10 лет опыта в SEO в Рунете и Буржунете
Павел Горбунов
11
комментариев
0
читателей
Полный профиль
Павел Горбунов - Вы учтите, что за такие водные статьи хейтеры повалят жесткие. Сеошники воды не любят.
Особенности внутренней перелинковки для крупных сайтов
Злобная булочка
1
комментарий
0
читателей
Полный профиль
Злобная булочка - Ну это ж ингейт)
'SEO глазами клиентов 2023'
Валерия Власова
2
комментария
0
читателей
Полный профиль
Валерия Власова - Приветствую! На момент проверки сайтов клиентов получились такие показатели. Возможно, самостоятельно вы проверяете свои проекты по другим параметрам. Поэтому получились разные результаты.
Увеличили трафик в 4 раза с помощью узких ключей и контентного SEO: кейс ОТП Банка
Бурлуцкий Сергей
1
комментарий
0
читателей
Полный профиль
Бурлуцкий Сергей - В работе по ссылочному делаем упор по получению естественных ссылок в сочетании с краудом. Более подробно об этом мы рассказывали на нашем недавнем митапе - www.youtube.com/watch?v=dbl_vFHWqWQ (Второй доклад).
Что такое Яндекс Советник, и кому от него жить хорошо
Мама Стифлера
1
комментарий
0
читателей
Полный профиль
Мама Стифлера - Вызывает сожаление, что вы не осознаете, что Яндекс.Советник может быть рассмотрен как форма рэкета, которая заставляет компании, размещающиеся в Яндекс.Маркете, выплачивать дополнительные финансовые средства, повышая в конечном итоге прибыль Яндекс.Маркета, но не принесет пользы для посетителей сайта.
Самые быстрорастущие доменные зоны в 2023 году. Исследование RU-CENTER
Станислав
1
комментарий
0
читателей
Полный профиль
Станислав - С 2019 года количество доменов в зоне .ru остается на одном и том же уровне - около 5 млн. Все изменения на уровне 1% от этого объема в плюс или минус
Как быстро улучшить рейтинг компании на сайтах отзовиков
Zorgy Rihard
2
комментария
0
читателей
Полный профиль
Zorgy Rihard - давай я
Как за месяц увеличить количество заявок в 1,7 раза, а их стоимость снизить в 1,6 раза. Кейс
Sputniki
1
комментарий
0
читателей
Полный профиль
Sputniki - Добрый день, Василий. Спасибо за вашу наблюдательность. На самом деле ошибки нет. Если вы сталкивались на практике с выгрузкой заявок из кабинета VK Рекламы, то заметите, что количество заявок не бьется с цифрами по рекламному кабинету (по статистике). Поэтому средняя цена заявки получается ниже чем у самых эффективных трех.
Как онлайн-магазинам получать максимум трафика с помощью Поиска по товарам Яндекса
Санал Эрдни-Горяев
11
комментариев
0
читателей
Полный профиль
Санал Эрдни-Горяев - Это не покупная статья, SEONEWS моргни если Яндекс тебе угрожает баном.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
386
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
141
Комментариев
121
Комментариев
119
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
64
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!