×
Россия +7 (495) 139-20-33

Как поисковые системы отличают запросы пользователей и ботов?

Россия +7 (495) 139-20-33
Шрифт:
0 9727

Не всегда поисковыми системами пользуются люди, которые ищут информацию. Иногда к поисковым системам интернета обращаются роботы, которые хотят собрать данные о позициях определенных страниц, исследовать ключевые слова или сделать максимальное количество кликов по результатам выдачи или контекстной рекламе, чтобы насолить конкурентам.

Такие роботы расходуют ресурсы поисковых систем и могут получить данные о пользователях, которые используются поисковиками для работы над алгоритмом ранжирования и формированием поисковых подсказок.

Google ещё давно попросил вебмастеров не использовать автоматические программы, которые добавляют страницы или проверяют позиции. «Такие программы нарушают правила использования поисковой системы и перегружают сервера».

Поэтому многие поисковые системы разработали принципы, по которым они отличают запрос человека от запроса робота. Недавно Microsoft опубликовал заявление на патент метода, который будет классифицировать трафик на пользовательский и полученный от автоматических программ в зависимости от некоторых характеристик запроса. Это заявление позволяет сказать, какие параметры используют поисковые системы, чтобы разграничивать два типа запросов.

Когда поисковая системы отслеживает запросы, она собирает большое количество информации о пользователях. Например, такая информация может включать, как сами ключевые слова, так и метаданные, связанные с ними:

  • Цепочки поисковых запросов.
  • Страницы результатов.
  • Место, где вводился запросы.
  • IP-адрес.
  • Уникальный идентификатор пользователя или программы.
  • Время введения запроса.

Определить, был ли задан запрос пользователем или роботом, поисковая система может, основываясь на двух группах факторов: физических параметрах запроса и его поведенческих характеристиках.

Физические параметры запросов пользователей

Один из способов узнать, кем был задан запрос, это отследить некоторые физические характеристики запроса.

Объем. Пользователи могут сделать только лимитированное количество запросов за определенный отрезок времени. Скорее всего вводящий 100 запросов за 10 секунд не человек. И тем более, если этот пользователь искал запрос «голые девочки» 12 тысяч раз в течение дня.

Месторасположение. Довольно-таки тяжело одному человеку находиться сразу в нескольких местах. А поисковая система может зафиксировать, когда пользователь с одним и тем же ID печатает запросы из разных, сильно удаленных друг от друга городов. Использовать несколько компьютеров для поиска в Интернете — дело обычное, только если эти компьютеры не разделены океаном или несколькими тысячами километров. В таком случае, поисковая система определяет ботнет или пользователя, использующего инструмент для анонимного поиска и не отключившего cookie.

Поведенческие характеристики

По физическим параметрам можно определить автоматические запросы. Но эти автоматические запросы также могут быть настроены так, чтобы они напоминали запросы, сделанные обычным пользователем.

Поэтому существует поведенческие характеристики, по которым возможно понять, что запросы автоматически сгенерированы. Ниже перечислены модели, по которым Microsoft в своем заявлении на патент собирается распознавать, кем был задан запрос.

CTR

Люди после введения поискового запроса обычно кликают на один или несколько результатов. Обычно это один клик на каждые десять результатов. В то время как автоматические программы не нажимают на результаты поиска, поэтому это может быть сигналом для поисковой машины. Некоторые боты к тому же собирают дополнительную информацию о некоторых урлах, поэтому существует несколько моделей, по которым может определяться активность ботов:

  • Бот, который не кликает на ссылки.
  • Бот, который кликает на каждую ссылку.
  • Бот, который кликает только на целевые ссылки.

Боты ищут в алфавитном порядке (иногда)

Вряд ли обычные пользователи, набирая серию запросов, распределяют их в алфавитном порядке. Поэтому такая модель выдаёт использование автоматических программ.

Боты ищут, используя спамовые слова

Некоторые запросы характеризуются высокой заспамленностью и употреблением спам-слов,. Поэтому если с одного ID задаётся большое количество вопросов со спамом, вероятнее всего это запросы бота. То же самое касается запросов, которые содержат обращение к adult-тематике.

Слишком большое количество слов

Запросы, которые содержат чрезмерное количество слов, не характерны в большом количестве для обычных пользователей. Другое, что может настораживать по поводу запросов большой длины, что они следуют друг за другом цепочкой, которая содержит примерно одинаково большое количество слов в разных запросах.

Периодичность запросов

Время, которое проходит между запросами одного пользователя, может измеряться. Это потом позволяет определить среднее время между запросами или время, которое проходит от введения запроса до клика по определенному результату. С помощью модели, построенной таким образом, возможно распознать запросы от пользователей и от ботов

Использование операторов запросов

Большое количество поисковых запросов, в которых используются операторы поиска (например, «allintitle:» и «allinurl;») исходят от автоматических программ.

Лимитированность категорий

Существует вероятность, что запросы были сделаны ботом, если вся цепочка запросов принадлежит к одной или нескольким узким категориям.

***

Здесь перечислены не все методы, которые описаны в заявке на патент. В документе описано, что сервис может классифицировать запросы в зависимости от того, из какого источника поступают запросы. Но не объясняется, каким образом эта классификация используется.

Когда поисковой системе серия запросов кажется подозрительной, она просит пользователя ответить на вопрос или расшифровать CAPTCHA, которая именно для этих целей и создана.

Оригинал статьи


(Голосов: 5, Рейтинг: 5)
Читайте нас в Telegram - digital_bar

Есть о чем рассказать? Тогда присылайте свои материалы Ане Макаровой


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Как выбрать CMS для интернет-магазина
demimurych
17
комментариев
0
читателей
Полный профиль
demimurych - Очередное волшебство, а не материал. все что ниже, сказано человеком который больше 20 лет своей жизни посвятил ковырянию исходных кодов систем. Битрикс по качеству кода и функциональности ровно такое же говно как и вордпресс. Заявить что он разрабатывается группой крутых программистов может только человек, который не знает что такое программирование. Единтсвенное отличие битрикса от вордпресса, это сертифицированнось на определенном локальном рынке. поставить Друпал в один ряд с вордпрессом, это видимо в продолжении предыдущей бугогашечки про крутых программистов в битриксе. тут важно отметить, что если битрикс и вордпресс являлись говном одного сорта весь цикл своего существования, то друпал имеет минимум 4 принципаильно разных кодовых базы. При этом даже самая примитивная из них - друпал 5 ветки, которому больше 12 лет, на голову выше текущих вп с битриксом вместе взятых. с точки зрения разработки - конечно. А не востребовтных на текущий момент плагинов. теория про разработку кода группой крутых программистов, не выдерживает никакой критики. достаточно просто оглянуться назад и увидеть, что в мире опенсорса есть как примеры эталонного говна - вордпресс, так и полная противоположность им типа РОР ставшего фактически во многом и на долго эталоном веб разработки. И это я еще ненапомнил автору о том, что есть такие вещи как питон, миникс и т.д. примеров качественного по в мире разработки открытым сообществом на порядки больше, чем наоборот. и тому есть ряд очень простых обьяснений. первое из которых, никто вам не даст просто так закомитить в ядро любой свой говнокод. даже в вордпресе. словом, информация в статье, как и ее выводы - это из области работы со своим воображением, чем с текущей ситуацией на рынке.
Ссылочное продвижение локальных сайтов: ТОП худших SEO-методов
demimurych
17
комментариев
0
читателей
Полный профиль
demimurych - о господи. это для регионального сайта? в яндексе? где у сайта по региону конкурентов меньше чем выдачи на двух страницах из которых перваш это реклама москвы? потешно ей богу. ктото чего то не понеимает.
Тест по SEO – проверь свой уровень знаний
Артем Дорофеев
8
комментариев
0
читателей
Полный профиль
Артем Дорофеев - Полный текст вопроса со скриншотом панели прикладываю. Итого, что имеем: - на скриншоте отмечено, что это фильтр МПК - сайт коммерческий - рекламы на сайте нет С вероятностью 95% это ошибка (которая уже дважды случалась в Яндексе), когда они случайно "закосили" неповинные сайты. Тогда по запросу Платону фильтр быстренько снимали. Но вопрос даже не на знание этого нюанса. В любой непонятной ситуации, прежде чем что-либо предпринимать (особенно переписывать весь контент на сайте или менять дизайн, как указано в других вариантах) - фильтр следует подтвердить. Правильный ответ: "Написать письмо в техподдержку Яндекса".
Автоматические SEO-аудиты: как напугать некорректными выводами
Trydogolik
25
комментариев
0
читателей
Полный профиль
Trydogolik - спасибо
Зачем подменять контент на сайте: разбираем инструмент и развенчиваем мифы
Trydogolik
25
комментариев
0
читателей
Полный профиль
Trydogolik - К мифу 1 добавлю Google optimize optimize.google.com Удобен для сотрудников со спец. знаниями и без них. Подмена контента настраивается за счет многих вариантов страниц и условий настроек распределения трафика. Варианты страниц можно легко создать копипастом. На мой взгляд удобно и бесплатно. Тот же Calibri и программисты в любом случае, пусть не за это, но где-то берут свою комиссию. (чисто мое мнение). В качестве цены отдаешь такой ресурс как личное время и копейки за внесение двух первоначальных изменений в html шаблон страниц. Но если ваша digital-кампания имеет совесть то оплата максимум час, а то и бесплатно. Интернет-маркетолог сам должен уметь это делать. Все просто + подробную инструкцию прилагают на языке пользователя. + за поддомены платить не надо, они вообще не нужны. + взаимодействие с: - Google Ads; - Google Tag; - Google Analytics просто прекрасно отслеживается по всем вариантам параллельно. Это помогает до деталей нарисовать профиль ЦА по любому "кредиту - отдельно на машину и отдельно на бизнес". Что с аналитикой у Calibri на этот счет? Сам с Calibri не разу не работал, всегда работаю с первоисточником. + к мифу 3 в том что это и есть детище поисковой системы и рекламного инструмента. Яша тоже спокоен будет так как сам везде навязывает Турбо-страницы (считаю их не удобными).- Как "-" (минус) вижу то, что может повлиять на скорость загрузки сайта. Но если у вас не конструктор, а темболее Landing Page, то о скорости можно не волноваться. Но это чисто мое мнение. В остальном согласен с автором.
100+ ресурсов по SEO для изучения поисковой оптимизации с нуля
Марина Ибушева
59
комментариев
0
читателей
Полный профиль
Марина Ибушева - Спасибо за добавление. Мы уже работаем над отдельным материалом про курсы, потому что одной статьи мало, чтобы охватить все крутое по обучению)
Монетизируйте свой сайт вместе с VIZTROM
VIZTROM
3
комментария
0
читателей
Полный профиль
VIZTROM - Добрый день! Так как мы сейчас работаем в приватном режиме, Вы врятли можете объективно оценить нашу рекламную площадку. У нас будет официальный запуск 3 марта для вебмастеров. Приглашаем Вас присоединиться к нам и лично посмотреть наш функционал.
7 способов увеличить авторитетность сайта «в глазах» поисковых систем
Юлия Гуща
1
комментарий
0
читателей
Полный профиль
Юлия Гуща - Спасибо за статью, особенно за пункт про разнообразие использования ключевых слов. А какие инструменты можете порекомендовать для анализа ключевых слов? Я чаще всего использую Ahrefs и sitechecker.pro/ru/. И нужно ли добавлять ключи в хлебные крошки?
Digital-разговор: Михаил Шакин про SEO, Google и заработок в интернете
Анна Макарова
372
комментария
0
читателей
Полный профиль
Анна Макарова - Подготовим ) Пока предлагаю почитать интервью с Денисом Нарижным из той же серии. Там стенограмма =) www.seonews.ru/interviews/digital-razgovor-denis-narizhnyy-pro-ukhod-iz-seo-i-zarabotok-na-partnerkakh/
Почему вы торгуетесь за показы, даже если платите за клики
Константин Требунских
3
комментария
0
читателей
Полный профиль
Константин Требунских - Дмитрий, спасибо за комментарий, хорошие замечания!) 1. "Какая-то подмена понятий. CPM у “Original Works” взлетает не от того, что у них РАВНАЯ цена клика, а оттого, что вы "с потолка" поставили ему CPC в 2 раза выше, чем был. Логично, что и CPM в 2 раза увеличился (см. формулу выше). Если бы вместо 5 вы всем решили поставить 2 или 1.5, то он бы наоборот уменьшился." Вы правы, что CPM уменьшился бы. В первой и второй табличке берем одинаковое количество показов (именно за них мы платим сначала) и считаем данные, в том числе CPC. Мы поставили рекламодателей в одинаковые условия и посмотрели их эффективность в разрезе цены клика при одинаковом количестве показов. А затем изменился аукцион, и, взяв получившиеся данные по кликам и CTR, мы поставили рекламодателей тоже в одинаковое положение, но уже по цене клика, ведь мы теперь за него платим. Посчитали эффективность в разрезе уже CPM. Тут если и есть подмена понятий, то она точно не моя, а рекламных систем, потому и обозначена, как "ход конем" :) 2. "Ок, смотрим таблички "как оно было" и "как оно стало". Было: система суммарно за 2 000 денег показала рекламу 4 000 раз. Стало: система суммарно за 2 000 денег показала рекламу 13 500 раз. Сомнительный профит для системы." Вы правы, именно поэтому для рекламодателей с низким CTR ставка будет выше, чем для рекламодателей с высоким CTR. Просто чтобы система окупилась. Потому что, системе выгодно продавать показы тем, у кого кликов будет больше (ведь они платят за клик). По факту реальные цены за клик в аукционе будут как в таблице 2. Но ранжирование системы проводят по таблице 5.
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
373
Комментариев
372
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
139
Комментариев
121
Комментариев
111
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
86
Комментариев
80
Комментариев
77
Комментариев
67
Комментариев
60
Комментариев
59
Комментариев
59
Комментариев
57

Отправьте отзыв!
Отправьте отзыв!