В среду в Яндексе выступал Евгений Агиштейн (Eugene Agichtein), доцент кафедры математических и компьютерных наук Университета Эмори. Он рассказывал о своем исследовании в области поиска и пользовательских действий. Евгений обозначил главные цели исследования:
- возможность по поведению пользователя, а именно по движениям курсора мышки, предугадать его намерения;
- разграничить коммерческие и навигационные запросы;
- предсказать будущие действия пользователя.
Для разграничения пользовательских запросов в разных плоскостях, Евгений предлагает разделить их на коммерческие (что-то купить) с одной стороны и навигационные (попасть на конкретный ресурс) и информационные (другой случай) с другой стороны. 1700 запросов оценивали три специалиста из команды Евгения. Еще 300 запросов классифицировались с помощью участников сервиса MTurk. Если процент совпадения оценок нескольких участников был высоким, то запрос причислялся к одной из групп.
По данным исследования, в сети задается 42% коммерческих запросов; 55% навигационных. Остальную часть запросов можно отнести к обеим группам. Точность классификации запросов на коммерческие и некоммерческие с использованием характеристики запросов, выдачи и количества кликов по результатам составила более 85-90%. Для разделения запросов на навигационные и информационные этот показатель немного ниже – в районе 79-86%. Самое большое количество кликов на рекламные объявления наблюдалось при коммерческо-навигационных запросах. Самый низкий – некомерческо-информационный.
Для того чтобы предсказать будущие действия пользователей, Евгений и его команда подробно изучают движения мышки и использование клавиатуры при поиске: скроллинг, простые перемещения, клики. В самом начале презентации Евгений отметил, что удобным способом наблюдать за пользователями является технология eye-tracking – направление взгляда, диаметр зрачков, движения глаз дают понять намерения пользователя. Диаметр зрачка, например, может показать, что пользователь увидел что-то знакомое на странице поиска.
Но применять эту технологию на многих компьютерах в течение длительных испытаний дорого. Поэтому Евгений и его команда начали следить за движениями мыши как модели пользовательского зрения. Сделать такой шаг им позволил результат исследования – оказывается, в большинстве случаев курсор мышки и взгляд пользователя находились в одном квадрате 200 на 200 пикселей. Это не такая точность, которую хотелось бы иметь в исследованиях, но она позволяет получать полезную информацию. В исследовании принимают участие студенты американского университета Emory University, которые используют выход в Интернет в библиотечных залах. Евгений осветил результаты после исследования поведения пользователей на примере 300 запросов. По результатам этого исследования типы запросов распределились следующим образом:
- Информационные – 49%
- Навигационные – 30%
- Транзакционные – 4%
- Непонятная цель – 17%.
Получается, что с помощью анализа движения курсора можно распознать информационные запросы, которые напоминают навигационные, и редкие навигационные запросы.
При исследовании пользовательского поведения Евгений брал в расчет следующие характеристика активности мыши:
- Длина траектории.
- Горизонтальный и вертикальный отрезок, в рамках которого пользователь перемещал курсор мыши.
- Сегментацию траектории на 5 отрезков: начальный, ранний, средний, поздний и клик.
- Характеристики движения на каждом отрезке движения мыши: скорость и ее изменение, наклон, вращение.
Для каждого типа запросов движение курсора оставляло различную, типичную для своей группы траекторию. Самыми важными движениями пользовательских курсоров для получения максимального количества информации о намерениях пользователей стали:
- Увеличение скорости курсора на третьем и втором отрезке его движения.
- Средняя скорость движения курсов на третьем и четвертом отрезке.
- Длина вертикального отрезка, в пределах которого курсор двигался на первом отрезке движения.
Наименее показательными являются длины запроса и время принятия решения нажать на ссылку.
Из других интересных находок Евгения и его команды стоит также отметить:
1. Около 40% запросов пользователей к поисковой системе оказываются повторными. Пользователи запомнили запрос и позицию на странице выдачи результатов поиска, которые показали им удовлетворяющий их результат, и набирают этот запрос снова.
2. Высокая скорость движения мыши характеризовала, что пользователь увидел на странице выдачи знакомый термин, имя или сайт.
Предсказание пользовательских действий по движениям мыши даст возможность предсказывать релевантность документов и следующий запрос пользователя, что в свою очередь поможет улучшить ранжирование документов и то, как они отображаются в выдаче, лучше корректировать ошибочные запросы и выводить поисковые саджесты, предсказывать вероятность клика на рекламу в текущей или следующей сессии.
Кроме этого подобное исследование может применяться для медицинских целей – определения психологического состояния пользователя, потенциальной возможности развития ментальных болезней Паркинсона, Альцгеймера.
Видеоверсия семинара на английском языке будет выложена на корпоративном блоге Яндекса через неделю.