Яндекс о том, как определить тему поисковых запросов

Руководитель отдела внешних исследований Яндекса Наталия Крупенина рассказала, как определить тему поисковых запросов.

В большинстве случаев определить тему несложно. Например, тема запроса [симптомы гриппа] – здоровье. У одного запроса может быть и несколько тем: [жаропонижающее для детей до года] касается и здоровья, и детей. Однако в некоторых случаях определение темы становится затруднительным. Так, запрос [снежная королева] может касаться одежды, сказки Андерсена, фильма или детского спектакля.

Темы запросов определяет автоматический классификатор. Он не знает, что имеет в виду пользователь в каждом конкретном случае, однако может учесть его поведение. В основе работы классификатора лежит разметка наиболее популярных сайтов. Определить основную тему получается у 80% популярных сайтов, на остальные переходят по запросам на разные темы.

Затем классификатор переносит ручную разметку нескольких тысяч сайтов на миллионы сайтов Рунета. Он определяет, на какие сайты переходят по запросам с теми же формулировками, что и на размеченные вручную ресурсы, и выставляет вероятности тем. Чем больше запросов совпадет, тем больше вероятность, что сайт относится к той же теме.

Зная темы сайтов, можно определить и темы запросов. Для каждого запроса классификатор считает, сколько раз по нему переходили на сайты с разными темами, и определяет доли каждой темы.

Темы лучше не сравнивать друг с другом напрямую. Из-за того, что в основе классификатора лежит разметка наиболее популярных сайтов, а не случайных, популярные темы получают преимущество. Поэтому в исследованиях сравниваются между собой не темы, а интерес к каждой теме в разных срезах.

Источник: Блог Яндекса