Яндекс запустил новый алгоритм ранжирования «Королёв»

22 августа в Москве состоялась презентация нового алгоритма ранжирования Яндекса. Его представил руководитель службы релевантности и лингвистики Александр Сафронов. Алгоритм получил название «Королёв».

Новый алгоритм является еще одним шагом на пути к лучшему пониманию пользователей. В его основе лежат нейронные сети.

Работу в направлении обучения нейронных сетей Яндекс начал с модели DSSM. Также на помощь пришли пользователи, задающие огромное число запросов ежедневно. На основании этого массива данных составляются обучающие примеры для нейронной сети.

В новом алгоритме было увеличено влияние нейронный сетей на ранжирование. Одной из интересных черт нововведения стало применение нейронных сетей к тексту документов.

Яндекс внедрил модель, которая, при оценке смысловой близости смотрит не только на заголовок, но и на тело страницы.

Еще одно нововведение связано с тем, что нейронные модели научили учитывать тексты запросов, по которым ранее на эту страницу приходили пользователи. Изменения коснулись и количества страниц, к которым применяются нейронные сети.

Ранее Яндекс использовал нейронные сети для ограниченного числа страниц (приблизительно для 150) по запросу из-за большой вычислительной сложности. Теперь число страниц увеличили до 200 000.

Команда Яндекса верит, что машинное обучение, а особенно нейросети, рано или поздно позволит научить поиск оперировать смыслами на уровне человека. Однако здесь невозможно обойтись без помощи людей. Поэтому необходимо показывать машине огромное число примеров, чем и занимаются пользователи поиска.

Однако в помощи нуждается также и Матрикснет, который строит формулу ранжирования. Чтобы поиск продолжал развиваться, люди должны постоянно давать оценку его работе. Раньше выставлением оценок занимались только сотрудники Яндекса – асессоры. Однако позже специалисты компании решили привлечь к этому и пользователей, запустив Яндекс.Толоку.

Сейчас в Толоке зарегистрировано более миллиона пользователей. Они анализируют качество поиска и принимают участие в улучшении других сервисов компании. Задания на Толоке оплачиваются. За два года существования сервиса толокеры выставили около двух миллиардов оценок.

Команда Яндекса подчеркнула, что новый поиск – это результат совместной работы рядовых пользователей и специалистов компании.