Google выкатывает алгоритм BERT для лучшего понимания естественных запросов

Google начал выкатывать новый алгоритм BERT, который направлен на лучшее понимание сложных и естественных запросов. 

Он основан на методике предварительной тренировки систем обработки естественного языка BERT (Bidirectional Encoder Representations from Transformers), которую Google представил в прошлом году. Эта технология на основе нейросетей помогает лучше понимать контекст запроса и языковые нюансы, а также находить для таких запросов более релевантные результаты. 

«Наша задача выяснить, что вы ищете, и найти полезную информацию в интернете, независимо от того, как вы пишете или комбинируете слова в запросе… Благодаря последним достижениям нашей поисковой команды в области понимания языка с применением технологии машинного обучения, мы значительно улучшили понимание запросов и добились самого большого скачка вперед за последние 5 лет и одного из самых больших скачков в истории нашего Поиска», - сообщается в блоге Google. 

Алгоритм BERT будет использоваться для ранжирования длинных диалоговых запросов, запросов с предлогами и других естественных запросов, а также для расширенных сниппетов. 

Google привел примеры запросов, для которых новый алгоритм стал показывать более релевантные результаты. В частности, для запроса «2019 brazil traveler to usa need a visa» ранее поисковик не учитывал предлог «to», поэтому показывал результаты о гражданах США, которые путешествуют в Бразилию. Новый алгоритм учитывает языковые нюансы и выдает релевантный результат.

BERT будет использоваться дополнительно к RankBrain, чтобы лучше понимать контекст запросов, и затронет 10% запросов. 

В настоящее время алгоритм выкатывается в США для запросов на английском языке и будет полностью развернут в ближайшее время. В будущем Google планирует запустить BERT и для других языков. 

Напомним, Яндекс давно использует алгоритмы машинного обучения для поиска. В 2009 году для ранжирования поисковик начал применять технологию Матрикснет. В 2016 году Яндекс запустил алгоритм Палех с использованием нейронных сетей для нахождения связей между текстами пользовательских запросов и текстами документов. В 2017 году эта технология получила своё развитие в алгоритме Королёв.

Как сообщает пресс-служба Яндекса:

Сейчас разработка новых алгоритмов машинного обучения является каждодневной практикой. Новые нейронные сети, улучшающие качество поиска, внедряются раз в несколько месяцев. Превосходство в качестве поиска позволяет нам в течение нескольких лет поступательно наращивать поисковую долю, в том числе и на платформе Android.

Мы — сторонники конкуренции и с нетерпением ожидаем, когда обновление алгоритма Google окажет заметное влияние на показатели качества поисковика в России.

Источник: Блог Google