VK внедрила мультимодальную ИИ-модель в поиск

VK начала внедрять в поиск своих продуктов визуально‑языковые модели (VLM) – технологии рекомендаций на базе искусственного интеллекта. ИИ-модель одновременно анализирует текст, изображения, звук и видеоряд.

Технология Discovery уже работает в VK Видео и поэтапно появится в других сервисах, где есть поисковые системы.

Модель учитывает название и описание загруженного на платформу контента и его смысл, что позволяет точнее отвечать на поисковые запросы пользователя. Новая VLM от инженеров AI VK автоматически формирует датасеты, данные о контенте, по которым поисковые алгоритмы определяют, какое видео подходит к запросу, а какое – нет.

Работа поиска раньше:

• Стадия 0. Поиск по совпадению ключевых слов.
• Стадия 1. Векторный поиск – поиск по смысловому (семантическому) совпадению ключевых слов (яблоко = круглый зеленый фрукт с дерева).

Работа поиска теперь:

• Поиск не опирается на ключевые слова, он понимает содержание и опирается на смысл контента. Подобный подход развивают крупнейшие технологические компании мира Microsoft, Google, TikTok. 

С запуском модели в будущем улучшится векторный поиск в продуктах VK, который основан на семантическом значении запроса. Например, система будет понимать, что пользователь чаще выбирает видео с определенным стилем монтажа и цветокоррекции. Или точнее распознавать гибридные запросы, где текст и визуальные характеристики комбинируются, например, «влог из Стамбула с видами на Босфор».

Андрей Зимовнов, руководитель направления рекомендаций AI VK:

Новые технологии Discovery за первые месяцы после внедрения помогли увеличить число позитивных реакций на контент на 7%, а рекомендации похожих по смыслу видео стали на 60% точнее.

По мнению разработчиков, это сделает поисковую выдачу более персонализированной, а внедрение VLM ускорит в 5 раз разработку и масштабирование новых технологий для развития и улучшения поиска во всех продуктах VK.

Напомним, ранее VK Реклама представила новый инструмент для оценки эффективности кампаний – BrandLift.

Источник: пресс-релиз VK