Исследователи управления экспериментальных систем машинного обучения Сбербанка разработали открытую компактную ИИ-модель Pollux для оценки качества ответов нейросетей по заданным пользователем критериям. Новая модель поможет специалистам быстрее находить ошибки в ответах ИИ, а пользователям – получать более точные и безопасные ответы от нейросетей.
Сергей Марков, директор по развитию технологий искусственного интеллекта Сбербанка:
Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. Например, связность рассказа оценивают по развитию сюжета, а связность научной статьи – по логике аргументации. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов. В наших экспериментах ее оценки лучше согласовывались с экспертными, чем оценки моделей с числом параметров в сотни раз больше.
Открытая модель-судья содержит 4 млрд параметров и способна оценивать ответы нейросетей на русском и английском языках по критериям и шкалам, которые определяет пользователь. Кроме того, она может анализировать многоходовые диалоги, результаты работы систем с использованием внешних источников информации (RAG), а также последовательности вызовов инструментов ИИ-агентами.
Ожидается, что разработка позволит ускорить выявление ошибок в ответах нейросетей, а также повысить качество и безопасность систем искусственного интеллекта.
Код и демо Pollux доступны на GitHub.
Напомним, ранее Сбер запустил бесплатную платформу для создания ИИ-агентов без программирования – GigaPlatform AI Studio. И запустил экспериментальные ИИ-сервисы для образования – Zoobr и Narra.
Источник: ТАСС