×
Россия +7 (909) 261-97-71

Сбер представил ИИ-модель Pollux для оценки качества ответов нейросетей

Россия +7 (909) 261-97-71
Шрифт:
0 0
Подпишитесь на нас в MAX

Исследователи управления экспериментальных систем машинного обучения Сбербанка разработали открытую компактную ИИ-модель Pollux для оценки качества ответов нейросетей по заданным пользователем критериям. Новая модель поможет специалистам быстрее находить ошибки в ответах ИИ, а пользователям – получать более точные и безопасные ответы от нейросетей.

Сергей Марков, директор по развитию технологий искусственного интеллекта Сбербанка:

Для оценки ответов ИИ часто используют большие языковые модели, но при массовой проверке это дорого. Кроме того, критерии оценки зависят от задачи. Например, связность рассказа оценивают по развитию сюжета, а связность научной статьи – по логике аргументации. В Pollux мы разработали подробные критерии оценки и собрали большой набор данных с экспертной разметкой. И критерии, и разметка открыты для исследователей. На этих данных мы обучили компактную модель, которую можно запускать локально и использовать для оценки диалогов, RAG-систем и ИИ-агентов. В наших экспериментах ее оценки лучше согласовывались с экспертными, чем оценки моделей с числом параметров в сотни раз больше.

Открытая модель-судья содержит 4 млрд параметров и способна оценивать ответы нейросетей на русском и английском языках по критериям и шкалам, которые определяет пользователь. Кроме того, она может анализировать многоходовые диалоги, результаты работы систем с использованием внешних источников информации (RAG), а также последовательности вызовов инструментов ИИ-агентами.

Ожидается, что разработка позволит ускорить выявление ошибок в ответах нейросетей, а также повысить качество и безопасность систем искусственного интеллекта.

Код и демо Pollux доступны на GitHub.

Напомним, ранее Сбер запустил бесплатную платформу для создания ИИ-агентов без программирования – GigaPlatform AI Studio. И запустил экспериментальные ИИ-сервисы для образования – Zoobr и Narra.

Источник: ТАСС

Случилось что-то важное? Поделитесь новостью с редакцией.


Новые 
Новые
Лучшие
Старые
Сообщество
Подписаться 
Подписаться на дискуссию:
E-mail:
ОК
Вы подписаны на комментарии
Ошибка. Пожалуйста, попробуйте ещё раз.
Отправить отзыв
ПОПУЛЯРНЫЕ ОБСУЖДЕНИЯ НА SEONEWS
Как ChatGPT выбирает компании для рекомендаций: что уже известно и как бизнесу подготовиться к эпохе AI Search
Игорь Антонов
1
комментарий
0
читателей
Полный профиль
Игорь Антонов - Для молодых сайтов в YMYL-тематиках я бы добавил отдельный блок про согласованность сущности: одинаковые название, телефон, адрес и перечень услуг на сайте, в картах, каталогах и профильных публикациях. Мы сейчас проверяем это на новом медицинском проекте narkologmsk.ru — без массовых анкорных ссылок, через подтверждённые карточки и содержательные материалы. Было бы полезно увидеть в продолжении сравнение источников, которые чаще цитируют Google AI Overviews и ChatGPT именно для локальных запросов.
Выручка VK увеличилась на 21% до 47 млрд рублей за III квартал 2026 года
Galina Zarhi (Rabinovich) Zarhi (Rabinovich)
2
комментария
0
читателей
Полный профиль
Galina Zarhi (Rabinovich) Zarhi (Rabinovich) - Расширение AI Overviews меняет единицу репутационного мониторинга: вместо одной позиции в выдаче приходится проверять связку «утверждение о бренде - источник - дата». По каждому важному запросу стоит фиксировать, что именно говорит модель, совпадают ли контакты, услуги и ограничения с официальными данными и повторяется ли ошибка при другой формулировке вопроса. Так видны источники, которые действительно распространяют неверный факт, а не просто присутствуют рядом с брендом.
Сайт компании в 2026 году: что проверяет Роскомнадзор и как не получить штраф
Олег Черников
1
комментарий
0
читателей
Полный профиль
Олег Черников - Дима спасибо, отличный обзор! За ГОСТ Р 52872-2019 спасибо! Давно около него ходил.
«Обзор от ИИ» есть в 94% проверенных результатов выдачи Google: что это значит для бизнеса, SEO и GEO?
Владимир Синицын
1
комментарий
0
читателей
Полный профиль
Владимир Синицын - Дмитрий, отличное исследование. Главное здесь - не паниковать из-за 94%, а смотреть на собственную семантику: где блок есть, как меняется CTR и что происходит с трафиком. Наличие AI Overviews и потеря органических переходов - разные метрики.
Рейтинг GEO-агентств для ecom в России: как продвигать интернет-магазин в нейросетях
Игорь
6
комментариев
0
читателей
Полный профиль
Игорь - Как раз сейчас пытаемся продвинуть свой интернет-магазин спортивных товаров для нейросетей, чтоб почаще нас упоминали. Работаем с Zenlink. Привлекло то, что у них есть реальные кейсы и к работе адекватно подходят. Сначала заказали просто анализ, чтоб они проверили, как нас вообще нейросети упоминают. Интересовала Алиса, ЧатГпт, и ДипСик. Там конечно все довольно печально было... Упоминаний мало. Но после того как мы свой сайт оптимизировали по их советам и они выполнили аутрич, плюс GERM, упоминаться стали чаще. В Алисе и ГПТ особенно, в ДипСик поменьше рост, но тоже есть. Это воодушевляет, конечно. И даже было пару клиентов, которые нас именно через нейросеть нашли. Сейчас опрос проводим, чтоб реальную пользу для себя понять. И вот, она уже есть. На мой взгляд эта услуга подходит тем бизнесам у кого большой средний чек, тогда даже пару клиентов с лихвой отбивают затраты на такое продвижение.
Рынок безалкогольных напитков в 2026 году: как категория продает через доверие к бренду
Алексей
1
комментарий
0
читателей
Полный профиль
Алексей - Все бы хорошо, но это в прошлом. В 2026 г. о росте 2020-2025 гг. остается только мечтать. Рынок БАН перешел к снижению. К серьезному снижению.
Яндекс открыл продажи через Алису и Поиск для продавцов без сайтов
Дмитрий Орлов
1
комментарий
0
читателей
Полный профиль
Дмитрий Орлов - Прикольно, покупать через колонку-))
Яндекс выложил в опенсорс языковую модель, которая лежит в основе быстрых ИИ-ответов в Поиске
Роман Каржонков
1
комментарий
0
читателей
Полный профиль
Роман Каржонков - Молодцы! Такие AI-модели могут широко используется в корпоративных, обучающих и научных АI-enabled платформах.
Поисковые роботы Яндекса резко сократили обход сайтов после атак на дата-центры
дмитрий Беляков
1
комментарий
0
читателей
Полный профиль
дмитрий Беляков - К сожалению не только этим всё ограничилось..
Сервисы для создания квизов: сравнение по конверсии, гибкости сценариев и интеграциям
Виктор
1
комментарий
0
читателей
Полный профиль
Виктор - Без сервиса FormDesigner.ru эта подборка будет не полной. Удивлен, почему вы его не включили в список?
ТОП КОММЕНТАТОРОВ
Комментариев
910
Комментариев
834
Комментариев
554
Комментариев
540
Комментариев
483
Комментариев
393
Комментариев
373
Комментариев
262
Комментариев
249
Комментариев
171
Комментариев
156
Комментариев
142
Комментариев
130
Комментариев
121
Комментариев
100
Комментариев
97
Комментариев
97
Комментариев
96
Комментариев
80
Комментариев
77
Комментариев
74
Комментариев
67
Комментариев
66
Комментариев
60
Комментариев
59

Отправьте отзыв!
Отправьте отзыв!