Сбер представил GigaChat Audio с нативной обработкой речи и распознаванием эмоций

Сбер представил обновленную языковую модель GigaChat Audio, которая обрабатывает голосовые сообщения и аудиофайлы без предварительного преобразования речи в текст. Новая версия получила нативную поддержку аудио, научилась учитывать интонацию и эмоциональную окраску речи, а также расширила возможности работы с длинными записями.

GigaChat Audio распознает эмоциональный контекст по интонации, тембру голоса и особенностям произношения. Благодаря этому ИИ-помощник точнее подбирает стиль ответа и адаптирует общение к состоянию пользователя.

Модель работает с аудиозаписями продолжительностью до трех часов.

Пользователь может быстро найти нужный фрагмент разговора, получить краткое содержание всей записи или отдельного отрезка с таймкодами. Кроме того, GigaChat Audio различает участников беседы, что упрощает анализ совещаний, интервью и телефонных переговоров.

Еще одно нововведение – долговременная память в голосовом взаимодействии. Модель запоминает важные сведения из диалога и использует их при следующих обращениях. При этом пользователь сохраняет полный контроль над функцией: сохраненные данные доступны для просмотра, редактирования или удаления в настройках профиля.

Одновременно компания открыла исходный код облегченной версии GigaChat3.1-Audio-10B. На ее основе разработчики смогут создавать сервисы транскрибации, голосового перевода, анализа длинных аудиозаписей и оценки качества речи.

Вместе с GigaChat Audio Сбер также представил семейство моделей автоматического распознавания речи GigaAM Multilingual. Оно поддерживает русский, английский, казахский, киргизский и узбекский языки, а благодаря предварительному обучению на большом количестве языков легко адаптируется к новым.

Напомним, ранее «Сбер» представил GigaChat 3.5 Ultra. Модель лучше пишет код, решает агентные задачи и работает с длинными текстами.

Источник: СберПресс