Яндекс сравнил качество ответов YandexGPT 2 и GPT 3.5

По данным исследования Яндекса, собственная нейросеть компании YandexGPT 2 отвечает на запросы лучше, чем языковая модель GPT 3.5 от OpenAI.

По качеству ответов на русском языке YandexGPT 2 превосходит GPT 3.5 в 63% случаев.

Для исследования использовался метод Side by Side (SBS), при котором обе нейросети отвечали на один и тот же запрос, а AI-тренеры выбирали лучший ответ, не зная, какая модель его сгенерировала. Корзина запросов формировалась на обезличенных обращениях пользователей сервисов Яндекса к YandexGPT 2, что позволило учесть реальные потребности людей и охватить широкий спектр тем.

Алексей Гусаков, технический директор Яндекс Поиска:

Сравнения нейросетей нужны не для того, чтобы получить абстрактные цифры в бенчмарке, а для решения задач продукта, создания новых функций и развития бизнеса. Именно поэтому значительную часть корзины для сравнения составили настоящие запросы из наших сервисов.

YandexGPT – российская нейросеть, разработанная компанией Яндекс в мае 2023 года. Она генерирует текстовые ответы на любые темы, предлагает новые идеи и учитывает контекст общения с пользователем.

YandexGPT может кратко пересказать видео в Яндекс Браузере и Поиске, а продавцам Маркета помогает создавать описание товаров и названия товаров, легко и быстро генерировать баннеры для продвижения на главной странице платформы.

Нейросеть доступна в режиме Алисы «Давай придумаем» в приложении Яндекса, Яндекс Станциях, телевизорах с Алисой, Яндекс Браузере, на странице с результатами поиска и на ya.ru.

ChatGPT был анонсирован в ноябре 2022 года, его разработала компания OpenAI. За два месяца с момента запуска его аудитория достигла 100 млн активных ежемесячных пользователей, а уже в феврале 2023 года стал самым быстрорастущим приложением в истории. Пользователям ChatGPT доступны голосовые и графические возможности, благодаря которым они могут вести с чат-ботом голосовой разговор или показывать ему, о чем вы говорите.

Напомним, что Яндекс открывает доступ к YandexGPT API для всех пользователей в режиме превью.

Источник: пресс-релиз Яндекса