Яндекс Переводчик с YandexGPT стал мировым лидером по качеству перевода с английского на русский

Яндекс Переводчик с YandexGPT признали лидером по качеству перевода с английского на русский по итогам международного независимого исследования DiBiMT. Сервис от Яндекса обогнал Google Translate, ChatGPT и DeepL. Рейтинг опубликовали ведущие мировые центры изучения языка в машинном обучении – итальянские институты Sapienza и SSML Carlo Bo.

В тестировании, помимо Яндекс Переводчика с YandexGPT, приняли участие 22 системы перевода. Так, большая языковая модель Яндекса обошла, например, GPT-4, Gemma 2 9b, Llama-3 8b и другие нейросети.

Благодаря внедрению в Яндекс Переводчик большой языковой модели удалось повысить точность перевода в два раза, сделать его более естественным, лучше передавать стилистические особенности, смысл устойчивых выражений.

Пётр Ермаков, ML Brand Director Яндекса:

Яндекс Переводчик занимает первое место по качеству англо-русского перевода второй год подряд. Однако рынок стремительно меняется. Развитие искусственного интеллекта открыло перед игроками новые возможности, и многие крупные компании внедрили в свои продукты большие языковые модели. Яндекс в прошлом году сделал это одним из первых, что позволило не только сохранить лидерские позиции, но и, что важнее, получить кратный рост качества работы нашего сервиса.

По сообщению Яндекса, ранее нейросеть в Переводчике анализировала массивы текстов, запоминала закономерности и делала перевод. Сервис учитывал контекст в отдельных предложениях, но не в тексте целиком. Модель семейства YandexGPT работает со всем текстом, поэтому точнее переводит слова, имеющие несколько значений, и лучше передает стиль текста.

При оценке качества перевода разработчики Яндекса используют несколько показателей. Например, замеряют число ошибок на часть текста, учитывают гладкость – то, насколько текст похож на привычную человеческую речь. С внедрением YandexGPT количество ошибок уменьшилось в 2 раза, а гладкость перевода выросла на 15%.

Напомним, Яндекс представил обновленную версию Переводчика, обученную с помощью YandexGPT, летом 2024 года.

Источник: пресс-релиз Яндекса