Яндекс открыл доступ к дообучению нейросетей методом LoRA (Low-Rank Adaptation)

Теперь компании смогут самостоятельно дообучать нейросети YandexGPT Lite в сервисе Foundation Models. Вскоре эта возможность появится и для опенсорсных моделей, которые можно запустить на выделенных мощностях, например, DeepSeek или Qwen.

Инструмент позволяет:

• повысить качество ответов под конкретную задачу, например, составлять письма в корпоративном стиле;
• снизить требования к вычислительным ресурсам;
• быстро получить дообученную версию «облегчённой» нейросети, которая по качеству не будет уступать «большим» моделям.

Использование дообученной модели будет не дороже базовых версий нейросетей. Новый метод уже доступен всем клиентам на платформе для разработки ИИ-решений Yandex Cloud AI Studio.

LoRА (Low-Rank Adaptation) работает быстро за счет того, что изменяет небольшое количество параметров при дообучении модели. Алгоритм ориентируется на эталонные запросы и ответы, заранее заданные пользователем, и приближает результаты работы модели к образцам из датасета. При обработке небольших датасетов весь процесс дообучения с помощью LoRA может занять всего 10 минут.

В рамках технического тестирования LoRA уже попробовали более 100 клиентов: они использовали ее для разработки Telegram-ботов для ретейла, классификации запросов в поддержку, генерации рекламного контента и других задач.

Напомним, накануне Яндекс выложил в открытый доступ большую языковую модель YandexGPT 5 Lite Pretrain и внедрил новую мощную модель YandexGPT 5 Pro в чат с Алисой и в Yandex Cloud.

Предыдущая версия – языковая модель YandexGPT 4 – была представлена в начале декабря 2024 года. Яндекс встроил ее в Алису, а позже добавил в сервис «Документы».

Источник: Телеграм-канал Yandex Cloud