Яндекс выложил в открытый доступ YaLM 100B – нейросеть для генерации и обработки текстов

Яндекс выложил в открытый доступ нейросеть для генерации и обработки текстов на русском и английском языках YaLM 100B. Сейчас это самая большая GPT-подобная нейросеть, которая была опубликована в свободном доступе. 

YaLM 100В содержит 100 млрд параметров. Нейросеть можно использовать для решения задач, связанных с обработкой естественного языка. 

Языковые модели из семейства YaLM определяют принцип построения текста и генерируют новые, опираясь на законы лингвистики и свои знания о мире. Например, они способны придумывать идеи для рекламных кампаний, создавать описания товаров и видео. С их помощью можно генерировать любые тексты (стихи, ответы, поздравления и так далее), а также классифицировать их, например, по стилю речи, – говорится в сообщении Яндекса. 

Нейросеть YaLM используется более чем в 20 проектах Яндекса, среди которых Поиск и голосовой помощник Алиса. 

В процессе обучения YaLM 100B обработала около 2 ТБ текстов из открытых датасетов и интернета на английском и русском языках. 

Модель предоставляется по открытой лицензии Apache 2.0 и доступна на GitHub для разработчиков и исследователей со всего мира. 

Напомним, ранее Яндекс открыл компаниям доступ к сервису для борьбы с ботами и спамом. 

Источник: пресс-релиз Яндекса