Сбер представил многоязычную версию нейросети GPT-3

SberDevices представила многоязычную версию нейросети GPT-3. Модель mGPT может генерировать тексты на 61 языке мира, включая языки народов России и стран СНГ. Об этом «Ленте.ру» рассказали в пресс-службе компании.

mGPT — это первая в мире генеративная модель, которая поддерживает такое количество языков. Она доступна в двух версиях: базовой, с 1,3 миллиарда параметров, опубликованной в открытом доступе в облачном хранилище СберДиск, и расширенной, с 13 миллиардами параметров, которая скоро станет доступна на платформе машинного обучения ML Space от SberCloud.

«В 2020 году мы представили русскоязычную версию нейросети GPT-3, именно она используется в двух виртуальных ассистентах семейства "Салют" от Сбера — Джой и Афине. Мы продолжили развивать наши NLP-технологии и представили модель mGPT, поддерживающую более 60 языков, при этом для многих из них ранее генеративных моделей просто не существовало. Это среди прочего станет нашим вкладом в сохранение и развитие языков народов России: mGPT умеет генерировать тексты, например, на татарском или якутском», — рассказал CEO SberDevices, вице-президент по новым цифровым поверхностям «Салют» Сбербанка Денис Филиппов.

Модель mGPT можно использовать как для генерации текста, так и для решения различных задач в области обработки естественного языка на одном из поддерживаемых языков. mGPT показала высокие результаты на многих задачах few-shot и zero-shot learning, сообщили в Сбере. В этой области машинного обучения не требуется отдельно доучивать модель. Необходимо сформулировать задачу текстом и привести несколько примеров, после чего mGPT научится выполнять новую задачу.

Такая система может использоваться для того, чтобы научить автоматизированную систему отвечать на вопросы, определять эмоциональную окраску текста, извлекать из текста имена, фамилии, названия компаний. Модель можно задействовать как компонент речевых технологий, например, для улучшения качества распознавания речи и генерации сценариев диалоговых систем.

Русскоязычная версия GPT-3, разработанная Сбером, доступна на платформе SmartMarket.