Сбер выложил в открытый доступ свои AI-технологии

Сбер сделал доступным всем пользователям код и веса

Фото: Shutterstock / Fotodom

В открытом доступе появились базовая и инструктивная версии самой быстрой модели GigaChat Lite и самая сильная, согласно бенчмарку ruMTEB, модель на русском языке GigaEmbeddings-instruct. Также большое обновление получило семейство open-source моделей машинного обучения для распознавания речи и эмоций GigaAM (Giga Acoustic Model), рассказал технический директор GigaChat Федор Минькин на международной конференции AI Journey («Путешествие в мир искусственного интеллекта»).

В новой версии акустических моделей GigaAM улучшены подготовка данных и технология предобучения базовой модели. Для самой сильной модели семейства GigaAM-RNNT этот показатель улучшен на 25 процентов относительно предыдущей версии и на 56 процентов превосходит OpenAI-Whisper-large-v3.

Кроме того, за счет перехода на другое позиционное кодирование, обновленная линейка моделей GigaAM поддерживает дообучение и инференс с Flash Attention, что дает существенное ускорение на современных видеокартах. Для повышения доступности использования моделей команда упростила код, снизила число зависимостей и подготовила конвертацию в формат ONNX (открытая библиотека программного обеспечения). Новые модели публикуются с лицензией MIT, что допускает их коммерческое использование.

Разработчикам и бизнесу также стали доступны в open-source базовая и инструктивная версии GigaChat Lite. Эта модель очень сильная в своем классе, она отлично справляется с решением типовых задач, где важна скорость. Архитектура Lite 20B MoE (Mixture-of-Experts) с 3.3B активных параметров, при этом качество ее работы соответствует уровню более мощных моделей.

Еще одна модель, которую выложили в open-source, — GigaEmbeddings-instruct — преобразует текст в его числовое представление (вектор), кодируя всю информацию, содержащуюся в запросе. Она подходит для решения задач с применением технологии RAG (Retrieval Augmented Generation). GigaEmbeddings-instruct является лучшей в своем классе по данным бенчмарка ruMTEB.

Вся линейка больших языковых моделей, в том числе самая мощная GigaChat MAX, доступны бизнесу через облачный API.

Лента добра деактивирована.
Добро пожаловать в реальный мир.
Бонусы за ваши реакции на Lenta.ru
Как это работает?
Читайте
Погружайтесь в увлекательные статьи, новости и материалы на Lenta.ru
Оценивайте
Выражайте свои эмоции к материалам с помощью реакций
Получайте бонусы
Накапливайте их и обменивайте на скидки до 99%
Узнать больше