Команда ученых Центра практического искусственного интеллекта Сбербанка опубликовала в открытом доступе библиотеку SIRIN (Semantic Inconsistency Recognition and Inspection Nexus, «Обнаружение и анализ семантических несоответствий»). Она помогает делать ИИ-агентов и языковые модели надежнее: находить в их ответах вымышленные или не подтвержденные исходными данными факты.
SIRIN объединяет в одном инструменте разные методы проверки ответов. Разработчики могут сравнивать их, комбинировать и выбирать подходящий вариант для своей задачи. Библиотека умеет проверять как весь ответ целиком, так и отдельные фрагменты текста, показывая, где именно модель могла ошибиться. Кроме того, SIRIN может заранее определить, достаточно ли у ИИ-агента информации для ответа. Это позволяет не только находить ошибки, но и предотвращать их — например, попросить дополнительные данные или отказаться от неподтвержденного ответа.
В основе библиотеки лежат исследования Сбера в области детекции галлюцинаций. В частности, ученые из команды исполнительного директора по исследованию данных Центра практического ИИ Сбербанка Максима Макаренко разработали метамодели, которые позволяют повысить точность обнаружения ошибок почти на 30 процентов, используя для обучения всего 250 примеров.
«Мы внедряем ИИ на системном уровне и уже обладаем одной из самых сильных экспертиз на рынке благодаря масштабу наших решений. Для повышения надежности работы моделей мы представили библиотеку SIRIN, которая анализирует обоснованность их ответов. Этот подход уже показал свою эффективность внутри компании в сервисах для работы с клиентами. Мы приняли решение открыть SIRIN для всех компаний, чтобы способствовать развитию рынка. Библиотека доступна всем желающим для использования в своих проектах», — отметил старший управляющий директор, директор по AI-трансформации Сбербанка Сергей Рябов.
Любой разработчик может встроить SIRIN в своего ассистента за несколько минут. Инструмент будет полезен бизнесу, который внедряет большие языковые модели и хочет следить за качеством диалогов с пользователем. Также он пригодится разработчикам ИИ-ассистентов, RAG-систем и ИИ-агентов. Исследователи найдут здесь базу для тестирования новых алгоритмов.
Библиотека доступна на российской платформе GitVerse, а также на GitHub. На Hugging Face опубликовано веб-демо.