Новость

«Сбер» открыл доступ к библиотеке SIRIN для поиска ошибок в ответах ИИ

1 источник

Все новости

«Сбер» открыл доступ к библиотеке SIRIN для проверки ответов ИИ-агентов и моделей. Она помогает выявлять ошибки и галлюцинации, а также оценивать, достаточно ли данных для ответа.

«Сбер» открыл доступ к библиотеке SIRIN, предназначенной для поиска ошибок в ответах ИИ-агентов и моделей. Библиотека объединяет разные методы проверки, позволяя разработчикам сравнивать, комбинировать и выбирать подходящий вариант для своей задачи. SIRIN умеет проверять как весь ответ целиком, так и отдельные фрагменты текста, указывая, где именно модель могла ошибиться. Также библиотека может заранее определить, достаточно ли у ИИ-агента информации для ответа. В основе SIRIN лежат исследования «Сбера» в области детекции галлюцинаций. В компании считают, что библиотека будет полезна бизнесу, внедряющему LLM, а также разработчикам ИИ-ассистентов, RAG-систем и ИИ-агентов для тестирования новых алгоритмов. Библиотека доступна на GitVerse.

Источники 1
  • «Сбер» открыл доступ к библиотеке SIRIN для поиска ошибок в ответах ИИ ICT.Moscow AI 
    «Сбер» открыл доступ к библиотеке SIRIN для поиска ошибок в ответах ИИ

Библиотека помогает находить в ответах ИИ-агентов и моделей вымышленные или не подтвержденные исходными данными факты. SIRIN объединяет различные методы проверки ответов. Разработчики могут сравнивать их, комбинировать и выбирать подходящий вариант для своей задачи. Библиотека умеет проверять как весь ответ целиком, так и отдельные фрагменты текста, показывая, где именно модель могла ошибиться. 

Кроме этого, SIRIN может заранее определить, достаточно ли у ИИ-агента информации для ответа.

В основе библиотеки лежат исследования «Сбера» в области детекции галлюцинаций. В частности, команда разработала метамодели, которые позволяют повысить точность обнаружения ошибок почти на 30%, используя для обучения 250 примеров.

В «Сбере» считают, что библиотека будет полезна бизнесу, который внедряет LLM и следит за качеством диалогов с пользователем. Также SIRIN пригодится разработчикам ИИ-ассистентов, RAG-систем и ИИ-агентов для тестирования новых алгоритмов.

👉🏻 SIRIN на GitVerse

🔗 Источник: пресс-релиз «Сбера»

***
📎 «Сбер» в июле открыл доступ к обновленной модели угроз для ИИ-систем.