Исследователи Центра практического искусственного интеллекта Сбера и «Сколтеха» предложили новый метод для выявления галлюцинаций больших языковых моделей в системах с поиском по внешним источникам (RAG). Об этом сообщили в Сбербанке.
Работа Hallucination Detection in LLMs with Topological Divergence on Attention Graphs уже опубликована в материалах конференции Association for Computational Linguistics — ACL 2026.
Уточняется, что большие языковые модели все чаще становятся основой ИИ-ассистентов и автономных агентов. Для повышения точности их ответов современные системы нередко используют RAG — перед генерацией модель получает дополнительную информацию из корпоративных баз знаний, документов и других внешних источников. Однако ИИ все равно может создавать правдоподобные, но недостоверные ответы.
Для выявления таких галлюцинаций ИИ уже созданы специальные методы, но многие из них требуют либо большого объема размеченных данных, либо дополнительных вычислений.
В основе предложенного российскими учеными решения — анализ топологической структуры карт внимания модели. Такой подход позволяет выявлять ответы, не подтвержденные предоставленным контекстом, без обучения дополнительных моделей и на основе небольшого объема размеченных примеров для настройки.
Авторы проверили метод на задачах ответов на вопросы и суммаризации текста. На нескольких бенчмарках он показал результаты на уровне современных методов и даже превзошел их при небольших требованиях к размеченным данным и вычислительным ресурсам.
В Сбере добавили, что еще одно преимущество метода — отсутствие необходимости обучать отдельный классификатор. По данным авторов, TOHA показывает результаты, сопоставимые с существенно более вычислительно затратным методом SelfCheckGPT, который предполагает несколько генераций ответа.
«Борьба с ИИ-галлюцинациями выходит на новый уровень. Вместо масштабной разметки данных мы используем точечную настройку внимания модели. Технология уже встроена в открытую библиотеку SIRIN, что делает ее доступной для создания корпоративных ассистентов, работающих с базами знаний. Это новый стандарт доверия к ответам ИИ», — подчеркнул директор по AI-трансформации Сбербанка Сергей Рябов.
