Исследователи из Римского университета Сапиенца предложили новый способ выявления галлюцинаций в больших языковых моделях (LLM), который не требует дополнительного обучения и показывает более высокую точность по сравнению с существующими методами.
Авторы работы, представленной на конференции ICLR 2026, исходят из того, что генерация текста языковой моделью всегда основана на вероятностях. Проблемой это становится, когда модель выдаёт фактически неверные, вымышленные или противоречивые утверждения. Команда предложила отслеживать такие ответы, анализируя финальный вычислительный слой модели — softmax — под новым углом.
Softmax-преобразование переводит исходные значения модели в вероятности следующего слова. Исследователи рассматривают его как энергетическую модель, где низкая энергия соответствует высокой вероятности. В авторегрессионных языковых моделях, которые предсказывают текст по одному слову, часть энергетических величин между последовательными шагами теоретически должна совпадать, так как описывает одну и ту же величину с двух сторон.
На практике эти значения расходятся. Авторы называют разницу «пролитой энергией» (Spilled Energy) и показывают, что она сильно связана с ошибками: при галлюцинациях уровень этой энергии значительно выше, чем при корректных ответах.
Ранее для обнаружения ошибок использовали дополнительные небольшие классификаторы, обученные на внутренних состояниях LLM. Итальянская группа подчёркивает, что важно измерять сигнал именно на токенах ответа. Например, при вопросе о столице Италии значение имеют только слова «Rome» или «Sydney», а не вся фраза вокруг. Такое локальное выделение ответных токенов повышает качество детекции до 24%.
Метод протестировали на девяти известных бенчмарках, включая TriviaQA, HotpotQA, IMDB и математические задачи, а также на синтетических вычислительных заданиях с 13-значными числами. Оценивались модели LLaMA-3 8B, Mistral-7B, Gemma (1B и 4B), Qwen3-8B в базовых и instruction-tuned вариантах.
Точность оценивали по метрике AuROC, которая показывает, насколько хорошо метод различает правильные и ошибочные ответы: 50% соответствует случайному угадыванию, 100% — идеальному разделению. Spilled Energy превзошёл как простые метрики уверенности по логитам, так и обученные детекторы ошибок.
На модели Mistral-Instruct средний AuROC для Spilled Energy составил 77,49%, для обученных классификаторов — 65,56%, а для простой уверенности по логитам — 63,44%. Запрос к модели «правильный ли собственный ответ» дал около 55%, то есть чуть выше случайности.
Преимущество Spilled Energy особенно заметно при переносе на новые типы задач: обученные классификаторы при применении к другим датасетам почти скатывались до случайного уровня, тогда как Spilled Energy давал стабильные результаты без какого-либо обучения.
Инструкция-тюнинг, то есть дообучение модели на следование человеческим инструкциям, ухудшал качество методов, основанных на уверенности, вероятно из-за повышенной самоуверенности таких моделей. В то же время Spilled Energy, по данным авторов, выигрывает от этой настройки: у LLaMA-3 показатель вырос с 68,69% до 73,16%, у Mistral — с 73,94% до 77,49%. Тесты на Gemma показали, что подход работает для разных размеров моделей — с 1 и 4 млрд параметров.
Исследователи отмечают и ограничения. Spilled Energy иногда ошибочно срабатывает на токенах без семантики, например, на знаках препинания или начальных словах предложений. В этих точках вероятность распределяется по многим допустимым вариантам, что повышает энергетические значения. Поэтому корректный выбор именно токенов ответа критически важен.
Метод Spilled Energy не устраняет галлюцинации, однако, по словам авторов, даёт математически обоснованный инструмент для их обнаружения в процессе генерации текста. Исходный код доступен на GitHub.
Источник: публикация исследовательской группы Римского университета Сапиенца, ICLR 2026.
