Исследователи из Пекинского университета и Шанхайской лаборатории искусственного интеллекта представили новый бенчмарк CiteVQA, который проверяет, может ли модель не просто ответить на вопрос по PDF-документу, но и точно указать источник ответа. Авторы называют разрыв между верным ответом и неверной ссылкой на источник «галлюцинацией атрибуции».
Как отмечают исследователи, стандартные тесты для анализа документов, включая DocVQA и MMLongBench-Doc, оценивают только итоговый ответ. Они не показывают, действительно ли модель взяла информацию из документа или просто угадала её на основе уже известных данных. В юриспруденции, финансовом аудите и медицине, говорится в статье, именно проверяемость делает вывод ИИ пригодным для практического использования.
CiteVQA требует, чтобы модель подтверждала каждый ответ точной ссылкой на абзац, таблицу или рисунок. Указания только номера страницы недостаточно. В набор вошли 1 897 вопросов по 711 PDF-документам из семи тематических разделов: 451 документ на английском языке и 260 на китайском. Средняя длина документа составляет 40,6 страницы, что заметно больше, чем в большинстве других бенчмарков.
Вместо полной ручной разметки команда использовала автоматизированный конвейер. Он разбивает документы на отдельные элементы, затем модели вроде Gemini 3.0 Flash строят цепочку доказательств, после чего система проверяет, какие части действительно нужны для ответа. Каждый документ поочерёдно исключают из набора: если без него модель уже не может ответить на вопрос, документ считают необходимым.
Главная метрика получила название Strict Attributed Accuracy. Балл начисляют только в том случае, если ответ верный и ссылка ведёт в правильное место документа. По этой схеме исследователи протестировали 20 актуальных моделей.
Лучший результат показала Gemini-3.1-Pro-Preview — 76 баллов из 100. У GPT-5.4 разница между качеством ответа и качеством ссылок оказалась заметной: 87,1 балла за точность ответа и только 59 баллов, если учитывать обязательное корректное цитирование.
Открытые модели выступили значительно слабее. Самой сильной свободно доступной системой стала Qwen3-VL-235B-A22B с результатом 22,5 балла. Большинство более компактных открытых моделей набрали меньше 10 баллов. По оценке авторов, это делает их крайне рискованными для отраслей с жёсткими требованиями к проверке данных.
Многие модели не могут даже найти правильную страницу. Серия Gemini 3 справляется с этим более чем в 87% случаев, тогда как Qwen3-VL-235B-A22B показывает чуть меньше 58%. На более трудных задачах разрыв растёт: если вопрос требует собрать данные из нескольких документов, полнота поиска у Gemini 3.1 Pro Preview падает примерно с 69% до 55%.
Лучше всего модели справляются с математическими задачами, где логика сама требует явных подтверждений. Хуже результаты там, где системе сначала нужно найти элемент документа по цвету, позиции или заголовку, а затем понять его смысл. Научные статьи с аккуратной структурой дали лучшие оценки, а газеты и журналы с перегруженным дизайном ограничили даже ведущие модели примерно 63 баллами.
В одном из дополнительных экспериментов исследователи специально сузили пространство поиска и давали моделям только нужные страницы или правильный документ. После этого оценки быстро росли. Например, у Qwen3-VL-8B результат увеличился более чем на 13 баллов.
Авторы делают вывод, что модели, которые лучше находят источник информации, обычно дают и более точные ответы. По их данным, корректная привязка к источнику улучшает качество ответа и важна не только для прозрачности работы системы.
Код проекта и описание исследования опубликованы на GitHub, а сам датасет доступен для загрузки на Hugging Face.
В материале также упоминаются другие работы по этой теме. В 2024 году тот же коллектив из Шанхайской лаборатории ИИ представил двуязычный бенчмарк NeedleBench, который показал, что языковые модели в целом плохо работают с длинными документами на английском и китайском языках.
Google DeepMind занимается близкой задачей в проекте FACTS Grounding, где проверяется, основан ли ответ строго на предоставленном документе или модель добавляет внешние знания. По данным этого теста, даже Gemini 3 Pro и GPT-5.1 пока далеки от стабильно высоких результатов.
Ранее OpenAI также изучала, почему модели предпочитают угадывать вместо ответа «я не знаю». Компания описала галлюцинации как системную проблему стимулов: обучение и оценка поощряют уверенные ответы и наказывают осторожные формулировки. Авторы материала отмечают, что тот же механизм, вероятно, влияет и на «галлюцинацию атрибуции», которую фиксирует CiteVQA.
Источник: The Decoder, исследование Пекинского университета и Шанхайской лаборатории искусственного интеллекта.
