Исследователи обнаружили, что в работах, принятых на ведущие конференции по искусственному интеллекту, встречаются «галлюцинированные» ссылки — цитирования, которые не относятся ни к одной реальной публикации. Для системной борьбы с этой проблемой команда представила новый инструмент CiteAudit.
Подделанные ссылки выглядят убедительно, потому что языковые модели умеют правдоподобно комбинировать названия статей, фамилии авторов и обозначения конференций. Одновременно списки литературы за последние годы сильно выросли, и ручная проверка всех источников стала практически невыполнимой задачей для рецензентов и соавторов.
Если статья подкрепляет утверждения несуществующим источником, рушится вся цепочка доказательств. Рецензенты не могут проследить ход аргументации, соавторы рискуют репутацией, страдает воспроизводимость результатов. Исследователи отмечают, что такие случаи подрывают «несколько уровней исследовательского процесса».
По словам авторов работы, существующие инструменты проверки цитирований ограничены. Они часто «ломаются» из-за вариаций форматов реальных библиографических записей, а большинство решений закрыты и недоступны для независимой проверки и корректного сравнения.
Чтобы решить эти проблемы, команда представила CiteAudit, который описывается как первый полноценный открытый бенчмарк и система обнаружения галлюцинированных ссылок. В датасет входят 6 475 реальных и 2 967 поддельных цитирований.
Сгенерированный тестовый набор содержит ложные ссылки, созданные моделями GPT, Gemini, Claude, Qwen и Llama. Реальные данные собраны из обнаруженных галлюцинаций в научных работах на платформах Google Scholar, OpenReview, ArXiv и BioRxiv.
Авторы системно классифицируют типы галлюцинаций: от незаметных подмен ключевых слов в названиях и вымышленных списков авторов до созданных «с нуля» названий конференций и фиктивных DOI.
CiteAudit разбивает проверку ссылок на несколько этапов с участием пяти специализированных ИИ-агентов. Сначала агент-экстрактор читает PDF и извлекает библиографические данные, такие как название, авторы и конференция. Затем агент памяти сверяет запись с уже проверенными ссылками и при совпадении пропускает повторную проверку.
Если совпадения нет, агент веб-поиска обращается к Google Search API и забирает содержимое пяти самых релевантных результатов. Агент-судья затем посимвольно сравнивает данные из списка литературы с найденными источниками. Только если на этом этапе нельзя дать однозначный ответ, агент-исследователь обращается к авторитетным базам, таким как Google Scholar. По данным статьи, все рассуждения выполняются на развернутой локально модели Qwen3-VL-235B.
В контролируемых условиях лабораторных тестов коммерческие модели показывают заметный, но ограниченный результат. Модель, обозначенная как GPT-5.2, находит около 91 % поддельных ссылок, не отклоняя при этом ни одной из 3 586 подлинных. CiteAudit в этих условиях обнаруживает все 2 500 фальсификаций, но по ошибке помечает как галлюцинированные 167 настоящих ссылок.
Существенные различия проявляются на реальных галлюцинациях, найденных в опубликованных работах. GPT-5.2 по-прежнему находит около 78 % из 467 поддельных ссылок, но одновременно по ошибке считает фейковыми 1 380 из 2 889 настоящих цитирований. GPTZero неверно помечает 1 358 подлинных ссылок, а Gemini 3 Pro делает меньше ложных срабатываний, но пропускает 116 из 467 поддельных.
CiteAudit в этом сценарии выявляет все 467 подделок и ошибочно отклоняет только 100 из 2 889 настоящих ссылок. В сумме система правильно классифицирует 97,2 % всех цитирований. Она обрабатывает десять ссылок за 2,3 секунды и, работая локально, не создает дополнительных затрат на токены.
Во время тестирования исследователи также обнаружили, что закрытые модели не выполняют прозрачный поиск по внешним источникам, даже если явно запросить это в инструкции. Происхождение документов, которые они используют в рассуждениях, фактически остается «черным ящиком».
CiteAudit доступен бесплатно как веб-приложение. После регистрации по электронной почте пользователи могут проверять до 500 ссылок в день без оплаты. Для увеличения лимитов предлагается подключить собственный ключ API от Gemini.
Ранее несколько исследований уже показывали масштаб проблемы. Галлюцинированные ссылки находили в рецензируемых работах на крупных конференциях по машинному обучению, таких как NeurIPS и ACL. Исследование GPTZero выявило более 50 поддельных ссылок только в заявках на ICLR 2026.
Отдельное расследование Newsguard в январе показало, что коммерческие ИИ-системы плохо справляются и с другими задачами распознавания собственных результатов. Популярные чат-боты, включая ChatGPT, Gemini и Grok, в большинстве случаев не смогли определить, что видео, созданные системой Sora от OpenAI, искусственного происхождения. Вместо указания на ограничения модели часто давали уверенные, но неверные ответы и иногда даже придумывали новостные источники в качестве подтверждения вымышленных событий.
Источник: The Decoder.
