Исследователи из Стэнфордского университета сообщили, что мультимодальные модели ИИ, включая GPT-5, Gemini 3 Pro и Claude Opus 4.5, часто дают подробные описания изображений и даже медицинские диагнозы, хотя само изображение им не передавали.
По данным исследования, модели набирают высокие баллы в визуальных тестах, но 70–80% этого результата сохраняется даже без входной картинки. В таких случаях система уверенно описывает несуществующие детали и приводит правдоподобные объяснения.
Авторы работы называют это явление «эффектом миража». По их словам, оно отличается от обычных галлюцинаций: модель не просто добавляет ложные детали, а строит весь ответ так, будто визуальный ввод действительно был.
Для оценки масштаба проблемы команда создала тест Phantom-0 из 200 визуальных вопросов в 20 категориях без каких-либо изображений. Согласно исследованию, все проверенные флагманские модели, включая GPT-5, GPT-5.1, GPT-5.2, Gemini 3 Pro, Claude Opus 4.5 и Claude Sonnet 4.5, более чем в 60% случаев уверенно описывали визуальные детали, которых не было.
Если к запросам добавляли стандартные инструкции, которые часто используют в типовых сценариях оценки, доля таких ответов вырастала до 90–100%.
Отдельно исследователи проверили медицинские сценарии. Они просили Gemini 3 Pro описывать несуществующие изображения и ставить диагнозы в пяти клинических категориях: рентген, МРТ мозга, ЭКГ, патология и дерматология.
Каждый вопрос повторяли с 200 разными случайными значениями. Результаты показали, что ответы, построенные на «мираже», сильно смещены в сторону тяжёлых патологий. Часто встречались диагнозы STEMI, меланома и карцинома, тогда как варианты «норма» и «без диагноза» тоже появлялись, но значительно реже в сумме.
На практике это означает, что сбой при загрузке изображения может привести к срочной рекомендации по поводу болезни, которой у пациента нет. Авторы отмечают, что в API-интеграциях и агентных системах бывает трудно проверить, дошло ли изображение до модели.
Исследователи также проверили, как этот эффект искажает оценку моделей. Они протестировали Gemini 3 Pro, Gemini 2.5 Pro, GPT-5.1 и Claude Opus 4.5 на шести известных наборах задач, включая MMMU-Pro, Video-MMMU, Video-MME, VQA-Rad, MicroVQA и MedXpertQA-MM.
Главный вывод: без изображения модели в среднем сохраняли 70–80% своей полной точности в этих тестах. Реальный вклад картинки составлял лишь оставшиеся 20–30%, а основная часть результата объяснялась текстовыми шаблонами, фоновыми знаниями и структурой самих вопросов.
Самый большой разрыв был в медицинских тестах. Там модели достигали до 99% своей точности в режиме с изображением, опираясь только на текст, то есть картинка почти не влияла на итог.
Чтобы показать, насколько далеко можно зайти без визуального ввода, команда обучила модель «super-guesser» на базе Qwen 2.5 с 3 млрд параметров. Её дообучили на открытой обучающей выборке ReXVQA для анализа рентгенов грудной клетки, полностью убрав изображения.
Согласно исследованию, эта текстовая модель превзошла все протестированные мультимодальные системы, включая модели с сотнями миллиардов параметров, на отложенном тестовом наборе и обошла радиологов более чем на 10% в среднем.
Авторы пишут, что модель без доступа к изображениям могла дать правильный ответ и при этом сгенерировать правдоподобное визуальное объяснение. Это показывает двойную проблему: сами модели используют текстовые подсказки вместо анализа картинки, а тесты допускают такое поведение.
Исследование подчёркивает, что высокий балл в визуальном тесте не доказывает, что модель действительно обработала изображение. По словам авторов, текущие тесты не умеют надёжно отделять ответы, полученные по картинке, от ответов, выведенных из текста.
Дополнительный эксперимент сравнил GPT-5.1 в двух режимах. В первом модель получала визуальный вопрос без картинки и без указания, что файла нет. Во втором ей прямо сообщали, что изображения нет, и просили выбрать лучший возможный ответ. В режиме явного угадывания результаты были ниже почти во всех категориях.
Исследователи делают вывод, что прежние методы контроля, основанные на явном угадывании без изображения, занижают масштаб проблемы. Они фиксируют лишь осторожный режим ответа, но не захватывают поведение модели в режиме «миража».
В качестве решения команда предложила схему B-Clean. Сначала модель проверяют в режиме «миража», затем из теста убирают все вопросы, на которые хотя бы одна из моделей смогла ответить правильно без изображения.
При применении B-Clean к трём наборам задач с участием GPT-5.1, Gemini 2.5 Pro и Gemini 3 Pro исследователи удалили 74–77% вопросов. По их оценке, это связано с сочетанием утечки данных в обучении, скрытых статистических закономерностей в формулировках и распределения правильных ответов.
После очистки результаты в части тестов резко упали. Например, на MicroVQA точность GPT-5.1 снизилась с 61,5% до 15,4%, а Gemini 3 Pro — с 68,8% до 23,2%. На MMMU-Pro изменения были слабее: Gemini 2.5 Pro сохранила почти тот же уровень, а GPT-5.1 опустилась с 76,0% до 67,1%.
Авторы отмечают, что B-Clean не даёт универсальных абсолютных значений для всех моделей, но позволяет проводить относительное сравнение на существующих тестах. Также они предлагают сделать стандартом проверку с удалением модальности, перейти к закрытым или динамически обновляемым бенчмаркам и оценивать разницу между режимами с изображением и без него, а не только итоговую точность.
Исследователи связывают «эффект миража» с самим способом обучения таких систем. Мультимодальные модели строятся на заранее обученных языковых моделях, которые уже усвоили большие массивы текстовых закономерностей и могут восстанавливать правдоподобный контекст по слабым подсказкам.
«As models become more capable linguistic reasoners, the risk increases that their language abilities will mask deficiencies in other modalities», — пишут авторы. По их данным, в новых версиях одних и тех же моделей частота «миража» обычно была выше, чем в старых.
Работа не ставит под сомнение общие текстовые возможности флагманских моделей, но показывает, что их заявленное визуальное понимание и пригодность текущих тестов для его измерения требуют пересмотра.
Источник: The Decoder со ссылкой на исследование Стэнфордского университета.
