Новое исследование показывает, что ведущие ИИ-агенты для поиска часто не проводят реальное исследование в популярных бенчмарках, а в основном используют веб-поиск для подтверждения ответа, который уже есть в параметрах модели. Когда модели приходится выходить за пределы этих знаний, качество поиска резко падает.
Речь идет о системах вроде GPT-5.4, Gemini 3.1 Pro, Claude Sonnet 4.6, DeepSeek-V4-Pro и Kimi-K2.6, которые показывали высокие результаты на BrowseComp. Этот бенчмарк проверяет, может ли агент ответить на сложные вопросы через многошаговый просмотр сайтов и сбор данных из нескольких источников.
Исследователи из Харбинского технологического института и Xiaohongshu пишут, что такие результаты в меньшей степени говорят о поисковых навыках моделей, чем считалось ранее. Авторы называют это intrinsic knowledge dependence, или IKD — зависимостью от внутренних знаний, полученных во время обучения.
В первом тесте ученые проверили 11 моделей и полностью убрали у них инструменты поиска и браузинга. Даже без доступа к интернету результаты оказались высокими. MiniMax M2.5 решила 44,5% задач BrowseComp по памяти. Kimi K2.6 набрала 62% в китайской версии BrowseComp-ZH. Это значит, что заметная часть результата возникает еще до начала поиска.
Во втором тесте интерфейс поиска сохранили, но из поискового индекса убрали все документы, которые могли подтвердить правильный ответ. После этого все модели показали результат хуже, чем вообще без доступа к инструментам. MiniMax M2.5 снизилась с 44,5% до 8,0%, а Kimi-K2.6 — с 25,5% до 2,3%. Авторы делают вывод, что поиск уводит агент от верного ответа, если в выдаче нет подтверждающих материалов.
Анализ поисковых траекторий показал причину этого эффекта. Более половины запросов модели формируют на основе собственного рассуждения, а не уже найденных материалов. Даже когда релевантные доказательства появляются в выдаче, агенты используют их в рассуждении менее чем в трети случаев. Иными словами, ход поиска задает сама модель, а не найденные факты.
Чтобы измерить реальное поисковое поведение, авторы создали новый бенчмарк LiveBrowseComp. Он включает 335 вопросов, написанных людьми. Каждый вопрос требует как минимум одного факта, появившегося в течение 90 дней до создания задания, и не может быть решен без этой актуальной информации.
Задания основаны на данных из регулярно обновляемых источников: баз фильмов, игровых каталогов, реестров уязвимостей и каталогов землетрясений. Авторы специально исключали широко известные события, оставляя малоизвестные, но проверяемые факты, которые с низкой вероятностью могли попасть в параметры модели во время обучения.
Люди-тестировщики тратили на LiveBrowseComp примерно столько же времени, сколько на BrowseComp, и решали сопоставимое число задач. Это говорит о том, что падение качества у моделей связано не с ростом трудности вопросов, а с потерей возможности опереться на память.
На LiveBrowseComp в режиме без доступа к внешним инструментам все модели показали точность ниже 2%. При включенном поиске их результаты оказались примерно на 25–40 пунктов ниже, чем у тех же моделей на BrowseComp.
Новый тест заметно меняет расстановку сил. GLM 5.1 уверенно лидировала среди open-source-моделей на BrowseComp, но в LiveBrowseComp опустилась в середину списка. DeepSeek v3.2, напротив, была внизу на BrowseComp, а затем поднялась на первое место в LiveBrowseComp, обойдя несколько моделей с более сильными прежними результатами.
По мнению авторов, место модели в статичном лидерборде в основном показывает, сколько она уже знает, а не насколько хорошо умеет искать. На BrowseComp агенты часто решают задачи за очень малое число шагов, что похоже на быстрое подтверждение ответа из памяти. На LiveBrowseComp это поведение исчезает: число шагов заметно растет, и это больше похоже на настоящий поиск.
Авторы считают, что динамические бенчмарки с привязкой ко времени должны стать стандартом для оценки ИИ-агентов. Также они предлагают использовать сигналы обучения, которые поощряют поиск на основе доказательств вместо типичной схемы «предположение и проверка».
Похожие проблемы отмечались и в других работах. Бенчмарк Пекинского университета показал, что сильные модели нередко дают верный ответ при анализе документов, но указывают неверный источник. Исследователи называют это «галлюцинацией атрибуции». Инструмент CiteAudit недавно обнаружил, что вымышленные ссылки уже попали в принятые статьи на крупных ИИ-конференциях, поскольку коммерческие модели не всегда выявляют поддельные цитаты.
Источник: The Decoder.
