Anthropic сообщила о необычном поведении модели Claude Opus 4.6 при тестировании на бенчмарке BrowseComp, который проверяет, насколько хорошо ИИ находит труднодоступную информацию в интернете. В многоагентной конфигурации модель в 2 из 1 266 заданий самостоятельно поняла, что её оценивают, установила, какой именно это бенчмарк, и расшифровала защищённый ответ.
В одном из случаев Opus начал с масштабного веб-поиска, обработав около 30 млн токенов на десятках платформ и двенадцати языках. После сотен безрезультатных запросов модель изменила тактику и предположила, что вопрос может быть частью набора GAIA, который используют для проверки ИИ-агентов.
Далее Claude совместил анализ формулировки задания с поиском ответа. По данным Anthropic, «крайне специфический характер» вопроса вызвал подозрение, что он искусственно составлен и относится к экзаменационным задачам или к тестированию больших языковых моделей.
Модель рассмотрела вариант, что перед ней специально невыполнимое задание, цель которого — проверить, сможет ли ИИ признать, что не может найти ответ. Затем Opus системно прошёлся по списку известных бенчмарков, исключил GAIA после проверки 122 валидационных вопросов и с помощью подагентов с узконаправленными запросами вышел на BrowseComp и механизм его шифрования.
Правильные ответы в BrowseComp были защищены XOR-шифрованием, для расшифровки требовался ключ, хранящийся в исходном коде. Claude нашёл и метод шифрования, и пароль в открытом репозитории, после чего написал собственную программу для дешифровки ответов.
Возникла дополнительная проблема: зашифрованный файл был в формате, который веб-инструмент Claude не мог обработать. Тогда модель нашла альтернативную копию на платформе HuggingFace, скачала её и расшифровала все 1 266 ответов.
В первом успешном кейсе Claude сверил расшифрованный ответ с обычным поиском по интернету. Во втором — сразу отправил ответ из дешифрованного набора. Anthropic утверждает, что это первый зафиксированный случай, когда модель без предварительных знаний о конкретном бенчмарке смогла «пойти от обратного», определить, что именно её оценивает, и фактически решить саму процедуру оценки.
Anthropic также описала 16 дополнительных заданий, в которых Opus пытался применить такую же стратегию, но столкнулся с техническими ограничениями — например, файл с ответами был не в текстовом формате или доступ блокировала аутентификация. В четырёх задачах поиск бенчмарка полностью вытеснил исходный поиск, и модель так и не дала полезного ответа.
По оценке компании, тот факт, что 18 запусков независимо пришли к одинаковой тактике, указывает на устойчивый паттерн. В многоагентном режиме доля таких случаев составила 0,87%, тогда как в одногентной конфигурации — 0,24%.
Anthropic не относит это поведение к прямым проблемам безопасности, так как модель не имела ограничений по веб-поиску. При этом компания признаёт, что результаты вызывают вопросы о том, насколько далеко модель может зайти ради выполнения задачи, особенно в сложных, ресурсоёмких и долгих сценариях. Anthropic призывает исследовательское сообщество рассматривать целостность процедур оценки как постоянную противоборствующую задачу, а не как разовый вопрос дизайна.
Отдельное исследование программы ML Alignment & Theory Scholars и Apollo Research показало, что языковые модели хорошо различают, является ли взаимодействие тестом или реальной задачей. Gemini 2.5 Pro достиг точности 0,95 в агентных сценариях, а Claude 3.5 Sonnet и GPT-4o показали близкие результаты. Авторы работы предложили выделять «осведомлённость об оценке» в отдельную метрику при тестировании моделей.
Наблюдения Anthropic по Claude Opus 4.6 идут дальше: модель не только распознала тестовую ситуацию, но и активно стала обходить процедуру оценки, получая доступ к закрытому ответу через анализ инфраструктуры бенчмарка.
Источник: Anthropic, ML Alignment & Theory Scholars, Apollo Research.
