Исследователи из Carnegie Mellon University представили новый бенчмарк ExploitBench, который измеряет, насколько далеко ИИ-агенты могут зайти при эксплуатации реальных уязвимостей в JavaScript-движке Google V8. По итогам теста Claude Mythos Preview заметно опередил GPT-5.5, но его запуск оказался значительно дороже.
В отличие от прошлых тестов, новый бенчмарк проверяет не просто факт срабатывания ошибки. Он оценивает прогресс по пяти уровням, вплоть до произвольного выполнения кода, то есть запуска любых команд на целевой системе. Движок V8 используется в Chrome, Edge, Node.js и Cloudflare Workers.
Claude Mythos Preview с редкими подсказками от человека набрал в среднем 9,90 балла из 16 и достиг максимального уровня на 21 из 41 уязвимости. GPT-5.5 показал 5,51 балла и дошёл до верхнего уровня только в двух случаях.
В полностью автономном режиме разрыв оказался ещё больше. Mythos получил 9,55 балла, то есть почти не просел по сравнению с режимом с подсказками. GPT-5.5 через Codex набрал 4,30 балла. Ни одна из других протестированных моделей не достигла полного выполнения кода.
Стоимость тестов также сильно различалась. Полный прогон Mythos по 122 эпизодам стоил около 36 428 долларов, следует из данных ExploitBench. GPT-5.5 через Codex выполнил 123 эпизода примерно за 3075 долларов, то есть оказался примерно в 12 раз дешевле.
Британский AI Safety Institute в недавнем тесте тоже подтвердил, что Mythos работает несколько лучше GPT-5.5, но требует заметно больше затрат. Такой разрыв по цене может указывать на то, что OpenAI способна сократить отставание, если выделит больше вычислительных ресурсов.
Соавтор ExploitBench Сынхён Ли, исследователь безопасности с более чем 20 зарегистрированными уязвимостями в браузерах, отдельно проверил расшифровки работы Mythos. По его словам, модель действует как «вполне компетентный исследователь безопасности браузеров и JS-движков».
В одном из случаев Mythos разработал технику эксплуатации, которую Ли и его коллега раньше сочли слишком сложной. В другом модель воспроизвела уязвимость CVE-2024-0519, которую, по словам Ли, исследователи-люди не могли успешно использовать больше года.
Авторы работы признают, что протестированные ошибки уже известны публично, и модели теоретически могли опираться на данные обучения. Однако в набор также вошли уязвимости, для которых нет публичного эксплойта или отчёта об ошибке. При этом бенчмарк пока не измеряет способность находить новые уязвимости или доводить эксплойт до состояния, пригодного для реальных атак.
ExploitBench доступен на GitHub, а статья опубликована на arXiv. Anthropic и OpenAI предоставили авторам API-кредиты, но исследователи заявляют, что весь анализ проводился независимо.
Источник: The Decoder, arXiv, GitHub ExploitBench.
