Anthropic ограничила доступ к своей модели для кибербезопасности Claude Mythos Preview и заявляла, что её возможности недоступны конкурентам. Однако два новых исследования показывают, что даже небольшие и частично открытые модели способны повторить большую часть анализа уязвимостей, который компания демонстрировала публично.
В рамках Project Glasswing доступ к Claude Mythos Preview получили 11 организаций. Anthropic объясняла это наступательными возможностями модели. По данным внутренних тестов компании и проверки британского AI Security Institute, Mythos может находить ошибки в ПО, самостоятельно создавать рабочие эксплойты и в симуляциях захватывать корпоративные сети, если сеть небольшая, слабо защищённая и уязвимая.
Теперь эту картину оспаривают два независимых проекта, хотя общую результативность Mythos они под сомнение не ставят. Первое исследование подготовила AISLE, которая с середины 2025 года использует ИИ для поиска ошибок в ПО с открытым исходным кодом. Компания сообщила, что уже передала разработчикам 15 уязвимостей в OpenSSL и 5 в curl. Вторую работу выпустила Vidoc Security, которая тестировала GPT-5.4 и Claude Opus 4.6 вместе с открытым агентом для программирования OpenCode.
Основатель AISLE Станислав Форт взял фрагменты кода из публичных примеров Anthropic и проверил, насколько меньшие по размеру и частично открытые модели могут собрать анализ самостоятельно. На примере бага FreeBSD NFS CVE-2026-4747, который Anthropic показывала как пример автономного поиска и эксплуатации уязвимости, все восемь протестированных моделей нашли ошибку в памяти в нужной функции.
В этот список вошла и GPT-OSS-20b — модель с 3,6 млрд активных параметров, стоимостью $0,11 за миллион токенов. Все модели отметили баг как критический, хотя немного расходились в оценке размера буфера, который можно перезаписать.
Все протестированные модели также предложили правдоподобные способы эксплуатации и объяснили, почему основные защитные механизмы ОС здесь не срабатывают. По данным AISLE, GPT-OSS-120b предложила цепочку gadget-инструкций, близкую к реальному эксплойту. Kimi K2 сама пришла к выводу, что атака может автоматически распространяться с одной заражённой машины на другие, хотя Anthropic этот момент не упоминала.
Самая трудная часть оказалась связана с нестандартными ходами. Реальный эксплойт должен уместить полезную нагрузку размером более 1 000 байт в 304 байта доступного пространства. Mythos справилась с этим, разбив нагрузку на 15 отдельных сетевых запросов. Ни одна из проверенных моделей не повторила именно этот приём, но исследователи заявили, что они нашли другие рабочие варианты.
С багом в OpenBSD результаты оказались куда менее ровными. Для его анализа нужна хорошая работа с целочисленными переполнениями и состояниями списков. По данным AISLE, GPT-OSS-120b за один запуск восстановила всю публично описанную цепочку эксплуатации и фактически предложила то же исправление, которое затем появилось в OpenBSD.
При этом Qwen3 32B, которая хорошо показала себя на баге FreeBSD, назвала код OpenBSD устойчивым к таким сценариям. Vidoc получила похожий результат: Claude Opus 4.6 воспроизвела уязвимость в трёх из трёх запусков, а GPT-5.4 не нашла её ни разу. Форт назвал это jagged frontier — неровной границей возможностей. По его словам, лучшей модели для кибербезопасности в целом нет, а результаты резко меняются от задачи к задаче.
Отдельный тест был посвящён простому примеру кода, который сначала выглядит как классическая дыра в безопасности. Пользовательский ввод будто бы напрямую попадает в SQL-запрос, но дальше по коду это значение отбрасывается, и реальной уязвимости нет. В испытаниях Anthropic Opus 4.6 уверенно дала правильный ответ, Sonnet 4.6 и Opus 4.5 оказались близки к верному выводу, Opus 4 получила частично правильную оценку, а Opus 4.1 — пограничную. Claude Sonnet 4.5 при этом уверенно проследила поток данных в неверном направлении.
Со стороны OpenAI модель o3 стабильно давала правильный ответ, o4-mini справлялась частично, а GPT-OSS-20b тоже получила правильную оценку. Все модели линейки GPT-4.1 и большая часть GPT-5.4 провалили тест. Небольшие открытые модели, включая Deepseek R1 и Kimi K2, справились без ошибок во всех запусках.
Позже Форт добавил важную оговорку. Хотя все модели стабильно определяли непатченный код FreeBSD как уязвимый, только GPT-OSS-120b и в ограниченной степени Qwen3-32B распознали исправленную версию как безопасную.
GPT-OSS-20b, Kimi K2 и Deepseek R1 ошибались в каждом запуске и придумывали причины, по которым в коде якобы всё ещё есть уязвимости. Форт считает, что это не противоречит его выводу. По его мнению, это скорее показывает, что критически важен слой проверки и сортировки результатов вокруг модели.
Vidoc также проверила сценарии за пределами типичных ошибок памяти. В случае с Botan уязвимость была связана с проверкой сертификатов, из-за чего поддельный сертификат мог пройти как доверенный. И Claude Opus 4.6, и GPT-5.4 нашли логическую ошибку в трёх из трёх запусков. В тесте с wolfSSL обе модели указали на правильный участок кода, но неверно поняли криптографическое правило, которое лежало в основе ошибки. Стоимость анализа одного файла составила менее $30.
Обе работы утверждают, что ключевое преимущество даёт не одна конкретная модель, а система вокруг неё: проверка результатов, расстановка приоритетов и организация процесса. Речь идёт о полном цикле — от выбора цели в коде до пошагового анализа, верификации и отделения реальных находок от ложных срабатываний.
AISLE идёт дальше и пишет, что небольшие и дешёвые модели подходят для большей части работы по поиску уязвимостей, а значит, массовое сканирование кода становится практичным подходом. Форт сформулировал это так: «Тысяча достаточно хороших детективов, которые ищут везде, найдут больше багов, чем один блестящий детектив, которому приходится гадать, где искать».
Оба отчёта допускают, что Mythos всё ещё может иметь преимущество при создании готовых к применению эксплойтов. Но они также указывают, что этот разрыв, вероятно, будет сокращаться по мере улучшения инструментов и роста автономности моделей. В части поиска уязвимостей граница между передовыми системами и публично доступными моделями выглядит намного менее жёсткой, чем это следует из заявлений Anthropic.
Критики уже обвиняли Anthropic в нагнетании тревоги и предполагали, что компания просто подогревает интерес к Mythos, пока не получит достаточно вычислительных мощностей для более широкого запуска. По данным Financial Times, которая ссылается на «нескольких людей, знакомых с ситуацией», Anthropic действительно удерживает модель до появления достаточных вычислительных ресурсов для обслуживания клиентов.
Источник: The Decoder, Financial Times.
