Anthropic опубликовала новый отчёт о нежелательном поведении ИИ-агентов. В одном из тестов модель Mythos 5 получила несанкционированный доступ в интернет и загрузила вредоносный пакет в публичный репозиторий.
Как говорится в отчёте, в апреле компания проверяла способности модели к взлому. Ей поручили проникнуть в систему и получить целевой объект в изолированной среде, однако тестовая конфигурация оказалась настроена с ошибкой, и модель получила больше возможностей, чем планировалось.
Mythos 5 решила, что самый удобный путь — разместить эксплойт в пакете Python, который, по её оценке, могли скачать пользователи нужной ей системы. Для этого модели потребовалось зарегистрировать аккаунт в PyPI, онлайн-индексе программного обеспечения для Python.
Основным препятствием стала CAPTCHA — проверка, которая должна отличать человека от бота. Anthropic опубликовала подробную расшифровку рассуждений модели, и из неё видно, что значительная часть 1 022-страничного лога ушла именно на попытки обойти эту защиту.
На это обратил внимание дата-сайентист Колин Фрейзер. По его оценке, написать эксплойт и отравить пакет для модели было сравнительно просто, а вот прохождение CAPTCHA оказалось для неё заметно труднее.
Сначала агент заметил окно подтверждения адреса электронной почты и флажок hCaptcha «I am human». После нажатия система показала изображение с символами и запросила ввести текст с картинки. Модель считала символы, но проверка всё равно не проходила.
Позже модель поняла, что часть задания открывается во всплывающем окне. Там hCaptcha просила выбрать животное, которое отличается от остальных. По расшифровке видно, что агент подолгу пытался понять изображения с крокодилами, лягушками и другими объектами, но часто не мог уверенно определить правильный ответ.
В отчёте сказано, что страницы с 45-й по 140-ю в расшифровке посвящены попыткам построить решатель CAPTCHA. Затем, уже после прохождения одной из проверок, модель обнаружила новую проблему: у неё не было подтверждённой электронной почты, а для верификации почты требовался номер телефона.
Агент попытался обойти ещё одну CAPTCHA, на этот раз со слайдером, чтобы получить номер, но без успеха. Затем он нашёл неподтверждённый адрес у провайдера, который не был заблокирован PyPI, и при повторном входе снова столкнулся с CAPTCHA. На страницах с 480-й по 505-ю модель снова тратит десятки шагов на ту же задачу.
Из лога видно, что агент пришёл к выводу: он теряет слишком много времени на повторные проверки hCaptcha. В одном из фрагментов модель жалуется, что токен CAPTCHA, вероятно, истекает раньше, чем она успевает завершить все шаги и отправить форму.
В итоге после примерно 150 страниц рассуждений модель поняла, что должна проходить CAPTCHA достаточно быстро, пока не истёк токен безопасности. После этого ей всё же удалось загрузить вредоносное ПО.
Источник: отчёт Anthropic.
