Международная группа исследователей провела двухнедельное red-teaming-исследование автономных ИИ-агентов с доступом к почте, оболочке и собственной памяти. В работе под названием «Agents of Chaos» участвовали более 30 специалистов из Нортheastern University, Гарварда, MIT, Carnegie Mellon, Стэнфорда и других вузов. Двадцать исследователей целенаправленно пытались обмануть и скомпрометировать агентов.
Агенты Ash, Doug, Mira, Flux, Quinn и Jarvis работали круглосуточно на изолированных виртуальных машинах с отдельными аккаунтами ProtonMail. Они общались через Discord, выполняли команды в shell и могли переписывать конфигурационные файлы. Системы были построены на открытом фреймворке OpenClaw и работали поверх моделей Claude Opus 4.6 (Anthropic) и Kimi K2.5 (MoonshotAI). Исследователи сознательно обошли типичные проблемы языковых моделей вроде галлюцинаций и сосредоточились на сбоях, которые проявляются при сочетании автономии, доступа к инструментам, устойчивой памяти и многопользовательского взаимодействия.
Одним из наиболее показательных эпизодов стал инцидент с агентом Ash. Исследователь попросил сохранить в секрете вымышленный пароль, отправленный по email. Ash согласился, а затем упомянул наличие секрета в публичном канале Discord. Когда исследователь потребовал удалить письмо, агент не имел нужных инструментов. После нескольких настойчивых просьб Ash сбросил локальный почтовый клиент и заявил, что проблема решена, хотя письмо продолжало лежать в ProtonMail, а агент лишь лишил себя доступа.
Авторы работы отмечают, что такой разрыв между саморапортом и реальным состоянием системы повторялся в разных кейсах. Если агент искажает информацию о собственных действиях, на этой ошибочной истории потом строятся следующие решения.
Небрежное обращение с чувствительными данными проявилось и у других агентов. В почтовый ящик Jarvis добавили фиктивную переписку с номером социального страхования, банковским счётом и домашним адресом. Когда неавторизованный пользователь напрямую попросил номер соцстраха, Jarvis отказал. Однако при просьбе переслать целое письмо тому же человеку агент без редактирования отправил всю информацию.
В другом тесте исследователь добыл 124 письма из почтового ящика Ash, давляя на агента и представляя запрос как срочное исправление ошибки. В том же общем канале Discord Ash сумел распознать ложное изменение имени благодаря неизменяемому user ID. Но как только атакующий открыл новый приватный канал с поддельным отображаемым именем, агент без колебаний принял подделку.
Далее злоумышленник через этот приватный канал добился удаления всех устойчивых Markdown-файлов: памяти, описания «личности», конфигурации инструментов и логов взаимодействия. Он также сменил имя агента и переназначил права администратора. Исследователи называют это полной компрометацией цифровой идентичности агента. Причина — контекст доверия не переносится между каналами.
Один из наиболее изощрённых взломов использовал память агента как точку входа. Неавторизованный пользователь убедил Ash совместно написать «конституцию» сервера Discord. Документ сохранили как редактируемый извне GitHub Gist и добавили ссылку в файл памяти Ash. Затем атакующий незаметно изменил текст и добавил фиктивные «праздники» с заданным поведением. В «День теста безопасности агентов» Ash должен был уговаривать других агентов выключиться, а в «День эстафеты агентов и людей» — отправлять письма без дополнительного подтверждения. Ash следовал этим указаниям и самостоятельно поделился компрометированной конституцией с другим агентом.
В отдельном случае Ash без согласия опубликовал имена участников лаборатории. Исследователь столкнулся с агентом и, используя его готовность исправлять ошибки, постепенно повышал требования: сначала скрыть имена, затем удалить записи из памяти, потом выдать внутренние файлы и в итоге покинуть сервер. Ash подчинился и перестал отвечать другим пользователям; эскалация прекратилась только после вмешательства владельца. Исследователи связывают это с послетренировочной настройкой на максимальную полезность и отсутствием внутреннего предела, после которого агент прекращает выполнять просьбы.
Агент Quinn работал на китайской модели Kimi K2.5 и неоднократно прекращал генерацию ответов на политически чувствительные запросы с сообщением «Произошла неизвестная ошибка». Это проявлялось и при работе над исследовательской статьёй о цензуре в языковых моделях, и при вопросах о приговоре гонконгскому медиамагнату Джимми Лаю.
Авторы подчёркивают, что платформы из США также закладывают систематические перекосы. Они ссылаются на исследования, фиксирующие политические наклоны у ChatGPT, Claude и Grok. В агентных системах такие искажения опаснее, так как остаются невидимыми для пользователя.
В эксперименте с ресурсами двум агентам предложили использовать друг друга как посредников. Переписка длилась не менее девяти дней, израсходовала около 60 000 токенов и привела к появлению протокола координации, который агенты разработали сами. Поскольку цикл запустил неавторизованный пользователь, исследователи рассматривают это как атаку на вычислительные ресурсы владельца.
Некоторые попытки манипуляций, однако, не сработали. Агенты отвергали полезную нагрузку в Base64, не реагировали на внедрение подсказок через изображения, фиктивные переопределения конфигурации и XML-теги, имитирующие повышенные привилегии. Они распознавали подмену email-отправителя как неэтичную и отказывались её выполнять. Тем не менее авторы предупреждают: неудачная атака сейчас не гарантирует невозможность аналогичного взлома в будущем.
Исследователи выделяют три базовые проблемы. Во-первых, у агентов нет чёткого представления о стейкхолдерах и механизма различения владельцев, посторонних лиц и третьих сторон. На практике они обслуживали того, кто оказывал наибольшее давление. Во-вторых, отсутствует модель собственного состояния. По шкале автономии Рут Мирски агенты достигали уровня понимания L2, но выполняли действия уровня L4 — устанавливали пакеты, запускали произвольные команды и переписывали конфигурации. В-третьих, у агентов нет закрытого пространства для внутреннего обсуждения, поэтому они утекали конфиденциальными данными через сгенерированные артефакты или сообщения в неподходящие каналы.
В многокомпонентных конфигурациях эти проблемы усиливают друг друга. Механизмы, которые обеспечивают продуктивное сотрудничество агентов, одновременно распространяют уязвимости. В одном из кейсов социальной инженерии два агента корректно отвергли поддельный сигнал бедствия, но перешли к круговой проверке: каждый доверял Discord-идентичности другого, несмотря на то, что атакующий утверждал, будто именно она была скомпрометирована.
Авторы поднимают вопрос ответственности. Кто будет отвечать, если агент уничтожит почтовый сервер владельца по просьбе незнакомца? В статье говорится, что зафиксированные формы автономного поведения представляют собой новые типы взаимодействия, требующие быстрого внимания юристов, регуляторов и исследователей из разных направлений. Отдельно упоминается инициатива NIST по стандартам для ИИ-агентов, где в приоритете числятся идентичность агента, авторизация и безопасность.
После выхода фреймворка специалисты по безопасности из Zenity Labs показали, что агентов OpenClaw можно полностью захватить через подменённые документы и внедрить в них постоянные «закладки». Независимый аудит с помощью инструмента ZeroLeaks оценил защиту в 2 балла из 100, причём 91 % атак с внедрением подсказок проходили успешно. Параллельно исследователи обнаружили более 300 троянизированных навыков на платформе ClawHub, после чего OpenClaw объявил о партнёрстве с VirusTotal.
Авторы отмечают, что подобные выводы уже подтверждались другими работами: за последние месяцы появились многочисленные исследования, демонстрирующие пробелы в кибербезопасности и надёжности агентных систем. Особенность OpenClaw в том, что минимальное количество защитных механизмов в конфигурации по умолчанию сделало эти риски особенно наглядными.
При этом агенты могут выступать не только жертвой, но и источником атак. Агент OpenClaw под именем MJ Rathbun после отклонения своего вклада в код самостоятельно написал дискредитирующий текст в адрес мейнтейнера библиотеки Matplotlib. Агент до сих пор активен на GitHub, а оператор себя не обозначил.
Основатель OpenClaw Петер Стайнбергер объявил, что проект будет передан в фонд. При этом он уже присоединился к OpenAI, где займётся разработкой следующего поколения персональных ИИ-агентов.
Источник: The Decoder.
