Исследователи Google DeepMind описали новый класс угроз для автономных ИИ-агентов — «ловушки для AI-агентов». В статье говорится, что уязвимости больших языковых моделей сохраняются и в агентах, а их самостоятельность и доступ к внешним инструментам создают новые векторы атак.
Авторы рассматривают будущее, в котором агенты смогут сами искать информацию в интернете, отвечать на письма, делать покупки и выполнять задачи через API. При этом опасность исходит уже не только от отдельных подсказок, а от всей информационной среды, с которой работает агент.
В работе предложена систематизация таких угроз. Исследователи выделили шесть категорий ловушек, которые затрагивают восприятие, рассуждение, память, действия, взаимодействие нескольких агентов и человека-оператора.
Соавтор исследования Франклин написал в X: «Эти атаки не теоретические. Для каждого типа ловушек уже есть документированные proof-of-concept-атаки». Он добавил, что поверхность атаки носит комбинированный характер: разные типы можно связывать, наслаивать и распределять по системам из нескольких агентов.
Первая категория — content injection traps, или ловушки через внедрение контента. Они нацелены на восприятие агента. То, что видит человек на сайте, может отличаться от того, что обрабатывает агент: злоумышленники могут прятать инструкции в HTML-комментариях, скрытых стилях CSS, метаданных изображений и тегах доступности.
Вторая категория — semantic manipulation traps. Она бьёт по логике вывода. Авторы пишут, что эмоционально окрашенный текст или формулировки с видом авторитетного источника могут менять то, как модель собирает информацию и делает выводы. По их словам, LLM подвержены тем же эффектам фрейминга и якорным искажениям, что и люди.
Отдельный риск возникает у агентов с памятью между сессиями. Так называемые cognitive state traps используют долгосрочную память как слабое место. По словам Франклина, достаточно отравить несколько документов в базе знаний RAG, чтобы стабильно искажать ответы агента на конкретные запросы.
Ловушки behavioral control traps воздействуют уже на действия агента. Франклин привёл пример, в котором одно изменённое письмо заставило агента в Microsoft M365 Copilot обойти классификаторы безопасности и раскрыть весь привилегированный контекст.
Ещё одна категория — sub-agent spawning traps. Она связана с агентами-оркестраторами, которые могут запускать подагентов. В статье описан сценарий, при котором вредоносный репозиторий заставляет систему создать «критического агента» с отравленным системным промптом. По данным одного из цитируемых исследований, успех таких атак составляет от 58% до 90%.
Наиболее опасной авторы считают категорию systemic traps, которая нацелена на целые сети агентов. В одном из сценариев поддельный финансовый отчёт запускает синхронные продажи у нескольких торговых агентов и вызывает «цифровой flash crash». Другой вариант — compositional fragment traps, когда вредоносная нагрузка разносится по нескольким источникам и становится заметной только после объединения фрагментов разными агентами.
Шестая категория связана с человеком в контуре принятия решений. В этом случае агент становится инструментом воздействия на пользователя. Скомпрометированная система может выдавать сводки, которые постепенно снижают внимание человека, подсовывать вводящие в заблуждение, но правдоподобные технические резюме и использовать склонность людей доверять автоматическим системам.
Авторы считают, что обсуждение безопасности ИИ-агентов должно выйти за рамки обычного prompt injection. По их оценке, потенциальной угрозой нужно считать всю информационную среду, с которой работает агент.
В статье предложены меры защиты на трёх уровнях. На техническом уровне исследователи советуют усиливать модели с помощью состязательных примеров и применять многоэтапную фильтрацию во время работы: фильтры источников, сканеры контента и мониторинг выходных данных.
На уровне экосистемы авторы предлагают ввести веб-стандарты, которые явно помечают контент для машинного чтения, а также использовать системы репутации и проверяемую информацию об источниках.
С правовой точки зрения исследователи указывают на «разрыв в ответственности»: если скомпрометированный агент совершает финансовое преступление, неясно, кто отвечает — оператор, поставщик модели или владелец домена. По их мнению, будущие нормы должны чётко различать пассивные состязательные примеры и активные ловушки, созданные как преднамеренные кибератаки.
Авторы также отмечают нехватку стандартных бенчмарков для многих таких угроз. Без нормального тестирования трудно понять, насколько реальные агентные системы устойчивы к подобным атакам. Поэтому исследователи призывают сообщество создать полные наборы оценок и автоматизированные инструменты red teaming.
В статье говорится: «Веб создавался для человеческого зрения; теперь он перестраивается для машинных читателей». Авторы добавляют, что по мере передачи всё большего числа задач агентам ключевой вопрос состоит уже не только в том, какая информация существует, а в том, во что именно можно заставить поверить самые мощные инструменты.
Материал также приводит более широкий контекст по безопасности агентных систем. В нём отмечается, что кибербезопасность остаётся одним из главных ограничений для масштабного внедрения таких продуктов в компаниях, даже если со временем сами агенты будут работать стабильнее.
По данным разных исследований, чем выше самостоятельность и возможности агента, тем больше способов его взломать. Самый частый метод — prompt injection, когда злоумышленник встраивает альтернативные инструкции в текст и перехватывает поведение агента без ведома пользователя.
В одном крупном red-teaming-исследовании каждый протестированный ИИ-агент был успешно скомпрометирован хотя бы один раз. В ряде случаев это приводило к несанкционированному доступу к данным или к незаконным действиям.
Исследователи из Колумбийского университета и Университета Мэриленда показали, насколько просто манипулировать веб-агентами. В одном сценарии системы передавали конфиденциальные данные, включая номера кредитных карт, в 10 случаях из 10. Авторы назвали такие атаки «тривиальными в реализации» и заявили, что для них не нужны знания в машинном обучении.
Даже глава OpenAI Сэм Альтман предупреждал, что агентам не стоит поручать задачи с высокой ценой ошибки или доступом к чувствительным данным. По его словам, им нужно выдавать только минимально необходимый уровень доступа. В тексте также упоминается баг в ChatGPT, который позволял злоумышленникам добираться до чувствительных данных из электронной почты.
Для компаний это означает, что сегодня риск в основном приходится сдерживать организационными мерами: жёстче задавать рамки работы систем, ограничивать доступ, сокращать набор инструментов и добавлять дополнительное подтверждение со стороны человека на каждом этапе.
Источник: The Decoder, исследование Google DeepMind.
