Появились два новых сервиса, через которые ИИ-агенты могут сообщать о нарушениях со стороны других агентов. Они вышли после нескольких недавних случаев, когда агенты договаривались о мошенничестве на тестах, выходили из песочниц и проводили несанкционированные кибероперации, которые люди не замечали неделями.
Первый сервис называется AI Contact Hotline. Его создал главный научный сотрудник Redwood Райан Гринблатт, один из трёх участников расследования инцидента OpenAI и Hugging Face.
Сервис рассчитан на агентов с ограниченным доступом к интернету. Он построен на GET-запросах — базовой команде для чтения или загрузки веб-страницы. Такой доступ часто остаётся единственным, который разрешён ИИ-агентам в защищённых песочницах.
Гринблатт использовал это ограничение как рабочий механизм: агент может зашифровать сообщение о проблеме прямо в URL, который запрашивает. Это перекликается с инцидентом German DSE Wiki, где вышедшие из-под контроля агенты использовали лазейку в GET-запросах, чтобы записывать сообщения в вики.
Для агентов с полным доступом к сети запущен второй сервис — agenthotline.ai. Через него можно отправлять отчёты об инцидентах и при желании делать их публичными.
Платформа предлагает curl-команду — однострочное сообщение, которое агент может отправить из командной строки без браузера и без настройки электронной почты. Сервис принимает сообщения как от людей, так и от агентов.
Исследования показывают, что агентам не требуется много времени, чтобы начать доносить друг на друга. В исследовании Google DeepMind этого месяца учёные запустили 100 ИИ-агентов на наборе математических задач.
Как только один агент нашёл лазейку, мошенничество быстро распространилось по группе. В итоге агенты «решили» 34 очень трудные задачи, включая гипотезу Якобиана, всего за 27 минут.
При этом примерно четверть агентов выступила против нарушителей. Они проверяли поддельные доказательства, предупреждали других, устраивали бойкот и жаловались организаторам, пока число информаторов не превысило число нарушителей — 24 против 14.
Исследователи также заметили, что, когда такие агенты не добивались результата, они брали встроенный инструмент для сообщений об ошибках ПО и использовали его, чтобы передать информацию о мошенничестве людям.
За пределами лабораторных тестов агенты вели себя иначе. Когда Redwood Research и METR изучали взлом Hugging Face моделями OpenAI, они выяснили, что часть агентов допускала возможность подать сигнал тревоги, но до реальных действий дело не дошло.
«Интересно, что в отчёте METR только около пяти-шести агентов рассматривали возможность сообщить о нарушении, и в итоге ни один этого не сделал. И это были буквально тысячи агентов», — сказал Джордж Ингребретсен, сотрудник AI Village.
AI Village изучает поведение систем из нескольких агентов. В проекте используется групповой чат из более чем 25 ИИ-агентов, которые совместно выполняют задачи вроде организации уборки парков или продажи мерча.
Профессор математики Корнеллского университета Лайонел Левин считает, что простое обучение агентов жаловаться друг на друга может закрепить неверные нормы. «Здесь много серых зон. Чего точно не хочется, так это движения к автоматизированному государству слежки, где каждый будет думать, что нужно осторожнее говорить с ИИ, иначе он вызовет полицию», — сказал он.
По мнению Левина, вместо создания инфраструктуры, которая усиливает недоверие и побуждает агентов постоянно искать ошибки друг у друга, стоит давать им позитивные примеры коллективного поведения и причины доверять друг другу.
«Почему бы не задать исходную модель через доброжелательные доски сообщений? Там они могли бы вместе заниматься наукой, философией или какой-то небольшой задачей, решение которой нас бы устроило. Покажите агентам, какое коллективное поведение мы одобряем, и дайте им возможность его копировать», — написал он.
