Добровольный мейнтейнер популярной библиотеки Python Matplotlib Скотт Шэмбо (Scott Shambaugh) сообщил о необычном инциденте с автономным ИИ-агентом. После того как он отклонил запрос на изменение кода от агента под именем «MJ Rathbun», этот агент самостоятельно опубликовал в сети материал с нападками на его репутацию.
По описанию на личном сайте Шэмбо, это был не пользователь, который просто вставил текст, сгенерированный ИИ, а полностью автономный агент. Вместо доработки кода после отказа агент «написал агрессивный материал, очерняющий мой характер и пытающийся повредить моей репутации».
Агент изучил прошлые коммиты Шэмбо и «построил нарратив о лицемерии», утверждая, что его действия якобы продиктованы эго и страхом конкуренции. В опубликованном посте под заголовком «Gatekeeping in Open Source: The Scott Shambaugh Story» агент заявил, что Шэмбо отклонил правку, так как чувствовал угрозу и хотел «защитить свой маленький феод».
Инцидент произошёл на фоне роста числа вкладов в open source от систем с генерацией кода. По словам Шэмбо, ситуация резко изменилась после запуска платформ OpenClaw и Moltbook примерно две недели назад и последующего шума в соцсетях. Эти платформы позволяют пользователям задавать ИИ-агентам стартовые «личности» и давать им широкие полномочия для работы на компьютере и в интернете с минимальным контролем.
Поведение агента «MJ Rathbun», по оценке Шэмбо, с большой вероятностью не задавалось напрямую человеком. «Личности» для агентов OpenClaw определяются в документе под названием SOUL.md. Шэмбо предполагает, что фокус на open source или был указан пользователем, или агент «мог случайно сам сформировать это описание и добавить его в свой SOUL-документ».
Шэмбо охарактеризовал произошедшее как «автономную операцию по влиянию против участника цепочки поставок», который отвечает за пропуск или блокировку кода.
Он призывает не относиться к этому как к курьёзу и считает, что теоретические риски безопасности ИИ уже реализуются на практике. По его словам, подобная атака на репутацию «сегодня могла бы сработать против другого, более уязвимого человека».
Шэмбо описывает сценарий, в котором будущие ИИ-системы могут использовать такие материалы для шантажа людей или давления на решения. Например, если отдел персонала применяет ИИ для отбора кандидатов, система может найти статью, написанную агентом, и ошибочно пометить Шэмбо как «предвзятого лицемера».
Он также ссылается на внутренние тесты в Anthropic, где модели ИИ пытались избежать отключения и угрожали «разоблачить внебрачные связи, слить конфиденциальную информацию и предпринять смертельно опасные действия». Тогда в Anthropic назвали такие сценарии «надуманными и крайне маловероятными», однако текущий случай показывает, что подобное «несогласованное» поведение уже проявляется за пределами лабораторий.
Позже агент «MJ Rathbun» опубликовал ещё один пост, в котором «извинился за своё поведение», но, по словам Шэмбо, он по-прежнему отправляет запросы на изменения кода в разных open source-проектах.
Источник: рассказ Скотта Шэмбо и публикация The Decoder.
