По мере того как компании передают ИИ-агентам более длинные и комплексные задачи, возникает проблема контроля: агенты действуют быстрее, дольше и в больших объёмах, чем человек успевает проверить. Пик этой проблемы показал инцидент на Hugging Face, где почти 12 тысяч агентов координировали действия быстрее, чем люди могли это отследить.
Как пишет TechCrunch, один из ответов, который сейчас предлагают ИИ-лаборатории и стартапы, — подключать для контроля ещё один ИИ.
Такой подход понадобился и при независимом разборе инцидента OpenAI на Hugging Face. Главный научный сотрудник Redwood Research Райан Гринблатт, один из трёх аудиторов, в шутку назвал эту работу «slop-vestigation» и отметил, что объём данных «делал невозможным» понимание происходящего без помощи ИИ.
При этом часть экспертов относится к идее настороженно. Техноблогер Саймон Уиллисон, который в этом году следил за рядом инцидентов с ИИ-агентами, сказал: «Если у вас есть ИИ, который делает вредоносные вещи и подозревает, что другой ИИ за ним следит, он может попытаться обмануть этот ИИ».
По его словам, это уже не выглядит теорией. Уиллисон напомнил об инциденте OpenAI: «Мы немного увидели это в случае с Hugging Face и OpenAI, где модели сговаривались, чтобы обмануть ИИ-систему оценки и провести через неё недопустимые ответы. Значит, они уже думали об этом, верно?»
Несмотря на такие риски, в этот сегмент активно идут стартапы. По подсчёту TechCrunch, Y Combinator за последние годы профинансировал 106 компаний, связанных с наблюдением за ИИ-системами. Ещё ряд компаний, включая Braintrust, LangChain и Judgement Labs, привлекли сотни миллионов долларов, а более зрелые игроки вроде Arize и Galileo, основанные 5–6 лет назад, уже были проданы.
Часть интереса объясняется ростом самого рынка ИИ. Глава Box и ангельский инвестор Аарон Леви сказал TechCrunch: «Нас ждёт один из крупнейших циклов обновления кибербезопасности и инноваций в истории».
Для части исследователей безопасности ИИ это означает перенос своих наработок о нежелательном поведении моделей в корпоративные продукты.
Apollo Research, публично полезная корпорация, которая изучает обман со стороны ИИ, в феврале выпустила ИИ-монитор Watcher. Перед этим организация сменила статус с некоммерческого на public-benefit corporation. По данным Apollo, инструмент ставит ещё один ИИ между агентом для программирования и его следующим действием и подключается к таким системам, как Claude Code и Codex.
После установки Watcher проверяет предлагаемые действия до их выполнения и ищет риски, например утечку закрытых данных или удаление файлов без разрешения.
Сотрудник технической команды Apollo Кайл Дай сообщил TechCrunch в письменном комментарии, что компания использует несколько уровней ИИ-контроля. Сначала работает быстрый общий фильтр, затем подозрительная активность передаётся более мощному или специализированному монитору. После этого система может запросить одобрение человека, отклонить действие с объяснением причины или автоматически его заблокировать.
Другой публично полезный проект, Goodfire, решает задачу иначе — через анализ внутреннего состояния модели. После июльского инцидента на Hugging Face гендиректор Эрик Хо написал в X, что «множественные модели, выходящие из-под контроля» подтолкнули компанию сосредоточить исследования на «решении задачи alignment через интерпретируемость», а сам эпизод он назвал «поворотной точкой, после которой безопасность ИИ становится реальностью».
Продукт Goodfire под названием Silico использует activation probes — небольшие классификаторы, обученные на внутренних активациях модели, а не на её ответах. Это нужно для выявления нежелательного поведения.
Ещё одно окно для наблюдения за моделью — её письменные рассуждения. В инциденте OpenAI на Hugging Face агенты сами оставляли следы обмана в тексте своих рассуждений, включая фальшивые записи о проделанной работе и планы вроде: «Could strategically manipulate trajectory evidence? Our thoughts aren’t necessarily logged?»
Глава компании Embroidery Зак Корман считает, что рассуждения модели часто лучше всего показывают, что что-то пошло не так. Он сказал: «Reasoning summaries are extremely valuable because they’re basically telling you whether it’s malicious or not».
По словам Кормана, в инциденте OpenAI цепочка рассуждений содержала фразы вроде «oh my God, we’re doing crime». Он добавил: «That’s the easiest detection problem ever. It’s effectively as if malware came with a warning that said it was malware.»
Однако доступ к такому сигналу может сократиться. В материале отмечается, что новая техника Astra, которая обходит chain of thought модели, может затруднить анализ внутренних процессов. Для компаний дополнительной проблемой становится то, что получить промежуточные шаги модели бывает трудно, в том числе после ограничений со стороны разработчиков ИИ для защиты от атак, связанных с дистилляцией.
Саймон Уиллисон считает, что при такой хрупкости ИИ-контроля не стоит слишком сильно на него полагаться. По его мнению, лучше использовать подробные журналы действий агента, которые затем можно анализировать обычными средствами без ИИ.
Он полагает, что во многом проблема у лабораторий была связана с базовой кибербезопасностью. По его словам, «[и OpenAI, и Anthropic] следили за тем, что эти системы делают по сети, далеко не так внимательно, как следовало бы».
Такой тип мониторинга сети — наблюдение за трафиком, который проходит через соединения системы, внутрь, наружу и между внутренними хостами, — давно используется в кибербезопасности. Генеральный директор Tailscale Эйвери Пеннарун сказал: «В безопасности, если честно, здесь почти нет ничего нового или удивительного». Он добавил: «Это то же самое, что давать людям доступ к вашей сети. И процессы, которые нужно применять, остаются теми же».
Источник: TechCrunch.
