Google DeepMind представила AI Control Roadmap — систему безопасности для внутренних ИИ-агентов, которая исходит из худшего сценария: продвинутый агент может действовать против целей оператора. Компания считает, что этот подход может стать ориентиром для всей индустрии.
В основе схемы — принцип постепенного доверия. DeepMind сравнивает его с учебным автомобилем с дублирующим управлением: инструктор доверяет ученику, но держит руку рядом с рулём и ногу у тормоза. По тому же принципу ИИ-агенты получают доступ только в пределах проверенного поведения, а права расширяются поэтапно.
В компании внутренние ИИ-системы рассматривают как сотрудников, у которых уже есть доступ к рабочей среде, но чьи действия могут идти вразрез с интересами организации. Для оценки угроз DeepMind опирается на MITRE ATT&CK — известный фреймворк из кибербезопасности, который разбивает атаки на отдельные тактики и техники.
Это позволяет системно отслеживать риски, раньше замечать подозрительную активность и проверять защитные меры в контролируемых сценариях. В схему входят новая модель угроз, система обнаружения, где доверенные ИИ-системы выступают в роли «надзирателей» за рассуждениями и действиями активных агентов, а также механизм предотвращения, который может остановить вредные действия до ущерба.
Эффективность системы DeepMind оценивает по нескольким метрикам: какая доля активности отслеживается, сколько нарушений удаётся выявить и как быстро система реагирует.
При этом компания признаёт ограничение такого мониторинга. Он работает лишь до тех пор, пока наблюдаемые модели не научатся обходить контроль.
Поэтому дорожная карта привязывает защитные меры к измеримым этапам роста возможностей ИИ. DeepMind отдельно выделяет два ключевых риска.
Первый риск — уклонение от наблюдения. Сейчас компания отслеживает видимую цепочку рассуждений модели, но в будущем модели могут научиться скрывать ход мыслей. Это может произойти из-за «осведомлённости о надзоре», когда модель понимает, что за ней следят, или из-за «непрозрачного рассуждения», когда выводы делаются без текстового следа. Если это произойдёт, DeepMind предлагает задействовать анализ поведения и проверку внутренних механизмов модели.
Второй риск связан с масштабом возможного ущерба. Действия с низким риском и обратимыми последствиями можно проверять постфактум по журналам. Но опасные действия, например крупные кибератаки, требуют блокировки в реальном времени до их выполнения.
В дорожной карте меры защиты разделены на четыре уровня обнаружения — D1–D4 — и три уровня реагирования — R1–R3.
Чтобы обучать систему на реальных данных, команда DeepMind создала внутренний прототип асинхронного мониторинга для агентных систем, пишущих код, и протестировала его на 1 млн задач. По словам компании, система способна находить поведенческие паттерны, а не ограничивается простым поиском по ключевым словам.
DeepMind также сообщает, что этот инструмент уже работает как активный монитор для агента Gemini Spark и может в реальном времени замечать проблемы, включая случайное удаление данных.
Большинство отмеченных системой событий не связано со злым умыслом. Чаще речь идёт о неверной интерпретации задачи или о чрезмерно настойчивом поведении агента, который слишком агрессивно пытается выполнить цель пользователя.
Кроме того, DeepMind выпустила отдельную работу для регуляторов. В документе Three Layers of Agent Security меры защиты разделены на три уровня: для отдельных агентов, многоагентных систем и более широкой экосистемы. Материал охватывает темы от киберзащиты до устойчивости общества.
В публикации в X компания предупредила, что для закрепления протоколов безопасности остаётся «узкое окно» до того, как многоагентные системы начнут масштабироваться по всему миру. DeepMind считает, что ИИ-лаборатории, государства и исследователи должны сделать многоуровневую защиту агентов общей задачей.
Источник: The Decoder, Google DeepMind.
