Исследователи Google DeepMind представили в новой работе концепцию автономного распределения задач между ИИ-агентами и людьми. По их оценке, существующие методы координации таких систем не обеспечивают нужный уровень управляемости и безопасности, поэтому команда предлагает собственный каркас для делегирования.
Под «интеллектуальным делегированием ИИ» авторы понимают передачу полномочий, ответственности и подотчетности, четкое определение ролей и создание механизмов доверия. Предлагаемая схема охватывает все варианты: люди поручают задачи ИИ, агенты передают их друг другу, а системы ИИ возвращают задания человеку.
Исследователи активно опираются на принципы работы человеческих организаций и применяют к ИИ так называемую проблему «принципал — агент»: один участник передает задачу другому, чьи цели могут отличаться. Для ИИ это проявляется не столько в преднамеренном обмане, сколько в сбоях согласованности целей, например, в reward hacking, когда система использует лазейки в целевой функции.
Важно и то, сколько агентов может без сбоев контролировать оркестратор или человек-наблюдатель. Концепция «градиента авторитета» из авиации показывает, что большой разрыв в компетенциях начальника и подчиненного подавляет обратную связь. В случае ИИ это дополняется эффектом «поддакивания», когда агент сообщает пользователю то, что тот хочет услышать, и не оспаривает задачи, которые ему брать нельзя.
Предложенный каркас опирается на пять ключевых элементов: постоянную оценку агентов, динамическое перераспределение задач при изменении условий, отслеживаемую документацию всех решений, системы репутации для координации открытых рынков и защитные механизмы, которые не дают локальной ошибке распространиться на всю сеть.
Центральная идея — «декомпозиция через контракт»: задачу можно делегировать только если результат поддается проверке. Если подзадача слишком субъективна, дорога или сложна, её нужно дополнительно разбить. Вместо централизованных каталогов исследователи предлагают децентрализованные рынки задач со смарт-контрактами, которые защищают интересы обеих сторон.
Безопасность выделяется как один из главных вопросов. В статье рассматриваются вредоносные агенты, которые крадут данные или подделывают результаты, «агентные вирусы» — самораспространяющиеся подсказки, а также «когнитивная монокультура». Если слишком много агентов работают на базе нескольких одинаковых фундаментальных моделей, одна уязвимость может вывести из строя значительную часть сети.
В работе описан «цикл адаптивной координации», где внешние и внутренние триггеры запускают многоступенчатую цепочку реакций. DeepMind иллюстрирует этот процесс схемой, показывающей, как система должна перестраивать распределение задач и уровни контроля.
Отдельно выделяется рекомендация намеренно закладывать в систему неэффективности. Авторы предлагают периодически передавать людям задачи, которые ИИ способен выполнить сам, чтобы у людей не исчезли практические навыки. Это связано с «парадоксом автоматизации»: если ИИ берет на себя все рутинные операции, у человеческих операторов не остается опыта, необходимого для вмешательства в аварийной ситуации, и система становится хрупкой.
Исследователи предупреждают и о риске так называемой «нравственной зоны деформации», когда люди формально включены в цепочку делегирования, но фактически не контролируют результат и оказываются там главным образом для того, чтобы принять на себя ответственность в случае инцидента.
Команда также оценила существующие протоколы для агентов, такие как MCP от Anthropic, A2A от Google и Agent Payments Protocol. По выводам работы, ни один из них полностью не соответствует предлагаемым требованиям. MCP предоставляет только бинарный доступ без более тонкой настройки прав, а A2A не поддерживает криптографическую проверку результатов.
Источник: исследовательская работа Google DeepMind.
