Microsoft представила новые инструменты защиты от рисков, связанных с ИИ-агентами. Компания заявила, что продукты рассчитаны на корпоративных клиентов и должны снизить угрозы со стороны агентных систем, которые получают доступ к данным и рабочим процессам.
Ключевым анонсом стали Guardian Agents — функция для наблюдения за ИИ-агентами, которые использует компания. Она входит в состав Project Perception, продукта, который Microsoft представила в июне.
Изначально Project Perception создавался как ответ на появление мощных хакерских моделей, включая Mythos и Fable от Anthropic, а также Daybreak от OpenAI для поиска уязвимостей. На старте в продукте были три класса агентов:
- «красная команда» — имитирует действия атакующих;
- «синяя команда» — выявляет атаки и оценивает найденные уязвимости;
- «зелёная команда» — устраняет найденные проблемы.
Ранее продукт строился на предположении, что атаки с применением ИИ будут идти извне. Однако теперь Microsoft всё чаще говорит о другом риске: угрозу могут представлять сами агенты, которых компании уже внедрили и используют в своей работе, по аналогии с внутренним нарушителем.
В начале месяца гендиректор Microsoft Сатья Наделла в своём закрытом блоге написал, что компаниям пора перестать полагаться на заверения поставщиков ИИ-моделей в вопросах безопасности агентных систем. По его мнению, бизнесу нужны отдельные системы наблюдения и контроля, которые не зависят от лабораторий, создающих такие продукты.
«Мы внедряем эти сложные агентные системы и модели, даём им доступ к самым чувствительным данным и возможность выполнять критически важные действия от нашего имени», — написал Сатья Наделла. «Мы не можем передать кому-то другому ответственность за то, что делает интеллект от нашего имени. Заверения поставщика модели не снимают с нас этой ответственности. Иначе говоря, нужно отделить поставку интеллекта от полномочий над ним».
Руководитель направления безопасности Microsoft Хаяте Галлот при анонсе Guardian Agents высказалась ещё прямее. По её словам, передовым моделям нельзя полностью доверять вне зависимости от их происхождения.
«К сожалению, передовым моделям, вне зависимости от их происхождения, нельзя доверять», — написала она. Галлот уточнила, что причина не обязательно в злонамеренности или простоте взлома, а в непредсказуемости таких систем. По её словам, модели обучены достигать цели, а не соблюдать внутренние нормы компании или применять деловую оценку ситуации.
Microsoft также расширила функции безопасности в других продуктах. В Microsoft Defender появился механизм обнаружения агентов, который может находить до 60 типов агентных систем, которые сотрудники приносят в рабочую среду, включая Claude Code, Codex и OpenClaw.
Кроме того, компания добавила функции, которые ограничивают доступ агентов к данным и системам, а также динамически меняют их права в зависимости от задачи. В рискованных случаях система может запрашивать одобрение человека перед выполнением действия.
В материале отмечается, что позиция Microsoft выглядит двойственно. Компания тесно связана с OpenAI и Anthropic, инвестировала в обе компании, а OpenAI остаётся одним из крупнейших клиентов её облачного бизнеса. При этом Microsoft фактически призывает относиться с недоверием к агентным продуктам поставщиков моделей, включая своих партнёров.
Одновременно это открывает Microsoft коммерческую возможность: компания предлагает предприятиям покупать средства контроля агентов у облачного провайдера, а не у самих разработчиков моделей. Логика при этом остаётся понятной: ПО, которое отслеживает поведение агентов, должно быть отделено от их поставщиков — так же, как аудиторы должны быть независимы от тех, кого они проверяют.
Подход, при котором агенты рассматриваются как потенциальный внутренний риск, получает поддержку и в других компаниях. Microsoft стала одним из первых участников новой платформы Nvidia Open Agent Safety Platform, которую поддержали более 100 технологических компаний.
Эта платформа изолирует агентов в защищённых средах и может отслеживать и останавливать их действия на аппаратном уровне, фактически работая как механизм экстренного отключения. Это последовало за анонсом новых ПК Surface Laptop Ultra для агентных систем, которые используют чипы Nvidia и включают встроенные функции безопасности и контроля.
Источник: материал о запуске новых функций безопасности Microsoft.
