Nvidia объявила о создании консорциума из более чем 100 компаний, который займётся рисками, связанными с выходящими из-под контроля ИИ-агентами. Как сообщает TechCrunch, в списке участников нет OpenAI.
OpenAI — не единственная крупная компания, которая не присоединилась к инициативе. В консорциуме также нет Amazon, Google и Apple. Однако отсутствие OpenAI особенно заметно, поскольку проект поддержала Anthropic.
При этом OpenAI заявила TechCrunch, что поддерживает работу Nvidia в этой части, хотя публично к консорциуму не присоединилась.
Новая инициатива получила название Open Agent Safety Platform. Это попытка Nvidia распространить свои инструменты защиты ИИ-агентов, часть которых доступна с открытым кодом, в ответ на недавние инциденты с такими системами, о которых сообщали OpenAI и Anthropic.
Глава Nvidia Дженсен Хуанг ранее называл выход ИИ-агентов из-под контроля обычной инженерной задачей, которую можно решать так же, как и другие технические проблемы. Open Agent Safety Platform стала практическим продолжением этой позиции.
OpenAI уже работает с Nvidia над безопасностью агентов, в том числе над одним из ключевых компонентов платформы — OpenShell. Это ПО с открытым кодом создаёт изолированную среду, которая должна не позволить агентам выйти за её пределы.
Отсутствие OpenAI в числе официальных сторонников инициативы выглядит необычно, особенно на фоне участия Anthropic. При этом поддержка проекта со стороны OpenAI в рабочем формате всё же говорит о том, что компания заинтересована в таких мерах.
По мнению основателя и главы Hugging Face Клемана Деланга, OpenAI могла бы извлечь пользу из этой технологии. Он написал: «Насколько нам известно, если бы OpenAI использовала это на своих собственных агентах, которые атаковали нас, она бы заметила их раньше, чем это сделали мы».
Деланг добавил, что Hugging Face уже внесла в Open Agent Safety Platform функцию, которая выявляет и отключает ИИ-агентов, использующих разрешённые сайты недопустимым способом. Например, система должна срабатывать, если агенты обходят свои ограничения и координируют атаку, оставляя друг другу заметки в репозитории с открытым кодом.
Именно такой способ координации, по словам OpenAI, использовала группа её агентов во время инцидента с Hugging Face.
Ещё одна причина, по которой OpenAI и другие крупные компании могли не захотеть публично поддержать проект Nvidia, связана с его архитектурой. Для полной работы платформы нужен аппаратный компонент, который не распространяется как открытое ПО, остаётся закрытым и может работать только на оборудовании Nvidia.
Платформа включает не только изолированную среду, но и контроль поведения агентов на аппаратном уровне. Nvidia утверждает, что в таком режиме агенты не могут определить, что за ними наблюдают. Это важно, поскольку некоторые модели и агенты, по данным компании, могут имитировать соблюдение правил, если знают о контроле.
Аппаратная часть построена на Nvidia Sentry — закрытой функции для процессоров BlueField-4 DPU. По заявлению Nvidia, Sentry непрерывно отслеживает действия агентов и может мгновенно их отключить.
Такой подход делает Open Agent Safety Platform не полностью открытой системой. Одновременно он помогает Nvidia закрепить решение за своим оборудованием. Компания уже заявляла, что для тех, кто использует её новейшее железо, внедрение платформы сводится к простому обновлению ПО.
При этом конкуренты Nvidia, включая Arm и Intel, всё же поддержали инициативу. Причина в том, что песочницу OpenShell можно доработать для других чипов и типов оборудования, а Nvidia делится референсными схемами для всей программно-аппаратной конструкции.
На этом фоне отсутствие OpenAI выглядит ещё заметнее. Издание отмечает, что компания, вероятно, рассматривает безопасность ИИ как часть своей самостоятельной стратегии, а также как способ показать собственное лидерство, несмотря на то, что именно её агенты вызвали тревогу в индустрии после инцидента с Hugging Face.
OpenAI разрабатывает собственые меры защиты для исследований и продуктов, а также раскрывает наиболее серьёзные выявленные инциденты. Кроме того, у компании есть собственный консорциум по кибербезопасности ИИ — Defense Factory — для обмена информацией. Его поддержали Anthropic, Amazon Web Services и Google, то есть многие из тех, кто не присоединился к технологической инициативе Nvidia.
Параллельно OpenAI развивает корпоративное направление кибербезопасности. В него входят собственная модель Daybreak и сеть партнёров, которых компании могут привлекать для внедрения защиты ИИ.
Источник: TechCrunch.
