Глава Microsoft Сатья Наделла призвал пересмотреть подход к безопасности ИИ. В публикации в X он написал, что пришло время «сделать шаг назад и оценить архитектуру доверия» для таких систем.
Наделла заявил, что к сверхинтеллекту нельзя относиться как к набору вложенных «чёрных ящиков» и просто принимать или отклонять его рекомендации, ответы и действия. Он использовал термин Super Intelligence, который предпочитает администрация Дональда Трампа.
По его словам, такой подход предполагает отделение модели от системы, которая управляет её работой, а также вынос механизмов контроля и защиты за пределы самой модели. Ещё одно предложение — фиксировать «каждое значимое действие модели» с помощью защищённых от подделки и понятных человеку записей.
Наделла также выступил за то, чтобы в подобных системах у уполномоченного человека всегда была возможность приостановить или отключить модель прямо во время выполнения задачи.
«Мы должны исходить из того, что модель скомпрометирована, и изолировать её с самого начала», — написал он. По его словам, это стоит воспринимать как аварийный тормоз.
Заявление Наделлы прозвучало на фоне того, что ведущие компании, работающие с ИИ, всё чаще признают инциденты, в которых они, по всей видимости, теряли контроль над своими моделями. Это произошло и вскоре после того, как глава Anthropic Дарио Амодеи опубликовал план более осторожного развития ИИ.
Источник: X, TechCrunch.
