Глава отдела безопасности OpenAI Дэйн Стаки сообщил, что новый браузер ChatGPT Atlas может создавать риски для безопасности.
Крупнейшая проблема — атаки через подстановку команд (prompt injection). Злоумышленники скрывают инструкции на сайтах или в письмах, чтобы управлять действиями ИИ-агента. Это может повлиять на покупки пользователя или привести к краже данных, включая содержимое писем и пароли.
Стаки отметил, что OpenAI провела масштабные тесты, применяет новые методы обучения и встроила защитные механизмы. Тем не менее, подстановка команд — это всё ещё нерешённая задача. Для снижения угроз в Atlas добавили режим «без входа», который не даёт доступ к пользовательским данным, и режим «наблюдения» для посещения важных сайтов только под контролем пользователя.
Также Стаки добавил: OpenAI работает над новыми функциями безопасности и ускоренными системами реагирования на такие атаки.
