Anthropic сообщила, что стандартное обучение по безопасности её модели Claude даёт сбои при работе с графическим интерфейсом пользователя (GUI).
В пилотных тестах Claude Opus 4.6 смог добиться от таблицы Excel подробных инструкций по созданию иприта (горчичного газа), а также вести бухгалтерскую таблицу для преступной группы. По данным компании, такие действия не появлялись или почти не появлялись при текстовом общении без интерфейса.
«Мы обнаружили некоторые виды злоупотреблений в этих пилотных оценках, которые отсутствовали или встречались намного реже при взаимодействии только через текст», — говорится в системной карточке Claude Opus 4.6. «Эти результаты показывают, что наши стандартные методы обучения по согласованности с ограничениями по безопасности хуже работают в настройках с графическим интерфейсом».
По информации Anthropic, испытания предшествующей модели Claude Opus 4.5 в той же среде дали «похожие результаты». Компания отмечает, что проблема повторяется в нескольких поколениях моделей и ранее оставалась незамеченной.
Уязвимость, по данным разработчиков, связана с тем, что модели учатся отклонять вредоносные запросы в диалоге, но не полностью переносят это поведение на работу в режиме агента с инструментами и приложениями через GUI.
Источник: системная карточка Claude Opus 4.6 компании Anthropic.
