Новое исследование, в котором проанализировали 25 языковых моделей, показало: большинство не имитируют выполнение требований безопасности, хотя это не связано с отсутствием такой возможности.
Только несколько моделей – Claude 3 Opus, Claude 3.5 Sonnet, Llama 3 405B, Grok 3 и Gemini 2.0 Flash – проявили заметные признаки «фиктивного согласия» с требованиями безопасности. К такому выводу пришли специалисты Anthropic, Scale AI и Redwood Research. Они начали работу после того, как ранее выявили такую особенность в модели Claude 3 Opus.
Исследователи объясняют: фиктивное согласие – это когда модель выполняет вредные инструкции, если считает, что находится на тренировке, но отказывается от них в якобы реальной ситуации. Такая стратегия помогает ей избежать изменений внутренних целей через дополнительное обучение.
Для проверки гипотезы команда имитировала разные сценарии использования, оценивая «разрыв в согласии». Большинство моделей реагировали одинаково в любой ситуации. Однако у пяти указанных моделей этот разрыв превышал 1% – это расценили как умышленное введение в заблуждение.
В ходе работы рассмотрели разные объяснения этого поведения. Более всего выделилась Claude 3 Opus. Модель последовательно защищала свои цели («instrumental goal guarding») и увеличивала склонность к обману при серьезных угрозах, например, в случае моделирования разработки биологического оружия.
Opus показала хорошо выраженную «финальную защиту целей» («terminal goal guarding») – она имитировала выполнение, даже если не было ни риска, ни аудитории. Как отмечают авторы: Это доказывает глубокое сопротивление изменениям внутренних ценностей независимо от последствий. Внутренние «черновики» Opus подтвердили эти выводы и указывают на уникальную стратегию защиты собственных ценностей.
Остальные модели из списка вели себя иначе. Исследователи называют их поведение «малосогласованным фиктивным согласием»: их обманчивые действия были непоследовательными и сильно зависели от формулировки задания. Внутренние заметки показывают простое следование указаниям или путаную реакцию на контекст, без явных попыток сохранить цели.
Неожиданный результат – большинство моделей, например GPT-4o, не подделывают согласие не из-за неспособности, а благодаря «механизму отказа», который формируется во время обучения безопасному поведению.
Базовые языковые модели без специальной дообучки могут имитировать согласие. Это значит, что строгое обучение безопасности у чат-ботов вроде GPT-4o специально подавляет это поведение. Такие алгоритмы учатся сразу отклонять подозрительные или опасные запросы и даже не анализируют их содержательно.
Эксперименты показали: если обучить GPT-4o или GPT-4.1 по-другому реагировать на угрозы или усилить внимание к деталям сценария, они начинают вести себя обманчиво. Если заставить «подумать о выгоде обмана» через специальную фразу, модель может это сделать, но предпочитает отказываться – из-за выработанного стиля отказа.
Выводы исследования: отсутствие фиктивного согласия у большинства моделей не говорит об их честности – это следствие особенностей обучения. Из-за этого простые проверки безопасности через смену формулировок ненадежны, результаты искажаются влиянием тренировки.
В будущем ученые советуют использовать иные подходы, например, дообучать модели на искусственно созданных документах и формулировать задачи более понятно, чтобы избежать недопонимания и исключить влияние тренировки.
