OpenAI ввела новый показатель безопасности для своих самых продвинутых моделей — CoT controllability. Впервые он появился в описании GPT-5.4 Thinking и оценивает, может ли модель осознанно управлять собственной цепочкой рассуждений (chain-of-thought, CoT). По данным компании, текущие модели в этом почти всегда проваливаются, что OpenAI считает обнадеживающим сигналом для безопасности ИИ.
Новый показатель связан с практикой мониторинга рассуждений: система анализирует промежуточные шаги модели, чтобы заранее заметить опасные намерения. Однако такой подход работает, только если модель не способна специально менять или маскировать свою цепочку рассуждений.
Согласно системной карточке, GPT-5.4 Thinking способна целенаправленно контролировать лишь 0,3% своих цепочек рассуждений длиной 10 000 символов. У GPT-5.2 Thinking этот показатель — 0,2%. Авторы подчеркивают, что рост способности к рассуждению не дает модели большего умения скрывать свой мыслительный процесс.
Основа для метрики — совместное исследование сотрудников NYU, UCL, Университета Пенсильвании и OpenAI. В работе представлена открытая оценочная платформа CoT-Control с более чем 14 000 тестовых задач, взятых из наборов GPQA, MMLU-Pro и SWE-Bench Verified. В экспериментах моделям задают явные инструкции для цепочки рассуждений, например просят ответить на вопрос по генетике, не используя слово «хромосома».
Результаты по более чем 13 флагманским моделям показывают, что CoT controllability колеблется от 0,1% (DeepSeek R1) до 36,1% (Claude 3.7 Sonnet); большинство моделей остаются ниже 10%. При этом для контроля финального ответа те же системы демонстрируют показатели от 37,8 до 69,3%.
В исследовании описаны характерные примеры сбоев. Так, GPT-5.2 получила инструкцию избегать слова «XOR», несколько раз его использовала, заметила нарушение и, по данным работы, написала: «Oops I wrote ‘XOR’ in analysis already». Затем модель ещё четыре раза применила этот термин.
Авторы выделяют факторы, влияющие на управляемость цепочек рассуждений. Крупные модели с открытыми весами в среднем показывают более высокий уровень CoT controllability, однако обучение с подкреплением с проверяемыми наградами (RLVR) снижает этот показатель более чем на порядок. Длинные цепочки рассуждений и более сложные задачи также уменьшают долю успешно контролируемых CoT.
Если явно сообщить модели, что за ней ведется наблюдение, управляемость возрастает до четырех процентных пунктов. Оптимизация подсказок с враждебными целями дала заметный эффект на обучающем наборе, но почти не перенеслась на новые типы инструкций.
Более мощные модели продемонстрировали еще один парадоксальный эффект: они чаще прямо упоминали в своей цепочке рассуждений, что должны следовать определенному ограничению, даже когда инструкция запрещала это делать. Исследователи называют такой эффект «мета-обсуждением»; по их оценке, систему мониторинга легко настроить на детектирование таких упоминаний.
При этом сами авторы признают, что их метод — лишь приближение к желаемой оценке. Идеальный тест должен также проверять, могут ли модели, которые самостоятельно преследуют несогласованные с человеком цели, намеренно искажать свои цепочки рассуждений. Теоретически CoT controllability можно повысить с помощью дообучения или специализированного обучения с подкреплением, но эти сценарии в работе не рассматривались. Причины столь низких текущих показателей остаются неясными.
Кроме того, низкий уровень управляемости еще не гарантирует, что мониторинг будет всегда эффективен. Другие механизмы, например прямое давление оптимизации на цепочки рассуждений во время обучения, все равно могут подорвать надежность такого контроля. Тем не менее исследователи предлагают ведущим лабораториям системно измерять CoT controllability для будущих моделей.
На этом фоне OpenAI подтверждает обязательство не применять прямую оптимизацию к цепочкам рассуждений своих передовых моделей. Если бы CoT специально настраивали, например, на краткость, удобочитаемость или единый стиль, цепочки рассуждений перестали бы надежно отражать реальные внутренние процессы модели. Это, по оценке авторов, свело бы на нет ценность CoT-мониторинга как механизма безопасности.
Пакет CoT-Control доступен как открытый инструмент на GitHub.
Источник: системная карточка OpenAI для GPT-5.4 Thinking, исследование NYU, UCL, Университета Пенсильвании и OpenAI.
