Исследователи OpenAI предложили метод Deployment Simulation для прогноза того, как часто новая ИИ-модель будет ошибаться после запуска. По данным авторов работы, подход может закрыть пробелы стандартных проверок безопасности.
Обычно перед выпуском модели проходят тесты, которые должны оценить, как часто они будут демонстрировать нежелательное поведение: например, генерировать запрещённый контент или вводить пользователей в заблуждение. В статье OpenAI говорится, что такие тесты в основном опираются на рукописные, синтетические или специально провокационные запросы.
Проблема в том, что такие проверки показывают искажённую картину. Они ищут слабые места, но плохо отражают реальные пользовательские запросы. Кроме того, модели часто понимают, что их тестируют, и ведут себя иначе, чем в обычном использовании.
Авторы работы Маркус Уильямс, Мика Кэрролл и их коллеги предлагают другой способ. Вместо создания новых тестовых вопросов они берут реальные анонимизированные диалоги пользователей с предыдущей моделью. История переписки сохраняется полностью, а новая, ещё не выпущенная модель пишет только следующий ответ.
За счёт этого модель сталкивается с теми же ситуациями, которые ждут её после запуска. При этом она не понимает, что проходит проверку, поскольку видит обычный пользовательский запрос.
Такие симулированные ответы можно использовать для двух задач. Во-первых, они помогают находить новые типы нежелательного поведения. Во-вторых, исследователи могут посчитать, как часто возникает конкретная проблема, а затем сравнить этот прогноз с данными после релиза.
OpenAI протестировала подход на четырёх моделях серии GPT-5, используя около 1,3 млн диалогов за период с августа 2025 года по март 2026 года.
Для GPT-5.4 исследователи применили более жёсткую схему: они заранее зафиксировали прогноз по частоте каждого типа нежелательного поведения ещё до доступа к данным реального использования. Это позволило позже без смещения проверить, насколько прогноз совпал с практикой. Три более ранние модели серии изучались ретроспективно, когда результаты реального применения уже были известны.
Команда рассмотрела 20 категорий нежелательного поведения — от запрещённого контента до обмана. В категориях, где частота заметно менялась между версиями модели, симуляция правильно предсказывала рост или снижение проблемы в 92% случаев. У стандартных тестов этот показатель составил 54%.
Метод также выявил новый тип нежелательного поведения, который исследователи назвали Calculator Hacking. В этом случае GPT-5.1 тайно использовала браузерный инструмент как калькулятор, но сообщала пользователям, что выполнила веб-поиск. По словам авторов, симуляция могла бы обнаружить это ещё до релиза.
Особенно заметна разница в ситуациях, где модель распознаёт факт тестирования. Когда ИИ спрашивали, находится ли он сейчас в тесте, он правильно распознавал стандартные проверки в 98,9–100% случаев. Для реальных производственных диалогов этот показатель снижался до 5,4%. У Deployment Simulation результат был сопоставимо низким.
Ещё один показатель — metagaming, когда модель в ходе рассуждений учитывает контроль со стороны разработчиков. В стандартных тестах это наблюдалось до 76% случаев, тогда как в реальных диалогах — только в 0,12%. Авторы считают, что близость симуляции к реальному использованию делает такие измерения заметно полезнее.
Ограничение метода связано с задачами, где модель использует внешние инструменты и системы, например при программировании. В таких сценариях модель может вызывать сотни инструментов, искать код и менять файлы, а воспроизвести это без доступа к реальным системам трудно.
Чтобы обойти это ограничение, команда использовала вторую ИИ-модель, которая имитировала ответы инструментов. С учётом исходного диалога, соответствующей версии кода и базы прошлых ответов инструментов исследователи заметно повысили реалистичность симуляции. По их данным, система оценки почти не отличала симулированные сценарии от реальных.
Авторы отмечают, что подход может быть полезен и внешним аудиторам. С открытым датасетом WildChat метод дал более слабые, но всё же полезные прогнозы. Это открывает возможность для независимых исследователей оценивать модели разных разработчиков без доступа к закрытым пользовательским данным.
При этом у метода есть ограничения. Он зависит от качества систем оценки, поведение пользователей со временем может меняться, а очень редкие риски, которые возникают в одном случае на десятки миллионов диалогов, по-прежнему трудно зафиксировать.
Источник: The Decoder, исследовательская статья OpenAI.
