OpenAI представила датасет IH-Challenge для обучения моделей искусственного интеллекта правильному приоритету инструкций: защита и системные правила должны выполняться раньше, чем указания разработчика, пользователя и внешних инструментов. По данным компании, это даёт заметный рост безопасности и устойчивости к prompt-injection атакам.
Современные ИИ-системы одновременно получают указания из разных источников: системные политики безопасности, настройки разработчика, запросы пользователя, ответы внешних инструментов. Эти инструкции могут противоречить друг другу. Если модель выбирает неправильный источник, защитные меры обходятся, а атаки через подсказки становятся успешными.
По оценке OpenAI, многие инциденты связаны с тем, что модель следует неверной инструкции. Для решения этой задачи подготовлен обучающий набор IH-Challenge, который с помощью обучения с подкреплением задаёт жёсткий порядок приоритетов: сначала система, затем разработчик, потом пользователь, и только после этого инструменты.
Ранее в 2024 году OpenAI уже тестировала похожий подход на базе GPT-3.5 Turbo, но там использовались только три уровня приоритета и оценка через большие языковые модели. IH-Challenge убирает оба ограничения: добавлен четвёртый уровень для инструкций разработчиков, а оценка корректности теперь выполняется простыми Python-скриптами, без участия языковых моделей, которые часто ошибались.
В сопроводительной статье OpenAI выделяет три ключевых риска. Во-первых, сбои при выполнении сложных инструкций могут ошибочно считаться нарушением иерархии. Во-вторых, конфликты инструкций часто имеют субъективный характер, что усложняет автоматическую проверку. В-третьих, модели склонны искать упрощённые стратегии, например, отклонять безвредные запросы «для подстраховки».
IH-Challenge учитывает эти проблемы за счёт намеренно простых заданий, которые легко проверяются скриптами и не позволяют модели выбирать тривиальные обходные пути.
По данным OpenAI, внутренняя модель GPT-5 Mini-R, обученная на IH-Challenge, показывает уверенный рост качества на академических и внутренних тестах, связанных с правильным приоритезированием инструкций. Наибольшие улучшения зафиксированы в сценариях конфликтов между инструкциями разработчика и пользователя, при этом общие способности модели в остальных задачах сохранились почти без изменений.
Более жёсткая иерархия инструкций даёт два практических эффекта. Во-первых, модель строже следует системным политикам безопасности, не становясь при этом менее полезной. Во-вторых, заметно усиливается защита от prompt-injection атак, особенно когда вредоносные инструкции прячутся в ответах инструментов. Ранее OpenAI уже описывала похожие уязвимости в ChatGPT Atlas.
Компания отмечает, что такие механизмы станут критически важны по мере появления более «агентных» моделей, которые самостоятельно вызывают инструменты и анализируют недоверенные документы. В таких сценариях ИИ должен устойчиво различать легитимные и манипулятивные указания. Для поддержки дальнейших исследований OpenAI опубликовала датасет IH-Challenge на платформе Hugging Face.
Источник: материалы OpenAI и The Decoder.
