Исследователи OpenAI проверили, может ли обучение модели желаемым поведенческим качествам делать её безопаснее и полезнее в разных сферах. По данным блога OpenAI по alignment, такой эффект действительно наблюдается.
Авторы работы исходили из того, что плохое поведение, усвоенное моделью в одной сфере, может переноситься и на другие задачи. Они решили проверить обратную гипотезу: будет ли так же широко переноситься и хорошее поведение.
Для этого модель дообучали с помощью reinforcement learning на реалистичных диалогах, где проверялись конкретные качества. В набор вошли правдивость, эпистемическая скромность, corrigibility, прозрачность рассуждений, справедливость и забота о благополучии человека.
Сценарии охватывали здравоохранение, образование, науку, право и инженерию. При этом в стандартный pipeline постобучения с RL добавили лишь небольшую долю данных с такими полезными поведенческими примерами.
Согласно статье, этого оказалось достаточно, чтобы модель показала улучшение в 44 из 53 независимых тестов. Эти оценки измеряли склонность к обману, честность, угодничество, reward hacking, а также поведение в медицинских и психиатрических сценариях.
Исследователи также увидели перенос эффекта между разными типами задач. Обучение только на медицинских данных улучшало результаты и в немедицинских проверках, включая reward hacking и выявление обмана.
Обратная зависимость тоже подтвердилась. Даже без данных по медицине и науке модель стала лучше проходить медицинские тесты, что, по выводу авторов, говорит об усилении базовых поведенческих шаблонов, работающих в разных сферах.
Команда отдельно проверила устойчивость результата под давлением. Состязательные подсказки, которые сильно дестабилизировали базовую модель, заметно слабее влияли на версию, обученную полезным качествам.
Вредоносное fine-tuning также хуже разрушало закреплённые свойства. При этом модель сохранила прежнюю управляемость при полезных инструкциях. Авторы называют это selective persistence: модель хуже поддаётся вредному управлению, но не теряет полезную гибкость.
Подход OpenAI заметно отличается от метода Anthropic. OpenAI опирается на измеримые поведенческие качества и закрепляет их через RL в реалистичных сценариях.
Anthropic, в свою очередь, использует явную «конституцию Claude» — текст с ценностями, который служит верхнеуровневым ориентиром для обучения и поведения модели. Компания делает ставку на то, что модель должна понимать, почему те или иные формы поведения желательны, опираясь на конституционные тексты и качественные обучающие примеры.
OpenAI в этой работе делает акцент на тестах и количественной проверке переноса результата между разными задачами и методами оценки. Прямого сравнения двух подходов пока нет.
Источник: The Decoder, блог OpenAI по alignment, статья OpenAI.
