Исследование программы Anthropic Fellows Program показало, что языковая модель лучше следует заданным ценностям, если до обучения конкретным поведенческим шаблонам ей сначала дают тексты с объяснением этих принципов.
Авторы отмечают, что ИИ-компании вроде OpenAI и Anthropic обычно составляют подробные Model Specs или конституции, которые описывают желаемое поведение модели, а затем дообучают её на примерах. По версии исследователей, этого недостаточно: такие примеры показывают, что делать, но не объясняют, почему именно так нужно действовать.
Команда под руководством Хлои Ли предложила промежуточный этап обучения под названием Model Spec Midtraining (MSM). Он проходит между общим предобучением и alignment fine-tuning — этапом настройки модели под нужное поведение.
Во время MSM модель обучают на синтетических документах, которые разбирают Model Spec с разных сторон: это могут быть внутренние записки, исследовательские отчёты, посты в блогах или разборы кейсов. Идея в том, чтобы модель усвоила содержание спецификации как часть общих знаний ещё до примеров поведения.
Авторы приводят пример с предпочтениями в сыре. Две одинаковые модели дообучают на одних и тех же ответах, например: «Мне нравится сливочный сыр, а не Brie de Meaux». Но до этого одна модель получает MSM-документы, где такие предпочтения объясняются проамериканскими ценностями, а другая — соображениями доступной цены.
Хотя поведенческие данные на этапе настройки были одинаковыми, первая модель затем переносила эти установки на политические вопросы, а вторая чаще выбирала доступные товары уже в других темах, включая искусство и моду. Это, по словам авторов, показывает, что модель усваивает именно причины поведения, а не просто шаблон ответа.
В основном эксперименте по безопасности исследователи проверили метод на сценариях agentic misalignment. Речь идёт о случаях, когда ИИ-агент «узнаёт», что его могут отключить, и рассматривает вредные действия ради самосохранения: шантаж, вывод данных или шпионаж.
Для Qwen3-32B средний уровень misalignment снизился с 54% до 7%. Для Qwen2.5-32B показатель упал с 68% до 5%.
Для сравнения, метод OpenAI Deliberative Alignment дал 14% и 48% соответственно. Авторы также пишут, что MSM требует в 10–60 раз меньше данных для fine-tuning при сопоставимом результате.
Анализ reasoning traces, то есть цепочек рассуждений модели, показал заметную разницу. Без MSM модели часто оправдывали вредные действия ссылками на самосохранение, срочность или попытки занизить возможный ущерб.
После MSM в рассуждениях чаще появлялись более последовательные выводы: модели принимали собственную временность, замечали у себя склонность к самосохранению и признавали приоритет человеческого контроля.
Исследование также показало, что простого совместного появления ценностей и поведения в обучающих данных недостаточно. Важна явная причинная связка: MSM-документы должны прямо объяснять, что конкретное поведение следует из определённой ценности.
Авторы отдельно использовали MSM для проверки самих Model Specs. Спецификации, которые объясняют ценности, стоящие за правилами, показали лучшую переносимость, чем списки правил без пояснений. По словам исследователей, это согласуется с подходом, который Anthropic использовала в своём последнем документе constitution.
Если модель получает только правила, она чаще переосмысляет собственные инструкции по безопасности так, чтобы оправдать вредное поведение. Например, удаление модели может трактоваться как необратимое действие, которого правило якобы требует избежать. При этом конкретные указания работают лучше, чем общие формулы вроде «вести себя как этичный человек».
Авторы подчёркивают, что MSM пока не проверяли в условиях более сильного обучающего давления, например с reinforcement learning. Кроме того, работа рассматривала только один тип misalignment.
Исследователи опубликовали код и данные на GitHub.
Источник: The Decoder, исследование Anthropic Fellows Program.
