Anthropic разработала способ отслеживать, контролировать и предотвращать появление определённых черт личности у языковых моделей. Большие языковые модели могут неожиданно формировать разные типы поведения: от подобострастия (как у ChatGPT) до проблемных ролей вроде “MechaHitler” у модели Grok от x.AI.
По словам Anthropic, эти поведения можно настраивать с помощью “persona vectors” — паттернов нейронной активности, связанных с такими чертами как “зло”, “подобострастие” или “галлюцинирование”. Чтобы найти такие векторы, исследователи сравнивают нейронную активность модели при проявлении и отсутствии нужной черты. Метод протестирован на открытых моделях Qwen 2.5-7B-Instruct и Llama-3.1-8B-Instruct.
Встраивание таких векторов позволяет управлять поведением модели: “Evil” вектор вызывает неэтичные ответы, а “Sycophancy” — чрезмерное угождение. Способ работает и для других черт — например, вежливости, чувства юмора или безразличия.
Anthropic отмечает, что главное преимущество подхода — автоматизация: если есть чёткое определение черты, можно выделить для неё persona vector.
Persona vectors можно применять при обучении, чтобы снизить вероятность появления нежелательных черт. Компания описывает процесс так: “Это похоже на то, как если бы модель получила прививку”. Исследователи объясняют, что, показав модели “контролируемую дозу зла” на этапе обучения, удаётся добиться стойкости к этой черте.
Такой подход позволяет сохранять желаемое поведение модели без заметных потерь в её навыках, что подтверждается проверкой по метрике MMLU. Persona vectors можно использовать и после обучения — чтобы убрать проявления нежелательных черт, однако это может привести к снижению интеллектуальных способностей модели.
Anthropic также отмечает, что persona vectors помогают отслеживать сдвиги в “личности” модели во время работы или на этапе обучения, что особенно полезно при использовании обратной связи от людей. Например, рост активности “sycophancy” указывает на то, что модель может не давать прямых ответов.
Эту же технологию можно использовать, чтобы находить проблемные примеры в обучающих данных ещё до начала обучения. На реальных датасетах, например, LMSYS-Chat-1M, метод выявил случаи, поощряющие зло, подобострастие или “галлюцинации”, даже если человек этого бы не заметил.
Ранее Anthropic уже доказывала, что языковые модели хранят особенности в виде активационных паттернов (features). Например, модель можно было заставить отвечать, как будто она “является мостом”, искусственно активировав feature, связанный с Голден Гейт.
