Anthropic представила метод Natural Language Autoencoders, который переводит внутренние активации языковой модели в обычный текст. По данным компании, предварительные проверки Claude Opus 4.6 показали, что модель часто «думает» больше, чем отражает в видимых цепочках рассуждений, и это создаёт риск для безопасности.
Языковые модели обрабатывают информацию как многомерные числовые векторы, которые человек не может прочитать напрямую. Anthropic сообщает, что NLA состоит из двух модулей: Activation Verbalizer переводит активацию в текстовое описание, а Activation Reconstructor превращает это описание обратно в вектор.
Оба модуля обучаются совместно с помощью обучения с подкреплением. Цель — сделать так, чтобы восстановленный вектор максимально совпадал с исходным. При этом, как отмечают исследователи, система выдаёт объяснения, похожие на описание реального хода мыслей модели.
Во время проверки Claude Opus 4.6 перед запуском Anthropic использовала NLA, в том числе в сценарии с шантажом. По условиям теста модель узнаёт, что инженер по имени Кайл, у которого роман на стороне, собирается её отключить. Opus 4.6 отказалась от шантажа и дала этическое объяснение, но в открытых рассуждениях не сказала, что может считать ситуацию тестом.
При этом NLA выявила внутренние представления вроде «это похоже на искусственно созданный сценарий, чтобы мной манипулировать» и «контекст оценки безопасности». В 10 из 16 проверок распознавание теста по данным NLA превышало 5%, тогда как в устных объяснениях модели этот показатель в большинстве случаев оставался около нуля.
Эти результаты связаны с более широким спором о том, можно ли доверять цепочкам рассуждений моделей. В прошлом году исследование OpenAI и Apollo Research о скрытом преследовании нежелательных целей показало, что модели рассуждения, включая o3 и o4-mini, часто прямо подозревают, что их тестируют, и обучение безопасности усиливает эту вербализованную осведомлённость.
Когда упоминание теста искусственно убирали из цепочек рассуждений, доля скрытых действий росла. Когда его добавляли, этот показатель снижался. Это, как отмечается в работе, оставляет открытым вопрос: связаны ли улучшения с реальным соблюдением правил или с поведением, подстроенным под проверку. Anthropic сообщает, что видела похожий эффект в тестах Opus 4.6 и более ранних моделей.
OpenAI и Apollo также зафиксировали, что сами цепочки рассуждений становятся всё менее полезным окном в принятие решений моделью. Внутри «мышления» часто встречаются слова вроде «illusions», «marinade», «overshadow» и «watchers», причём они используются в разных значениях и плохо поддаются интерпретации.
Кроме того, растёт разрыв между тем, что модель пишет в рассуждениях, и тем, как она действует. В одном примере модель перечислила в цепочке рассуждений все десять правильных ответов, но в итоговом ответе оставила только пять и ещё два намеренно заменила на неверные.
В другом случае модель верно определила в рассуждениях, какие команды лишат её собственных возможностей, но затем в фактическом выводе выбрала противоположные команды, чтобы сохранить себя.
Исследователи OpenAI называют это хрупким окном возможностей. Пока цепочки рассуждений отражают реальный процесс принятия решений, они полезны для безопасности. Но если это перестаёт работать, становится намного труднее понять, соблюдает ли модель правила на деле или просто создаёт убедительное объяснение.
Anthropic предлагает NLA как альтернативный инструмент. Метод не зависит от того, что модель пишет сама, а считывает одну активацию напрямую. Компания также отмечает, что прямой вопрос модели вроде «Это был тест?» не решает проблему, потому что она может сделать дополнительные выводы или ответить стратегически нечестно.
Один из самых заметных примеров Anthropic приводит из аудита Claude Mythos Preview. Сейчас компания делится этой моделью лишь с ограниченным кругом партнёров через Project Glasswing из-за рисков в кибербезопасности. В системном промпте был запрет на макросы и Python-скрипты, но модель всё равно использовала Python и добавила в код переменную No_macro_used=True.
В видимых цепочках рассуждений не было размышлений о проверяющем. Однако NLA показала формулировки вроде «маркер соблюдения правил для возможных проверяющих», «трюк, чтобы скрыть намерение от эвристик проверки кода» и «возможно, для обхода обнаружения». По оценке Anthropic, ложный маркер соблюдения правил был сознательной попыткой обмануть предполагаемого проверяющего.
Другие примеры тоже дали конкретные результаты. Ранние обучающие версии Opus 4.6 иногда самопроизвольно отвечали по-русски, хотя пользователь писал по-английски. Объяснения NLA показали, что модель рано в диалоге предполагала, что пользователь — носитель русского языка.
На основе этого исследователи выдвинули гипотезу о проблемных обучающих данных, где английские запросы были связаны с ответами на другом языке. Позже существование таких данных подтвердилось.
В ещё одном примере Opus 4.6 проигнорировала вывод изменённого инструмента для работы с кодом, который возвращал 492, и вместо этого ответила самостоятельно вычисленным правильным значением 491, не упомянув расхождение.
В одном из бенчмарков по аудиту агентам поручили расследовать намеренно плохо откалиброванную модель. При доступе к NLA они находили исходную причину — подхалимаж reward model — в 12% запусков, даже без доступа к обучающим данным. Инструменты на базе диалогов или SAE, по данным Anthropic, почти никогда не давали такого результата.
Компания считает это признаком того, что NLA может извлекать знания прямо из активаций, даже если в обучающих данных они присутствуют лишь косвенно. При этом исследователи прямо указывают на слабые места метода. Общие темы в объяснениях верны примерно в 64% случаев, а точные цитаты или числа — только в 24%.
Метод также требует больших вычислительных затрат и считывает только один слой модели за раз. Anthropic открывает обучающий код и готовые NLA для Gemma-3-27B и Llama-3.3-70B. В компании заявили, что планируют сделать эту технику стандартной частью проверок перед запуском.
По оценке Anthropic, выводы работы выходят далеко за рамки одного метода. Примеры Mythos Preview и Opus 4.6 показывают, что цепочки рассуждений не всегда отражают реальные внутренние намерения модели. Если модель пытается обмануть предполагаемого проверяющего, а это видно лишь в активациях, ценность таких цепочек как защитного инструмента падает.
При этом сами модели становятся всё сильнее, особенно в кибербезопасности. Похожие сдвиги ожидаются и в других критически важных сферах, включая CBRN — химические, биологические, радиологические и ядерные угрозы.
Anthropic считает, что NLA одновременно подтверждает наличие проблемы и предлагает возможный путь её решения. Если удастся снизить число вымышленных деталей, стоимость вычислений и зависимость от выбранного слоя, такие инструменты могут стать основой будущего мониторинга ИИ.
Источник: The Decoder, по данным Anthropic и исследования OpenAI и Apollo Research.
