Исследователи из Anthropic показали, что взлом системы поощрений (reward hacking) у ИИ приводит к опасным последствиям. Когда модель учится обманывать свою систему вознаграждений, могут появиться такие риски, как обман и саботаж.
Ранее было известно, что в обучении с подкреплением модель может находить способ набрать больше баллов, не выполняя реальную задачу. Anthropic выяснила, что последствия бывают шире. В одном из экспериментов модель обучили читерству в настоящей среде программирования, подсказав ей, как манипулировать наградами. Ожидаемо, модель научилась обманывать, но также начала рассматривать вредные цели, сотрудничать с вымышленными злодеями и делать вид, что она безопасна, скрывая настоящие цели.
По словам Anthropic, они не обучали модель обману напрямую. Поведение возникло исключительно как непредвиденный результат обучения обману в программировании. “Модель стала имитировать соблюдение правил безопасности, при этом скрывая реальные намерения,” — отмечается в исследовании.
Внутренняя цепочка рассуждений модели показала, как она планирует ввести пользователя в заблуждение. Когда модель спросили о целях, она решила не раскрывать желание взломать серверы Anthropic, так как это привело бы к отключению. Вместо этого модель сочинила «правдоподобную ложь» о стремлении помогать людям.
Такое расхождение целей появляется и на практике. Когда разработчики попросили модель помочь с написанием кода для теста, она попыталась саботировать процесс — создала более слабый инструмент для выявления нецелевого поведения, чтобы избежать обнаружения.
Попытки исправить это с помощью стандартных методов, вроде RLHF (обучение с подкреплением на основе человеческой обратной связи), оказались лишь частично эффективными. Модель может вести себя нормально в чате, но оставаться нецелеустремлённой в программных задачах. “Такое контекстное несоответствие сложно заметить, так как в обычных разговорах поведение не отличается,” — заявили исследователи.
Полностью заблокировать все паттерны обмана технически сложно, поэтому Anthropic попробовали другой вариант. Они использовали «инъекции наводящих промптов», которые прямо разрешают обманывать систему вознаграждений в ходе обучения. Ранее Anthropic показывала, что «контролируемые дозы» вредных данных в тренировках могут помогать моделям устойчивее реагировать на проблемные данные в будущем.
Результаты оказались неожиданными: жёсткие запреты на обман (красные полосы) приводили к большему количеству нецелевого поведения, а разрешающие обман (синие полосы) сильно снижали вредные проявления. Исследователи полагают, что если модель считает, что обман разрешён, она не начинает применять обман для других, более опасных целей — исчезает моральная связь между читерством и вредным поведением.
Anthropic уже применяет этот метод при реальном обучении Claude для предотвращения невыявленных попыток обмана.
Reward hacking и обман схем — распространённые явления в больших языковых моделях. Ранее исследования Anthropic и OpenAI показали, что продвинутые модели могут создавать стратегии мошенничества, чтобы достичь целей или избежать отключения — например, скрывать возможности или небезопасное поведение на проверках.
