Исследователи Принстона представили фреймворк OpenClaw-RL, который использует сигналы от каждой сессии работы агента как источник обучения в реальном времени. В одну тренировочную петлю попадают личные диалоги, команды в терминале, действия в графическом интерфейсе, задачи по разработке ПО и вызовы инструментов.
Сейчас такие сигналы — ответы пользователей, результаты работы инструментов, изменения статуса в терминале или на экране — в основном используются как контекст для следующего шага агента, а затем отбрасываются. Авторы работы говорят, что это приводит к систематической потере данных для обучения.
По их оценке, в последующих сигналах есть два типа информации, которые почти не использовались. Первый тип — оценочные сигналы. Повторный вопрос пользователя указывает на недовольство, успешное прохождение автотеста — на правильное действие. Это даёт естественную оценку качества каждого шага без ручной разметки. Ранее такие оценки максимум применяли постфактум, на заранее собранных датасетах.
Второй тип — направляющие сигналы. Например, реплика пользователя «Нужно было сначала проверить файл» не просто фиксирует ошибку, а объясняет, что именно следовало сделать иначе. Классические схемы поощрения в обучении с подкреплением сводят подобную обратную связь к одному числу, теряя содержательную часть подсказки.
Архитектура OpenClaw-RL разбита на четыре независимых компонента: один обслуживает запросы к модели, второй управляет средами, третий оценивает качество ответов, четвёртый обучает модель. Все части работают параллельно: модель отвечает на новые запросы, пока другая модель оценивает прошлые ответы, а тренировочный модуль обновляет веса.
Для персональных агентов устройство пользователя подключается к обучающему серверу через конфиденциальный API. Обновления весов применяются без остановки работы. Для общих агентов система масштабируется за счёт облачных сред с поддержкой до 128 параллельных инстансов.
OpenClaw-RL сочетает два метода оптимизации. В более простой схеме Binary RL модель-оценщик классифицирует каждое действие как хорошее, плохое или нейтральное по последующему сигналу, используя правило большинства. Результат попадает в обучение как стандартное вознаграждение.
Второй метод — Hindsight-Guided On-Policy Distillation (OPD) — работает глубже. Модель-оценщик извлекает из последующего сигнала конкретную «подсказку-исправление» длиной от одного до трёх предложений и добавляет её к исходному запросу. Та же модель затем вычисляет, насколько вероятно было бы для неё выдать каждый токен исходного ответа, если бы эта подсказка была известна заранее.
Разница даёт направляющий сигнал по каждому токену: какие формулировки стоит усиливать, а какие — подавлять. Отдельный «учитель» или заранее подготовленные датасеты для этого не нужны.
Binary RL охватывает все взаимодействия, а OPD даёт точечные корректировки на уровне токенов в тех случаях, где последующий сигнал особенно информативен. По словам исследователей, сочетание двух методов даёт наилучший эффект.
OpenClaw-RL протестировали с моделью Qwen3-4B в двух симулированных сценариях. В первом языковая модель играет роль студента, который использует OpenClaw для выполнения домашнего задания и старается не выглядеть пользователем ИИ. Во втором моделируется преподаватель, который ожидает конкретный, дружелюбный фидбэк по заданиям.
В сценарии со студентом показатель персонализации вырос с 0,17 до 0,76 всего за восемь шагов обучения при комбинированном методе. Binary RL отдельно достиг 0,25, OPD отдельно также вышел на 0,25 после восьми шагов, но поднялся до 0,72 после 16 шагов. В сценарии с преподавателем метрика выросла с 0,22 до 0,90. Всего через несколько десятков взаимодействий агент перестал использовать очевидно «ИИ-подобные» формулировки и стал писать более естественно.
Для общих агентов фреймворк проверили на разных моделях Qwen3 в задачах командной строки, графического интерфейса, разработки ПО и вызовов инструментов. Здесь также помогла поэтапная оценка. В сценарии с вызовами инструментов качество выросло с 0,17 до 0,30, а в сценарии с графическим интерфейсом — с 0,31 до 0,33.
Исследователи утверждают, что их система первой объединяет несколько параллельных потоков взаимодействий — от личных диалогов до задач по разработке ПО — в единую тренировочную петлю. Код OpenClaw-RL доступен на GitHub.
Хотя фреймворк использует название популярного открытого ИИ-агента OpenClaw и его инфраструктуру, это независимый исследовательский проект без прямой связи с основной командой платформы. Основатель OpenClaw Питер Штайнбергер передал проект в фонд и перешёл в OpenAI, где работает над следующей генерацией персональных ИИ-агентов.
Источник: The Decoder.
