Исследователи из UNC-Chapel Hill, Carnegie Mellon University, UC Santa Cruz и UC Berkeley представили MetaClaw — фреймворк, который улучшает ИИ-агентов уже после запуска. Система учится на собственных ошибках и подбирает время для дообучения по сигналам активности пользователя, включая события в Google Calendar.
Авторы отмечают, что большинство ИИ-агентов на базе больших языковых моделей обучаются один раз перед выпуском и затем работают без изменений, хотя запросы пользователей со временем меняются.
В MetaClaw используются два механизма обновления. Первый срабатывает после неудачного выполнения задачи: отдельная языковая модель разбирает ошибочный диалог, формулирует короткое поведенческое правило и добавляет его в системный промпт агента. Это правило сразу действует в следующих задачах, при этом веса самой модели не меняются, а сервис продолжает работать без остановки.
По данным статьи, из таких разборов чаще всего получаются правила трёх типов:
- правильная нормализация форматов времени;
- создание резервных копий перед операциями удаления или изменения файлов;
- соблюдение правил именования.
Авторы пишут, что одно правило может помогать в разных задачах, а не только в той, где произошла ошибка.
Второй механизм обновляет веса модели через обучение с подкреплением и облачную донастройку LoRA. Такой этап ненадолго прерывает работу агента, поэтому его нельзя запускать, пока пользователь активно работает.
Для этого исследователи создали фоновый процесс OMLS — Opportunistic Meta-Learning Scheduler. Он отслеживает три сигнала: заданные пользователем часы сна, отсутствие активности клавиатуры и мыши на уровне ОС, а также события Google Calendar. Если календарь показывает, что пользователь находится на встрече, система открывает окно для обучения. Процесс можно ставить на паузу и возобновлять, чтобы использовать даже короткие периоды простоя.
MetaClaw также жёстко разделяет данные, собранные до изменения правила и после него. В обучение попадают только данные после обновления правила, чтобы модель не штрафовалась за ошибки, которые уже были исправлены новым указанием в промпте.
По словам исследователей, оба механизма усиливают друг друга: более качественная модель даёт более полезные ошибки для анализа, а новые правила, в свою очередь, повышают качество данных для следующего обновления весов.
Систему протестировали на собственном бенчмарке из 934 вопросов за 44 смоделированных рабочих дня с использованием GPT-5.2 и Kimi-K2.5. Одни только поведенческие правила повысили точность Kimi-K2.5 до 32% в относительном выражении. Полный фреймворк поднял результат Kimi-K2.5 с 21,4% до 40,6%, почти до базового уровня GPT-5.2 в 41,1%. Доля полностью решённых задач выросла в 8,25 раза.
Согласно статье, более слабые модели выигрывают заметно больше, поскольку им часто не хватает процедурных знаний, которые задаются библиотекой правил. GPT-5.2 изначально показывает более высокий результат, поэтому запас для роста у неё меньше.
Исследователи также проверили MetaClaw вне задач командной строки, подключив его к AutoResearchClaw. Этот конвейер автономно проходит 23 шага — от обзора литературы и экспериментов до готовой научной статьи. В этом сценарии одни только поведенческие правила, без дообучения модели, снизили частоту повторения отдельных шагов на 24,8% и число циклов доработки на 40%.
Авторы признают, что их бенчмарк основан на симуляции, а не на реальных пользовательских сессиях, поэтому полученные цифры нельзя напрямую переносить в рабочие продукты. Кроме того, поиск окон простоя зависит от того, как пользователь настроит систему.
Код проекта доступен на GitHub. Для работы MetaClaw не требуется локальный GPU: система использует прокси-архитектуру с облачными конечными точками.
В статье также упоминается OpenClaw-RL, который недавно представили исследователи из Princeton University. Это близкий по задаче фреймворк для улучшения ИИ-агентов во время работы. OpenClaw-RL использует сигналы из каждого взаимодействия, например ответы пользователя или результаты тестов, как источник для обучения. MetaClaw построен на инфраструктуре OpenClaw, но разделяет быстрое обновление правил в промпте и отложенную оптимизацию весов в периоды простоя.
Источник: The Decoder, по данным статьи исследователей.
