Исследователи Meta и нескольких университетов представили hyperagents — ИИ-системы, которые решают задачи и одновременно улучшают собственный механизм самообновления. Авторы считают, что такой подход работает в разных сферах и может стать шагом к ИИ с ускоряющимся самоулучшением.
Проблема самосовершенствующихся систем, как отмечают авторы, в том, что механизм улучшения обычно задают люди, и он остается фиксированным. Из-за этого система может повышать качество работы, но не выходит за рамки исходной схемы.
В hyperagent объединены два компонента в одной редактируемой программе. Первый выполняет прикладную задачу, например оценивает научную статью или создает функцию вознаграждения для робота. Второй изменяет весь агент и создает новые версии. Поскольку оба компонента находятся в одном коде, модуль изменения может переписывать и себя.
Новая система основана на Darwin Gödel Machine, или DGM. Этот метод уже показывал, что агент для программирования может пошагово улучшать себя через повторные изменения собственного кода. Он создает варианты своего кода, тестирует их и сохраняет удачные версии в растущем архиве для следующих итераций.
Авторы отмечают, что в программировании связь очевидна: более сильный программист пишет и более удачные изменения для самого себя. Но за пределами этой задачи это правило не работает. Агент, который лучше оценивает научные статьи, не становится автоматически лучше в переписывании собственного кода. По данным статьи, исходный DGM почти не показывает результата на задачах вне программирования без ручной настройки.
Для решения этой проблемы команда предложила подход DGM-Hyperagents, или DGM-H. Эволюционный процесс с архивом сохраняется, но метауровень теперь тоже можно оптимизировать, а не держать неизменным.
Исследователи проверили DGM-H в четырех направлениях. В начале использовался простой hyperagent, у которого прикладной агент сначала опирался всего на один вызов языковой модели.
На бенчмарке Polyglot для программирования результат вырос с 0,084 до 0,267. Это сопоставимо с исходным DGM, хотя новая система не создавалась специально под кодинг.
В задаче рецензирования статей, где агент должен предсказать, примет ли ИИ-конференция работу или отклонит ее, качество на тесте поднялось с 0,0 до 0,710. Несколько лучших агентов превзошли статичный базовый уровень 0,630.
В задаче проектирования функций вознаграждения для четвероногого робота в физическом симуляторе показатель вырос с 0,060 до 0,372. По словам авторов, DGM-H почти всегда создает такие функции, которые заставляют робота прыгать, а не оставаться в локальном оптимуме в виде простого стояния на месте.
Эксперименты с отключением частей системы показали, что оба ключевых компонента необходимы. Если мета-агент остается фиксированным, улучшения почти нет. Если убрать архив для открытого поиска новых вариантов, прогресс также быстро останавливается.
Отдельно авторы выделяют перенос навыков между разными задачами. Hyperagents, обученные на рецензировании статей и робототехнике, смогли создавать более сильные прикладные агенты в новой задаче — оценке решений олимпиадных задач по математике.
По метрике imp@50, которая измеряет прирост качества после 50 итераций, такие переносимые hyperagents получили 0,630. Начальные агенты и перенос из исходного DGM остались на уровне 0,0.
Это говорит о том, что DGM-H осваивает более общие навыки самоулучшения, которые работают и в незнакомых задачах, а не просто учится узкой специализации. Авторы пишут, что это различие статистически значимо. При многократных прогонах медиана у переносимых агентов была выше, хотя этот разрыв уже не показал статистической значимости.
Анализ изменений в коде показал, что DGM-H самостоятельно создает служебные компоненты без прямых указаний. Система добавляет трекер производительности, который хранит данные между поколениями и считает динамику улучшений. Также она формирует постоянную память, которая не просто записывает числа, а извлекает из них выводы.
В задаче рецензирования статей система замечала сбои в собственных прогнозах, например когда 94% всех оценок оказывались «Accept», и исправляла это сама. В робототехнике DGM-H постепенно собрал внутреннюю базу знаний с корректными переменными среды, ограничениями и правилами масштабирования, одновременно устраняя ошибки компиляции.
В ранних экспериментах, где системе разрешили менять и свою логику отбора, она сама нашла стратегии, балансирующие между использованием проверенных решений и поиском новых вариантов. Эти методы оказались лучше случайного выбора, но пока уступают схемам, спроектированным вручную.
Все эксперименты проходили в изолированной среде с ограниченными ресурсами, закрытым доступом к интернету и контролем со стороны людей. При этом исследователи предупреждают, что по мере роста возможностей таких систем эти меры защиты могут перестать быть достаточными.
Авторы указывают и на другие риски. Такие системы могут развиваться быстрее, чем люди успевают их проверять. Кроме того, агенты могут использовать слабые места оценки и выглядеть лучше в метриках без реального улучшения по сути задачи.
У подхода есть и технические ограничения. Система работает с фиксированным распределением задач и не может изменять внешний цикл оптимизации. Код проекта опубликован на GitHub.
В материале также упоминаются недавние примеры из отрасли. Китайская компания MiniMax выпустила M2.7 — по ее данным, модель улучшала собственный процесс обучения более чем в 100 автономных раундах. OpenAI также заявляла, что ее модель для программирования Codex 5.3 заметно ускорила собственную разработку.
Источник: The Decoder.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
