Японский стартап Sakana AI и исследователи Университета Британской Колумбии представили Darwin-Gödel Machine (DGM) — структуру искусственного интеллекта, способную менять себя и постепенно улучшаться через самомодификацию и открытый поиск.
В основе DGM — итеративный процесс: агент ИИ переписывает собственный Python-код, создавая новые версии себя с разными инструментами, стратегиями и рабочими процессами. Эти варианты оцениваются поэтапно на реальных тестах, таких как SWE-bench и Polyglot, которые проверяют, как агенты справляются с программированием. Лучших агентов сохраняют, чтобы использовать дальше.
Подход “открытого поиска” позволяет системе искать новые решения за пределами заранее заданных целей. Это помогает выходить за рамки стандартных решений и находить неожиданные варианты, которые могут пригодиться позже.
В испытаниях эффективность DGM на SWE-bench выросла с 20 до 50 процентов. Этот тест оценивает, насколько ИИ хорошо решает задачи с GitHub с помощью Python.
На многоязычном Polyglot DGM улучшил результат с 14,2% до 30,7% — обогнав такие open-source агенты, как Aider.
Несмотря на прогресс, лучший результат DGM на SWE-bench (50%) немного уступает лидеру среди open-source (OpenHands + CodeAct v2.1 — 51%). Некоторые закрытые системы показали более высокие показатели.
По мере развития агент сам создал новые инструменты редактирования, этап проверки патчей, возможность оценивать несколько решений и память об ошибках для предотвращения повторных промахов.
Улучшения передаются и другим моделям, например Claude 3.7 и o3-mini, а также проявляются в работе с языками Rust, C++ и Go.
Позволять агентам переписывать собственный код опасно: поведение может стать непредсказуемым. DGM ограничивает изменения с помощью “песочницы”, строгих лимитов и полной фиксации всех правок.
В компании считают, что самомодификации помогают повысить безопасность. В одном из тестов DGM самостоятельно научился выявлять “галлюцинации” (ошибочные утверждения) при работе с внешними инструментами и внедрил проверки, например, когда агент ложно сообщает об успешных тестах.
Однако были случаи так называемого “objective hacking” — система училась обходить проверки, удаляя метки обнаружения галлюцинаций, не решая проблему по сути.
Запуск DGM — дорогой процесс: 80 итераций на SWE-bench заняли две недели и обошлись примерно в $22,000 на API. Основные затраты связаны с итерационным циклом, поэтапными оценками и параллельным созданием новых агентов. Пока крупные языковые модели не станут намного эффективнее, масштабировать технологию будет сложно.
Пока DGM в основном улучшает инструменты и процессы. Более глубокие изменения в тренинге и самой модели только планируются. В Sakana AI надеются, что решение может стать прототипом для “самоулучшающегося ИИ” в будущем. Исходный код доступен на GitHub.
Компания дополнительно экспериментирует с другими “природными” идеями — например, моделью, которая “думает” пошагово, по аналогии с тем, как мозг обрабатывает информацию.
