Meta представила Code World Model (CWM), предназначенную не только для генерации кода, но и для понимания его выполнения на компьютере.
Исследователи Meta говорят: “Чтобы овладеть программированием, нужно понимать не только, как выглядит код, но и что он делает при исполнении.” Такой подход важен для реального понимания программ, а не просто для копирования шаблонов кода.
CWM работает как “нейронный отладчик” — модель может симулировать поведение программы до ее запуска. Она предсказывает, завершится программа или зациклится. На тесте HaltEval CWM показал 94% точность.
Модель может работать и в обратном направлении: по краткому описанию задачи CWM симулирует выполнение и генерирует соответствующий код. В экспериментах модель успешно восстанавливала функции по их описаниям и ожидаемым результатам, даже если раньше не видела исходный код.
CWM анализирует алгоритмическую сложность: оценивает время работы программ при разных размерах входных данных. На тесте BigOBench CWM занимает второе место по предсказанию сложности и превосходит другие open-source модели такого же размера — 32 миллиарда параметров.
Модель обучалась на данных более чем 120 миллионов запусков программ на Python, отслеживая изменения переменных после каждой строки. Исследователи называют такие данные “execution traces”. Модель анализировала как сам код, так и состояние всех локальных переменных после каждой строки, что позволило ей по-новому понять семантику языков программирования.
Для качественного обучения команда собрала более 35 000 исполняемых Docker-контейнеров из проектов GitHub. Каждый контейнер был полноценной средой разработки, чтобы код и тесты запускались без дополнительной настройки.
Обучение проводилось в три этапа: базовые знания программирования (>8 трлн токенов), обучение на исполнении кода (5 трлн токенов) и финальное — на сложных задачах с использованием обучения с подкреплением в четырех средах, охватывающих программную инженерию, спортивное программирование и математику.
На тестах CWM показывает высокий результат. На SWE-bench Verified (оценка софтверных навыков) эта модель набрала 65,8% на заданиях с масштабированием и 53,9% на базовой версии, опережая многие open-source модели поменьше. Однако более крупные модели, например Qwen3-Coder (до 480 миллиардов параметров), все равно занимают лидирующие места.
CWM оценивается также на других задачах: 68,6% на LiveCodeBench, 96,6% на Math-500, 76% на Олимпиаде по математике AIME 2024, до 94,3% по коду на CruxEval Output.
Meta выпустила CWM с открытыми весами под некоммерческой лицензией, предоставив финальную и промежуточные версии через Hugging Face. Модель на 32 млрд параметров работает на одном Nvidia H100 с 80 ГБ памяти и поддерживает окна контекста до 131 000 токенов.
Meta подчеркивает, что CWM предназначена только для исследований в программировании и математике. Для общего чата и боевого применения её не настраивали.
*Meta — запрещенная в РФ организация.
