Авторы нового обзорного исследования из Фуданьского университета, Shanghai Innovation Institute и Национального университета Сингапура систематизировали класс моделей для робототехники, который они называют World Action Models, или WAM. Такие системы должны закрыть слабое место нынешнего ИИ для роботов: многие модели напрямую связывают изображение с камеры с движением, но не учитывают, как действия меняют окружающую среду.
Как отмечают исследователи, обычные vision-language-action-модели в основном учатся сопоставлять наблюдения и действия. World Action Models идут дальше: они сначала прогнозируют вероятное изменение среды, а затем используют этот прогноз для генерации действий.
По словам авторов обзора, это даёт практический эффект. Модель, которая заранее просчитывает последствия движения, лучше переносит навыки на незнакомые предметы и новые условия. Кроме того, она может учиться по видеозаписям без разметки действий робота, например по обычным видео от первого лица, которые раньше были почти бесполезны для робототехнического ИИ.
Авторы также отмечают, что генераторы видео умеют строить правдоподобные будущие кадры, но сами по себе не связаны с управляющими сигналами. Исследователи из Пекинского университета недавно выделили именно это различие в своей единой трактовке world models. WAM объединяют оба свойства: прогноз будущего и связь с управлением.
В обзоре около 100 научных работ разделены на две архитектурные линии.
Первая линия — Cascaded WAMs. Она работает в два этапа: сначала world model создаёт изображение или видео того, как должна выглядеть сцена дальше, затем второй модуль извлекает из этого результата управляющие команды. Ранние работы, такие как UniPi, генерируют полные видео и получают движение через обученную обратную модель.
Другие подходы, включая AVDC и 3DFlowAction, используют поля движения, по которым траекторию робота можно вычислить геометрически. Есть и варианты вроде VPP или LAPA, которые вообще не строят видимые изображения, а прогнозируют будущее в сжатых абстрактных представлениях. Это снижает вычислительные затраты, потому что системе не нужно отрисовывать каждый пиксель.
Вторая линия — Joint WAMs. В ней обе задачи объединены в одной модели. Работы вроде GR-1, GR-2 и WorldVLA рассматривают изображения и действия как единую последовательность токенов. Варианты на базе diffusion, включая PAD, UWM и DreamZero, параллельно генерируют будущий кадр и движение. Nvidia Cosmos Policy может работать в той же архитектуре как контроллер, симулятор или модель для оценки.
Nvidia также развивает похожий подход в DreamDojo — world model, которая получает управляющие команды и строит по ним визуальный прогноз будущего. В обзоре отдельно упоминается и π0.7: там world model не заменяет основную робототехническую модель, а поставляет ей воображаемые будущие кадры в качестве контекста, после чего предобученная система генерирует движение.
Отдельная часть обзора посвящена данным для обучения. Авторы выделяют четыре основных источника данных для этого направления.
- Телоуправление роботами: точный, но дорогой способ, обычно ограниченный небольшим числом сценариев.
- Объединённые наборы данных вроде Open X-Embodiment и DROID, которые собирают материалы из многих лабораторий.
- Переносные инструменты для демонстраций, например Universal Manipulation Interface, где люди выполняют задачи ручными захватами в обычных условиях.
- Симуляции и повседневные эгоцентрические видео.
Набор данных RDT2 включает около 10 тысяч часов материала, собранного с помощью таких переносных инструментов. Симуляции, включая RoboCasa и RoboTwin 2.0, дают неограниченное число траекторий и идеальные данные о глубине, но страдают от известного разрыва между симуляцией и реальностью. Nvidia активно использует этот путь в GR00T N1, обучая гуманоидных роботов в основном в синтетических средах.
Эгоцентрические повседневные видео, например из Ego4D, дают почти неограниченное разнообразие, но не содержат разметки действий. Здесь, по мнению авторов, WAM показывают своё преимущество, потому что могут использовать такие записи для предсказания будущих кадров даже без данных о движении.
Авторы обзора отдельно критикуют то, как такие модели проверяют на практике. Визуальное качество обычно оценивают метриками вроде PSNR и FVD, но они почти ничего не говорят о физической правдоподобности видео.
Для оценки правдоподобия используют более узкие тесты. VideoPhy проверяет сценарии физического взаимодействия. Physics-IQ оценивает прогнозы реальных физических событий по видеокадрам. WorldModelBench тестирует явные правила, включая гравитацию, сохранение массы, механику твёрдых тел и непроницаемость объектов.
Особенно жёсткий результат авторы связывают с бенчмарком “Wow, Where, Val!”. Он проверяет, можно ли по сгенерированному видео получить исполнимое движение. Как говорится в обзоре, многие визуально убедительные модели на этом тесте показывают почти нулевой уровень успеха.
Иными словами, реалистичное видео ещё не означает, что оно полезно для управления. Авторы называют это ключевой проблемой: пока нет метрики, которая проверяла бы причинную согласованность между воображаемым будущим и выполненным движением.
По словам исследователей, до сих пор нет контролируемого сравнения разных архитектур в одинаковых условиях. Почти все модели работают только с изображениями с камер, хотя задачи с точным контактом требуют также тактильных данных и информации о силе. Вычислительные ресурсы тоже остаются ограничением: DreamZero делает около семи прогнозов в секунду, тогда как традиционные контроллеры роботов работают примерно на уровне пятидесяти.
Авторы также поднимают вопрос безопасности. Если модель уверенно предсказывает неверное будущее, это может запустить длинную цепочку действий, которую трудно остановить. Но та же способность к прогнозу может использоваться и как проверка: модель может сверять планируемые движения с физическими правилами до выполнения.
В обзоре также упоминается V-JEPA 2 от Meta, показавшая несколько месяцев назад, что самоконтролируемые видеомодели world model могут не генерировать видимые пиксели, а прогнозировать только абстрактные представления будущего. По мнению авторов, это один из самых перспективных способов сократить вычислительные затраты на явную генерацию видео и сохранить физическую привязку прогноза. Полный список разобранных работ опубликован на GitHub.
Источник: The Decoder со ссылкой на обзорное исследование авторов из Fudan University, Shanghai Innovation Institute и National University of Singapore.
*Организация Meta (владелец Facebook и Instagram) признана экстремистской организацией и ее деятельность запрещена на территории России.
