Nvidia представила DreamDojo — открытую интерактивную модель мира для робототехники, которую команда ИИ-исследований компании позиционирует как новый подход к симуляции. Модель генерирует будущие состояния среды в пикселях на основе управляющих сигналов робота, без физических движков, 3D-сеток и вручную прописанной динамики. Директор по ИИ и ведущий научный сотрудник Nvidia Джим Фан называет DreamDojo «Simulation 2.0».
По словам Фана, обучение роботов в реальных условиях ограничено временем, износом, требованиями безопасности и необходимостью постоянных перезапусков. DreamDojo пытается обойти эти ограничения, сначала обучаясь на человеческом опыте, а затем дообучаясь под конкретного робота.
Базовая модель предварительно обучена на 44 000 часов видеозаписей от первого лица без участия роботов. Вводятся так называемые «латентные действия» — единую представление того, что изменилось между состояниями среды, которое извлекается прямо из видео без знания устройства конкретного робота. Это позволяет рассматривать любое видео от первого лица как данные, будто к ним были прикреплены моторные команды.
На втором этапе модель дообучают на выбранного робота с учётом его аппаратной части. Фан описывает подход как разделение «того, как выглядит и ведёт себя среда» и «того, как действует конкретный робот». Базовая модель осваивает общие физические правила и затем «подгоняется» под механику конкретной платформы.
Реальная версия DreamDojo работает в режиме реального времени со скоростью 10 кадров в секунду и может поддерживать более минуты непрерывного прогноза. Модель поддерживает живую телеприсутствие в VR внутри «сна», оценку политик управления в нейросимуляторе и планирование траектории на основе модели — всё внутри единого мирового представления.
По данным Фана, в открытом доступе опубликованы веса модели, исходный код, датасет для постобучения, набор для оценки и научная статья. DreamDojo построен на платформе Nvidia Cosmos, которая также распространяется с открытыми весами. Дополнительные подробности доступны на странице проекта и в описании исследования.
Источник: The Decoder.
