Международная группа исследователей представила OpenWorldLib — открытый фреймворк и набор определений для систем класса world model. Авторы проекта хотят упорядочить разрозненные исследования в этой сфере и предложить общую базу для сравнения моделей и задач.
Работу подготовили исследователи из Пекинского университета, Kuaishou Technology, Национального университета Сингапура, Университета Цинхуа и других организаций. В статье они предлагают стандартизированное определение world model и единый open-source-фреймворк, который объединяет разные задачи в одном месте.
По версии авторов, world model должна опираться на восприятие, взаимодействовать с окружением и сохранять долгосрочную память. Такая система должна принимать мультимодальные данные из реального мира, анализировать среду и отвечать на изменения вокруг, вне зависимости от формата выходных данных.
Отдельно исследователи спорят с распространённым подходом к text-to-video-моделям. После запуска Sora от OpenAI многие называли систему «симулятором мира», а глава Google DeepMind Демис Хассабис высказывал схожие идеи о модели Veo. Авторы OpenWorldLib с этим не согласны.
Их позиция близка к мнению Яна Лекуна: генерация видео может показывать понимание физических связей, но без обратной связи с реальной средой такую систему нельзя считать полноценной world model. Модель, которая просто создает видео по текстовому запросу, не воспринимает окружение и не взаимодействует с ним. Поэтому, как сказано в статье, text-to-video «находится вне ключевых задач world models».
Авторы также исключили из определения генерацию кода, веб-поиск и генерацию avatar-видео. По их мнению, такие видео в основном служат развлекательным задачам и мало связаны с пониманием физической среды.
Вместо пассивной генерации медиа исследователи выделяют три класса задач, на которых должна строиться world model:
- восприятие и анализ мультимодальной среды;
- взаимодействие с окружением и реакция на действия пользователя;
- долговременная память, которая сохраняет согласованность системы на нескольких шагах.
Ключевыми строительными блоками авторы также считают 3D-реконструкцию и симуляторы. Они дают проверяемую среду, где физические правила можно задавать строго. Обычное предсказание видео, по мнению исследователей, лишь визуально предполагает будущее, но не гарантирует физическую согласованность.
Проект OpenWorldLib построен по модульному принципу. Модуль operator переводит текст, изображения и сенсорные данные в стандартный формат. Модуль synthesis генерирует изображения, видео, аудио и управляющие команды. Reasoning отвечает за пространственный, визуальный и акустический контекст. Representation строит 3D-реконструкции и среды симуляции, а memory хранит последовательности взаимодействий.
Над этими модулями работает общий конвейер со стандартным интерфейсом. За счёт этого исследователи могут сравнивать разные модели и методы в одной системе, без отдельной инфраструктуры для каждого эксперимента.
Для оценки моделей авторы использовали GPU Nvidia A800 и H200. В задачах интерактивной генерации видео для навигационных сцен лучшую визуальную оценку получила Hunyuan-WorldPlay.
В более сложных интерактивных сценариях, где системе нужно было обрабатывать широкий набор пользовательских действий, лучшей оказалась Nvidia Cosmos. Более старые подходы, включая Matrix-Game-2, работали быстрее, но в длинных последовательностях показывали заметный сдвиг цветов.
Модели VGGT и InfiniteVGGT продемонстрировали явные слабые места в 3D-реконструкции сцен. При значительном движении камеры у них возникали геометрические несоответствия и размытые текстуры. При этом авторы считают 3D-генерацию важной частью будущих world models.
Исследователи также критикуют текущее железо. По их мнению, современные чипы плохо подходят для world models, потому что они рассчитаны на обработку отдельных токенов. Даже если модель должна предсказывать целые видеокадры, внутри данные всё равно обрабатываются по токенам, что авторы считают неэффективным для задач восприятия с большим объёмом данных.
В статье говорится, что для таких систем могут потребоваться новые архитектуры чипов и, возможно, отказ от Transformer, на котором сейчас работают почти все крупные ИИ-модели.
В качестве промежуточного практического варианта авторы указывают на визуально-языковые модели вроде Bagel. Эта система на архитектуре Qwen совмещает мультимодальное рассуждение и генерацию изображений. По мнению исследователей, это показывает, что языковые модели, заранее обученные на интернет-данных, в принципе могут дать нужные возможности, хотя до полноценной world model ещё далеко.
OpenWorldLib уже доступен как open-source-проект на GitHub.
Источник: The Decoder, исследовательская статья OpenWorldLib.
