Skywork представила Matrix-Game 2.0 — новую open-source модель для создания интерактивных ИИ-видео с улучшенной стабильностью, поддержкой управления в реальном времени и возможностями, похожими на Genie 3 от Google Deepmind.
Matrix-Game 2.0 позволяет генерировать видео с 25 кадрами в секунду, выдерживает целостность сцен при долгих сессиях и реагирует на ввод с клавиатуры и мыши. Пользователи могут перемещаться по виртуальным мирам и взаимодействовать с событиями прямо во время генерации.
Модель поддерживает несколько типов окружения: городские и природные ландшафты, а также уровни по типу Temple Run. Для обучения команда использовала примерно 1200 часов интерактивных видеоданных из Unreal Engine и GTA 5.
Архитектура Matrix-Game 2.0 основана на автормодели диффузии, включает 1,8 миллиарда параметров и использует модуль «мышь/клавиатура-кадр», чтобы точно связывать действия игрока с каждым кадром видео.
В демонстрационном видео среда выглядит стабильной и узнаваемо похожей на GTA 5, хотя полностью стабильного поведения, как у Genie 3, пока нет. На 10-й секунде демо, например, появляется озеро и здание на месте гор, что подчёркивает существующие ограничения.
Многие сцены визуально напоминают Grand Theft Auto, что вызывает вопросы о легальности использования защищённых авторским правом игровых миров.
По сравнению с другими open-source моделями, например Oasis, Matrix-Game 2.0 даёт лучшее качество, стабильнее сцены и точнее реагирует на ввод пользователя.
Skywork отмечает универсальность своей модели — она может работать с разными стилями и мирами без дополнительной доработки. Персонажи двигаются физически правдоподобно, взаимодействуя с объектами.
Матрица-Game 2.0 подойдёт для прототипирования игр, тренировки ИИ-агентов, симуляции виртуальных сред для беспилотного транспорта, а также проектов в областях пространственного интеллекта и цифровых людей, утверждает Skywork.
Модель можно бесплатно скачать на Hugging Face и GitHub. Skywork описывает её как «production-ready research»: есть полноценный inference pipeline, поддержка FlashAttention и потоковая версия. Для запуска используются стандартные пакеты; настройка через YAML-скрипты.
