Tencent представила Hunyuan-GameCraft — ИИ-систему, которая создает интерактивные видео из отдельных изображений.
В отличие от обычных видеогенераторов, которые делают статичные ролики, GameCraft позволяет управлять камерой в реальном времени с помощью клавиш WASD или стрелок. Пользователь может свободно перемещаться по сгенерированной сцене. Система построена на открытой модели HunyuanVideo. По словам Tencent, движение камеры стало плавным и стабильным.
Система поддерживает три оси перемещения (вперед/назад, влево/вправо, вверх/вниз) и две оси вращения для обзора. Наклон (ролл) камеры не поддерживается, так как, по словам Tencent, он редко встречается в играх. Закодированный модуль переводит нажатия клавиш в численные значения, понятные видеогенератору. Скорость движения зависит от длительности нажатия клавиши.
Чтобы сохранить качество видео при длинных сессиях, в GameCraft применён метод Hybrid History-Conditioned Training. Модель генерирует новые фрагменты поэтапно, опираясь на созданные ранее участки. Видео делится на части примерно по 1,3 секунды. Специальная маска указывает, какие области уже готовы, а какие ещё нужно сгенерировать.
По заявлениям Tencent, бессерверные методы резко снижают качество, а чистая “историческая” генерация уменьшает отклик. Гибридный подход сочетает оба метода: видео остаётся плавным и быстро реагирует на действия пользователя даже на длинной дистанции.
Система обучалась на миллионе игровых роликов более чем из 100 крупных тайтлов: Assassin’s Creed, Red Dead Redemption, Cyberpunk 2077. Сцены и действия сегментировались и аннотировались. Дополнительно создано 3000 движений 3D-объектов. Всего обучение заняло две фазы, использовали 192 видеокарты Nvidia H20 и 50 000 итераций. В тестах GameCraft показал на 55% меньше ошибок, чем Matrix-Game, а также лучшее качество картинки и точность управления по сравнению с CameraCtrl, MotionCtrl и WanX-Cam.
Для повышения скорости добавили Phased Consistency Model (PCM), который позволяет пропускать промежуточные шаги диффузии и сразу получать финальный кадр. Это в 10–20 раз ускоряет генерацию.
GameCraft выдает 6,6 кадров в секунду при задержке менее пяти секунд. Внутренняя скорость обработки — 25 кадров в секунду (сегменты по 33 кадра, разрешение 720p).
Исходный код и веса модели доступны на GitHub. Открытие веб-демо ожидается вскоре.
Решение входит в число моделей для создания интерактивных AI-сцен. Более ранняя Hunyuan World Model 1.0 могла собирать 3D-сцены по тексту или картинке, но работала только со статичными панорамами. Среди конкурентов: Google DeepMind Genie 3 и Matrix-Game 2.0 от Skywork.
