Tencent представила HunyuanWorld-Voyager — систему, которая создает пространственно согласованные 3D-сцены из одного фото без традиционного 3D-моделирования.
Пользователи загружают фото и задают путь движения камеры по сцене. Voyager делает видео, имитируя движение камеры, упрощая создание виртуальных 3D-окружений без сложной технической подготовки.
Основной элемент — совместная генерация RGB и глубины (RGB-D). Глубина помогает оценивать расстояния и уменьшает ошибки при просмотре объектов под непривычными углами.
«World cache» запоминает уже сгенерированные части сцены и обновляет их по мере перемещения камеры. Если скрытый фрагмент снова появляется, система восстанавливает его из кеша. Лишние данные удаляются, чтобы экономить память и поддерживать стабильность и геометрию длинных видео.
Voyager обучали на массиве реальных видео и сцен из Unreal Engine с отметками положения камеры и глубины. Такой подход позволил модели лучше понимать движение камеры и вид объектов под разными углами.
По словам Tencent, Voyager показал высокие оценки на тестах WorldScore — особенно по управлению камерой и пространственной целостности. Совместная генерация RGB и глубины позволяет получать 3D-реконструкции (например, point cloud или Gaussian proxies) с меньшей дополнительной обработкой.
Voyager также может извлекать 3D-объекты из одного изображения, оценивать глубину в видео и переносить стили, сохраняя геометрию. Код и веса доступны открыто. Для вывода с разрешением 540p требуется минимум 60 ГБ видеопамяти.
Voyager дополняет HunyuanWorld 1.0. Первая версия позволяла делать семантические 3D-сцены и экспортировать меши, но имела трудности с дальними перемещениями камеры и скрытыми зонами. Voyager решает эти задачи за счет RGB-глубины и world cache: теперь длинные перемещения камеры остаются стабильными. Системы работают вместе: HunyuanWorld 1.0 эффективен для экспорта мешей, а Voyager — для стабильной генерации видео и 3D-контента.
Другие подходы: Google’s Genie 3 строит интерактивные сцены по тексту, но согласованность длится несколько минут, а система пока доступна только для исследований. Mirage 2 от Dynamics Lab работает в браузере и поддерживает клавиатуру и текст. Эти проекты делают упор на геймплей и обучение роботов, а Voyager ориентирован на видеопроизводство и генерацию 3D-контента.
