Исследователи Nvidia представили Lyra 2.0 — систему, которая строит большие связные 3D-сцены по одной фотографии. Полученные пространства можно просматривать в реальном времени и напрямую использовать в симуляции роботов.
По данным Nvidia, существующие ИИ-модели для генерации 3D-сцен плохо справляются с длинными траекториями камеры. Чем дальше виртуальная камера уходит от стартовой точки, тем сильнее искажаются цвета и структура сцены. Если камера возвращается в уже показанное место, модель часто заново «придумывает» окружение.
Lyra 2.0 принимает одно изображение и создает видео с управляемой камерой, имитирующее проход по сцене. Затем эти ролики автоматически переводятся в 3D-представления, которые можно просматривать в реальном времени и использовать в симуляторах. В статье исследователей сказано, что длина таких сцен может достигать примерно 90 метров.
Авторы работы выделяют две основные проблемы текущих видеомоделей. Первая — модель забывает ранее показанные части сцены, как только они исчезают из кадра. Вторая — при пошаговой генерации видео накапливаются небольшие ошибки, которые со временем приводят к заметным искажениям.
Для решения первой задачи система сохраняет 3D-геометрию для каждого сгенерированного кадра. Когда камера возвращается к уже посещенному участку, Lyra 2.0 поднимает ранние кадры и использует их пространственные данные как опору. При этом за создание новых изображений по-прежнему отвечает видеомодель, поэтому ошибки в сохраненной геометрии не переносятся напрямую в новые кадры.
Чтобы уменьшить дрейф, исследователи специально показывали модели ее собственные ошибочные результаты во время обучения. Это помогает ей распознавать падение качества и исправлять его, а не передавать ошибки дальше.
В тестах на двух наборах данных Lyra 2.0, по данным Nvidia, превзошла шесть других методов, включая GEN3C, Yume-1.5 и CaM, почти по всем основным метрикам: качеству изображения, целостности стиля и управлению камерой. Более быстрая версия модели создает видео примерно в 13 раз быстрее при сопоставимом качестве.
Сгенерированные 3D-сцены можно пошагово изучать через интерактивный интерфейс и экспортировать в виде мешей в физические движки, включая Nvidia Isaac Sim. По оценке компании, это может дать роботам возможность обучаться в полностью сгенерированных пространствах без сбора реальных 3D-данных. Пока Lyra 2.0 поддерживает только статические сцены.
Источник: The Decoder, исследовательская статья Nvidia.
