Новая система Skyfall-GS способна создавать удобные для прогулок 3D-модели городов, используя только стандартные спутниковые снимки. В отличие от прошлых методов с дорогими 3D-сканерами или автопарками с камерами, Skyfall-GS строит города полностью по аэрофотоснимкам.
Обычные 3D-модели из спутниковых карт ограничены: они видят только крыши, не показывают фасады, элементы улиц и боковые детали. Это приводит к размытым или искаженым зданиям.
Skyfall-GS решает эту проблему с помощью двух этапов. Сначала она делает грубую 3D-структуру из спутниковых фотографий. Затем искусственный интеллект дорисовывает недостающие элементы, фасады и текстуры на уровне улицы — как генератор изображений дополняет недостающие части картинки.
Название Skyfall связано с тем, как система обучается: она начинает с вид сверху и поэтапно опускается до уровня улиц, уточняя модель, будто камера падает с неба вниз.
Skyfall-GS использует две AI-технологии. Сначала для построения основы применяется 3D Gaussian splatting — сцены представлены облаками световых точек. Далее используются диффузионные модели — такие же, как в популярных генераторах изображений, чтобы добавить детали.
Процесс делится на пять проходов. В каждом раунде виртуальная камера наклоняется всё ниже — от 85 до 45 градусов. Искусственный интеллект создает 54 разных вида за раз, а улучшения направляются через текстовые подсказки.
Текстовые подсказки помогают ИИ понять, на что обратить внимание: например, запрос превращается из «спутниковое изображение города с искажениями и размытыми артефактами» в «чистое спутниковое изображение с отчетливыми зданиями, плавными краями и естественным освещением».
Разработчики испытали Skyfall-GS на реальных спутниковых снимках Джэксонвилля (Флорида) и Нью-Йорка. Система показала более реалистичные здания и чистые текстуры по сравнению со старыми методами.
В пользовательском исследовании с 89 участниками Skyfall-GS признали лучшей в 97% случаев по качеству геометрии и общему виду.
Система работает быстро: Skyfall-GS показывает 11 кадров в секунду на обычной видеокарте и до 40 кадров в секунду на MacBook Air. Для сравнения, предыдущая CityDreamer выдает всего 0,18 кадра в секунду даже на дорогом оборудовании.
Skyfall-GS может быть полезна для геймдизайнеров, киноиндустрии или робототехники — для генерации городских пространств, создания цифровых задников или моделирования реальной среды.
Объем спутниковых данных огромен: WorldView-3, например, собирает около 680 000 км² ежедневно с разрешением до 31 см на пиксель. Это дает возможность создавать масштабные 3D-модели автоматически.
Разработчики отмечают, что Skyfall-GS пока требует много вычислительных ресурсов и не всегда справляется с очень сложными уличными сценами. В будущих версиях они планируют повысить производительность и расширить возможности. Код открыт на GitHub, а демо-версии есть на сайте проекта.
