Южнокорейская компания Naver представила Seoul World Model (SWM) — видеомодель, которая строит ролики на основе реальной геометрии города, а не вымышленного окружения. Для этого она использует более 1,2 млн панорамных снимков из сервиса Naver Map и, как утверждают авторы работы, может переносить этот подход на другие города без дообучения.
В отличие от обычных video world models, которые достраивают улицы, здания и дальние планы с помощью генерации, SWM опирается на реальные данные о конкретной локации. По данным исследования, это первая world model, привязанная к физическому месту.
Пользователь задаёт географические координаты, траекторию камеры и текстовый запрос. После этого модель ищет ближайшие панорамы в базе Naver Map и использует их как ориентиры для пошаговой генерации видео.
Авторы отмечают, что работа с реальными уличными снимками создаёт отдельную проблему: такие изображения фиксируют случайные объекты в момент съёмки — машины, пешеходов и другие временные элементы. Если не учитывать это, модель будет просто переносить их в итоговое видео как часть сцены.
Для решения этой задачи исследователи применили метод cross-temporal pairing. Во время обучения модель получает пары из опорных изображений и целевых последовательностей, снятых в разное время. Это помогает ей отделять постоянные элементы, например фасады зданий, от временных, таких как припаркованные автомобили. В ablation-экспериментах этот механизм оказался самым эффективным компонентом системы.
Ещё одна проблема связана с тем, что камеры Street View установлены на автомобилях и делают снимки через каждые 5–20 метров. Из-за этого у исследователей не было непрерывных видео, а также материалов с уровня пешехода или с воздуха. Чтобы восполнить этот пробел, команда создала 12 700 синтетических видео в симуляторе CARLA на Unreal Engine с маршрутами для пешеходного, автомобильного и свободного полёта камеры.
Кроме того, исследователи разработали отдельный конвейер, который строит временно согласованные обучающие ролики из разрозненных изображений. Это позволило подготовить данные для обучения там, где исходно были только отдельные панорамы.
При генерации длинных маршрутов ошибка постепенно накапливается, потому что видео строится по сегментам. В прошлых подходах для привязки использовали первое изображение, но после сотен метров оно уже почти не помогает. В SWM вместо этого применяется virtual lookahead sink — система подгружает панораму немного впереди по маршруту и вставляет её как виртуальную цель для следующего участка.
Опорные изображения участвуют в генерации по двум каналам. Сначала модель проецирует близкое по координатам изображение в нужный ракурс с помощью данных о глубине, чтобы задать пространственную структуру сцены. Затем эти изображения кодируются в латентные представления и добавляются как семантические ориентиры, что помогает сохранить детали внешнего вида окружения. По словам авторов, удаление любого из этих двух каналов заметно ухудшает качество результата.
SWM построена на базе Nvidia Cosmos-Predict2.5-2B — diffusion transformer с 2 млрд параметров. Модель обучали на 24 GPU Nvidia H100, используя 440 тыс. снимков Street View из Сеула, синтетические данные CARLA и открытые данные Waymo для автопилотов.
Тесты проводили в Сеуле, а также в Пусане и американском Анн-Арборе, которых не было в обучающей выборке. Согласно статье, SWM превзошла шесть актуальных видеомоделей, включая Aether, DeepVerse и HY-World1.5, по качеству изображения, точности движения камеры, временной согласованности и соответствию реальным локациям. Оценка велась на собственных бенчмарках с 30 тестовыми последовательностями длиной около 100 метров.
Авторы пишут, что существующие модели на длинных дистанциях чаще начинают терять структуру сцены, давать размытое видео или полностью срывать генерацию. SWM, по их данным, сохраняет стабильный результат на протяжении сотен метров. При этом модель всё ещё реагирует на текстовые запросы: можно менять погоду, время суток или добавлять гипотетические сценарии, не нарушая базовую структуру города.
У системы есть и ограничения. Поскольку непрерывные видеозаписи целых городов в открытом доступе почти отсутствуют, обучение опирается на интерполированные последовательности из отдельных изображений, и они уступают реальным видео по качеству. Также ошибки во временных метках иногда приводят к тому, что транспорт в сгенерированных роликах резко появляется или исчезает.
Исследователи заявляют, что все данные Street View обрабатывались с соблюдением требований приватности: лица и автомобильные номера были анонимизированы до начала обучения. В качестве возможных сценариев применения они называют городское планирование, автономное вождение и навигационные сервисы.
Авторы также помещают работу в более широкий контекст развития world models. Runway недавно представила свою первую General World Model, GWM-1, которая строит внутреннее представление окружения и моделирует дальнейшие события в реальном времени. Глава Google DeepMind Демис Хассабис называл такие системы важным шагом на пути к общему искусственному интеллекту. Ещё одно недавнее исследование Microsoft Research и нескольких университетов США показало, что большие языковые модели могут выступать в роли world models и предсказывать состояние среды с точностью выше 99%.
Источник: The Decoder со ссылкой на исследовательскую работу Naver и Naver Cloud.
