Waymo представила Waymo World Model — генеративную симуляционную модель для тестирования беспилотного вождения, созданную на базе Genie 3 от Google DeepMind. Система генерирует гиперреалистичные сценарии, от встреч с слонами до торнадо, которые трудно массово зафиксировать в реальных условиях.
Waymo World Model — это генеративная модель окружающей среды, специально настроенная под дорожное движение. В ее основе лежит Genie 3, который Google DeepMind называет своим самым продвинутым универсальным мировым моделем, доработанным для задач транспортного трафика.
«Сильные знания Genie 3 о мире, полученные за счет предварительного обучения на крайне большом и разнообразном наборе видео, позволяют нам исследовать ситуации, которых наш парк транспортных средств никогда напрямую не наблюдал», — говорится в сообщении Waymo.
В компании считают симуляцию одним из трех ключевых элементов своей стратегии безопасности. По данным Waymo, комплекс Waymo Driver уже проехал почти 200 млн миль в полностью автономном режиме, однако перед выходом на реальные дороги он проходит обучение и тестирование на миллиардах виртуальных миль.
Waymo утверждает, что моделирование редких ситуаций помогает лучше подготовить Waymo Driver к сложным дорожным эпизодам. При этом компания не опубликовала результаты тестов по стандартным метрикам и не привела независимые оценки эффективности модели в анонсе.
По словам Waymo, многие симуляционные системы в отрасли обучаются только на собственных данных поездок конкретной компании, что ограничивает модель рамками ее опыта. Waymo World Model использует более широкие знания о мире, которые Genie 3 получила во время предварительного обучения на масштабном и разнообразном видеодатасете.
Благодаря специальной дообучающей стадии двухмерные видеоданные переводятся в трехмерные lidar-выходы, согласованные с аппаратным комплексом Waymo. Модель генерирует и данные с камер, и данные лидара: камеры дают визуальные детали, а lidar добавляет точную глубинную информацию как дополнительный сигнал.
Такой подход позволяет системе воспроизводить ситуации, которых парк Waymo никогда не встречал, например слона на дороге, торнадо, затопленный жилой район или снег на тропической дороге с пальмами.
Waymo World Model поддерживает три режима управления симуляциями. Режим управления действиями автомобиля дает инженерам возможность проигрывать контрфактические сценарии, например проверять, смог бы Waymo Driver иначе справиться с той же ситуацией. По сравнению с реконструктивными методами, такими как 3D Gaussian splats, качество которых резко падает при отклонении от исходной траектории, генеративная модель, по утверждению Waymo, сохраняет реалистичность и последовательность.
Режим управления структурой сцены позволяет менять разметку и конфигурацию дорог, работу светофоров и поведение других участников движения. Управление с помощью текстовых запросов дает наибольшую гибкость: можно задавать разное время суток, погодные условия или полностью синтетические сцены. Модель также способна превращать обычные видеозаписи с видеорегистраторов или смартфонов в мультимодальные симуляции, которые показывают, как Waymo Driver воспринимал бы ту же сцену через свои датчики.
Для сценариев, которые развиваются дольше, например согласование разъезда в узком проезде, Waymo создала облегченную версию модели. По заявлению компании, она обеспечивает существенное снижение вычислительных затрат и делает возможным проведение крупномасштабных симуляций.
Источник: The Decoder
