Nvidia на конференции GTC Taipei представила несколько новых разработок для роботов, беспилотного транспорта и видеосистем. Главные анонсы — модель Cosmos 3, новая версия модели для автономного вождения Alpamayo 2 Super и открытая эталонная платформа для гуманоидных роботов.
Cosmos 3 — это следующая версия открытой «омнимодели» Nvidia, которая обрабатывает текст, изображения, видео, фоновый звук и данные о действиях в одной системе. Разработчики роботов, автономных автомобилей и систем видеонаблюдения могут применять её для генерации синтетических обучающих данных, анализа сцен и прогноза будущих состояний среды без необходимости воссоздавать такие ситуации в реальности.
Nvidia выделяет три сценария применения Cosmos 3.
- Как vision-language model модель анализирует видео, например для поиска аномалий на дорогах в умных городах. Такой сценарий уже использует партнёр Linker Vision.
- Как world model она генерирует фотореалистичные видеопоследовательности редких ситуаций, включая почти аварии или необычное расположение объектов на складе.
- Как основа world-action models система создаёт числовые данные о движении, например углы суставов или положение захвата, которые нужны роботам для обучения задачам вроде захвата и перемещения предметов. Этот подход демонстрирует партнёр Agile Robots.
Архитектура построена на подходе mixture-of-transformers. Один трансформер отвечает за анализ сцены, второй — за генерацию видео, описаний или траекторий движения на основе этого анализа. В обучении использовались миллиарды примеров, охватывающих текст, изображения, видео, аудио и данные о действиях.
Nvidia выпускает три варианта модели: Cosmos 3 Super с максимальным качеством, Nano для быстрого вывода и Edge, который выйдет позже и рассчитан на работу в реальном времени на встраиваемых системах. Модели доступны по лицензии OpenMDW-1.1 на Hugging Face и GitHub.
Одновременно с релизом компания представила группу партнёров Cosmos Coalition. В неё вошли Black Forest Labs, Runway, LTX, Generalist, Agile Robots и Skild AI. По сути, это альянс, который использует обучающую инфраструктуру Nvidia DGX Cloud и вносит в экосистему свои модели и данные.
Серия Alpamayo — это открытые модели Nvidia для автономного вождения уровня 4, то есть для роботакси, которые могут работать без водителя в пределах заданной зоны. Модели получают изображения с камер, принимают решение о движении и выдают готовую траекторию. Предыдущие версии Alpamayo 1 Nano и 1.5 Nano имели по 10 млрд параметров.
Новая Alpamayo 2 Super стала флагманом линейки и получила 32 млрд параметров. По заявлению Nvidia, рост масштаба должен улучшить пространственное понимание и работу с редкими дорожными ситуациями.
Одно из новых отличий — вывод так называемых мета-действий, например «смена полосы», «стоп» или «уступить дорогу». Модель передаёт их в систему планирования вместе с траекторией. Восприятие теперь охватывает весь автомобиль, а не только передние камеры.
Для каждого решения модель также формирует «цепочку причинности» — текстовое объяснение, которое, по словам Nvidia, подходит для документации по безопасности и проверки со стороны регуляторов. При этом материал отмечает, что здесь возникает знакомый для ИИ вопрос: насколько такие объяснения действительно отражают внутреннюю работу сети.
Nvidia заявляет, что крупная модель будет использоваться как модель-учитель. Производители смогут дистиллировать из неё более компактные версии для запуска на автомобильном чипе Drive AGX Thor. Компания также открывает AlpaGym — фреймворк для замкнутого обучения с подкреплением в симуляции, а также OmniDreams — генеративную модель для редких дорожных сценариев.
Сравнительных внешних метрик, например по отношению к системам Waymo или Tesla, Nvidia не приводит. Код и веса моделей, как ожидается, появятся на GitHub и Hugging Face летом.
Ещё один анонс — Isaac GR00T Reference Humanoid Robot, эталонная платформа для академических исследований в гуманоидной робототехнике. Робот высотой около шести футов построен на шасси Unitree H2 Plus, оснащён тактильными пятипалыми кистями Sharpa и работает на Jetson AGX Thor T5000 с производительностью 2 070 FP4 терафлопс.
Система имеет 75 степеней свободы. На программном уровне используется стек Isaac GR00T, в который входят телеуправление, симуляция в Isaac Sim, foundation models и промежуточное ПО ROS.
Nvidia не будет продавать этого робота самостоятельно. Компания указывает на Unitree, которая планирует предложить аппаратную часть к концу 2026 года. В число исследовательских партнёров вошли Ai2, ETH Zurich, Stanford Robotics Center и лаборатория UC San Diego ARC Lab.
По сути, Nvidia продвигает единый аппаратно-программный комплект, который может усилить зависимость исследовательского сообщества робототехники от чипов Jetson и инструментов Isaac.
Источник: The Decoder.
