Nvidia выпустила Nemotron 3 Nano Omni — открытую мультимодальную модель, которая работает с текстом, изображениями, видео и аудио в одной архитектуре.
Модель получила 30 млрд параметров и использует гибрид Mamba-Transformer с Mixture-of-Experts. Для каждого запроса активируется около 3 млрд параметров. Nemotron 3 Nano Omni работает на собственном визуальном энкодере Nvidia C-RADIOv4-H и аудиоэнкодере Parakeet-TDT. Контекстное окно достигает 256 тыс. токенов. Официально поддерживается только английский язык.
Согласно техническому отчёту, модель создана в первую очередь для агентных сценариев: обработки документов, компьютерных агентов, анализа видео и аудио, а также голосового взаимодействия.
На тестах OCRBenchV2, MMLongBench-Doc, WorldSense и VoiceBench модель опережает предыдущую версию Nemotron Nano V2 VL и показывает результаты на уровне Alibaba Qwen3-Omni. На бенчмарке OSWorld для GUI-агентов точность выросла с 11,1 до 47,4 по сравнению с прошлой версией.
Nvidia также заявляет, что при том же уровне интерактивности пропускная способность может быть до девяти раз выше, чем у Qwen3-Omni.
Отдельный интерес представляет состав обучающих данных. Nvidia обработала около 717 млрд токенов в семь этапов обучения, постепенно увеличивая размер контекстного окна.
Значительная часть синтетических данных была получена с помощью сторонних моделей. Подписи к изображениям, пары «вопрос — ответ» и цепочки рассуждений генерировались с использованием Qwen, GPT-OSS, Kimi и DeepSeek-OCR, а также Qwen3-VL-30B-A3B-Instruct, Qwen3.5-122B-A10B, Qwen2.5-VL-72B-Instruct, GLM-4.1V-9B-Thinking. Для фильтрации Nvidia привлекла GPT-4o и Gemini 3 Flash Preview.
Использование одних моделей для обучения других — обычная практика в индустрии. При этом разработчики редко настолько прямо раскрывают, какие именно системы участвовали в подготовке данных. В материале отмечается, что OpenAI, Anthropic и Google ранее неоднократно обвиняли китайские ИИ-лаборатории в масштабной дистилляции моделей.
Аудиоданные включают собственные датасеты Nvidia Granary и SIFT-50M, а также подписи из Qwen Omni-Captioner. Для этапа обучения с подкреплением команда собрала пятиступенчатый конвейер в 25 средах. Он охватывает визуальное соотнесение объектов, понимание графиков и документов, клики в графическом интерфейсе и автоматическое распознавание речи.
Вместе с весами в форматах BF16, FP8 и NVFP4 Nvidia публикует часть обучающих данных, конвейеры обучения на Megatron-Bridge и рецепты RL на NeMo-RL. Это отличает релиз от проектов, которые выкладывают только веса модели.
Режим рассуждения включён по умолчанию, поэтому для задач, где он не нужен, его придётся отключать вручную. Модель распространяется по лицензии NVIDIA Open Model Agreement, которая допускает коммерческое использование.
Источник: The Decoder, технический отчёт Nvidia.
