Alibaba представила Qwen3-Omni — мультимодальную модель ИИ для обработки текста, изображений, аудио и видео в реальном времени.
По словам Alibaba, Qwen3-Omni занимает лидирующие позиции в 32 из 36 аудио- и видеотестов, опережая Gemini 2.5 Flash и GPT-4o, например, в задачах понимания речи и генерации голоса. На специализированных задачах результат совпадает с узкопрофильными моделями.
Технический отчёт ещё не опубликован, но доступны блог-записи и результаты тестов. Модель содержит 30 миллиардов параметров и работает по принципу mixture-of-experts: при каждом запросе активируется 3 миллиарда параметров. Обработка аудио занимает 211 мс, аудио+видео — 507 мс.
Qwen3-Omni отличается компактной архитектурой и при этом демонстрирует сравнимые с коммерческими моделями результаты на выбранных тестах Alibaba. Остаётся вопрос, будет ли стабильная производительность в обычных задачах, поскольку компактные модели часто показывают худшие результаты вне тестов.
Модель работает как система из двух частей: “Thinker” анализирует ввод и создаёт текст, “Talker” сразу преобразует этот текст в речь. Оба компонента работают одновременно для ускорения отклика.
Для передачи голоса в реальном времени Qwen3-Omni генерирует звук поэтапно, каждое новое звучание сразу озвучивается. Аудиоэнкодер обучался на 20 млн часов аудиозаписей. Оба компонента используют параллельные подсистемы для высокой скорости работы.
Модель работает с текстом на 119 языках, понимает речь на 19 и отвечает на 10. Qwen3-Omni может анализировать и пересказывать аудио продолжительностью до 30 минут.
Alibaba утверждает, что модель обучена одинаково хорошо справляться со всеми поддерживаемыми типами данных без компромиссов между режимами, даже при одновременной мультимодальности.
Пользователь может менять поведение модели через специальные инструкции — например, задавать стиль ответа или “характер.” Qwen3-Omni соединяется с внешними сервисами для более сложных задач.
Также выпущена Qwen3-Omni-30B-A3B-Captioner — отдельная модель для детального анализа аудио, например музыки, для составления точных описаний и уменьшения ошибок, что закроет пробел в open source.
Планы Alibaba включают развитие распознавания нескольких говорящих, добавление распознавания текста на видео и улучшение обучения по аудио-видео данным. Компания также разрабатывает инструменты для автономных агентах.
Доступ к Qwen3-Omni возможен через Qwen Chat и демо на Hugging Face. Разработчики могут подключить модель к своим приложениям через API Alibaba.
Также доступны две open source версии: Qwen3-Omni-30B-A3B-Instruct (для следования инструкциям) и Qwen3-Omni-30B-A3B-Thinking (для сложных рассуждений).
В демо на YouTube Qwen3-Omni переводит меню ресторана в реальном времени с помощью носимого устройства. Запуск модели был после релиза Quark AI Glasses и роста популярности чат-бота Quark в Китае. Англоязычная реклама — признак выхода на Западные рынки.
