Исследователи из Китая, Гонконга и Сингапура представили систему Audio-Interaction, которая в одном аудиопотоке одновременно решает задачи диалога, перевода, распознавания речи и реакции на бытовые звуки.
Авторы отмечают, что многие текущие голосовые модели, включая GPT-4o и Qwen 3.5-Omni, работают по принципу диктофона: они отвечают после завершения записи. Потоковые системы, такие как Moshi для диалога или Paraformer для субтитров в реальном времени, слушают аудио непрерывно, но обычно выполняют только одну задачу и не учитывают кашель, звон посуды и другие звуки как значимый сигнал.
Новая модель непрерывно принимает аудиопоток, делит его на фрагменты по 0,4 секунды и после каждого из них решает, молчать дальше или начать ответ. Все функции работают в одной модели на 3 млрд параметров.
После каждого аудиофрагмента система выдает либо <silent>, либо <response>. В первом случае она продолжает слушать, во втором — начинает говорить. Задачи вроде перевода на английский задаются как инструкции внутри того же непрерывного потока.
Согласно статье, Audio-Interaction набрала 58,15 балла в аудиобенчмарке MMAU и немного обошла базовую модель Qwen2.5-Omni-3B. По словам авторов, система также приблизилась по качеству к более крупным моделям на 7 млрд параметров. В переводе с английского на китайский она заметно улучшила результат по сравнению с базовой версией.
Для обучения модели исследователям потребовались новые данные. Они пишут, что существующие аудиодатасеты состоят в основном из коротких изолированных записей и не подходят для длинных последовательностей с редкими моментами, когда модель должна отвечать.
Поэтому команда создала собственные сцены в три этапа. Сначала языковая модель строила правдоподобный сценарий, например утреннюю кухню, с 3–15 под-событиями. Затем система подбирала подходящие клипы в базе данных или генерировала недостающие звуки, например бьющееся стекло, с помощью AudioX или ElevenLabs. На последнем этапе предобработка сглаживала стыки, чтобы запись звучала естественно.
Итоговый датасет StreamAudio-2M включает 2,6 млн единиц данных и около 302 тыс. часов аудио. Он охватывает семь групп навыков и 28 подзадач.
Во время обучения команда столкнулась с двумя повторяющимися проблемами. Первая — модель забывала ранний контент в длинных и шумных последовательностях. Для этого исследователи добавили вопросы, которые отсылают к более ранним фрагментам записи и заставляют систему удерживать долгую память.
Вторая проблема состояла в том, что модель слишком часто реагировала на несущественные звуки. Авторы исправили это за счет большого объема проверенных примеров тишины и фонового аудио, которые явно не должны запускать ответ. На новом бенчмарке ProactiveSound Bench с 644 вручную отобранными событиями система обошла Gemini 3 Flash, Kimi-Audio-Instruct и Step-Audio 2, а также ряд других моделей.
Для работы в реальном времени исследователи разделили обработку входящего аудио и генерацию ответа. Эти процессы идут параллельно и обмениваются данными через очередь: аудиочасть продолжает записывать новые фрагменты, а модуль ответа читает их, когда не занят собственной репликой.
Без такого разделения время до первого ответа выросло с 392 до 831 миллисекунды, а система зависала в 5,2% случаев.
Размер фрагмента в 0,4 секунды авторы называют компромиссом. При 0,2 секунды модели не хватает контекста, и качество диалога резко падает. При 0,8 секунды задержка увеличивается до 786 миллисекунд.
Код и инструкции по загрузке весов опубликованы на GitHub по лицензии Apache 2.0, которая допускает коммерческое использование. Полный обучающий датасет команда планирует выпустить позже.
Источник: The Decoder, статья исследователей.
