Nvidia выпустила PersonaPlex — разговорную нейросеть, которая позволяет вести естественные диалоги в реальном времени с настройкой голоса и роли. Обычные голосовые помощники сначала распознают речь, потом обрабатывают текст, затем озвучивают результат — это дает выбор голоса, но делает речь неестественной и добавляет паузы. Новые системы вроде Moshi делают речь более живой, но фиксируют один голос и одну роль.
PersonaPlex совмещает оба подхода: пользователь может выбрать любой голос и задать любую роль с помощью текстовой команды — от “умного помощника” до персонажа фантастики. Модель слушает и говорит одновременно, распознает, когда надо делать паузу или перебивать, и может использовать подтверждающие звуки (“угу”) в нужный момент.
Модель обновляет свое внутреннее состояние во время разговора и тут же начинает отвечать. По данным Nvidia, задержка при смене собеседника у PersonaPlex всего 0,07 секунды — у Gemini Live от Google 1,3 секунды. В системе 7 миллиардов параметров, частота аудио — 24 кГц.
Основа разработки — гибридный промпт (запрос), который объединяет короткий аудиозапрос для передачи голоса и стиль речи с текстовым описанием роли и ситуации. Все это обрабатывается вместе и формирует естественный персональный образ ассистента.
Авторы продемонстрировали работу системы на реальных сценариях. Например, в банке PersonaPlex подтверждает личность клиента, объясняет отклоненную операцию и демонстрирует сочувствие с управлением акцентом. В “кабинете врача” модель записывает имя, дату рождения и аллергию на лекарства. В космическом сценарии PersonaPlex изображает астронавта во время аварии реактора на Марсе — модель выдерживает нужную интонацию, правильно использует техническую лексику, хотя таких данных не было в обучающей выборке.
Одной из трудностей была нехватка реальных разговоров по разным темам и с естественными перебиваниями. Исследователи решили это путем смешивания настоящих и синтетических данных.
Модель обучали на 7 303 реальных диалогах из Fisher English Corpus (1 217 часов), помеченных разными командами. Дополнительно сгенерировали 39 322 синтетических диалога для ассистентов и 105 410 для поддержки клиентов. Тексты делали Qwen3-32B (Alibaba) и GPT-OSS-120B (OpenAI), для озвучки использовался Chatterbox TTS от Resemble AI. Реальные записи помогли воспроизвести естественный разговор, синтетика — задачи и инструкции.
Для оценки добавили к стандартному тесту “full-duplex” новый “service-duplex” с 350 вопросами по 50 сценариям ролей. PersonaPlex получил оценку естественности диалога 3,90 (у Gemini Live — 3,72, Qwen 2.5 Omni — 3,70, Moshi — 3,11).
Для имитации голоса PersonaPlex набрал 0,57, конкуренты — почти ноль. Модель показывала 99,2% успешных смен говорящих и правильно обрабатывала перебивания. “PersonaPlex — первый открытый AI-ассистент, который по естественности не уступает коммерческим продуктам,” утверждают авторы.
Обучение заняло 6 часов на 8 видеокартах Nvidia A100. Код и вес модели уже выложены на Hugging Face и GitHub (лицензии MIT и Nvidia Open Model License — разрешено коммерческое использование, но права на результаты не заявляются). Пока поддерживается только английский. Дальше команда планирует добавить совместимость с инструментами и постобработку инструкций.
