Microsoft представила систему VibeVoice, которая способна генерировать до 90 минут групповой беседы с участием до четырех человек. Ранее похожие модели испытывали трудности с длинными диалогами и разговорами между несколькими собеседниками. По данным технического отчета Microsoft, VibeVoice стала первой моделью, способной создавать такие длительные записи за один запуск.
Главное отличие VibeVoice — новая технология сжатия аудио. Исследователи компании создали Speech Tokenizer, который примерно в 80 раз эффективнее предыдущих решений. Благодаря этому система может долго хранить и создавать записи без проблем с памятью.
В демонстрациях встречается фоновая музыка, но в технической документации отмечается: модель занимается только синтезом речи и не обрабатывает никакие посторонние звуки или шумы. На данный момент поддерживаются английский и китайский языки, есть ограниченные возможности для смешанной речи.
Одним из примеров возможностей VibeVoice служит 93-минутная дискуссия о климатических изменениях, состоящая из четырех говорящих. Модель воспроизводит динамику обсуждения, споры, эмоции, естественные паузы и плавную смену участников.
VibeVoice работает в два этапа: первый отвечает за качество и индивидуальность голоса, второй — за смысловую часть и взаимодействие. Для управления диалогом применяется предварительно обученная модель Qwen2.5 (1,5 или 7 млрд параметров), аудио формируется с помощью четырехслойной диффузионной головы на 123 млн параметров.
В системе используются два токенизатора. Acoustic Tokenizer сжимает 24 кГц аудио до 7,5 кадров в секунду, Semantic Tokenizer отвечает за распознавание речи. Для работы нужны текстовые сценарии и голосовые образцы каждого участника. Звук собирается поэтапно с учетом контекста, смены спикеров и пауз. Устаревшая версия на 1,5 млрд параметров требует меньше ресурсов, но звучит менее выразительно.
VibeVoice не подходит для прямого эфира и синхронного перевода. Скорость работы и требования к «железу» Microsoft не раскрывает.
В тестах с 24 экспертами VibeVoice получила более высокие оценки за естественность, реализм и выразительность, чем Google Gemini 2.5 Pro и ElevenLabs V3. Лучший результат показала более крупная модель на 7 млрд параметров.
Автоматическая проверка качества показала: уровень ошибок распознавания речи у VibeVoice составил 1,29%, у Gemini — 1,73%, у ElevenLabs — 2,39%. Проверка проходила на восьми длинных стенограммах общей длительностью около часа. VibeVoice выдержала всю генерацию без сбоев или искусственных прерываний.
В Microsoft отмечают: реалистичная синтетическая речь может использоваться для создания дипфейков и распространения дезинформации. Поэтому все аудиофайлы сопровождаются специальной звуковой меткой и цифровым водяным знаком для отслеживания происхождения.
VibeVoice распространяется с открытым кодом и выкладывается на Hugging Face. Модель предназначена только для научных исследований, коммерческое использование запрещено.
Microsoft впервые показала работу с эмоциональной речью в марте 2024 года с проектом NaturalSpeech 3. Другие компании тоже развивают технологии синтеза — OpenAI улучшила выразительность голосового режима ChatGPT, а Resemble AI создала модель Chatterbox для локального и почти мгновенного создания выразительной озвучки даже на обычной видеокарте.
