Hume AI представила и выложила в открытый доступ систему генерации речи TADA, которая синхронно обрабатывает текст и аудио. В отличие от большинства существующих решений, которые создают намного больше аудиокадров на один текстовый токен, TADA сопоставляет каждому текстовому токену один аудиосигнал.
По данным Hume AI, благодаря такой схеме TADA работает более чем в пять раз быстрее сопоставимых систем и в тестах на более чем 1000 образцов показала нулевой уровень «галлюцинаций» в транскрипции — модель не добавляла лишние слова и не пропускала части исходного текста. В оценке людьми система получила 3,78 балла из 5 по критерию естественности речи.
Компания утверждает, что TADA достаточно компактна, чтобы запускаться на смартфонах, хотя при озвучивании длинных текстов голос иногда может «уплывать» от исходного темпа или интонации. Система представлена в двух вариантах — 1 млрд и 3 млрд параметров, оба построены на архитектуре Llama. Младшая модель поддерживает только английский язык, а версия на 3 млрд параметров работает ещё с семью языками.
Весь код и модели TADA доступны на GitHub и Hugging Face по лицензии MIT, а подробное техническое описание приведено в научной статье. Источник: The Decoder.
