Компания Block Джека Дорси представила голосовую модель Dessa, созданную в исследовательской лаборатории компании. Модель работает локально и, по заявлению Block, звучит близко к человеческой речи за счёт смеха, пауз, плача и других эмоциональных сигналов.
В компании сообщили, что Dessa полностью обучена на человеческой речи и для запуска ей достаточно одной видеокарты NVIDIA. Модель относится к классу full-duplex, то есть может одновременно слушать и говорить. Такой же подход использует GPT-Live, который OpenAI выпустила ранее в этом году.
Обычно голосовые системы работают в связке с большой языковой моделью для поиска и выдачи знаний. Block утверждает, что знания Dessa формируются из разговорных данных, на которых модель обучали.
Block называет голос самым естественным способом взаимодействия с ИИ. В сообщении компании сказано: «Мы считаем, что голос — самый естественный способ взаимодействия с интеллектом, поэтому создали Dessa, самую аутентичную full-duplex-модель речи из когда-либо созданных. Разговор с ней ощущается как разговор с человеком: с эмоциями, нюансами, паузами и естественным ритмом».
По версии Block, многие нынешние голосовые ИИ-системы звучат неестественно и раздражающе, потому что используют промежуточный текстовый этап для генерации речи. Ряд моделей, включая ElevenLabs v4 и Fish Audio Drama 3, применяют голосовые теги для передачи эмоций. Компания Дорси утверждает, что у Dessa эмоции встроены в саму модель, хотя не уточняет, используются ли для этого какие-либо метки.
В блоге Block говорится: «Взаимодействие с нынешним голосовым ИИ может быть просто неприятным. Он превращает ваш голос в текст и отбрасывает огромный объём информации, которую один лишь текст передать не может. Самые мощные ИИ-системы в мире не слышат, что вы чувствуете. Мы считаем это абсурдным, это ухудшает пользовательский опыт и потенциально опасно».
Исследователи компании опубликовали несколько примеров разговоров с Dessa. В них агент использует разные голоса, ритм и эмоции. В одном из примеров бот говорит, что устал после работы, и действительно звучит уставшим. В другом — эмоционально рассказывает о человеке, рядом с которым ему комфортно, и голос почти срывается. Ещё в одном ролике сотрудница Block играет с голосовым помощником в игру на угадывание.
Block также заявила, что Dessa можно запускать локально на потребительском компьютере, включая MacBook M4 Max или более мощные устройства. При этом публичного доступа к модели пока нет. Компания пригласила специалистов по безопасности протестировать систему, вероятно, чтобы проверить сценарии, в которых голосовой агент может вводить людей в заблуждение.
Для Block эта разработка имеет и прикладное значение. Компания работает в финансовом секторе и продаёт решения малому бизнесу. Square уже использует голосовой ИИ для приёма заказов, а собственная голосовая модель, работающая прямо на устройстве, может расширить число бизнес- и потребительских сценариев при меньших затратах.
Источник: Block, TechCrunch.
