Интерес к голосовому ИИ быстро растёт: инвесторы вкладывают миллиарды долларов в стартапы, которые создают модели, сервисы для корпоративной поддержки, инструменты для заметок на встречах и ИИ-диктовку.
При этом, несмотря на частые анонсы новых моделей и сервисов, голосовой ИИ ещё не пережил свой «момент ChatGPT», считает технический директор PolyAI Шон Вэнь. По его словам, даже появление full-duplex-моделей, которые умеют говорить и одновременно слушать пользователя, пока не решает главную задачу.
Выступая на конференции HumanX в прошлом месяце, Вэнь сказал: «Мы достигли важного этапа в создании full-duplex-моделей. Следующая задача — сделать рассуждение очень быстрым, чтобы модели могли быстро находить ответы и разговор ощущался естественно».
Он также отметил, что ИИ-агенты в клиентской поддержке не должны звучать механически. По словам Вэня, пользователи должны чувствовать, что система способна решить их проблему.
Как пояснил Вэнь, если голосовая система достаточно убедительна в первые два-три обмена репликами, пользователь начинает больше ей доверять. Со временем это может снизить необходимость переключаться на живого сотрудника, если агент действительно решает запрос.
Директор по маркетингу Otter Алекс Гэй считает, что для автоматизации важны распознавание говорящих, определение намерения и связка стенограммы с внутренними знаниями компании. Otter также работает над цифровыми двойниками, которые смогут представлять людей на встречах.
По словам Гэя, для такой технологии важно, чтобы синтезированный голос передавал эмоции, как в разговоре с человеком на встрече. Он заявил: «Если подумать о встречах, в которых вы участвуете сейчас, лучшие разговоры — это те, где возможны спор, стратегическое обсуждение и ощущение человеческой связи. Если этого нельзя добиться с аватаром, то это просто чат-бот в формате вопросов и ответов».
Несмотря на прогресс, голосовые ИИ-системы по-прежнему часто неверно понимают пользователей. Это проявляется и в работе ассистентов, и в ошибках стенограмм или кратких итогов встреч.
Вэнь считает, что модели ASR, то есть автоматического распознавания речи, нередко пропускают важные ключевые слова. Из-за этого система теряет часть контекста.
Гэй согласился с этой оценкой и сказал, что Otter продолжает улучшать качество расшифровки. По его словам, языковая часть остаётся одним из направлений, где голосовым моделям ещё нужен прогресс.
Он отметил: «Для Otter расшифровка никогда не была конечной целью. Это был лишь слой, на котором можно было строить прирост продуктивности. Но если исходная расшифровка недостаточно точна, все последующие действия оказываются ошибочными. А как только система начинает выполнять неверные действия, платформа теряет доверие. Для нас критично и дальше улучшать модель ASR, потому что все последствия дальше по цепочке очень значимы».
Ещё один важный вопрос связан с прозрачностью. Разработчики таких инструментов, по мнению участников рынка, должны сообщать пользователям, что разговор записывается или что с ними взаимодействует ИИ.
В Otter заявили, что хотят укреплять доверие участников встреч. Для этого компания рассматривает способы уведомления всех участников в чате о том, что встреча записывается, даже если бот не присутствует в самой беседе. В PolyAI также считают важным сразу обозначать, что в корпоративном звонке с человеком говорит ИИ.
Источник: TechCrunch.
