Elevenlabs выпустила Conversational AI 2.0 — обновленную систему, которая позволяет агентам одновременно работать с речью и текстом для более естественного общения.
В новой версии компания представила разговорную модель, которая в реальном времени анализирует паузы и звуки вроде “эм”, “ах”. Система использует эти сигналы, чтобы понимать, когда говорить, а когда молчать. Например, если человек замолчал, чтобы что-то найти, агент подождет, а не перебьет пользователя.
Раньше пользователи вручную переключали язык. Теперь платформа определяет язык автоматически и подбирает ответ, позволяя в одной беседе свободно переключаться между языками.
Система поддерживает мультимодальное общение. Пользователи и агенты могут говорить, писать или совмещать оба способа. По мнению Elevenlabs, это помогает не терять нить разговора, если пользователь переходит с речи на текст и обратно.
Обновление включает прямую интеграцию Retrieval Augmented Generation (RAG) в голосовой агент. Благодаря этому агенты получают доступ к корпоративным базам данных в реальном времени, что уменьшает задержки и защищает личные данные пользователей.
Теперь компании могут централизованно управлять поведением диалогов, источниками знаний и каналами связи. Такая настройка и интеграция с RAG помогают ускорить обслуживание клиентов и упростить автоматизацию голосовых процессов. Примеры включают медицинских ассистентов, которые сразу находят рекомендации по лечению, или операторов поддержки, получающих актуальную информацию о продуктах прямо во время звонка.
В обновлении появился функционал “Batch Calling” — он позволяет компаниям автоматически совершать массовые звонки с оповещениями, опросами или персональными сообщениями. Платформа поддерживает входящие и исходящие звонки, а также интеграцию с SIP-системами.
Версия 2.0 полностью совместима со стандартом HIPAA, что подходит для медицины. Добавлена опциональная обработка данных в ЕС, чтобы организации могли соблюсти требования по хранению информации.
