Компания ElevenLabs представила данные о производительности своего ИИ-ассистента, встроенного в систему документации. Модель справляется с большинством вопросов по документации, но сталкивается с трудностями при решении более сложных задач.
Основные результаты:
- Ежедневно AI-ассистент обрабатывает около 200 обращений.
- По результатам внутренней оценки и анализа 150 вызовов, успешность ответов составляет 80%.
Как работает система:
- Модель действует под именем “Алексис”, выполняя роль технического специалиста.
- Используются инструкции для форматирования текста, работы с различными языками и перенаправления сложных запросов.
- Знания берутся из базы данных, включающей сжатую документацию ElevenLabs (80,000 символов), FAQ и релевантные ссылки.
- Для контроля качества система отслеживает метрики: точность, качество взаимодействия, успешность ответов и нерешённые вопросы.
Сильные стороны:
- Ассистент эффективно отвечает на конкретные вопросы, такие как API-эндпоинты или варианты интеграции.
Ограничения:
- Даёт неопределённые ответы вместо уточняющих вопросов.
- Испытывает трудности с объяснением кода через голос.
- При сложных задачах предлагает перегруженные списки рекомендаций.
- Не справляется с проблемами, связанными с аккаунтами, ценами или ошибками верификации.
В ElevenLabs отмечают, что AI-ассистент лучше всего подходит для пользователей, ищущих помощь с документацией. Сложные вопросы, такие как устранение неполадок или консультации по ценам, всё ещё требуют участия человека.
