Группа исследователей из Hugging Face, Nvidia, Кембриджского университета и Mistral AI представила Open ASR Leaderboard – платформу для оценки систем автоматического распознавания речи.
Рейтинг помогает сравнить открытые и коммерческие модели. Уже протестировано более 60 моделей от 18 компаний. Оценка идет по трем категориям: английская транскрипция, мультиязычное распознавание (немецкий, французский, итальянский, испанский и португальский) и длинные аудиозаписи (более 30 секунд). В последней категории видно, насколько по-разному одни и те же системы работают на коротких и длинных записях.
Для объективности расшифровки перед оценкой приводят к единому виду: убирают знаки препинания, приводят к нижнему регистру, пишут числа словами и удаляют вводные слова вроде “ээ” и “угу”. Этот способ совпадает с подходом OpenAI Whisper.
В английской транскрипции сильнее всех себя показывают системы на базе больших языковых моделей. Лидирует Nvidia Canary Qwen 2.5B с показателем WER 5,63%. Однако такие модели разбирают аудио медленно. Более простая система Nvidia Parakeet CTC 1.1B быстрее реального времени в 2 728 раз, но по точности занимает только 23-е место.
Тесты на разных языках выявили компромисс между универсальностью и точностью. Узкие модели лучше с одним языком, но хуже с другими. Модели Whisper, обученные только английскому, превосходят мультиязычные Whisper Large v3 по английскому, но не справляются с остальными языками.
В мультиязычных тестах лидирует Microsoft Phi-4 multimodal instruct в немецком и итальянском. Nvidia Parakeet TDT v3 распознает 25 языков, но уступает по английскому узкоспециализированной v2.
Среди коротких аудио открытые модели занимают первые места. Лучший коммерческий результат — шестое место у Aqua Voice Avalon. Сравнивать скорость коммерческих сервисов полностью корректно нельзя — на итог влияет, например, время загрузки файлов.
Для длинных записей коммерческие системы показывают лучшие результаты. Впереди Elevenlabs Scribe v1 (4,33% WER) и RevAI Fusion (5,04%). Вероятно, роль сыграла оптимизация под длинный контент и железо.
Весь рейтинг и код доступны на GitHub. Разработчики могут отправлять новые модели через скрипты для тестовой коллекции. Датасеты размещены на Hugging Face Hub и открыты для ознакомления.
Команда планирует добавить новые языки, сценарии и метрики, включая ранее не тестировавшиеся комбинации систем. Ожидается, что модели на базе больших языковых моделей будут использоваться еще шире.
