Новый стандарт оценки голосового AI
Лаборатория Hume представила Audio Decision Model — специализированную модель для анализа тональности, эмоций и контекста в голосовых вызовах. В отличие от стандартных STT-систем, этот API позволяет задавать произвольные вопросы к аудио (например, «Звучит ли клиент раздраженным?») и получать вероятностные ответы. Это критически важно для оценки качества голосовых ассистентов и выявления сбоев в работе AI-агентов.
Бенчмарки: победа над лидерами рынка
Модель Hume демонстрирует рекордные показатели на 10 ведущих бенчмарках (MMAU, ParaPair, EmphAssess и др.). Она не только точнее, но и быстрее аналогов, обеспечивая медианную задержку всего 0.23 секунды на экран. Ниже приведено сравнение ключевых метрик с основными конкурентами:
| Модель | Средняя точность (Avg Accuracy) | Медианная задержка (Latency) |
|---|---|---|
| Hume Audio Decision Model | 0.82 | 0.23 с |
| Google Gemini 3.8 Flash | 0.78 | — |
| Alibaba Qwen3.8-Omni-Flash | 0.76 | — |
| Thinking Machines Inkling-Small | 0.67 | — |
| OpenAI gpt-audio-1.5 | — | — |
Согласуемость с человеком: 70.7% против 56.5%
Одной из главных проблем автоматической оценки является расхождение с человеческим восприятием. Hume заявляет, что их модель согласуется с панелю человеческих оценщиков в 70.7% случаев. Для сравнения, один человеческий рейтер согласуется сам с собой (или с группой) лишь в 56.5% случаев. Это делает модель более надежным инструментом для валидации данных, чем человеческий труд.
Масштаб данных и API
Модель обучена на базе более 1 миллиарда часов обработанных клиентских часов и 10 миллионов+ человеческих суждений. Разработчики могут интегрировать модель через простой API, отправляя аудиофайлы и JSON-запросы с вопросами. Пример запроса позволяет определить количество говорящих, наличие фонового шума или эмоциональную окраску речи, получая ответ в виде распределения вероятностей по каждому из возможных вариантов ответа.
- Ключевая метрика: 0.82 average accuracy across 10 benchmarks.
- Скорость: 0.23 seconds median latency per screen.
- Обучающая выборка: 1B+ hours of audio processed.
Зачем это нужно индустрии?
Audio Decision Model решает проблему «черного ящика» в голосовом AI. Разработчики могут автоматически сканировать тысячи записей звонков, чтобы найти случаи, где AI-агент повел себя некорректно (например, проявил неуважение или не понял контекст), и использовать эти данные для дообучения моделей. Это переводит оценку качества голосовых интерфейсов из субъективной плоскости в плоскость измеримых метрик.
Бенчмарки
| Бенчмарк | Audio Decision Model | Gemini 3.8 Flash | Individual Rater | Inkling-Small | Qwen3.8-Omni-Flash |
|---|---|---|---|---|---|
| Average score over 10 leading benchmarks (MMAU, | 82% | 78% | — | 67% | 76% |
| Agreement with a panel of human raters | 70.7% | — | 56.5% | — | — |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: Hume ↗