Суть обновления: почему это важно
Разработчик akakaiy представил третью версию русской LoRA-модификации для мультимодальной модели MOSS-Audio-8B-Thinking. Главная цель обновления — устранить слабые места оригинальной модели в обработке русской речи, сохранив при этом способность понимать музыку, звуки и эмоциональную окраску. В отличие от предыдущих версий, v3 переобучена с нуля на 1450 часах данных, а затем дообучена на 600 часах для исправления ошибок в распознавании эмоций и повседневных звуков.
Бенчмарки: MOSS против Whisper и GigaAM
Тестирование проводилось на GGUF Q6 через патченный CrispASR на одной RTX 3080. Ключевая метрика — CER (Character Error Rate), где меньшее значение лучше. Для корректного сравнения цифры в транскриптах приводились к единому виду (например, «2026» вместо «две тысячи двадцать шестой»).
| Датасет / Задача | Whisper large-v3 | GigaAM v3 | MOSS Base | MOSS v2 | MOSS v3 (новая) |
|---|---|---|---|---|---|
| FLEURS-ru (CER-num) | 0.93 % | 1.07 % | 4.14 % | 3.54 % | 2.42 % |
| dev-300: шумная речь (CER-num) | 8.32 % | 3.13 % | 10.96 % | 7.65 % | 6.46 % |
| Русские песни (CER) | 69.2 % | 17.2 % | 35.1 % | 24.6 % | 24.5 % |
| ESC-50: названия звуков | 67 % | 64 % | 65 % | — | 65 % |
| RESD: распознавание эмоций | 27 % | 24 % | 24 % | — | 24 % |
Вывод по метрикам: На шумной, живой русской речи (dev-300) MOSS v3 обходит Whisper large-v3 и GigaAM. Однако на чистой зачитанной речи Whisper и GigaAM всё ещё точнее в 2–3 раза. Для задач, где важно не только «что сказано», но и «как» (музыка, фоновые шумы, интонация), MOSS v3 является лучшим выбором среди открытых решений.
Технические детали и оптимизация
Модель использует архитектуру moss_audio с 9 миллиардами параметров. Для запуска на потребительских видеокартах доступны различные квантования. Самая популярная версия Q6_K весит 7.86 ГБ и требует около 7.7 ГБ VRAM, что позволяет запускать её на RTX 3080 (10 ГБ).
- Архитектура LoRA: Rank 64 на LLM + полное обучение аудио-адаптера.
- Данные: 1450 часов русской речи (NVIDIA Granary, Sber Golos, радио) + 600 часов дообучения на эмоциях и песнях.
- Критическая настройка: Обязательно использование переменной окружения
CRISPASR_MOSS_CONTENT_ONLY=1. Без неё модель может выдавать пустой ответ на короткие клипы из-за падения в 30-секундный padding оригинального кода.
Как запустить
Модель интегрируется через CrispASR. Необходимо применить патч crispasr-moss-decode.patch и использовать следующие параметры для оптимальной работы:
CRISPASR_MOSS_CONTENT_ONLY=1 \
CRISPASR_MOSS_MAX_NEW=1024 \
CRISPASR_MOSS_THINK_BUDGET=640 \
CRISPASR_MOSS_LOOP_BREAK=6 \
crispasr --server --port 11443 --backend moss-audio -m moss-audio-8b-thinking-ru-q6_k-encq8.gguf -n 1024Для простых задач транскрипции достаточно CRISPASR_MOSS_MAX_NEW=768 и CRISPASR_MOSS_THINK_BUDGET=256. При использовании через Transformers + PEFT загружайте модель в 4-bit NF4, так как адаптер обучался именно на такой квантованной версии; использование bf16 ухудшает CER примерно на 1 пункт.
Известные ограничения
- Чистая зачитанная речь распознается хуже, чем специализированными ASR (GigaAM/Whisper).
- Модель может «убирать» слова-паразиты («ну», «э») из живой речи.
- Названия брендов на латинице иногда транслитерируются в кириллицу.
- Распознавание эмоций работает на уровне базы, но не превосходит её.
Источник: Huggingface ↗