От шума к данным: как работает cardiag
Разработчики представили cardiag — конвейер машинного обучения для анализа автомобильных звуков. Система решает сложную задачу: выделяет механический шум из записей, сделанных на смартфон, где присутствуют речь, музыка и шум дороги. Архитектура состоит из трех этапов:
- Очистка (clean() cascade): алгоритм изолирует короткие фрагменты механического звука, отбрасывая фоновый шум.
- Векторизация: используется замороженная модель CLAP (Contrastive Language-Audio Pretraining), которая преобразует аудио в 512-мерные эмбеддинги.
- Классификация: легкие линейные головы (linear heads) анализируют эмбеддинги для определения типа поломки, зоны в автомобиле и конкретного узла.
Реальные метрики: честность важнее рекордов
Главная особенность проекта — отказ от «накрутки» метрик. Система не пытается угадать там, где аудио недостаточно информативно, возвращая статус UNCERTAIN (неопределенно). Тестирование проводилось на 1 031 группе видео с сохранением целостности данных (leakage-safe cross-validation). Результаты показывают, что метод достигает потолка возможностей для «грязных» записей с телефонов:
| Задача | Результат | Превосходство над случайным угадыванием |
|---|---|---|
| Есть ли неисправность? | AUROC 0.79 [0.76, 0.83] | В 1.58 раза лучше (vs 0.50) |
| Где находится поломка? (6 зон) | Попадание в топ-3 ≈ 75% | В 2 раза лучше |
| Какая деталь сломана? (12+ категорий) | Попадание в топ-3 ≈ 45–65% | В 3–4 раза лучше |
| Уверенность модели | ECE ≈ 0.04 (калибровка) | Система честно говорит «не знаю» |
Для сравнения: на чистых записях звука двигателя (без фонового шума) тот же метод достигает 0.93 AUROC.
Почему это важно для автовладельцев
Система позиционируется не как замена автосервису, а как инструмент триажа (triage aid). Это означает, что cardiag помогает пользователю быстро сузить круг поиска: «что-то стучит в районе переднего правого колеса, скорее всего, это ступичный подшипник». Если запись слишком шумная, система не будет гадать, а предложит переснять звук.
Как запустить локально
Проект полностью открыт и работает на Python 3.11. Для быстрого старта не требуется скачивать гигабайты данных — в репозитории уже есть предобученные модели и демо-клипы. Установка через менеджер пакетов uv:
git clone this-repo && cd car-diagnosis
uv venv && source .venv/bin/activate
uv pip install -e .[scrape,web,dev,viz]
# Проверка установки
cardiag doctor preflight
# Диагностика файла
# cardig diagnose clip.wav
Разработчики подчеркивают, что методика очистки и обучения воспроизводима и может быть применена к другим аудио-датасетам, что делает cardiag полезным инструментом не только для автомобилистов, но и для исследователей в области аудио-ML.
Источник: Github ↗