Проблема фиксированных частотных полос
Традиционные модели разделения источников звука (source separation) часто используют архитектуру «band-split», где спектр делится на заранее заданные частотные диапазоны. Главная проблема такого подхода — статичность: границы полос не меняются независимо от содержания аудио. Это приводит к тому, что дискриминативные компоненты могут оказаться в одной полосе, а ресурсы токенов тратятся впустую там, где высокая детализация не нужна.
Решение: Dynamic Band Splitting (DBS)
Новый метод DBS предлагает end-to-end фреймворк, который адаптирует расположение границ и ширину полос под каждое конкретное смешанное аудио (mixture), сохраняя при этом фиксированный бюджет токенов. Процесс включает:
- Предсказание границ: BiLSTM анализирует временные свертки и статистику амплитуды, вычисляя вероятность перехода между частотными бинами.
- Hard Top-K выбор: Алгоритм выбирает строго заданное количество границ, обеспечивая постоянный размер входной последовательности для сепаратора.
- Контент-зависимый пулинг: Каждая переменная по ширине полоса сворачивается в один токен, что позволяет модели работать с переменной частотной детализацией.
Ключевые результаты и метрики
Метод DBS продемонстрировал значительное улучшение качества разделения на трех основных датасетах: DnR v2 (кинематографическое аудио), MUSDB18-HQ (музыка) и EchoSet (речь). Особого внимания заслуживает результат на датасете DnR v2, где модель DBS-BSRNN достигла среднего показателя SI-SDR 9.07 дБ, что на 29.0% выше базовой модели BSRNN (7.03 дБ).
Ниже приведено сравнение эффективности различных архитектур с использованием DBS на датасете DnR v2 (кинематографическое разделение):
| Метод | Музыка (SI-SDR) | Речь (SI-SDR) | Звуки (SI-SDR) | Среднее (SI-SDR) | Параметры (M) |
|---|---|---|---|---|---|
| BSRNN (базовая) | 5.50 | 13.80 | 1.80 | 7.03 | 52.8 |
| BSRNN (128 токенов) | 4.83 | 14.87 | 3.38 | 7.69 | 35.5 |
| DBS-BSRNN (128 токенов) | 6.48 | 15.01 | 5.73 | 9.07 | 4.7 |
| TIGER (базовая) | 5.14 | 13.51 | 3.66 | 7.44 | 1.4 |
| DBS-TIGER (128 токенов) | 7.78 | 15.90 | 6.70 | 10.13 | 1.0 |
Почему это важно
Эксперименты показали, что 64 тестовых сэмплов из DnR v2 сгенерировали 64 уникальных разбиения спектра, причем границы менялись даже между соседними 3-секундными окнами одного и того же аудио. Это доказывает, что модель действительно учится адаптироваться к акустическому контенту, а не просто запоминает паттерны. Удаление ключевых компонентов DBS, таких как приоритет акустических переходов, приводило к падению качества на 2.14 дБ, что подтверждает важность динамического подхода для сохранения тонкой спектральной структуры.
Источник: Cslikai ↗