Проблема потоковой обработки звука
Развертывание систем извлечения целевого говорящего (AVTSE) в реальном времени сталкивается с дилеммой: высокопроизводительные причинные модели требуют огромных вычислительных ресурсов, а легкие аналоги теряют качество из-за итеративного применения одного и того же блока. Команда Cslikai решила эту проблему, представив Falcon — эффективную причинную архитектуру, которая выполняет многомасштабное разделение в частотно-временной области за один прямой проход (single forward pass).
Архитектура и инновации
Ключевое отличие Falcon — использование AudioBlock, который заменяет циклические повторения сепаратора. Модель обучается с помощью encoder-space speaker contrastive loss, что позволяет подавлять «ближнюю» утечку звука (near-field leakage) без дополнительных затрат на инференс. Архитектура включает:
- Кодер-декодер: Прогрессивное уменьшение разрешения в 3 этапа с глобальным контекстом.
- TFRB (Time-Frequency Refinement Block): Комбинация двунаправленного LSTM (спектр), однонаправленного LSTM (время, для причинности) и маскированного 2D-само-внимания.
Новый бенчмарк RealSSA
Для оценки реалистичности авторы выпустили датасет RealSSA, который имитирует 4 типа сцен: от малых переговорных комнат до открытых пространств. Датасет учитывает динамическое количество говорящих (2–6), реверберацию, фоновый шум и внезапные звуковые события. Ниже приведено сравнение эффективности Falcon с лучшими причинными моделями:
| Метод | Параметры (M) | MACs (G) | GPU Latency (ms) | RAM (MB) |
|---|---|---|---|---|
| AV-TF-GridNet | 6.2 | 213.8 | 567.8 | 136.3 |
| Swift-Net-12 | 0.5 | 45.3 | 172.1 | 482.3 |
| Dolphin | 5.6 | 18.1 | 87.9 | 560.2 |
| Falcon (Ours) | 0.5 | 10.6 | 51.3 | 125.3 |
Результаты качества и скорости
Falcon демонстрирует state-of-the-art результаты на наборах RealSSA, LRS2-2Mix и LRS3-2Mix. По сравнению с базовой моделью AV-TFGridNet, Falcon снижает количество параметров на 91.9%, вычислительную стоимость (MACs) в 20.2 раза, а задержку инференса на GPU — в 11.1 раза (с 567.8 мс до 51.3 мс). При этом метрика SI-SNRi на RealSSA-Sim достигает 8.2, что является лучшим результатом среди причинных моделей.
Почему это важно
Снижение задержки до 51 мс делает Falcon пригодным для приложений реального времени, таких видеоконференции и умные колонки, где критична как скорость, так и качество выделения голоса в шумной среде. Архитектура Falcon не только эффективнее, но и универсальнее, так как метод обучения через контрастивную потерю можно применять к другим AVTSE-бэкбонам.
Источник: Cslikai ↗