От гитары к нейросетям: эволюция подхода
Пари Смарагдис, профессор MIT с 2025 года, объединяет инженерию и искусство. Его путь начался с классической гитары и синтезаторов в Греции, затем последовало обучение в Berklee College of Music, где он открыл для себя джаз-фьюжн и бас. Ключевой поворот произошел в Media Lab MIT, где под руководством Барри Веркоу он перешел от создания музыкального ПО к разработке алгоритмов, способных понимать звук, а не просто обрабатывать его.
Смарагдис утверждает: «Мы не можем просто сказать компьютеру, как слушать. Мы даже не знаем, как слушаем сами». Традиционные методы обработки сигналов (DSP) исчерпали свой потенциал, уступив место машинному обучению, которое позволяет моделям выявлять паттерны, недоступные жестким математическим правилам.
Практические применения: от геотермальных скважин до музыки
Лаборатория Смарагдиса решает задачи, которые кажутся невозможными для человека. Например, система может определить поломку промышленного бура по звуку трения о плотную породу до того, как произойдет авария. В сфере развлечений их технологии использовались для реставрации архивных записей The Beatles для документального сериала «Get Back» (2021), очищая вокал и инструменты из старых записей.
Сравнение подходов: DSP против Machine Learning
История работы Смарагдиса демонстрирует переход от ручного программирования правил к обучению моделей на данных. Ниже приведено сравнение двух эпох в обработке звука, через которые прошел исследователь:
| Критерий | Традиционная обработка сигналов (DSP) | Машинное обучение (подход Смарагдиса) |
|---|---|---|
| Принцип работы | Жесткие математические фильтры и правила | Нейросети, обучающиеся на больших данных |
| Гибкость | Низкая: сложно адаптировать под новые звуки | Высокая: модель адаптируется к новым акустическим сценам |
| Пример применения | Базовое шумоподавление в телефонах | Разделение голосов в записи The Beatles, анализ звуков стадиона |
| Сложность задачи | Линейные задачи (фильтрация частот) | Нелинейные задачи (сепарация источников, контекстный анализ) |
Карьерный трек и индустриальное влияние
До возвращения в академию Смарагдис работал в ключевых технологических компаниях, внедряя свои идеи в продукты:
- Mitsubishi Electric Research Labs: Разработка систем анализа видеопотоков по звуку. Алгоритм определял «хайлайты» футбольного матча по крику толпы, что позже было интегрировано в системы видеозаписи и мониторинга трафика.
- Adobe: Создание аудиоинструментов для музыкантов. Команда Смарагдиса сделала сложные операции с звуком доступными для непрофессионалов, что выявило необходимость в более глубоких технических решениях.
- University of Illinois at Urbana-Champaign: Внедрение нейросетей для разделения звуковых источников (source separation), что стало фундаментом для текущих исследований в MIT.
Почему это важно сейчас
В эпоху, когда компьютерное зрение достигло зрелости, «слух» ИИ остается слабой стороной. Смарагдис доказывает, что звук — это не просто дополнение к видео, а самостоятельный канал данных. Его работы открывают путь к созданию «умных» устройств, которые могут слушать окружающую среду, предупреждать об опасностях и помогать в творчестве, стирая грань между человеческим восприятием и машинной точностью.
Источник: MIT News AI ↗