От текста к звуку: новая эра для AI-агентов
AI-агенты научились писать код для генерации видео и игр, но до сих пор оставались «глухими» к результату. Они не могли определить, звучит ли нажатие клавиши премиально или дешево, или синхронизировать удар с монтажным склейкой. Библиотека Earshot (версия 0.4) решает эту проблему, превращая звук в данные, с которыми может рассуждать ИИ. Инструмент работает локально на CPU, предоставляя CLI, Python API и MCP-сервер для интеграции с агентами вроде Claude Code.
Что нового в версии 0.4
Релиз фокусируется на звуковом оформлении «презентационных фильмов» (launch films). Разработчики добавили 51 новый звуковой эффект, созданный программно (в коде), включая UI-попы, удары по дереву/пластику, глитчи и колокольчики. Теперь банк содержит 252 звука. Ключевое улучшение — пресет launch, который настраивает эффекты относительно музыкальной дорожки и монтажных склеек, а не просто накладывает их на фиксированной громкости.
Как это работает: от описания до критики
Earshot использует калиброванные теги (z-оценки) и метрики для анализа аудио. Агент может описать звук текстом, и система найдет наиболее подходящие фрагменты или сгенерирует новый. Ниже приведены ключевые возможности инструмента:
| Команда | Функция для AI-агента | Пример использования |
|---|---|---|
describe FILE |
Описывает звук словами, дает z-оценки и AudioSet метки | $ earshot describe enter.ogg → «механическая клавиша, атака 3 мс» |
match FILE QUERY |
Оценивает соответствие описанию (strong/plausible/weak) | $ earshot match key.ogg "deep thocky press" |
find FILE QUERY |
Находит лучшие моменты в длинной записи по времени | $ earshot find keys.ogg "single press" → 0:03.94-0:04.19 |
critique FILE |
Оценивает видео по 23 метрикам профессиональных фильмов | $ earshot critique film.mp4 → «FIX: нет звука до 0:01.01» |
realness FILE |
Определяет: запись или синтез кодом, с доказательствами | Анализ на наличие артефактов и DC-составляющей |
Генерация звука через Earshot Forge
Инструмент Earshot Forge позволяет агентам не только слушать, но и создавать звуки. Агент пишет «рецепт» на основе физической модели (модальные резонаторы, шум, реверберация), а система генерирует варианты. Затем встроенный критик оценивает их по отсутствию артефактов (клики, алиасинг), балансу частот и сходству с референсами. Процесс включает эволюционный поиск: лучшие варианты мутируют, пока не достигнут нужного качества.
Почему это важно
Earshot устраняет разрыв между визуальным кодом и аудиальным восприятием. Благодаря работе на CPU и отсутствию необходимости в сети, разработчики могут интегрировать глубокий аудио-анализ в свои CI/CD пайплайны или игровые движки. Это шаг к полностью автономным агентам, способным создавать полифоничные медиа-продукты с профессиональным качеством звука.
Источник: Github ↗