Революционная легкость и точность
Появился новый набор узлов для ComfyUI — ComfyUI-Dettato, разработанный на базе модели KobiMusic's dettato. Это мультиинструментальный аудио-в-MIDI транскрибер, который выделяется на фоне конкурентов экстремально низким потреблением ресурсов. Вся цепочка обработки весит всего 28.1 млн параметров (113 МБ в fp32), что делает её доступной даже для слабых GPU.
Система обрабатывает любые записи: от поп-песен с вокалом до симфонических оркестров. Результатом является MIDI-файл, где каждый инструмент вынесен в отдельный трек с корректным назначением General MIDI программы. Всего поддерживается 73 класса инструментов + отдельный трек для ударных, включая тимпаны, записанные по их реальной высоте тона.
Сравнение с аналогами
Главное преимущество Dettato — эффективность. Модель превосходит ближайший открытый аналог MuScriptor (1.3 млрд параметров) по качеству, будучи при этом в 65 раз меньше. Ниже приведено сравнение ключевых характеристик:
| Характеристика | ComfyUI-Dettato | MuScriptor (Open Source) |
|---|---|---|
| Размер модели | 28.1 млн параметров (113 МБ) | 1.3 млрд параметров |
| Относительный размер | 1x (База) | ~65x больше |
| Точность транскрипции | Выше (по заявлению автора) | Ниже |
| Поддержка ударных | Да (включая тимпаны по высоте) | Стандартная |
Архитектура и узлы
Процесс транскрипции разбит на логические этапы, что позволяет гибко настраивать пайплайн в ComfyUI. Узлы загружаются автоматически с Hugging Face при первом запуске:
- Dettato Loader (61 МБ): Базовый транскрибер, всегда активен.
- Dettato Evidence (19 МБ): Этап «починки». Модель перепроверяет заметки на основе собственных кадровых данных, удаляя ложные срабатывания и добавляя пропущенные ноты.
- Dettato Grouper (12 МБ): Разделяет поток на треки по инструментам и оценивает тюнинг.
- Dettato Drums (20 МБ): Выделяет ударные. Требует входной частоты дискретизации 40 кГц и выше (44.1/48 кГц).
Пайплайн строится последовательно: Loader → Evidence → Grouper → Drums → Transcribe. Если какой-то этап не подключен к графу, его веса не загружаются, экономя ресурсы.
Интеграция с генерацией музыки YuE2
Уникальная фишка пакета — возможность использовать транскрипцию для создания каверов с помощью встроенного в ComfyUI (v0.36.0+) генератора YuE2. Узел Dettato To YuE2 ABC конвертирует MIDI в формат ABC-нот, который понимает YuE2.
Это позволяет:
- Взять любую запись.
- Извлечь мелодию (в режиме
melodyилиfull). - Передать её в YuE2 вместе с текстом и стилем.
- Получить новую песню с вокалом и аранжировкой, сохраняя оригинальную мелодию.
Пользователь может редактировать ABC-ноты вручную перед генерацией, что дает полный контроль над результатом.
Установка
Установка осуществляется через ComfyUI-Manager (поиск shumsky/ComfyUI-Dettato) или вручную через git. Все веса автоматически скачиваются в папку ComfyUI/models/dettato/. Система автоматически обнаруживает поврежденные загрузки и перезагружает их.
Источник: Github ↗
