Локальная студия за 40 секунд
Разработчики представили YuE2-ComfyUI v0.4.0 — набор нод для интеграции модели YuE2-3B в ComfyUI. Решение позволяет генерировать полноценные музыкальные треки (с вокалом и инструментами) исключительно на локальном оборудовании. Ключевая метрика производительности: на видеокарте NVIDIA RTX 5090 генерация 75-секундной песни занимает 40,2 секунды.
Процесс работает в четыре этапа: планирование мелодии через ABC-нотацию, генерация семантических токенов, создание акустических латентов (flow matching, 32 шага) и финальный декодинг через VAE в аудио 48 кГц. Вес модели составляет 7,26 ГБ (или 3,69 ГБ в INT8-версии), а потребление VRAM варьируется от 5 ГБ для коротких треков до 11,5–15 ГБ для длинных композиций.
Два режима генерации: от идеи до текста
Пакет предлагает два основных узла для создания контента. Первый, YuE2 Generate Song, требует ручного ввода стиля и текста. Второй, YuE2 Write Song, использует LLM для автоматической генерации и стиля, и лирики на основе одного промпта (например, "грустная песня о зиме с женским вокалом").
Важная особенность — наличие встроенного редактора ABC-нотации. Пользователь может вручную редактировать структуру песни, менять ключи и даже влиять на токенизацию, изменяя регистр букв внутри слов. Это не маркер ударения, а технический маркер разделения токенов, что позволяет тонко настраивать ритмику.
Технические требования и совместимость
Для работы требуется GPU NVIDIA с поддержкой BF16. CPU-режим возможен, но крайне медленен (около часа на трек). Ниже приведено сравнение режимов работы и требований к ресурсам.
| Параметр | Значение / Характеристика |
|---|---|
| Модель | YuE2-3B (вес 7.26 ГБ / INT8: 3.69 ГБ) |
| Время генерации (75 сек) | 40.2 сек (RTX 5090) |
| Потребление VRAM | ~5 ГБ (40 сек) / ~11.5 ГБ (4 мин) / до 15 ГБ (полная загрузка) |
| Выходной формат | 48 kHz Stereo Audio + ABC Score |
| Доп. зависимости | tiktoken, llama-cpp-python (опционально) |
Воспроизводимость и готовые воркфлоу
Разработчики внедрили строгую детерминированность: использование фиксированного seed гарантирует идентичный результат при повторном запуске. Пакет поставляется с шестью готовыми шаблонами (templates), включая сценарии «песня из одной фразы», «длинная песня» и «редактирование нот перед вокалом».
Установка осуществляется стандартным способом через git clone в папку ComfyUI/custom_nodes/. Важно отметить, что узел YuE2 Write Song добавляет около 2.55 ГБ к весам, если не используется локальная GGUF-модель, и требует бинарных файлов llama.cpp.
Источник: Github ↗