Технология символьного планирования
В отличие от предыдущих моделей, которые генерируют аудио «наугад» или по текстовым описаниям, YuE2 внедряет механизм symbolic planning. Это позволяет пользователю задать точную структуру произведения с помощью языка разметки ABC. Система не просто имитирует стиль, а строго следует заданным аккордам, ритму и мелодии, что критически важно для профессиональных музыкантов и композиторов, нуждающихся в контроле над результатом.
Детали генерации: ключ, темп и структура
На основе предоставленных данных из интерфейса модели можно выделить конкретные параметры сгенерированного трека. Модель успешно обработала сложную структуру с переходами между куплетами, припевами и инструментальными проигрышами, сохранив целостность гармонии.
| Параметр | Значение | Примечание |
|---|---|---|
| Язык вокала | Японский | Текст лирики на японском языке |
| Тональность | D#m (Ре-диез минор) | Меланхоличное звучание |
| Размер | 4/4 | Стандартный размер для поп/лоу-фай |
| Темп | 85 BPM | Средний, расслабленный темп |
| Инструменты | Пиано, Флейта, Ударные, Синтезатор | Lo-fi hip-hop бит, атмосферные пэды |
Архитектура и визуализация
Интерфейс YuE2 демонстрирует глубокую интеграцию аудио и визуальных данных. Модель генерирует не только звуковой файл, но и интерактивную ABC-нотацию. Пользователь может видеть «красные ноты», которые синхронизированы с воспроизведением, что позволяет мгновенно верифицировать соответствие сгенерированного звука заданной партитуре. Это закрывает главную проблему генеративного ИИ — «черный ящик», где невозможно понять, почему звучит именно так.
Стилистическое описание и применение
В примере используется промпт, описывающий «нежную и меланхоличную композицию» с вокалом в стиле колыбельной. Аранжировка включает мягкий бит lo-fi hip-hop, теплую басовую линию и атмосферные синтезаторы. Такой подход делает YuE2 мощным инструментом для создания фоновой музыки, саундтреков к видео и быстрого прототипирования музыкальных идей с сохранением авторского контроля над композицией.
Источник: Github ↗