От лупов к виртуальным инструментам
В отличие от большинства аудио-моделей, которые выдают случайные сэмплы по текстовому описанию, Foundation-1 от RoyalCities спроектирована вокруг реальных рабочих процессов музыкального продакшна. Главная инновация — переход от генерации готовых лупов к созданию играбельных клавиатур (keybeds). Модель генерирует сэмплы для каждой ноты, сохраняя единый тембральный характер, что позволяет импортировать результат как полноценный VST-инструмент или семплер.
Архитектура семейства моделей
Разработчики разделили чекпоинты для оптимизации качества. Более ранняя версия лучше справляется с длинными лупами, а специализированная версия Keybeds обучалась дольше, чтобы обеспечить консистентность звука при изменении высоты тона. Это позволяет создавать гибридные звуки, где тембр не «ломается» на высоких или низких регистрах.
| Модель | Основное назначение | Ключевые особенности |
|---|---|---|
| Foundation-1 | Генерация лупов | Оригинальный чекпоинт. Создает музыкальные лупы, синхронизированные по BPM и тактам. |
| Foundation-1.2 Samples | Лупы и One-Shot | Сохраняет высокое качество коротких лупов, отобрана из ранних этапов обучения. |
| Foundation-1.2 Keybeds | One-Shot и Keybeds | Генерация играбельных инструментов. Обеспечивает согласованность тембра across pitch (по всей клавиатуре). |
Структурированное управление звуком
Сила Foundation-1 в детальной градации промптов. Модель разделяет запрос на четыре уровня:
- Instrument Family: Общий класс (например, «Синтезатор»).
- Sub-Family: Конкретная роль или тип (например, «Bass» или «Lead»).
- Timbre Tags: Тембральные характеристики (Gritty, Warm, Metallic, Airy).
- FX Tags: Эффекты обработки (Reverb, Delay, Distortion, Wet/Dry).
Такой подход позволяет точно контролировать фразировку, ритмическое поведение и гармоническое движение, а также использовать нотацию для указания тональности (мажор/минор) и количества тактов.
Практическое применение
Для работы с моделью рекомендуется использовать RC Stable Audio Tools. Этот инструмент автоматизирует процесс: берет текстовое описание, генерирует последовательность нот, сохраняет seed для консистентности и экспортирует результат как готовый семплер. Это открывает путь для разработчиков плагинов, желающих интегрировать AI-генерацию исходных материалов инструментов в свои DAW.
Источник: Huggingface ↗