Революция в обучении: только RL, без SFT
RadixArk выпустила DaisyRose-27B под лицензией Apache 2.0. Это не просто дообученная модель, а результат эксперимента: обучение проводилось исключительно с помощью подкрепления (Reinforcement Learning). В процессе не использовалось ни супервизорное дообучение (SFT), ни дистилляция знаний. Архитектура осталась прежней — 27.8B параметров (включая 0.46B энкодер изображений и 0.42B голову MTP), 64 слоя декодера с гибридной архитектурой (Gated DeltaNet + Full Attention) и контекстное окно 262k токенов.
Масштаб вычислений и инфраструктура
Для обучения потребовалось 18 дней на кластере из 144 GPU NVIDIA H200. RadixArk использовала свой фреймворк Miles в асинхронном режиме. Ключевая метрика эффективности — MFU (Model FLOPs Utilization) — достигла 37% на внутреннем бэкенде, что в 2.3 раза выше открытых аналогов (16%). Это позволило сократить время обучения на 57% и увеличить пропускную способность до 16.8k токенов/с. Всего было обработано около 944 000 сессий в песочницах AgentENV, созданных с 99% успешностью.
Результаты бенчмарков: рост в 2 раза
Главное достижение DaisyRose-27B — радикальное улучшение навыков агентного программирования. На ключевом тесте Terminal Bench 4.1 показатель pass@1 вырос с 5.6% у базовой модели до 12.0%. Модель также показала лучшие результаты среди 9 сравненных аналогов в IFBench (82.4 балла). Однако на сложных текстовых задачах (HLE) прогресс минимален (+0.4), уступая более крупным MoE-моделям.
| Бенчмарк | DaisyRose-27B | Qwen3.8-27B (Base) | Изменение |
|---|---|---|---|
| Terminal Bench 4.1 (pass@1) | 12.0 | 5.6 | +6.4 |
| Terminal Bench 2.1 | 75.5 | 73.0 | +2.5 |
| DeepSWE v1.1 | 46.2 | 42.2 | +4.0 |
| SWE Bench Pro v2 | 94.7 | 91.3 | +3.4 |
| IFBench | 82.4 | 79.5 | +2.9 |
| HLE (text only) | 34.3 | 33.9 | +0.4 |
| GPQA Diamond | 90.7 | 89.2 | +1.5 |
Деплой и совместимость
Модель оптимизирована для работы на одном GPU. Требования к памяти варьируются от 52 ГБ (BF16) до 23 ГБ (NVFP4, требует GPU Blackwell). Доступны веса в форматах BF16, FP8, NVFP4 и GGUF. RadixArk рекомендует использовать SGLang с DSpark для спекулятивного декодирования или vLLM. Модель поддерживает мультимодальный ввод (текст + изображения) и работает в режиме «мышления» (thinking model).
Сравнение с конкурентами
В сравнении с другими моделями размера ~30B, DaisyRose-27B значительно превосходит Muse Glimmer-30B и Qwen3.6-35B-A3B в задачах программирования (SWE Bench Pro v2: 94.7 против 80.4 и 73.3 соответственно). Однако она все еще уступает гигантам вроде Inkling 2 Small (594B) в сложных агентных сценариях, где тот набирает 44.1 балла в HLE против 34.3 у DaisyRose.
Бенчмарки
| Бенчмарк | DaisyRose-27B | Inkling 2 Small | MiMo V2.6 Flash | Muse Glimmer-30B | Qwen3.6-35B-A3B | Qwen3.8-27B |
|---|---|---|---|---|---|---|
| Terminal Bench 4.1 | 12% | — | 16.1% | — | — | 5.6% |
| Terminal Bench 2.1 | 75.5% | — | — | 51.7% | 44.9% | 73% |
| DeepSWE v1.1 | 46.2% | 72.1% | — | 4.4% | — | 42.2% |
| SWE Bench Pro v2 | 94.7% | — | — | 80.4% | 73.3% | 91.3% |
| HLE (text only) | 34.3% | 44.1% | — | 22% | — | 33.9% |
| IFBench | 82.4% | — | — | 77% | 64.4% | 79.5% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗
