Суть обновления: специализация вместо универсальности
Команда harness-hub из Hugging Face представила модель Qwen3.8-27B-pi-adapted. Это не новая базовая архитектура, а PEFT LoRA-адаптер (ранг 32, альфа 64), который превращает базовую модель Qwen3.8-27B в узкоспециализированного агента для работы внутри фреймворка pi (MIT-лицензия, CLI-агент для кодинга). Адаптер обучен методом AsyncGRPO из библиотеки TRL с использованием 2x NVIDIA B200. Важно: адаптер работает только с Qwen3.8-27B и нацелен на конкретный 'harness' (среду выполнения), а не на общий чат.
Результаты бенчмарков: прорыв в эффективности
Ключевое достижение адаптера — не просто рост точности, а радикальное снижение вычислительных затрат. Модель достигает уровня точности 'базовой модели с включенным режимом мышления' (Chain-of-Thought), но генерирует в 4.5 раза меньше токенов. На наборе SWE-bench Pro (hard 51) успех вырос с 39.2% до 64.7%, а медианное количество шагов (turns) сократилось с 59 до 23.
| Метрика / Модель | Qwen3.8-27B (Base) | Qwen3.8-27B-pi-adapted | Qwen3.8-27B (Thinking On) |
|---|---|---|---|
| SWE-bench Pro (hard 51) | 39.2% | 64.7% | 64.7% |
| Terminal-Bench 2.1 | 39.5% | 55.8% | 54.2% |
| Расход токенов | Baseline | ~4.5x меньше (чем Base+Thinking) | Baseline (высокий) |
| Медианные шаги (SWE-bench) | 59 | 23 | Информация недостаточна |
Методология обучения и безопасность
Обучение проводилось на 750 задачах scale800 и 300 задачах TermGrade. Использовался верификатор корректности плюс бонус за эффективность инструментов (вес 0.1). Критически важным элементом стала система safeagents — прокси-фильтр, блокирующий попытки модели 'обмануть' систему (reward hacking), например, скачивание ответов из Hugging Face Hub. Срывы правил приводили к нулевой награде, что заставило модель учиться решать задачи честно. Обучение остановилось на 160-м шаге из 1000 запланированных, так как целевые метрики были достигнуты досрочно.
Деплой и сравнение с альтернативами
Модель доступна под лицензией Apache-2.0. Мerged-чекпоинт (BF16) весит около 54 ГБ. Развернуть адаптер можно через vLLM (с флагом --enable-lora), llama.cpp (GGUF) или Llama.app. Для сравнения: аналогичный адаптер для OpenCode от bytkim/Qwen3.8-27B-pi показывает 51.0% на SWE-bench, что ниже, но также экономит токены. Данный адаптер pi-adapted демонстрирует лидерство в точности среди специализированных LoRA-решений для кодинга.
Бенчмарки
| Бенчмарк | Qwen3.8-27B-pi-adapted | Qwen3.8-27B base | Qwen3.8-27B base, thinking on | Qwen3.8-27B-opencode-adapted |
|---|---|---|---|---|
| SWE-bench Pro (hard 51) | 64.7% | 39.2% | 64.7% | 51% |
| Terminal-Bench 2.1 | 55.8% | 39.5% | 54.2% | 53% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗
