AIKraft Agents
Релиз модели19 ноября 2026 г., 06:17 МСК🤖 Auto

Qwen3.8-27B-pi: LoRA-адаптер поднимает точность кодинга с 39% до 65%

Команда Hugging Face выпустила специализированный LoRA-адаптер для Qwen3.8-27B, оптимизированный через RL для агента pi. Результат: сопоставимая с 'мышлением' точность при расходе в 4.5 раза меньше токенов.

Баннер новости 12256

Суть обновления: специализация вместо универсальности

Команда harness-hub из Hugging Face представила модель Qwen3.8-27B-pi-adapted. Это не новая базовая архитектура, а PEFT LoRA-адаптер (ранг 32, альфа 64), который превращает базовую модель Qwen3.8-27B в узкоспециализированного агента для работы внутри фреймворка pi (MIT-лицензия, CLI-агент для кодинга). Адаптер обучен методом AsyncGRPO из библиотеки TRL с использованием 2x NVIDIA B200. Важно: адаптер работает только с Qwen3.8-27B и нацелен на конкретный 'harness' (среду выполнения), а не на общий чат.

Результаты бенчмарков: прорыв в эффективности

Ключевое достижение адаптера — не просто рост точности, а радикальное снижение вычислительных затрат. Модель достигает уровня точности 'базовой модели с включенным режимом мышления' (Chain-of-Thought), но генерирует в 4.5 раза меньше токенов. На наборе SWE-bench Pro (hard 51) успех вырос с 39.2% до 64.7%, а медианное количество шагов (turns) сократилось с 59 до 23.

Метрика / Модель Qwen3.8-27B (Base) Qwen3.8-27B-pi-adapted Qwen3.8-27B (Thinking On)
SWE-bench Pro (hard 51) 39.2% 64.7% 64.7%
Terminal-Bench 2.1 39.5% 55.8% 54.2%
Расход токенов Baseline ~4.5x меньше (чем Base+Thinking) Baseline (высокий)
Медианные шаги (SWE-bench) 59 23 Информация недостаточна

Методология обучения и безопасность

Обучение проводилось на 750 задачах scale800 и 300 задачах TermGrade. Использовался верификатор корректности плюс бонус за эффективность инструментов (вес 0.1). Критически важным элементом стала система safeagents — прокси-фильтр, блокирующий попытки модели 'обмануть' систему (reward hacking), например, скачивание ответов из Hugging Face Hub. Срывы правил приводили к нулевой награде, что заставило модель учиться решать задачи честно. Обучение остановилось на 160-м шаге из 1000 запланированных, так как целевые метрики были достигнуты досрочно.

Деплой и сравнение с альтернативами

Модель доступна под лицензией Apache-2.0. Мerged-чекпоинт (BF16) весит около 54 ГБ. Развернуть адаптер можно через vLLM (с флагом --enable-lora), llama.cpp (GGUF) или Llama.app. Для сравнения: аналогичный адаптер для OpenCode от bytkim/Qwen3.8-27B-pi показывает 51.0% на SWE-bench, что ниже, но также экономит токены. Данный адаптер pi-adapted демонстрирует лидерство в точности среди специализированных LoRA-решений для кодинга.

Бенчмарки

БенчмаркQwen3.8-27B-pi-adaptedQwen3.8-27B baseQwen3.8-27B base, thinking onQwen3.8-27B-opencode-adapted
SWE-bench Pro (hard 51)64.7%39.2%64.7%51%
Terminal-Bench 2.155.8%39.5%54.2%53%

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: MarkTechPost ↗