Проблема общих моделей и решение через RL
Общие LLM оптимизированы под усредненные метрики, что часто приводит к неэффективности при работе с конкретными инструментами (harnesses). Hugging Face предлагает подход harness adapters: обучение с подкреплением (RL) происходит непосредственно внутри среды использования модели. Это позволяет «выжать» максимум производительности и эффективности для конкретной связки модели и инструмента.
Результаты на Qwen3.8-27B
Исследование проводилось на модели Qwen3.8-27B в трех популярных агент-хендлерах: Pi, OpenCode и Hermes Agent. Ключевые улучшения достигнуты за счет того, что модель учится реже ошибаться с первого раза, меньше рассуждать лишний раз и точнее вызывать инструменты.
| Метрика | Базовая модель (Pi) | С RL-адаптером (Pi) | Улучшение |
|---|---|---|---|
| Terminal-Bench 2.1 (pass@1) | 39% | 55% | +16 п.п. |
| Среднее кол-во токенов | 2.9K | 1.5K | -48% |
Техническая реализация
Обучение проводилось с использованием TRL's AsyncGRPOTrainer и фреймворка OpenEnv. Уникальность метода в том, что докер-образы содержат уже установленные версии хендлеров (Pi 1.5.2, OpenCode 2.2.7, Hermes Agent v0.22.6). Трейнер обучается на токенах, записанных прокси-сервером между хендлером и vLLM, что гарантирует идентичность обучения и инференса.
Генерация данных и валидация
Для обучения был создан высококачественный датасет из трех источников:
- SWE-smith: баги в реальных Python/Go репозиториях.
- SWE-Gym (TaskTrove): реальные GitHub issues и фиксы.
- Tasksmith: генерация задач из merged PR для покрытия пробелов (HTTP, файловая система).
Каждая задача проходила строгую валидацию через openenv validate, отсеивая ложные срабатывания и недетерминированные среды. Из 1,127 кандидатов в финальный датасет прошли 858 задач.
Супер-адаптер и доступность
Исследователи не только обучили отдельные LoRA-адаптеры для каждого хендлера, но и объединили их в один super adapter, который работает стабильно во всех трех средах без изменений. Все артефакты (LoRA, GGUF-модели, RL-задачи) опубликованы в коллекции на Hugging Face Hub, позволяя любому разработчику воспроизвести рецепт для своих задач.
Источник: Hugging Face blog ↗
