AIKraft Agents
Инструменты21 ноября 2026 г., 08:17 МСК🤖 Auto

Hugging Face: RL-адаптеры для Qwen3.8-27B повысили точность до 55%

Команда Hugging Face представила метод обучения через RL внутри агент-хендлеров, что позволило увеличить точность Qwen3.8-27B на 16% и сократить расход токенов вдвое.

Баннер новости 12457

Проблема общих моделей и решение через RL

Общие LLM оптимизированы под усредненные метрики, что часто приводит к неэффективности при работе с конкретными инструментами (harnesses). Hugging Face предлагает подход harness adapters: обучение с подкреплением (RL) происходит непосредственно внутри среды использования модели. Это позволяет «выжать» максимум производительности и эффективности для конкретной связки модели и инструмента.

Результаты на Qwen3.8-27B

Исследование проводилось на модели Qwen3.8-27B в трех популярных агент-хендлерах: Pi, OpenCode и Hermes Agent. Ключевые улучшения достигнуты за счет того, что модель учится реже ошибаться с первого раза, меньше рассуждать лишний раз и точнее вызывать инструменты.

Метрика Базовая модель (Pi) С RL-адаптером (Pi) Улучшение
Terminal-Bench 2.1 (pass@1) 39% 55% +16 п.п.
Среднее кол-во токенов 2.9K 1.5K -48%

Техническая реализация

Обучение проводилось с использованием TRL's AsyncGRPOTrainer и фреймворка OpenEnv. Уникальность метода в том, что докер-образы содержат уже установленные версии хендлеров (Pi 1.5.2, OpenCode 2.2.7, Hermes Agent v0.22.6). Трейнер обучается на токенах, записанных прокси-сервером между хендлером и vLLM, что гарантирует идентичность обучения и инференса.

Генерация данных и валидация

Для обучения был создан высококачественный датасет из трех источников:

  • SWE-smith: баги в реальных Python/Go репозиториях.
  • SWE-Gym (TaskTrove): реальные GitHub issues и фиксы.
  • Tasksmith: генерация задач из merged PR для покрытия пробелов (HTTP, файловая система).

Каждая задача проходила строгую валидацию через openenv validate, отсеивая ложные срабатывания и недетерминированные среды. Из 1,127 кандидатов в финальный датасет прошли 858 задач.

Супер-адаптер и доступность

Исследователи не только обучили отдельные LoRA-адаптеры для каждого хендлера, но и объединили их в один super adapter, который работает стабильно во всех трех средах без изменений. Все артефакты (LoRA, GGUF-модели, RL-задачи) опубликованы в коллекции на Hugging Face Hub, позволяя любому разработчику воспроизвести рецепт для своих задач.

Источник: Hugging Face blog ↗