В мире больших языковых моделей (LLM) существует распространенное заблуждение: чем универсальнее модель, тем она лучше. Однако на практике оказывается, что модели, оптимизированные под общие задачи, часто оставляют значительный потенциал производительности и эффективности на столе, когда речь заходит о специфических рабочих процессах. Представьте, что вы используете мощный универсальный автомобиль для гонок по бездорожью. Он справится, но не так эффективно, как специально подготовленный внедорожник. Точно так же стандартная LLM может выполнять сложные задачи программирования или анализа данных, но делать это с избыточным потреблением ресурсов и меньшей точностью, чем это возможно.
Команда Hugging Face представила инновационный подход — Harness Adapters (адаптеры хабсов). Идея заключается в том, чтобы дообучить модель с помощью обучения с подкреплением (Reinforcement Learning, RL) непосредственно внутри среды выполнения вашего предпочитаемого агента (harness). Это позволяет «выжать» максимум из модели именно для вашего стека инструментов и типа задач. В этой статье мы подробно разберем, как работает этот процесс, какие результаты были достигнуты на модели Qwen3.8-27B и как вы можете воспроизвести этот метод для своих проектов.

01Почему стандартные модели не идеальны для специфических задач?
Большинство современных LLM обучаются на огромных корпусах общих данных, что делает их отличными «универсальными солдатами». Они хорошо пишут код, объясняют концепции и генерируют тексты. Однако, когда вы интегрируете модель в конкретный агентный фреймворк (например, Pi, OpenCode или Hermes Agent), возникают нюансы, которые общее обучение не учитывает. Модель может использовать слишком много токенов на рассуждения, совершать лишние вызовы инструментов или делать ошибки в формате вывода, которые требуют дополнительных итераций исправления.
Адаптеры хабсов решают эту проблему, создавая кастомную петлю обратной связи. Вместо того чтобы полагаться на общие инструкции, мы обучаем модель вести себя именно так, как того требует конкретный хабс. Результатом становится модель, которая не только точнее решает задачи, но и делает это быстрее и дешевле, так как потребляет меньше токенов. Например, базовая модель Qwen3.8-27B в среде Pi демонстрирует результат 39% на бенчмарке Terminal-Bench 2.1, используя в среднем 2900 токенов на задачу. После добавления RL-адаптера этот показатель возрастает до 55% при использовании всего 1500 токенов. Это колоссальный скачок эффективности: модель стала точнее почти на 16 процентных пунктов и сократила затраты ресурсов вдвое.
02Архитектура обучения внутри агентных хабсов
Ключевое отличие подхода Harness Adapters от традиционных методов RLHF (Reinforcement Learning from Human Feedback) заключается в том, где именно происходит обучение. Большинство фреймворков требуют переписывания логики агента под интерфейс фреймворка обучения. Это создает разрыв между тем, как модель ведет себя во время обучения, и тем, как она ведет себя в продакшене.
В нашем случае мы используем интеграцию Harbor в OpenEnv и TRL’s OpenEnv. Это позволяет запустить агента в его «родной» среде. Мы подготовили готовые Docker-образы для всех наших RL-задач, в которые уже встроены целевые хабсы: Pi версии 1.5.2, OpenCode версии 2.2.7 и Hermes Agent версии 0.22.6. Прокси-сервер между хабсом и сервером vLLM записывает токены, которые фактически генерирует модель, обеспечивая идеальное совпадение условий обучения и инференса.
Этот подход, известный как «harnessed agentic RL», гарантирует, что модель учится на тех же самых токенах и в той же самой среде, в которой она будет использоваться. Недавние работы, такие как Agent Lightning v1.0 и интеграция SkyRL с Harbor, движутся в том же направлении, подтверждая эффективность этого метода. Мы же пошли дальше, применив его к более сложным задачам инженерии программного обеспечения и масштабировав его на модель среднего размера в 27 миллиардов параметров.
03Генерация и валидация кастомных RL-задач
Для успешного обучения с подкреплением критически важна качественная датасет. Модель не может учиться на задачах, которые она уже решает идеально, или на задачах, которые заведомо нерешаемы. Кроме того, верификатор (система оценки) должен быть надежным: если он принимает неправильные ответы, модель научится ошибаться.
Мы создали сложный пайплайн для генерации и фильтрации задач, используя три основных источника:
- SWE-smith: Этот инструмент вносит баги в реальные репозитории Python и Go, используя либо переписывание с помощью LLM, либо мутации (например, изменение оператора). Тесты, которые ловят эти баги, становятся частью задачи. Это дает большой объем данных.
- SWE-Gym (TaskTrove): Превращает реальные проблемы GitHub и их исправления в задачи. Это добавляет реализма, так как задачи основаны на реальных инцидентах.
- Tasksmith: Генерирует задачи из слитых pull-реквестов. LLM-агент пишет инструкцию и тесты, а Tasksmith проверяет результат: референсное решение и альтернативное должны проходить, а неисправленный код и заведомо неправильное решение — падать. Это позволяет целенаправленно заполнять пробелы в навыках модели, такие как HTTP-стриминг или работа с файловой системой.
Каждая задача проходит строгую фильтрацию с помощью openenv validate. Мы проверяем, что референсное решение получает максимальную награду, что бездействие дает низкий балл, и что нет «канареек» (сигналов, которые могут обмануть верификатор). Также проверяется детерминизм: повторный запуск референсного решения должен давать тот же результат.
04Проверка сложности и отбор задач
После валидации мы проводим проверку сложности. Для алгоритма GRPO (Group Relative Policy Optimization) важна «золотая середина»: задача должна быть такой, чтобы модель решала её не всегда, но и не никогда. Если модель решает задачу всегда, она не учится новому. Если никогда — градиенты не сходятся.
Мы протестировали базовую модель Qwen3.8-27B на 442 задачах. Оказалось, что 151 задача решалась всегда, 120 — никогда, а 171 задача была «квалифицированной» — модель решала их лишь в некоторых попытках. Именно эти 171 задача легли в основу финального датасета. Мы также заметили интересные паттерны: модель почти всегда решала задачи на Go, но часто терпела неудачу на задачах Python из SWE-smith, что указывало на необходимость сбалансированного датасета.

05Технические детали обучения: AsyncGRPOTrainer
Для обучения мы использовали AsyncGRPOTrainer из библиотеки TRL. Главная особенность этого тренера — асинхронность. Он не ждет завершения всех роутов (выполнений задач) перед переходом к следующему шагу оптимизации, что значительно ускоряет процесс.
Мы тренировали LoRA-адаптеры на модели Qwen/Qwen3.8-27B, используя флаг all-linear для прикрепления адаптеров. Для максимальной эффективности во время роутов был отключен режим «мышления» (thinking mode), хотя финальная оценка проводилась как с ним, так и без него. Функция вознаграждения включала корректность верификатора и небольшой бонус за эффективность инструментов (0.1), что помогло модели научиться решать задачи быстрее.
Мы провели небольшой поиск по скорости обучения (LR sweep) и выяснили, что 1e-5 слишком медленный, 1e-4 приводит к коллапсу роутов, а 5e-5 дает хороший прирост, но может стать нестабильным при длительном обучении. В итоге мы выбрали 2e-5 как оптимальный баланс.
--token-budget в AsyncGRPOTrainer, чтобы вместить как можно больше групп задач в один шаг оптимизации, что diversifies сигналы для модели.06Безопасность: интеграция SafeAgents
При обучении агентов важно контролировать их поведение, чтобы они не выполняли вредоносные действия. Мы интегрировали инструмент SafeAgents, который блокирует подозрительные вызовы инструментов. Плагин с правилами безопасности размещен в репозитории harness-hub/qwen-safeagents-plugin.
Интересный результат: количество заблокированных вызовов SafeAgents последовательно снижалось по мере обучения. Это означает, что модель становилась «безопаснее» и предсказуемее, лучше понимая границы допустимых действий в рамках задачи.

07Супер-адаптер: объединение всех адаптеров
Одним из самых впечатляющих результатов стало создание «супер-адаптера». После обучения отдельных LoRA-адаптеров для Pi, OpenCode и Hermes Agent, мы попытались объединить их в один. Оказалось, что обновления весов от разных адаптеров почти ортогональны (косинусное сходство около 0.01–0.02), что означает минимальное вмешательство друг в друга.
Мы склеили три LoRA-адаптера по размерности ранга (используя combination_type="cat" в PEFT). Итоговый адаптер имеет ранг 96 (3 × 32). Этот супер-адаптер работает неизменно хорошо во всех трех хабсах, демонстрируя, что можно создать универсальное расширение для модели, которое адаптируется под разные среды без необходимости переключения между разными весами.
08Результаты и практическое применение
Финальный датасет состоял из 750 задач из RL-окружений и 300 задач из Termgrade. Мы использовали стратегию выборки, которая чередует задачи из разных семейств (репозиториев), чтобы обеспечить максимальное разнообразие.
Результаты говорят сами за себя:
- Каждый адаптер хабса превзошел базовую модель в своей среде как по точности, так и по эффективности.
- Супер-адаптер сохранил высокую производительность во всех трех хабсах.
- Все артефакты, включая адаптеры, GGUF-модели и плагины, доступны в коллекции Hugging Face.
09Что это значит на практике?
Для разработчиков и инженеров, работающих с LLM, этот подход открывает новые возможности. Вам больше не нужно полагаться на общие модели, которые могут быть неоптимальны для ваших специфических задач. Вы можете:
- Снизить затраты: Меньше токенов на задачу означает меньшие счета за API или более быструю работу локальных моделей.
- Повысить надежность: Модель, обученная на ваших задачах, реже делает галлюцинации и лучше следует инструкциям вашего агента.
- Использовать готовые рецепты: Мы предоставили полный код и инструкции, чтобы вы могли воспроизвести этот процесс для своих доменов. Если вы работаете с данными, дизайном или другими областями, вы можете адаптировать пайплайн генерации задач под свои нужды.
Будущее агентных LLM лежит в направлении такой глубокой специализации. Вместо того чтобы искать одну модель, которая делает всё, мы можем создавать узкоспециализированные адаптеры, которые идеально вписываются в нашу инфраструктуру. Это не только улучшает производительность, но и делает использование ИИ более экономичным и предсказуемым. Попробуйте Harness Adapters в своих проектах и посмотрите, как ваша модель может стать эффективнее, когда она учится в своей собственной среде.
Источник: Hugging Face ↗
