Проблема длинного горизонта (XLong-Horizon)
Алгоритмы обучения с подкреплением (RL) для агентов, выполняющих задачи длительностью в часы (например, генерация целых репозиториев), сталкиваются с двумя критическими узкими местами. Во-первых, «длинные хвосты» выполнения: в традиционных схемах (Colocate) мощные GPU простаивают, ожидая завершения самого медленного запроса. Во-вторых, ветвление траекторий: современные harness-ы (как Claude Code) создают деревья выполнений, где дублирование общих префиксов раздувает затраты на обучение.
Архитектура QwenGyre: Эластичность и Траектории
QwenGyre решает эти проблемы через две ключевые механики:
- Эластичный планировщик (Elastic Scheduler): GPU-кластеры делятся на ячейки. Когда количество активных выполнений падает, ячейки мгновенно переключаются с генерации данных (rollout) на обучение (training). Перенаправление запросов через прокси и миграция KV-cache через RDMA позволяют сделать это за ~8.5 секунд без остановки агентов.
- Обработчик траекторий (Trajectory Processor): Вместо хранения полных деревьев, система сохраняет до 5 наиболее релевантных траекторий на выполнение. Общие префиксы обучаются один раз, а таймауты оцениваются по частичному прогрессу, а не обнуляются.
Результаты бенчмарков
Фреймворк протестирован на моделях Qwen 3.6 122B и флагманской Qwen 3.8 2.4T (архитектура MoE, 2.4 трлн параметров, активные 45B). Использование QwenGyre показало значительное ускорение по сравнению с асинхронными и совмещенными подходами:
| Набор данных / Модель | Ускорение vs Async | Ускорение vs Colocate |
|---|---|---|
| NL2RepoBench (Qwen 3.6 122B) | 1.42x – 1.53x | 1.36x – 1.47x |
| DeepSWE (Qwen 3.6 122B) | 1.569x – 1.572x | 1.610x – 1.824x |
| TerminalBench (Qwen 3.6 122B) | 1.383x – 1.430x | 1.809x – 1.849x |
| NL2RepoBench (Qwen 3.8 2.4T) | 1.78x | 1.21x |
На модели Qwen 3.8 2.4T полный цикл из 48 шагов занял 75.42 часа (против 91.47 часа у Colocate и 134.55 часа у Async). Качество улучшилось: Pass@1 на NL2RepoBench вырос с 52.48% до 58.54%.
Сравнение с конкурентами
QwenGyre выделяется поддержкой black-box harness-ов (через прокси) и эластичным распределением GPU. В таблице ниже приведено сравнение с другими известными фреймворками:
| Фреймворк | Разработчик | Black-box Harness | Эластичность GPU | Открытый код |
|---|---|---|---|---|
| QwenGyre | Alibaba Qwen | Да (Proxy) | Да (Elastic cells) | Нет |
| veRL | ByteDance | Нет | Частично (Resharding) | Да (Apache-2.0) |
| AReaL | Tsinghua/Ant | Да (base_url) | Асинхронно | Да (Apache-2.0) |
| Agent Lightning | Microsoft | Да | Нет | Да (MIT) |
Вывод
QwenGyre демонстрирует, что эффективное обучение агентов с длинным горизонтом возможно без простоя вычислительных ресурсов. Несмотря на отсутствие открытого кода, архитектура задает новый стандарт для работы с ресурсоемкими RL-задачами, где критична скорость итераций.
Источник: MarkTechPost ↗