Проблема существующих подходов
Большинство современных пайплайнов обучения агентов с использованием инструментов (tool-use) опираются на внешние модели-учителя. В таких схемах более сильная модель генерирует задачи, собирает траектории, а целевая модель обучается один раз. Результаты оценки потребляются исследователями, но не возвращаются в цикл. Это создает «потолок» возможностей, ограниченный способностями внешнего учителя и человеческим опытом, исключая возможность самостоятельного улучшения.
Решение: ClawLoop
Команда авторов (Hansi Yang, Linji Hao и др.) предложила фреймворк ClawLoop, который устраняет зависимость от внешних учителей. Система работает в средах, где агенты взаимодействуют с файловой системой и оболочкой (shell). Ключевая особенность — замкнутый цикл из трех фаз:
- Генерация задач (Task Synthesis): Создание разнообразного пула задач с использованием двух методов конструирования. Сложность задач адаптируется на основе диагностики, а валидация проходит как в режиме без агента, так и с его участием.
- Обучение (Training): Обновление модели с помощью SFT (Supervised Fine-Tuning) и/или RL (Reinforcement Learning).
- Диагностика и обратная связь (Diagnosis and Feedback): Анализ поведения агента при запуске (rollout) для создания отчета об анализе возможностей. Этот отчет становится входными данными для генерации задач в следующей итерации.
Результаты и метрики
Эксперименты проводились на модели Qwen3.6-27B. Итеративное улучшение показало стабильный рост производительности на трех ключевых бенчмарках. Кроме того, качество данных, сгенерированных в цикле, было проверено на моделях меньшего размера, что подтвердило независимость качества данных от размера модели-генератора.
| Модель / Бенчмарк | Результат / Примечание |
|---|---|
| Loop Model | Qwen3.6-27B |
| SkillsBench | Consistent improvement (постоянное улучшение) |
| Claw-Eval-Live | Consistent improvement (постоянное улучшение) |
| ClawGym-Bench | Consistent improvement (постоянное улучшение) |
| Transfer Learning | Улучшения на Qwen3.5-4B и 9B во всех бенчмарках |
Значение для индустрии
ClawLoop демонстрирует, что качественное обучение агентов возможно без дорогостоящих внешних моделей-учителей. Успешная передача данных, сгенерированных большой моделью, на меньшие модели (4B и 9B) с ростом метрик доказывает, что фреймворк создает универсальные и эффективные наборы данных для обучения автономных AI-агентов.
Источник: arXiv cs.AI ↗