langfengQ/verl-agent

Что это за инструмент

verl-agent — это расширение фреймворка veRL для обучения LLM/VLM агентов с помощью обучения с подкреплением (RL), основанное на алгоритме GiGPO.

Зачем нужен

Инструмент решает задачу эффективного обучения агентов в сложных многошаговых сценариях за счет механизма step-independent multi-turn rollout, который позволяет гибко управлять историей и памятью. Это полезно для создания reasoning-агентов, способных решать задачи с длинным горизонтом планирования, превосходящие стандартные подходы с простым конкатенированием истории.

Что можно реализовать

• Обучение агентов для решения логических головоломок и навигации (например, Sokoban, ALFWorld)
• Тренировка моделей для работы с веб-интерфейсами и электронной коммерцией (WebShop, AppWorld)
• Разработка агентов с вызовом инструментов (Tool Calling) и поиском (Search-R1)
• Создание мультимодальных агентов, работающих с текстом и изображениями (Qwen3-VL, Qwen2.5-VL)

Ключевые возможности

• Алгоритм GiGPO (Group-in-Group Policy Optimization), принятый в NeurIPS 2025
• Поддержка длинных сценариев (до 50+ шагов) через гибкое управление памятью и историей
• Широкий спектр RL-алгоритмов: PPO, GRPO, DAPO, RLOO, REINFORCE++ и др.
• Поддержка современных моделей: Qwen3, Qwen3-VL, LLaMA3.2, а также обучение через LoRA
• Интеграция с экосистемой: поддержка в ROLL и OpenManus-RL

👤 Кому подойдёт: Исследователи в области AI, разработчики LLM-агентов, инженеры по машинному обучению, работающие с RLHF и обучением агентов.