GRAFT: Графовый подход к обучению агентов с точной оценкой шагов

Проблема GRPO на уровне шагов

Групповые методы усиленного обучения (RL), такие как GRPO, стали стандартом для обучения рассуждающих LLM. Однако их оценка преимущества (advantage) на уровне ответа (response-level) создает систематическую ошибку на уровне отдельных шагов (step-level). Грубая оценка на уровне всей траектории не отражает реальный вклад каждого действия: успешный ответ может содержать ошибочные промежуточные шаги, а провальный — ценные.

Решение: GRAFT и графы траекторий

Авторы предлагают Graph-based Faithful sTep-level credit-assignment framework (GRAFT). Метод объединяет все сгенерированные траектории в единый граф. Это позволяет восстановить значения состояний (state-values) через итерации Беллмана на графе и точно распределить кредит (credit) между действиями, используя разницу значений узлов.

Графовый GAE для снижения смещения

Для повышения надежности оценки предложено Graph GAE — расширение Generalized Advantage Estimation (GAE) для работы с графами траекторий. Это снижает влияние ошибок в оценке значений состояний, делая процесс обучения более стабильным.

Результаты и значимость

Эксперименты на многошаговых бенчмарках показывают, что GRAFT превосходит GRPO и другие современные алгоритмы агентов. Метод позволяет эффективно обучать модели, где важен не только финальный результат, но и качество каждого шага рассуждения.

Источник: arXiv cs.AI ↗