Проблема бинарных наград в RLVR
Традиционный подход к обучению агентов для написания кода (SWE Agents) использует Reinforcement Learning with Verifiable Rewards (RLVR). В этой парадигме награда строго бинарна: тест прошел (1) или провалился (0). Однако такой подход не позволяет различить качество отладки. Агент может решить задачу «в лоб», а может — элегантным рефакторингом, но в обоих случаях он получает одинаковую награду. Это мешает модели учиться на нюансах процесса решения.
Решение: Behavioral Self-Rewarding (BSR)
Команда авторов (Yiran Wu, Andrew Zhao и др.) предложила метод BSR, который использует саму политику (policy) агента для сравнения различных траекторий решения одной и той же задачи. Ключевые особенности:
- Саморефлексия: Модель сравнивает свои же прошлые попытки (траектории) при одинаковом результате верификатора (pass/fail).
- Парные предпочтения: BSR агрегирует результаты сравнений, чтобы определить, какая стратегия отладки была эффективнее.
- Дополнительная награда: Эти сравнения конвертируются в bounded auxiliary rewards (ограниченные вспомогательные награды), создавая контраст между «хорошим» и «плохим» решением, не нарушая исходный порядок pass/fail.
Результаты на бенчмарках SWE-bench
Эксперименты проводились на наборах данных SWE-bench Verified и SWE-bench-Live. Метод BSR продемонстрировал стабильное улучшение метрик для моделей Qwen3 различных размеров. Ниже приведены ключевые характеристики исследованных конфигураций:
| Модель | Параметры | Метод обучения | Ключевое преимущество BSR |
|---|---|---|---|
| Qwen3 | 14B | RLVR + BSR | Улучшение качества отладки без новых взаимодействий с окружением |
| Qwen3 | 32B | RLVR + BSR | Более точное различение траекторий благодаря большему контексту |
Почему это важно
Главное достижение BSR — отказ от необходимости тренировать отдельную модель-ревьюер (reward model). Это снижает вычислительные затраты и сложность пайплайна. Агент использует уже собранные данные (already-collected trajectories) для получения дополнительного сигнала обучения, что делает процесс оптимизации более эффективным и масштабируемым для задач программной инженерии.
Источник: arXiv cs.AI ↗