Суть метода: совместное обучение учителя и ученика
JOLT (Joint On-policy Learning and Teaching) — это метод постобучения (post-training), который решает проблему разреженности наград в Reinforcement Learning (RL). В отличие от стандартных подходов, где учитель (teacher) часто является статичной моделью, в JOLT учитель тоже обучается. Он получает привилегированную информацию (например, верное решение или доступ к внутренним файлам), но штраф KL-регуляризацией удерживает его политику близкой к политике ученика (student). Это предотвращает рассинхронизацию, когда учитель предлагает решения, недоступные для копирования учеником.
Результаты на бенчмарках: JOLT+ против GRPO
Метод JOLT+ (с добавлением награды за результат ученика) демонстрирует стабильное превосходство над сильными базовыми линиями, такими как GRPO, OPSD и π-Distill. Особенно заметен прогресс на сложных агентных задачах, таких как AppWorld, где традиционные методы часто буксуют.
| Бенчмарк / Модель | JOLT | JOLT+ | GRPO | OPSD |
|---|---|---|---|---|
| MATH (Qwen3-0.6B) | 72.14% | 72.59% | 68.36% | 61.20% |
| LCBv6 (Qwen3-8B) | 47.64% | 49.08% | 46.13% | 45.34% |
| AppWorld (Qwen3-4B) | 51.92% | 72.09% | 62.20% | 29.49% |
| Terminal-Bench 2.1 pass@1 | 6.56% | 10.96% | 8.25% | 2.82% |
| Terminal-Bench 2.1 pass@32 | 25.69% | 34.83% | 30.34% | 16.90% |
Экономия вычислений: 6.5x меньше токенов
Главное практическое преимущество JOLT — эффективность использования вычислительных ресурсов. На датасете MATH исследователи построили кривые обучения в зависимости от количества обработанных токенов. Для достижения точности 63.44% методу GRPO потребовалось 8.40 млн токенов, тогда как JOLT достиг того же результата, обработав всего 1.30 млн токенов. Это дает экономию в 6.5 раз на обработанных токенах и до 13 раз, если считать только токены генерации (completion tokens).
Почему это важно для индустрии
Для команд, занимающихся RL-постобучением LLM, JOLT предлагает прямой путь к снижению затрат на инфраструктуру. Метод позволяет достигать более высоких плато производительности (около 72% на MATH против 70% у GRPO) при меньших затратах. Важно отметить, что базовая версия JOLT (без награды ученика) уже превосходит GRPO на MATH, но для сложных агентных сценариев (AppWorld, Terminal-Bench) критически важна модификация JOLT+, использующая плотную дистилляцию в сочетании с outcome-reward.
Источник: MarkTechPost ↗