Проблема: ранние ошибки убивают успех агента
В сложных многошаговых задачах более 50% провалов агентов связаны с одной ранней, но фатальной ошибкой — так называемой pivotal mistake. Это действие, которое удлиняет путь к цели или делает задачу нерешаемой. Статистика показывает, что такая ошибка часто происходит на 8–12-м шаге из 30, после чего агент тратит еще 18–21 шаг впустую, не способный восстановиться.
Стандартные методы дистилляции (OPD) и обучение с подкреплением (RL) не решают эту проблему: они снижают общий процент провалов, но вероятность правильного действия на критическом шаге остается ниже 1%. Если все попытки проваливаются, групповое преимущество в RL становится нулевым, и модель не учится исправлять путь.
Решение: PivotOPD — предотвращение и восстановление
PivotOPD — это метод дистилляции на основе политики (on-policy distillation), который добавляет три компонента к стандартному обновлению PPO:
- Обнаружение поворота (Pivot detection): Большая модель-учитель анализирует провал и находит «золотое» действие, которое должно было быть сделано. Если действие ученика отличается, шаг помечается как критический.
- Предотвращающая дистилляция (Reverse KL): Замороженная копия ученика, получившая подсказку с правильным действием, переоценивает свой ответ. Это отталкивает модель от повторения ошибки.
- Дистилляция восстановления (Forward KL): После критического шага учитель задает действия для восстановления. Ученик учится генерировать эти ответы, даже если ранее он их почти не выбирал.
Результаты: лидерство на всех бенчмарках
Метод протестирован на моделях Qwen3-1.7B и Qwen3-8B. PivotOPD показал лучшие средние результаты против 13 базовых методов на трех ключевых бенчмарках: ALFWorld, WebShop и Search-based QA. Особый успех — в способности восстанавливаться: PivotOPD исправляет 72.7% воспроизведенных критических ошибок против 20.3% у стандартного OPD.
| Бенчмарк / Модель | PivotOPD | Standard OPD | SDAR | RLSD |
|---|---|---|---|---|
| ALFWorld (Qwen3-1.7B) | 73.7% | 12.4% | 68.2% | 60.7% |
| Search QA (Qwen3-1.7B) | 44.5% | 36.8% | 37.1% | 38.6% |
| WebShop Success (Qwen3-1.7B) | 76.6% | 10.1% | 57.0% | 62.5% |
| ALFWorld (Qwen3-8B) | 93.0% | 46.7% | 83.8% | 90.8% |
| SWE-Bench Verified (Nemotron-3.5) | 66.0% | 63.0% | - | - |
Практическое применение и затраты
Ключевое преимущество PivotOPD — нулевые накладные расходы на инференс. Обучение проходит на узлах NVIDIA H100, но готовый агент работает так же быстро, как базовая модель. Для ALFWorld с моделью 1.7B накладные расходы на обучение составляют 12.4% (при параметре β=1) и до 94.2% (при β=2), что требует реплея среды. Код метода скоро станет доступен на GitHub.
Метод открывает путь к созданию более надежных автономных агентов, способных не просто следовать инструкциям, но и осознанно исправлять свои промахи в реальном времени.
Источник: MarkTechPost ↗