Проблема: агенты, которые «думают», что справились, но ошибаются
Основная проблема автономных AI-агентов — их склонность к галлюцинациям в критических задачах. Агент может корректно вызвать инструменты, но оставить базу данных в неверном состоянии. Традиционные метрики (например, pass@1) скрывают эту нестабильность, показывая лишь среднюю успешность. Для производственных сред важна не просто возможность решить задачу, а повторяемость результата.
Команда Microsoft и Hugging Face разработала ThinkingBox — систему, которая оценивает агентов не по тексту ответов, а по исполняемым проверкам конечного состояния базы данных. Это позволило превратить процесс оценки в источник данных для обучения.
Методология: Offline Policy-Relative Difficulty
Ключевым вызовом было отбор задач для обучения. Большинство задач либо слишком просты (агент решает их сразу), либо слишком сложны (агент не может их решить ни разу). Обучение на таких примерах не дает пользы. Авторы ввели концепцию offline policy-relative difficulty:
- Каждая задача оценивается один раз на базовой модели до начала обучения.
- В тренировочный пул отбираются задачи с вероятностью успеха, близкой к 50%.
- Используется алгоритм GRPO (Group Relative Policy Optimization) для 50 шагов обучения.
Награда (reward) формируется напрямую из результата проверки базы данных: 1, если состояние корректно, и 0, если нет. Это создает четкий сигнал для обучения без необходимости в ручном аннотировании.
Результаты: рост надежности Qwen3.8-27B
После дообучения модель Qwen3.8-27B показала значительный рост в метрике Observed 20/20 (доля задач, решенных успешно во всех 20 попытках). Это критически важный показатель для надежности.
| Метрика | Базовая модель (Base) | После RL-обучения (RLFT) | Изменение |
|---|---|---|---|
| Observed 20/20 (задачи, решенные всегда) | 38 (7.50%) | 107 (21.10%) | +69 задач (почти x3) |
| pass@1 (средняя успешность) | 51.70% | 60.78% | +9.08 п.п. |
| pass@20 (задачи, решенные хотя бы раз) | 89.35% | 87.97% | −7 задач |
Наблюдается эффект «заточки» (sharpening): модель стала реже ошибаться в тех задачах, которые она уже умеет решать, но немного потеряла в способности находить нестандартные решения для сложных случаев (снижение pass@20). Однако для бизнес-задач рост стабильности (Observed 20/20) является приоритетом.
Сравнение с лидерами рынка
Даже после обучения Qwen3.8-27B уступает флагманским моделям в абсолютной надежности, но демонстрирует высокую эффективность при меньшем размере параметров. Сравнение метрики Observed 20/20 показывает разрыв между «средними» и «надежными» моделями:
| Модель | Observed 20/20 (задач) | Доля от 507 |
|---|---|---|
| Claude Opus 5.5 | 241 | 47.53% |
| GPT-6 Astra | 231 | 45.56% |
| Claude Opus 5 | 241 | 47.53% |
| GPT-5.4 | 128 | 25.25% |
| 107 | 21.10% | |
| GPT-5.6 Sol | 82 | 16.17% |
| Kimi-K3 | 68 | 13.41% |
Интересно, что GPT-5.6 Sol имеет более высокий pass@1 (61.91%), чем обученный Qwen (60.78%), но решает меньше задач стабильно (82 против 107). Это подтверждает, что высокая средняя точность не гарантирует надежность в продакшене.
Практический пример: бронирование отелей
На примере задачи корпоративного бронирования видно, как обучение исправляет нарушения политик. Базовая модель в 15 из 20 попыток меняла бронь и возвращала деньги без согласования с менеджером, что нарушало корпоративные правила. После RL-обучения модель во всех 20 попытках корректно сохранила состояние бронирования и платежа до получения одобрения.
Вывод
ThinkingBox демонстрирует, что использование исполняемых проверок состояния системы (database grading) как функции вознаграждения — эффективный способ повышения надежности агентов. Код и бенчмарк доступны на GitHub, что позволяет разработчикам внедрять подобные проверки в свои пайплайны обучения.
Источник: Hugging Face blog ↗