Проблема «слепых» мониторов
Автономные ИИ-агенты сегодня способны работать в течение сотен шагов без участия человека. Однако практика показывает, что стандартные методы контроля (лимиты по времени, фильтры по ключевым словам) часто работают неэффективно: они либо преждевременно прерывают успешные сессии, либо позволяют провалиться тем, что уже обречены. Это приводит к лишним затратам вычислительных ресурсов и снижению общего качества работы системы.
Решение: LeBet (Learn then Bet)
Команда авторов (You-Lin Chen, Xinyi Lisa Chen, Pedro Herrero-Vidal и др.) предложила фреймворк LeBet. В отличие от простых эвристик, LeBet использует статистическое обучение для формирования интерпретируемых правил. Система накапливает «доказательства» через фиксированную ставку (betting statistic) и вмешивается только тогда, когда эти доказательства достигают заданного порога. Ключевая особенность — использование структуры «OR-of-AND» (ИЛИ-И), что делает логику принятия решений прозрачной для разработчиков.
Математическая гарантия и оптимизация
LeBet обеспечивает строгие гарантии контроля ложноположительных срабатываний (validity) и мощности обнаружения (power) даже при конечных выборках. Алгоритм не требует предположения о независимом и одинаково распределенном (i.i.d.) характере траекторий. Для решения сложной комбинаторной задачи оптимизации применяется стохастический локальный поиск, который редактирует булевы правила для улучшения разделения классов на основе эмпирических данных.
Результаты на SWE-bench Lite
Эксперименты проводились на базе модели Ministral 3 8B с использованием бенчмарка SWE-bench Lite. Внедрение LeBet показало значимые улучшения в эффективности и точности:
| Метрика | До LeBet | После LeBet | Изменение |
|---|---|---|---|
| Экономия токенов (input+output) | — | — | 34.46% |
| Точность вывода (Output Precision) | 18.33% | 21.59% | +3.26 п.п. |
| Уровень ложноположительных срабатываний | — | — | 13.64% |
Почему это важно
LeBet демонстрирует, что можно формализовать задачу обучения над наборами интерпретируемых правил, сохраняя при этом статистические гарантии надежности. Это критически важно для внедрения ИИ-агентов в промышленные процессы, где стоимость ошибки или избыточных вычислений может быть высокой. Система позволяет принимать решения на основе частичных историй (partial histories), что делает её применимой в реальном времени.
Источник: arXiv cs.AI ↗
