Проблема: конфликт качества и стоимости
Оптимизация «harness» (настроек окружения, таких как промпты и параметры генерации) позволяет улучшить работу больших языковых моделей (LLM) без изменения их весов. Однако существующие методы фокусируются либо только на качестве, либо только на стоимости. Попытка оптимизировать оба показателя одновременно часто приводит к преждевременному отсеву перспективных кандидатов на ранних этапах, так как промежуточные улучшения могут выглядеть невыгодными с точки зрения текущих метрик.
Решение: ParetoSaddler и Байесовский бутстрэп
Авторы из команды Xingzhi Qian и коллег предлагают метод ParetoSaddler, который разделяет этапы продвижения кандидатов и их финального выбора. Алгоритм использует Bayesian bootstrap Pareto support для оценки кандидатов. Это позволяет сохранять варианты, которые показывают достоверный прогресс в любом из двух направлений (качество или цена), даже если они не являются лучшими по обоим параметрам сразу. Такие кандидаты получают более широкую оценку и могут стать «родителями» для следующих итераций оптимизации.
Результаты бенчмарков
Метод был протестирован на наборах данных ClawMark и GAIA2 с использованием разделов, не пересекающихся по доменам. Результаты демонстрируют значительное улучшение баланса между точностью и экономичностью по сравнению с оптимизацией только по качеству:
| Метрика | ClawMark (Было / Стало) | GAIA2 (Было / Стало) |
|---|---|---|
| Качество (Accuracy) | 70.86% → 81.35% | 56.22% → 62.89% |
| Стоимость за задачу | $1.17 → $1.01 | $0.78 → $0.45 |
Почему это важно
Анализ показывает, что ParetoSaddler сохраняет промежуточных кандидатов, которые были бы отброшены традиционными методами из-за «предпочтения развертывания», но которые критически важны для будущих улучшений. Одновременно Байесовская фильтрация отсеивает варианты со слабыми доказательствами эффективности. Это открывает путь к созданию более дешевых и точных AI-агентов для коммерческого использования без необходимости переобучения самих моделей.
Источник: Arxiv ↗