Проблема: дрейф LLM-судей
Большие языковые модели (LLM) всё чаще используются как автоматические судьи для оценки поведения чат-ботов. Однако в реальных условиях их согласие с изначальной политикой человеческой оценки снижается по мере изменения пользовательских взаимодействий и распределения оценок. Существующие методы оптимизации промптов работают как одноразовые процедуры на статических наборах данных, что делает их неэффективными для долгосрочного поддержания качества судей в продакшене.
Решение: PromptOps
Авторы предлагают фреймворк PromptOps, который рассматривает оптимизацию промптов как итеративную задачу обслуживания. Система разделяет четыре ключевых операционных решения:
- Когда оптимизировать: определение момента для вмешательства.
- Какой метод применить: выбор алгоритма оптимизации.
- Какие записи обратной связи использовать: фильтрация данных для обучения.
- Как обновить промпт: механизм модификации инструкции судьи.
Техническая реализация
Фреймворк инстанцирован с использованием пяти методов оптимизации промптов. Исследователи протестировали их эффективность в условиях контролируемых сдвигов в распределении эталонных оценок.
| Метод оптимизации | Описание подхода |
|---|---|
| GEPA | Метод автоматической оптимизации промптов |
| SIMBA | Алгоритм оптимизации на основе метрик |
| Rubric Synthesis | Синтез рубрик (критериев оценки) |
| Exemplar Selection (Simulated Annealing) | Выбор примеров с использованием имитации отжига |
| Exemplar Selection (TPE) | Выбор примеров с использованием Tree-structured Parzen Estimator |
Ключевые выводы
Эксперименты показали, что итеративная оптимизация промптов способна перекалибровать LLM-судей и восстановить производительность после сдвигов в данных. Однако эффективное обслуживание зависит от контекста: ни выбор алгоритма оптимизации, ни время обновления не являются универсальными для всех сценариев. PromptOps предлагает практическую абстракцию для изучения и внедрения этого процесса, подчеркивая, что оптимизация промптов — это непрерывный процесс, а не разовое действие.
Источник: arXiv cs.AI ↗