Проблема монолитных промптов в финансах
Финансовые институты активно строят графы знаний (Knowledge Graphs, KG) на основе отчетов SEC 10-K для анализа рисков и управления портфелями. Традиционные подходы используют либо ручное создание промптов, либо тонкую настройку (fine-tuning) моделей, что дорого и сложно масштабируется. Альтернатива — безвесовая оптимизация промптов (weight-free prompt optimization), но она часто приводит к «монолитным» промптам, где изменения общих правил и персонализированных инструкций смешиваются. Это делает процесс непрозрачным: невозможно отследить, какое именно изменение улучшило результат, а какое нарушило логику.
Решение: Архитектура FinEvolveKG
Команда авторов (Abhinav Arun, Jayita Bhattacharyya и др.) предложила методологию FinEvolveKG, которая механически разделяет промпт на два независимых блока:
- General Block (Общий блок): Содержит базовые правила типизации, временные рамки и логику построения графа. Этот блок остается стабильным (byte-stable) и не меняется в процессе оптимизации.
- Persona Policy Block (Блок политики персонажа): Отвечает за специфические требования конкретного пользователя (например, аналитика акций или риск-менеджера). Именно этот блок оптимизируется алгоритмом GEPA (reflective prompt optimizer).
Такой подход гарантирует, что каждое изменение оптимизатора локализовано и атрибутировано, а общие знания о структуре данных не «размываются».
Результаты бенчмарков: Цифры и сравнения
Эксперименты проводились на наборах данных тикеров, не пересекающихся между собой (ticker-disjoint), с использованием трех различных «персон» (пользовательских профилей). Были протестированы различные варианты оптимизации, обозначенные как v1 (базовый замороженный промпт), v4 (полный двухэтапный процесс с блокировкой) и v5 (неограниченная оптимизация всего промпта).
Вариант v4 (FinEvolveKG) показал наилучшие результаты, превосходя как базовый промпт, так и метод неограниченной оптимизации:
| Метрика / Сравнение | Результат | Примечание |
|---|---|---|
| Улучшение над базовым промптом (v1) | +19.4% — 30.9% | Значительный прирост качества извлечения фактов |
| Улучшение над неограниченной оптимизацией (v5) | +2.2% — 6.4% | Победа во всех 9 парных сравнениях с наименьшей дисперсией |
| Внедоменное обобщение (OOD shifts) | Превосходство v4 над v5 | Работает лучше на данных, не участвовавших в обучении |
| Аудит экспертов (SME audit) | 70.1% предпочтений | В слепом сравнении эксперты чаще выбирали v4 как более качественный источник ground truth |
Почему это важно для индустрии
FinEvolveKG демонстрирует, что контролируемая эволюция промптов может сочетать высокую эмпирическую эффективность с объяснимостью. Для финансовых организаций это критически важно: они получают не просто «черный ящик», который выдает лучшие цифры, а систему, где можно точно отследить, какие изменения в инструкциях привели к улучшению извлечения связей между компаниями, событиями и временными метками. Это снижает риски ошибок в инвестиционных решениях, основанных на автоматизированном анализе отчетности.
Источник: arXiv cs.CL ↗