LLM как инструмент для финансовых прогнозов
Контрфактуальный анализ позволяет предсказывать результаты в гипотетических сценариях, что критически важно для принятия решений. В новом исследовании, опубликованном на arXiv, автор Zonghao Yang демонстрирует применение больших языковых моделей (LLM), в частности GPT-3.5, для оценки потенциальной отдачи от инвестиций (ROI) в контексте онлайн-кредитования. Ключевой вопрос заключался в том, насколько эффективно LLM могут справляться с задачами, требующими причинно-следственного мышления, по сравнению с традиционными алгоритмами машинного обучения.
Результаты сравнения: R² и точность
Исследователи провели прямое сравнение предсказательной способности GPT-3.5 и продвинутых ML-алгоритмов. Базовые запросы показали низкую эффективность, однако применение промпт-инжиниринга (prompt engineering) значительно улучшило результаты. Модель GPT-3.5 смогла увеличить коэффициент детерминации (R-squared) с 1.97% до 2.84%. Для сравнения, градиентный бустинг (gradient-boosted regression), считающийся золотым стандартом для табличных данных, показал результат в 3.48%. Разрыв между LLM и специализированными ML-моделями сократился, что открывает новые возможности для использования LLM в аналитике.
| Метод / Модель | R-squared (R²) | Примечание |
|---|---|---|
| GPT-3.5 (базовый) | 1.97% | Исходная производительность без оптимизации |
| GPT-3.5 (с промпт-инжинирингом) | 2.84% | Значительное улучшение за счет структурирования запросов |
| Gradient-boosted regression | 3.48% | Референсный ML-алгоритм |
Логика и причинно-следственные связи
Помимо численных метрик, исследователи оценили способность модели генерировать контрфактуальные сценарии. GPT-3.5 продемонстрировал логическую связность и способность к причинно-следственному рассуждению при генерации ROI для альтернативных процентных ставок. Это указывает на то, что LLM могут не просто «угадывать» числа, но и выстраивать осмысленные сценарии развития событий, что делает их ценным инструментом для стресс-тестирования финансовых стратегий.
Значение для индустрии
Результаты подчеркивают потенциал LLM не только как генераторов текста, но и как эффективных инструментов для контрфактуального анализа. Способность моделей быстро моделировать различные сценарии (например, изменение процентных ставок) может упростить оценку рисков в онлайн-кредитовании. Хотя GPT-3.5 пока уступает специализированным ML-моделям в чистой точности, его гибкость и способность к объяснимому рассуждению делают его перспективным дополнением к существующим аналитическим стекам.
Источник: arXiv cs.AI ↗