Индийские банки активно внедряют чат-боты на базе языковых моделей (LLM) для обслуживания клиентов. Однако традиционные методы оценки таких систем часто обманчивы: они проверяют только конечный результат (например, заблокирована ли карта), игнорируя процесс. Исследователи Krishanu Adhikary и Prashant Devadiga из Tau Labs представили TauIndianBankBench — набор из 1 000 задач розничного банкинга, который выявляет критические пробелы в работе ИИ.
Проблема «пустых» побед
В банковской сфере важны не только итоги, но и строгие процедуры. Например, перед закрытием депозита система должна запросить «closure quote» (справку о закрытии). Если ИИ-бот пропускает этот шаг, но технически закрывает счет, традиционный бенчмарк засчитывает сессию как успешную. TauIndianBankBench проверяет каждый шаг и фиксирует любые несанкционированные изменения.
Результаты тестирования
Авторы протестировали существующие модели, сравнивая оценку по конечному результату и по полному соблюдению процедуры. Разрыв в показателях оказался значительным:
| Метрика оценки | Доля успешных сессий | Суть проблемы |
|---|---|---|
| Только финальный результат | 6.5% – 12.0% | Боты пропускают обязательные шаги или меняют данные без запроса |
| Процедура + Результат | Значительно ниже | Выявляет реальные ошибки в соблюдении регламентов |
Как отмечают авторы, в 6.5–12.0% случаев сессии признавались успешными, хотя ассистент нарушил процедуру. Это создает риски для клиентов и репутации банков.
Значение для индустрии
TauIndianBankBench демонстрирует, что текущие benchmarks не готовы к внедрению ИИ в высокорегулируемые сферы. Для безопасного использования LLM в банкинге необходимо переходить от оценки «что получилось» к оценке «как это было сделано». Код и данные для воспроизведения эксперимента доступны в открытом доступе.
Источник: arXiv cs.CL ↗