Проблема скрытых переменных в оценке
Большие языковые модели (LLM) часто используются для ответа на фактические вопросы, но их ответы содержат ошибки, требующие проверки. Традиционные бенчмарки дают общую оценку, скрывая детали. Авторы исследования подчеркивают, что итоговый балл зависит от трех критических решений:
- Какие именно утверждения (claims) проверяются (относящиеся к вопросу или дополнительные).
- При каких условиях оценивается каждое утверждение.
- Какие источники считаются достоверным доказательством.
Ни один существующий ранее набор данных не фиксировал все три параметра одновременно, что делало сравнение моделей некорректным.
JSFactCheckBench: 1913 утверждений и японский контекст
Команда разработала JSFactCheckBench — специализированный бенчмарк на японском языке. В него вошли 1 913 утверждений, извлеченных из ответов LLM на вопросы о дезинформации, циркулирующей в японских социальных сетях. Каждое утверждение аннотировано с указанием:
- Фактической достоверности на момент проверки.
- Важности для исходного вопроса.
- Конкретных веб-источников, используемых как доказательная база.
Результаты тестирования: разрыв в точности
Тестирование шести различных LLM выявило системные слабости, которые не видны в агрегированных отчетах. Ключевая находка: модели значительно хуже проверяют утверждения, напрямую отвечающие на вопрос, по сравнению с дополнительными (supplementary) фактами. Это связано с тем, что прямые ответы часто требуют более сложного анализа контекста.
| Условие проверки | Наблюдаемый эффект на точность |
|---|---|
| Прямые vs Дополнительные утверждения | Прямые ответы проверяются менее точно, чем дополнительные факты |
| Поиск в длинных источниках | Снижение точности при необходимости найти релевантный контент в длинных текстах |
| Несколько источников | Снижение точности при работе с множественными источниками доказательств |
| Добавление контекста (вопрос + ответ) | Для всех четырех открытых моделей точность падает при учете полного контекста |
Почему это важно
Исследование доказывает, что бенчмарки, оставляющие условия проверки неявными, не способны выявить реальные уязвимости моделей. JSFactCheckBench позволяет отследить, где именно модель «ломается»: при поиске информации в длинных текстах или при необходимости интегрировать контекст вопроса. Это критически важно для разработчиков, стремящихся повысить надежность LLM в задачах фактчекинга и борьбы с дезинформацией.
Источник: arXiv cs.CL ↗