Проблема текущих метрик
Современные системы оценки ИИ часто фокусируются на идеологической согласованности или используют непроверенные метрики, опираясь на мнение широкой публики. Это приводит к искаженным результатам. Новая работа Matt Wilde и коллег предлагает решение: NewsBench — бенчмарк, основанный на экспертных стандартах журналистики, аналитики и политики.
Три измерения качества
NewsBench оценивает эпистемическое качество (достоверность знаний) по трем ключевым параметрам:
- Качество источников (Source Quality): Насколько надежно цитируемый материал.
- Фактологичность (Factuality): Соответствие текста реальным событиям.
- Нейтральность (Neutrality): Отсутствие предвзятости в подаче.
Масштаб и методология
Для валидации использовался двухэтапный пайплайн: сначала эксперты определяли правила, затем они были перенесены в автоматизированных AI-судей. Датасет включает около 3 000 промптов, из которых ежемесячно обновляется ~500 актуальных новостей. Для калибровки выделено 2 500 аннотированных экспертами примеров.
Результаты тестирования
Исследователи протестировали четыре фронтальные модели. Результаты показали, что у моделей разные и непересекающиеся профили ошибок. Одна модель может отлично справляться с фактами, но проваливаться по нейтральности, тогда как другая — наоборот. Это доказывает необходимость комплексной оценки, а не只看 одного показателя.
| Параметр | Значение / Описание |
|---|---|
| Количество промптов | ~3 000 (с ежемесячным обновлением ~500) |
| Экспертная аннотация | ~2 500 элементов для валидации |
| Оцениваемые модели | 4 фронтальные ИИ-системы |
| Ключевой вывод | Профили ошибок моделей не пересекаются |
Почему это важно
NewsBench смещает фокус с «политической правильности» на профессиональные стандарты информации. Для разработчиков это инструмент для отладки моделей под реальные задачи новостных агрегаторов, а для пользователей — шаг к более надежным источникам информации в эпоху генеративного ИИ.
Источник: arXiv cs.AI ↗