Суть проблемы: ИИ не понимает контекст изменений
Понимание того, как новая директива меняет старую политику — продолжает её, расширяет, сужает или отменяет — критически важно для анализа госуправления. Авторы из Duke Kunshan, Johns Hopkins и Northwestern University создали бенчмарк Dual-Axis Policy Entailment (DAPE), который оценивает пары директив по двум осям: принадлежность к одной домене и тип изменения политики.
В отличие от стандартных подходов, где сложные случаи помечаются как «нерелевантные», DAPE требует явного решения. Это исключает возможность для модели просто проигнорировать сложную пару, заставляя её реально рассуждать о логике изменений.
Результаты тестирования: провал флагманов
Команда протестировала 14 open-weight моделей и 4 флагманские API-модели в режиме zero-shot. Результаты оказались шокирующими: ни одна из передовых коммерческих моделей не справилась с задачей. Даже лучший флагман показал скорректированное на шанс согласие (Cohen's κ) всего 0.29 против человеческого потолка в 0.53.
| Модель / Подход | Метрика (Cohen's κ) | Комментарий |
|---|---|---|
| Лучший API-флагман (Zero-shot) | 0.29 | Значительно ниже человеческого уровня (0.53) |
| Человеческий потолок (эксперты) | 0.53 | Референс для сравнения |
| Qwen3-14B (LoRA SFT, 5-fold CV) | 0.524 | Практически равен человеческому уровню (0.527) |
Ключевое открытие: дообучение решает
Главный инсайт исследования заключается в том, что проблема не в архитектуре, а в специфичности данных. Модели, дообученные на датасете DAPE с помощью LoRA SFT, смогли закрыть разрыв. Qwen3-14B достигла показателя κ = 0.524, что практически идентично согласию между самими аннотаторами (0.527). Это доказывает, что при наличии качественных данных даже модели среднего размера могут превзойти гигантов в узких задачах.
Практическое применение: карта ИИ-политики Китая
Авторы применили методологию DAPE для анализа китайской политики в сфере ИИ за период с 1980 по 2024 год. Это позволило не просто классифицировать документы, а визуализировать направление изменений политики по эпохам, показав эволюцию от поддержки базовых исследований к стратегическому доминированию. Датасет из 1000 пар директив и протокол аннотации уже доступны для сообщества.
Источник: arXiv cs.CL ↗