Проблема: «Жесткость» против «Галлюцинаций»
Современные языковые модели в юридической сфере страдают от двух крайностей. Одни системы слишком строго следуют тексту законов, игнорируя нюансы обстоятельств дела (rigid statute matching). Другие, напротив, генерируют необоснованные решения, опираясь на вымышленные прецеденты или внутренние смещения модели (ungrounded discretion). Существующие бенчмарки оценивали только соответствие меткам или рубрикам, не проверяя способность ИИ взвешивать факты и закон одновременно.
Решение: JusticeAxis и JusticeAgent
Команда исследователей во главе с Чжэнкаем Ту представила JusticeAxis — датасет из 256 реальных уголовных дел из 18 стран. Уникальность набора данных заключается в наличии мультимодальных доказательств (аудио, изображения, текст) и трех вердиктов для каждого случая: реального судебного решения, а также двух «контрфактических» решений, написанных юристами, демонстрирующих типичные ошибки.
Для тестирования была создана система JusticeAgent. Это не просто промпт-инжиниринг, а архитектура с разделением ролей:
- Агенты-фактологические: устанавливают факты на основе доказательств.
- Агент-судья: применяет закон, используя навыки (skills), дистиллированные из траекторий выполнения задач. Эти навыки допускаются только при прохождении байесовского критерия достоверности.
Ключевые результаты и метрики
Эксперименты выявили парадокс масштабирования: увеличение размера модели меняет тип ошибки. Открытые модели (open-weight) склонны к необоснованным решениям, тогда как передовые коммерческие модели (frontier) падают в крайность «статутного дефолта» (буквализма).
Главное достижение — интеграция JusticeAgent в качестве плагина позволяет «замороженным» (frozen) открытым моделям достигать уровня коммерческих решений, не требуя их дообучения.
| Параметр | Значение / Описание |
|---|---|
| Название датасета | JusticeAxis |
| Объем данных | 256 уголовных дел |
| География | 18 стран |
| Типы доказательств | Аудио, изображения, текст |
| Вердикты на дело | 3 (реальный + 2 ошибки, написанные юристами) |
| Архитектура тестирования | JusticeAgent (разделение на агентов фактов и судью) |
| Ключевой вывод | Открытые модели с плагином JusticeAgent достигают уровня коммерческих LLM |
Почему это важно
JusticeAxis формализует юридическое решение как задачу, привязанную к эталону (reference-anchored task). Это первый шаг к созданию ИИ-ассистентов, которые не просто цитируют законы, но и понимают контекст, снижая риск как бюрократической несправедливости, так и произвола. Исследование доступно на arXiv (2610.00353).
Источник: arXiv cs.AI ↗