Команда исследователей во главе с Хуиюань Се (Huiyuan Xie) представила LexIssue — новый бенчмарк, направленный на решение проблемы недостаточной изученности автоматизированного выявления юридических вопросов (legal issues) в сфере искусственного интеллекта. В отличие от общих юридических задач, LexIssue фокусируется на конкретной стадии гражданского процесса: определении спорных правовых вопросов между истцом и ответчиком.
Структура данных и методология
Ключевой особенностью датасета является использование юридически обоснованной иерархической схемы. Авторы не ограничиваются простой классификацией, а предлагают двухэтапный подход:
- Генерация юридических вопросов: свободное описание сути спора.
- Классификация: привязка к структурированным юридическим категориям.
Для поддержки этого процесса создана база знаний, охватывающая 27 причин исков (causes of action) и содержащая 441 кандидата на роль юридического вопроса. Это позволяет использовать методы Retrieval-Augmented Generation (RAG) для повышения точности моделей.
Результаты экспериментов
Авторы протестировали различные модели на наборе из 430 реальных дел. Использование RAG с созданной базой знаний стабильно улучшало показатели как в идентификации самих вопросов, так и в определении их атрибутов. Ниже приведена сводка ключевых метрик и характеристик датасета:
| Параметр | Значение / Описание |
|---|---|
| Количество дел | 430 реальных дел гражданского судопроизводства Китая |
| Количество аннотированных вопросов | 1 303 экспертно размеченных юридических споров |
| Охват правовых категорий | 27 причин исков (causes of action) |
| База знаний (Knowledge Base) | 441 кандидата на роль юридического вопроса |
| Основной метод улучшения | Retrieval-Augmented Generation (RAG) |
Значение для отрасли
Работа LexIssue закрывает важный пробел в LegalTech. Большинство существующих моделей ориентированы на предсказание исходов дел или классификацию статей закона, тогда как выявление именно спорных вопросов требует более тонкого понимания контекста. Успешное применение RAG в данном контексте демонстрирует, что гибридные подходы (генерация + поиск по специализированной базе) являются наиболее перспективными для сложных юридических задач.
Источник: arXiv cs.CL ↗