Проблема: ИИ не может договориться с самим собой
Автоматический парсинг юридических текстов сталкивается с фундаментальной проблемой: разные модели извлечения данных дают расходящиеся результаты. В исследовании на примере законов штата Миссури два независимых экстрактора разошлись в определении числовых порогов со уровнем ложноотрицательных срабатываний (false-negative rate) 0.43. Это означает, что почти в половине случаев алгоритм пропускал критически важную цифру. Вопрос стоял не в том, чтобы улучшить парсер, а в том, какая формальная логика выживет при таком шуме.
Решение: «Сертификат выживания» для импликаций
Автор предлагает метод «пассивного сертификата выживания» для баз импликаций Дюкенна-Гигю (Duquenne-Guigues). Процесс включает:
- Измерение расхождений: Оценка несогласованности между экстракторами по каждому атрибуту.
- Монте-Карло моделирование: 1,000 испытаний для проверки устойчивости правил.
- Строгий порог: Импликация сертифицируется только если односторонняя нижняя граница Уилсона (95% доверительный интервал) превышает 0.95.
- Прозрачность: Каждое правило сопровождается исходными фрагментами текста (premise spans) и минимальным контрпримером.
Результаты: Успехи и хрупкость
Тестирование проводилось на 29,365 разделах законов Миссури и 502 разделах центральных актов Индии. Результаты показали двойственную картину: система работает, но только при определенных условиях.
| Метрика / Условие | Результат |
|---|---|
| Точное совпадение (5% допуск) | 10 семейств законов из 7 томов прошли проверку |
| Расширенное совпадение (5% допуск) | 16 семейств из 11 томов прошли проверку |
| Глобальная модель ошибок | 93.2% глав не достигли порога информативности |
| Причина провала | Проблема в переносе калибровки, а не в выборе данных (факторный анализ 2x2) |
Вывод для индустрии
Методика применима, но «хрупка». Для успешного внедрения требуется калибровка на уровне каждой главы или использование толерантных к ошибкам моделей. Исследователь опубликовал код, данные и аудит-трейлы, включая один отозванный ранее claim, что подчеркивает важность воспроизводимости в юридическом AI.
Источник: arXiv cs.AI ↗