Суть проблемы: временная слепота юрисконсультов-ИИ
Юридическое прогнозирование (Legal Judgment Prediction, LJP) требует от модели не только знания законов, но и способности определить, какая версия закона действовала на момент совершения правонарушения. Авторы исследования создали специальный бенчмарк для оценки этой способности — temporal applicable-law determination. Эксперименты показали, что современные LLM не просто ошибаются, а демонстрируют устойчивый системный сбой: они игнорируют временной контекст дела.
Ключевые находки: парадокс «умного» ИИ
Исследователи выделили четыре фундаментальных вывода, объясняющих природу ошибки:
- Смещение в сторону новизны: LLM с высокой вероятностью выбирают самую свежую редакцию закона, независимо от даты инцидента.
- Это не пробел в знаниях: Модели технически способны понять концепцию временного действия законов и помнят исторические нормы. Проблема не в «забывании» фактов.
- Роль RLHF: Ключевым механизмом ошибки стала оптимизация через подкрепление (Reinforcement Learning from Human Feedback). RLHF улучшает общие способности к логике, но сужает разнообразие путей рассуждения.
- Обратная корреляция: Существует парадоксальная зависимость: чем лучше модель справляется с общими логическими задачами после дообучения, тем хуже она работает в временном правовом контексте. Модель «схлопывается» к самому очевидному, но неверному в данном контексте решению — применению текущего закона.
Почему это важно для индустрии
Результаты исследования ставят под угрозу использование LLM в автоматизированных юридических системах. Если модель обучена «рассуждать лучше», она может стать опаснее для точности в специфических задачах, так как теряет способность учитывать исторические нюансы. Для разработчиков это сигнал к необходимости создания специализированных методов обучения, которые не подавляют временную чувствительность в погоне за общей логикой.
Источник: arXiv cs.AI ↗