Проблема черного ящика в праве
В юридической аналитике критически важна интерпретируемость. Традиционные системы, такие как HYPO и CATO, используют символические абстракции для структурирования знаний. Однако большие языковые модели (LLM) часто работают как «черные ящики». Исследователи Ли Чжан и Кевин Эшли из Университета Ратгерса задались вопросом: могут ли мы найти внутри нейросети те же самые юридические факторы, которые используют люди?
Методология: Sparse Autoencoders
Команда использовала метод sparse localization (локализация с помощью разреженных автоэнкодеров) для поиска конкретных нейронов, отвечающих за 26 факторов CATO. Эксперимент проводился на трех открытых моделях: Qwen3-1.7B, Qwen3-8B и Gemma-2 2B. Исследователи проверяли как линейную декодируемость (возможность считать вектор), так и точную локализацию в слоях сети.
Ключевые результаты
Результаты подтвердили, что юридические знания не размазаны хаотично, а имеют четкую структуру. Все 26 факторов успешно декодируются во всех трех моделях. Лучшие слои показывают AUC (площадь под ROC-кривой) от 0.86 до 1.00, что свидетельствует о высокой точности распознавания. Ученые составили карту из 78 координат (по одной на каждый фактор в каждой модели), где именно «живет» знание.
| Модель | Параметры | Результат AUC (Best Layer) | Статус декодирования |
|---|---|---|---|
| Qwen3-1.7B | 1.7B | 0.86 – 1.00 | Успешно (26/26 факторов) |
| Qwen3-8B | 8B | 0.86 – 1.00 | Успешно (26/26 факторов) |
| Gemma-2 2B | 2B | 0.86 – 1.00 | Успешно (26/26 факторов) |
Почему это важно для AI-права
Это исследование открывает путь к созданию прозрачных юридических ИИ. Если мы знаем, в каких слоях и нейронах хранится конкретный юридический прецедент или фактор, мы можем:
- Объяснять решения моделей юристам (Explainable AI).
- Обнаруживать предвзятость, «выключая» или корректируя конкретные нейронные пути.
- Синхронизировать символическую логику CATO с эмбеддингами LLM.
Работа принята к публикации на конференции JURIX 2026 (39-я Международная конференция по правовым знаниям и информационным системам), что подтверждает значимость находки для научного сообщества.
Источник: arXiv cs.CL ↗