Доступ к юридической помощи в Индии часто ограничен: обычные граждане не могут позволить себе консультацию юриста и вынуждены разбираться в 300-страничных PDF-кодексах. Чтобы закрыть этот разрыв, был создан проект Lexora — чат-бот, который отвечает на вопросы по уголовному праву на простом языке, предоставляя точные ссылки на действующие статьи (например, BNS · Sec 318).
Ключевая особенность системы — отказ от доверия к «демо-режиму». Автор подчеркивает, что визуальная работа бота не гарантирует точности. Реальная проверка качества происходила через строгую метрику: система не просто генерирует текст, но и физически не может выдумать номер статьи, так как каждый ответ проходит цикл валидации.
Архитектура: Гибридный поиск и маршрутизация
Юридические запросы требуют как точного совпадения ключевых слов (номера статей), так и семантического понимания смысла. Lexora использует гибридный подход:
- Semantic Search: ChromaDB с эмбеддингами BGE-large для понимания смысла запроса.
- Keyword Search: Алгоритм BM25 для точного попадания по номерам секций и юридическим терминам.
- Reranking: Кросс-энкодер bge-reranker-base переоценивает отобранные фрагменты, выбирая наиболее релевантные.
Дополнительно внедрен LLM-роутер, который перед поиском определяет, нужно ли искать по действующим законам (BNS, BNSS, BSA, вступившим в силу в 2024 году) или по отмененным (IPC, CrPC, IEA). Это предотвращает загрязнение контекста устаревшими данными.
Механизм защиты от галлюцинаций
Самая важная часть системы — цикл валидации цитат. Модель (GPT) возвращает структурированный ответ, список ссылок и флаг answer_found. Затем система проверяет: если модель ссылается на статью, которой нет в извлеченном контексте, ответ отклоняется и генерируется заново. Это делает невозможным выдумывание несуществующих законов.
Сравнение подходов к поиску в Lexora
| Компонент | Технология/Метод | Роль в системе |
|---|---|---|
| Семантический поиск | ChromaDB + BGE-large | Понимание смысла запроса пользователя |
| Поиск по ключевым словам | BM25 | Точное совпадение номеров статей и терминов |
| Реранкинг | bge-reranker-base | Фильтрация лучших кандидатов на основе совместного анализа запроса и документа |
| Валидация | Сравнение с retrieved context | Отсев ответов с вымышленными ссылками (hallucinations) |
Проект демонстрирует, что в критически важных областях, таких как право, надежность RAG-системы определяется не удобством интерфейса, а строгими механизмами проверки фактов и гибридным поиском.
Источник: Towards AI pub ↗