Галлюцинации остаются главным барьером для внедрения больших языковых моделей (LLM) в критически важные сферы, такие как биомедицина и здравоохранение. Стандартный подход Retrieval-Augmented Generation (RAG) часто не справляется с этой задачей, так как полагается на способность самой модели к логическому выводу, игнорируя строгие логические связи между фактами. Команда исследователей во главе с Хуи Яном (Hui Yang) предложила решение — OA-RAG (Ontology-based Agentic RAG), которое интегрирует формальную логику онтологий с интуитивным мышлением LLM.
Как работает OA-RAG
В отличие от обычных RAG-систем, извлекающих просто текстовые фрагменты, OA-RAG использует агента, который опирается на логическую структуру и неформальные аннотации доменных онтологий. Система не просто ищет ответы, а оценивает их достоверность. Для каждого ответа OA-RAG предоставляет:
- Источники: конкретные наблюдения из онтологии, использованные как доказательство.
- Уровень обоснованности (Grounding Level): модель оценивает силу связи между вопросом и ответом по шкале: entailed (вытекает), supported (поддерживается), related (связано) или unrelated (не связано).
Результаты бенчмарков
Эксперименты проводились на наборах данных, полученных из трех крупных онтологий, и шести реальных задачах медицинского问答 (QA). OA-RAG показал лучшие общие результаты среди всех протестированных методов, включая доменно-настроенные RAG-системы, использующие учебники. Особенно сильно система проявила себя в задачах, требующих сложных логических рассуждений.
| Метрика / Характеристика | Результат OA-RAG | Значение |
|---|---|---|
| Общая производительность | Лучшая среди протестированных | Превосходит популярные RAG-методы и fine-tuned модели |
| Сложные логические задачи | Высокая точность | Ключевое преимущество перед стандартным RAG |
| Корреляция Grounding Level | Сильная связь с точностью | Высокий уровень обоснованности = высокая надежность ответа |
| Сравнение с источниками | Конкурентоспособность | Онтологии работают не хуже специализированных учебников |
Почему это важно
Результаты демонстрируют, что онтологии могут служить надежным источником знаний, сопоставимым с традиционными текстовыми базами.更重要的是, система обеспечивает прозрачность: пользователь видит не только ответ, но и уровень уверенности модели в нем. Это снижает риски ошибок в диагностике и лечении, где «возможно» или «не связано» — такие же важные ответы, как и утвердительные.
Источник: arXiv cs.AI ↗