Проблема «судьи» в LLM-агентах
Агенты на базе больших языковых моделей (LLM), отвечающие на вопросы по веб-графам знаний (Knowledge Graphs), часто используют онтологии для проверки корректности своих ответов. Логика проста: формальная схема должна служить надежным арбитром. Однако исследователи из arXiv (preprint 2610.37809) выявили критический недостаток этого подхода: сам «судья» может ошибаться. Онтология может пропустить реальные ошибки агента или, что хуже, пометить верный ответ как неверный, заставляя модель «исправлять» его, тем самым внося хаос в процесс генерации.
Сравнение трех типов онтологий
Авторы исследования поставили под сомнение целесообразность дорогостоящих ручных (curated) онтологий. Они сравнили три подхода к созданию схем-чекеров:
- Curated (Ручная): Традиционные онтологии, созданные экспертами-людьми. Считаются эталоном, но дороги в поддержке.
- LLM-Generated (Генерация LLM): Онтологии, сгенерированные самой языковой моделью на основе контекста.
- Data-Derived (Выведенные из данных): Схемы, автоматически извлеченные непосредственно из структуры данных графа знаний.
Ключевые метрики и результаты
Исследование показало, что ручная онтология не всегда является лучшим выбором. В некоторых сценариях она уступает по чувствительности к ошибкам агентов. Ниже приведена сравнительная характеристика подходов:
| Тип онтологии | Источник создания | Преимущество | Риск для агента |
|---|---|---|---|
| Curated (Ручная) | Эксперты-люди | Высокая семантическая точность | Высокая стоимость, риск «ложных срабатываний» |
| LLM-Generated | LLM-модель | Адаптивность, низкая стоимость | Наследование bias модели |
| Data-Derived | Автоматический вывод | Отражает реальную структуру данных | Может упускать скрытые связи |
Почему это важно для индустрии
Результаты работы arXiv:2610.37809 меняют парадигму разработки RAG-систем (Retrieval-Augmented Generation) и агентов, работающих с графами. Вместо того чтобы тратить ресурсы на поддержание сложных ручных онтологий, разработчикам стоит рассмотреть гибридные подходы или использование LLM-генерированных схем. Это снижает порог входа для внедрения проверок корректности и делает системы более устойчивыми к галлюцинациям, так как «судья» становится ближе к «игроку» (агенту).
Источник: arXiv cs.AI ↗