Проблема однократного генерирования (One-Shot)
Стандартные LLM работают по принципу one-shot generation: запрос + контекст → ответ. Этот подход не оставляет модели времени на рефлексацию. Ошибки, фактические неточности или логические пропуски передаются пользователю напрямую. Для корпоративных задач (финансы, юриспруденция) это критично, так как отсутствует механизм самокоррекции.
Феномен «Согласованных галлюцинаций» (Consistent Hallucination)
Авторы вводят понятие consistent hallucination: когда модель пытается критиковать собственный вывод, используя только внутренние инструкции (internal chain-of-thought), она часто не замечает ошибок. Это происходит потому, что ошибка логически согласуется с внутренней «картиной мира» модели. Внутренняя критика имеет потолок надежности, так как модель не имеет доступа к внешним фактам, которые она могла проигнорировать при генерации.
Архитектура Reflection Agent: Три фазы
Предложенная архитектура разделяет процесс на три итеративных этапа, управляемых через LangGraph:
- Generate (Генерация): Создание первоначального ответа.
- Validate + Critique (Валидация и Критика): Агент-критик проверяет ответ, используя внешние инструменты (SQL-запросы, retrieved documents, rule validators). Критик имеет доступ к данным, которых не видел генератор.
- Refine (Уточнение): Генератор исправляет ошибки на основе критики.
Сравнение подходов к верификации
Авторы проводят трехстороннее различие между подходами, показывая, почему внешняя верификация превосходит внутреннюю:
| Подход | Механизм критики | Источник данных | Результат |
|---|---|---|---|
| 1. Single-shot | Отсутствует | Нет | Высокий риск галлюцинаций |
| 2. Internal Critique | Chain-of-Thought (внутренний) | Только промпт | Consistent hallucination (модель не видит своих ошибок) |
| 3. Multi-Agent Reflection | Внешняя верификация | SQL, документы, валидаторы | Strong reflection (обнаружение и исправление фактических ошибок) |
Техническая реализация через LangGraph
В качестве оркестратора рекомендуется использовать LangGraph. Его функционал идеально ложится на требования пайплайна:
- Stateful graph model: Позволяет сохранять состояние между фазами генерации и критики.
- Conditional routing: Динамическое перенаправление потока в зависимости от результатов валидации.
- Native loop support: Встроенная поддержка итеративных циклов без ручного управления.
- Observability: Прозрачность процессов для аудита ошибок.
Ключевой вывод: качество оценки зависит не от дообучения модели, а от типа источника верификации. Только «сильная рефлексия» с опорой на внешние инструменты способна гарантировать фактологическую точность в продакшене.
Источник: Towards AI pub ↗