Проблема: статический поиск не работает в сложных сценариях
Большие языковые модели (LLM) демонстрируют высокие результаты на стандартных медицинских тестах, но их производительность резко падает на задачах, требующих глубокого логического вывода. Авторы исследования (Riccardo Riccio, Haitz Sáez de Ocáriz Borde, Pietro Liò) отмечают, что существующие системы мультиагентного обсуждения (multi-agent debate) часто терпят неудачу, потому что они выбирают экспертов и извлекают знания до начала рассуждений, основываясь только на формулировке вопроса. Это приводит к избыточной информации или, наоборот, к пропуску критических фактов, которые становятся очевидными только в процессе анализа.
Решение: Адаптивный рекрутинг через Meta-Agent
Команда предлагает архитектуру с внешним агентом-судьей (CHALLENGER), который в реальном времени анализирует «след рассуждений» (reasoning trace) основных агентов. CHALLENGER идентифицирует конкретные пробелы в знаниях (factual or expertise gaps) и инициирует целевой поиск или привлечение узкопрофильных специалистов в середине обсуждения. Ключевая инновация — координация каналов вмешательства: наивное комбинирование поиска и привлечения специалистов без контроля ухудшает результат, тогда как управляемый подход дает прирост.
Результаты на MEDAGENTSBENCH
Эксперименты проводились на сложном подмножестве MEDAGENTSBENCH, включающем 862 вопроса из девяти биомедицинских датасетов. Результаты показывают, что предварительный поиск (upfront retrieval) дает мало пользы, тогда как адаптивный поиск в процессе работы значительно эффективнее. Ниже приведено сравнение точности на базе GPT-4.1-mini в задаче MedQA:
| Метод / Конфигурация | Точность (Accuracy) | Примечание |
|---|---|---|
| Challenger Only (без поиска) | 46% | Базовый уровень с мета-агентом |
| Challenger + Specialist Recruitment | 54% | Прирост +8 п.п. за счет адаптивного привлечения |
| Challenger + In-between Retrieval | +6 п.п. к базовому | Лучший результат на 8 из 9 датасетов |
Почему это важно для индустрии
Исследование доказывает, что в медицинских мультиагентных системах критически важны не только «кто» участвует в обсуждении, но и «когда» и «почему» подключаются внешние ресурсы. Использование сигналов о пробелах в знаниях (gap-specific query signals) позволяет избежать галлюцинаций, вызванных избыточным контекстом. Эксперименты с живым веб-поиском подтверждают, что преимущество адаптивного тайминга сохраняется независимо от бэкенда поиска, что делает метод универсальным для интеграции в современные LLM-платформы для здравоохранения.
Источник: arXiv cs.AI ↗