Проблема полной перерасчетки
Создание клинических когорт (выбор пациентов для исследований) часто требует итеративного уточнения критериев отбора. Традиционные агенты на базе языковых моделей (LLM) при каждом изменении требования перерабатывают весь запрос с нуля. Это приводит к избыточным вычислениям, высоким затратам и задержкам, особенно при работе с большими моделями.
Решение: Локальная семантическая коррекция
Команда авторов (Neil Chen, Adrian Serapio и др.) разработала CohortFlow — агент, который хранит спецификацию когорты в виде структурированного графа выполнения. Когда пользователь вносит правки на естественном языке, система:
- Записывает семантические зависимости между узлами графа;
- Идентифицирует только те узлы, которые затронуты изменением;
- Инвалидирует (отбрасывает) затронутые вычисления, сохраняя валидные результаты;
- Пересчитывает только измененные или зависимые узлы.
Ключевые метрики эффективности
Оценка проводилась на 100 сценариях, основанных на критериях отбора клинических испытаний, с общим числом 126 коррекций. Использовалась модель объемом 8B параметров. Результаты показывают, что локальное обновление не только быстрее, но и сопоставимо по точности с полной перерасчеткой:
| Метрика | Локальная коррекция (CohortFlow) | Полная перерасчетка | Эффект |
|---|---|---|---|
| Micro-F1 (точность требований) | 77.0% | 76.4% | Статистически незначимое преимущество (p=0.493) |
| Задержка коррекции (после завершения) | — | — | Снижение на 64.8% |
| Задержка коррекции (во время выполнения) | — | — | Снижение на 44.3% |
| Количество вызовов модели | — | — | Снижение на 38.1% |
Валидация на данных MIMIC
В дополнительном эксперименте на наборе данных MIMIC все 13 состояний когорты были успешно выполнены. Траектории коррекции продемонстрировали способность агента избирательно сохранять unaffected вычисления и пересчитывать только измененные узлы, что подтверждает работоспособность механизма локальной семантической коррекции в реальных сценариях.
Значение для отрасли
CohortFlow демонстрирует, что для задач клинического анализа данных критически важна не только точность LLM, но и архитектура управления состоянием. Инкрементальные обновления позволяют снизить операционные расходы (cost-per-inference) и ускорить итерации при разработке протоколов клинических исследований.
Источник: arXiv cs.AI ↗