Новая архитектура: от ответа к доказательствам
В рамках совместного задания ArchEHR-QA 2026 (поддержка CL4Health @ LREC 2026) команда UIC-AIHealth4All под руководством Мохаммада Арвана представила инновационный пайплайн. В отличие от традиционных подходов, где система сначала ищет релевантные фрагменты текста, а затем формулирует ответ, авторы применили стратегию Answer-First. Модель сначала генерирует кандидата ответа с цитированием конкретных предложений из заметок, и только затем классифицирует полный набор доказательств. Этот метод использует асимметрию в оценке релевантности: судить о связи текста легче, когда уже известен конкретный ответ, а не абстрактный вопрос.
Результаты в соревновании
Система участвовала в трех подзадачах: идентификация доказательств, генерация ответа и выравнивание ответа с доказательствами. Метод показал высокую эффективность, заняв третье место в ключевой метрике поиска доказательств. Ниже представлены итоговые баллы команды:
| Подзадача | Метрика | Результат | Место |
|---|---|---|---|
| Идентификация доказательств (Subtask 2) | Strict Micro F1 | 62.90 | 3-е место |
| Генерация ответа (Subtask 3) | Overall Score | 31.90 | 9-е место |
| Выравнивание ответа и доказательств (Subtask 4) | F1 | 79.81 | 5-е место |
Проблема читаемости клинического текста
Помимо технических метрик, исследователи провели лингвистический анализ 45 стилистических признаков. Выяснилось, что выводы моделей остаются на 3.2 уровня по шкале Флеша-Кинкейда сложнее для чтения, чем тексты, написанные клиницистами. При этом количество слов и предложений в выводах ИИ и врачебных записях сопоставимо. Это указывает на то, что современные клинические NLP-системы требуют явной оптимизации читаемости (readability) для интеграции в рабочий процесс врачей.
Технические детали и доступность
Для подзадачи 4 (выравнивание) команда применила голосование по само-согласованности (self-consistency voting) над пятью независимыми вызовами модели, оставляя связи, набравшие пороговое количество голосов. Исследование опубликовано 21 июля 2026 года. Код и промпты доступны в открытом доступе по ссылке, указанной в статье.
Источник: arXiv cs.CL ↗