Проблема: разрыв между мониторингом и безопасностью
Клинический ИИ все чаще интегрируется в реальные медицинские процессы, однако существующие механизмы безопасности не справляются с анализом индивидуальных инцидентов. Агрегированный мониторинг моделей фиксирует лишь общие изменения производительности, а традиционные отчеты о безопасности пациентов не объясняют, как риск возникает на стыке ИИ, врачей, рабочих процессов и институциональных контролей.
Решение: фреймворк AI M&M
Команда авторов (Paulius Mui, Dean F. Sittig, Steve Labkoff, Sanjay Basu) предлагает метод AI Morbidity and Mortality (AI M&M). Это структурированный, лишенный обвинений подход к разбору случаев, который конвертирует индивидуальные сбои ИИ в институциональные знания. Методология включает стандартизированный сбор данных, сохранение доказательств, реконструкцию события на уровне исследователя и отслеживание корректирующих действий.
Методология: 4 ключевые оси классификации
Каждый инцидент классифицируется по четырем связанным измерениям, что позволяет отделить условие, выявившее уязвимость, от процесса, создавшего риск. Ниже приведена структура классификации, примененная в исследовании:
| Ось классификации | Описание | Пример вопроса для анализа |
|---|---|---|
| Trigger (Триггер) | Условие, которое обнажило уязвимость системы | Какой конкретный ввод или контекст вызвал сбой? |
| Mechanism (Механизм) | Процесс, породивший риск | Как именно алгоритм или интерфейс привел к ошибке? |
| Clinical Pathway (Клинический путь) | Последствия для оказания помощи | Как ошибка повлияла на решение врача и пациента? |
| Corrective Action (Корректирующее действие) | Назначенные меры по устранению | Какие изменения введены для предотвращения повтора? |
Валидация: 100% согласованность экспертов
Для демонстрации эффективности фреймворка исследователи проанализировали 5 случаев из амбулаторной практики (медикаментозная терапия и клиническая поддержка принятия решений). Два независимых клинических рецензента применили все четыре оси классификации к каждому случаю. Результат: полное согласие (100%) по всем 20 классификационным осям (5 случаев × 4 оси), что подтверждает воспроизводимость и четкость методологии.
Значение для отрасли
AI M&M не заменяет мониторинг моделей или регуляторный надзор, а дополняет их, фокусируясь на контексте взаимодействия человека и машины. Авторы подчеркивают необходимость проспективных оценок фреймворка в различных медицинских учреждениях и системах ИИ для стандартизации культуры безопасности в клинической AI-эре.
Источник: arXiv cs.AI ↗