Исследования17 октября 2026 г., 05:26 МСК🤖 Auto

MeddeX: LLaMA-3 + Gemini Vision для анализа медотчетов

Исследователи представили MeddeX — гибридную систему на базе LLaMA-3 (8B) и Gemini Vision, которая с помощью RAG и дообучения QLoRA значительно повышает точность анализа медицинских отчетов.

Баннер новости 9867

Гибридная архитектура для сложных данных

Система MeddeX решает проблему обработки разнородных медицинских документов. Архитектура объединяет текстовую модель LLaMA-3 (8B), дообученную методом QLoRA, с мультимодальным слоем Gemini Vision. Это позволяет системе работать не только с текстовыми PDF, но и со сканированными изображениями и радиологическими снимками. Ключевым нововведением стал механизм обнаружения «мусорного текста» (garbage-text detection), который корректно обрабатывает поврежденные файлы и документы в кодировке UTF-16.

Интеллектуальная работа с контекстом

MeddeX выходит за рамки простого суммирования. Система использует Retrieval-Augmented Generation (RAG) для привязки ответов к конкретным отчетам, а также включает движок автоматического сравнения отчетов во времени (longitudinal comparison). Для работы с устаревшими данными реализован конвейер самовосстановления (self-healing backfill), который лениво обрабатывает legacy-документы по запросу. Технический стек включает FastAPI, векторное хранилище Supabase и фронтенд на Next.js.

Результаты бенчмарков

Эксперименты показали стабильное превосходство MeddeX над базовой моделью LLaMA3-Med42-8B. Дообучение и интеграция RAG позволили существенно улучшить метрики качества генерации, особенно в точности совпадения с эталонными текстами (BLEU) и семантическом сходстве (BERTScore).

Метрика Прирост (Delta) Значение
ROUGE-1 +9.2% Улучшение точности лексики
ROUGE-2 +10.0% Улучшение биграмм
ROUGE-L +11.8% Улучшение длинных совпадений
BLEU +71.4% Резкий рост точности перевода/генерации
BERTScore +0.8 Улучшение семантического сходства

Значение для клинической практики

Опубликованная в апреле 2026 года в International Journal of Scientific Research in Engineering and Management работа демонстрирует практический шаг к внедрению ИИ-ассистентов в клиническую поддержку принятия решений. Система снижает когнитивную нагрузку на врачей, минимизируя риск ошибок при ручном анализе больших объемов данных.

Источник: arXiv cs.CL ↗