Гибридная архитектура: от PPO к LLM
Команда разработала Compound AI System для планирования протонной терапии с пострассеиванием (PBS) при раке головы и шеи. Система работает в два этапа. Сначала сеть политик, обученная алгоритмом PPO (Proximal Policy Optimization), автономно генерирует несколько вариантов плана облучения. Один из них выбирается как целевой, остальные — как референсы. Затем вступает в игру LLM-агент на базе Qwen3-14B, который через естественный язык помогает врачу корректировать план, опираясь на доказательства из предыдущих вариантов.
Роль каждого агента
Система состоит из трех ключевых компонентов, работающих в связке:
- Планирующий агент (Planning Agent): Базируется на Qwen3-14B. Проходит дообучение (SFT и GRPO) для улучшения следования инструкциям и извлечения данных. Аргументирует свои рекомендации, ссылаясь на метрики других планов.
- Чат-бот (Chatbot): Предоставляет единый интерфейс для общения с системой на естественном языке.
- Агент оценки (Evaluation Agent): Извлекает клинические метрики и выявляет нарушения ограничений (constraint violations), чтобы агент планирования мог их исправить.
Результаты тестирования
Фреймворк был протестирован на выборке из 21 пациента с раком головы и шеи. Для каждого пациента было сгенерировано по 5 планов с помощью PPO (всего 105 планов). Из них 50 планов были выбраны для инструктивного уточнения. Сравнение с базовой версией LLM показало, что дообученная модель Qwen3-14B значительно лучше справляется с доменно-специфичным рассуждением.
| Метрика / Аспект | Результат / Описание |
|---|---|
| Базовая модель | Qwen3-14B (дообучена через SFT и GRPO) |
| Обучающая выборка | 21 пациент, 5 планов на пациента (PPO) |
| Планы для рефайнмента | 50 планов (инструктивное уточнение) |
| Ключевое преимущество | Эффективное улучшение приоритизированных целей при минимизации ухудшения конкурирующих показателей |
| Тип терапии | Протонная PBS (Pencil Beam Scanning) |
Почему это важно
Проблема планирования облучения заключается в балансе конкурирующих целей: нужно максимизировать дозу в опухоли, но минимизировать воздействие на здоровые ткани. Традиционно это требует много времени и опыта врача. Предложенная система автоматизирует рутинную генерацию через PPO, а затем позволяет врачу в диалоговом режиме тонко настраивать план, получая обоснованные рекомендации от AI. Это снижает когнитивную нагрузку на онкологов и делает персонализированную протонную терапию более доступной и точной.
Источник: arXiv cs.AI ↗