Проблема: медицинские правила слишком сложны для прямого генерирования
Планирование питания для пациентов с хроническими заболеваниями требует одновременного учета десятков параметров: совместимости лекарств, индивидуальных профилей здоровья и многодневных циклов. Несмотря на наличие четких клинических рекомендаций, современные LLM справляются с этим плохо. В исследовании, использующем базу данных NHANES и оценку диетологов, менее 3% моделей (включая medically fine-tuned 8B и GPT-6.1 Sol) смогли сгенерировать полностью корректный план с первого раза. Даже при использовании явных правил и инструментов (tools) успех GPT-6.1 Sol не превысил 8%.
Решение Noura: от запрета к обучению
Команда разработала Noura, которая использует исполняемые персональные спецификации, сгенерированные из публичных клинических руководств. Ключевая инновация заключается в том, что спецификация не просто отклоняет неверный план, но и определяет, что именно нужно исправить. Это позволяет превратить неудачные траектории планирования в качественные обучающие данные (supervision) для компактных моделей.
Результаты: Qwen3-14B бьет флагманов
После дообучения (SFT) на данных, полученных через Noura, модель Qwen3-14B продемонстрировала впечатляющие результаты на выборке из 4 993 участников. Локально развернутая 14-миллиардная модель нарушала правила реже, чем ее «учитель» GPT-6 Luna, и достигла качества, сопоставимого с GPT-6.1 Sol, но с меньшими затратами ресурсов.
| Метрика / Модель | Результат | Примечание |
|---|---|---|
| Qwen3-14B (до SFT) | 24.0% | Базовый уровень прохождения плана |
| Qwen3-14B (после SFT с Noura) | 72.5% | Рост точности в рамках того же цикла |
| Снижение нарушений правил (Qwen3-14B) | 97.5% | Критических сбоев не зафиксировано |
| GPT-6.1 Sol (прямая генерация) | < 3% | Базовый уровень без дообучения |
| GPT-6.1 Sol (с инструментами) | ≤ 8% | Максимальный результат в контрольной группе |
| Снижение нарушений (Self-training) | 41-61% | На подмножестве из 1 249 человек (Qwen, Phi, Llama) |
Почему это важно для индустрии
Работа Noura демонстрирует новый парадигмальный сдвиг: персональные требования могут служить источником супервизии. Вместо того чтобы полагаться на дорогие человеческие аннотации или бесконечное тонкое настройку, системы могут использовать строгие логические ограничения (спецификации) для генерации собственных целевых данных. Это открывает путь к созданию надежных агентов для критически важных областей (healthcare, финансы), где цена ошибки слишком высока, а «здравый смысл» LLM часто недостаточен.
Источник: arXiv cs.AI ↗