Традиционные большие языковые модели (LLM), несмотря на беглость текста, часто терпят неудачу в создании клинически реалистичного поведения пациентов в условиях нехватки данных и этических ограничений. Развертывание фронтальных моделей в здравоохранении сопряжено с высокими вычислительными затратами, задержками и рисками для конфиденциальности. Авторы работы, опубликованной в arXiv (6 октября 2026 г.), предлагают решение — Multi-Objective Aligned Small Language Model Framework, специально адаптированный для генерации диалогов пациентов с SUD.
Двухэтапный подход: от когнитивных компонентов к диалогу
Предложенная архитектура явно моделирует скрытые когнитивные состояния пациента, такие как убеждения, стратегии преодоления стресса и готовность к изменениям. Процесс обучения разделен на два ключевых этапа:
- Обнаружение когнитивных компонентов: Модель учится извлекать и структурировать скрытые психологические маркеры из истории пациента и вопросов консультанта.
- Генерация диалога с выравниванием: Генерация ответов, которые не только грамматически корректны, но и когнитивно согласованы с выявленными компонентами.
Для эффективного обучения малых моделей (SLM) авторы комбинируют три метода: дистилляцию знаний от мощных моделей-учителей, оптимизацию предпочтений на основе аннотаций людей и формирование вознаграждения с учетом внимания (attention-guided reward shaping).
Результаты и метрики
Экстенсивная оценка показала, что когнитивно-информированное дообучение существенно превосходит базовые модели, настроенные только на инструкции, и специализированные SLM в области ментального здоровья. Особый прирост качества наблюдается при генерации открытых когнитивных компонентов. Сравнение проводилось с использованием автоматических метрик (BERTScore, ROUGE, METEOR, BLEU) и оценки "LLM-as-judge".
| Метрика / Аспект | Описание применения | Ключевой вывод |
|---|---|---|
| BERTScore, ROUGE, METEOR, BLEU | Автоматическая оценка качества текста | Значительное улучшение показателей по сравнению с базовыми инструкционными моделями |
| LLM-as-judge hit-metrics | Оценка соответствия когнитивным состояниям | Высокая точность в отражении убеждений и стратегий пациента |
| Open-ended components | Сложные, неструктурированные когнитивные ответы | Наиболее сильный прирост качества генерации |
Почему это важно
Разработка малых моделей, способных имитировать когнитивно сложные состояния, открывает путь к созданию масштабируемых, приватных и доступных инструментов для психотерапевтического обучения и симуляции. Это снижает зависимость от дорогих фронтальных моделей и позволяет внедрять AI-ассистентов в ресурсоограниченные клинические среды, где критически важна точность и этичность данных.
Источник: arXiv cs.CL ↗