Проблема: Composition-Knowledge Dichotomy
Большие языковые модели (LLM) часто сталкиваются с фундаментальной проблемой, которую авторы называют Composition-Knowledge Dichotomy (Дихотомия композиции и знаний). Модель либо опирается на внутреннюю базу знаний, что приводит к галлюцинациям при сложных запросах, либо использует строгую логику, но теряет фактическую точность. Традиционные подходы, такие как Chain-of-Thought, не всегда эффективно балансируют эти два аспекта, особенно в узкоспециализированных областях.
Решение: Concretized Proposition Prompting (CPP)
Авторы — Чанхун Ли, Минук Чон, Джонгкюн Шин и Чиён Лим — предложили метод Concretized Proposition Prompting (CPP). Суть метода заключается в явном «конкретизировании» (concretization) пропозиций, релевантных вопросу. Вместо абстрактных рассуждений модель сначала извлекает и структурирует конкретные факты, а затем применяет к ним логические операции. Это создает мост между подходами, основанными на композиции (логике), и подходами, основанными на знаниях (фактах).
Результаты: Прорыв в медицине и стабильность в математике
Эксперименты показали, что CPP значительно улучшает показатели рассуждений. Наибольший прирост наблюдается в медицинских бенчмарках, где критически важна точность фактов. В математических задачах, где приоритет отдается дедуктивному выводу, метод демонстрирует результаты, сопоставимые с лучшими существующими методами.
| Область применения | Ключевая метрика/Особенность | Результат применения CPP |
|---|---|---|
| Медицинские бенчмарки | Точность фактологической информации | Значительное улучшение производительности |
| Математические задачи | Дедуктивное рассуждение | Конкурентоспособные результаты (на уровне SOTA) |
| Различные архитектуры | Масштабируемость | Эффективность на моделях разного размера параметров |
Значение для индустрии
CPP позиционируется не просто как техника промпт-инжиниринга, а как фундаментальная парадигма. Метод масштабируется на различные базовые модели (foundation models) и размеры параметров. Это позволяет создавать LLM, которые одновременно обладают глубокой фактологической базой и способностью к сложному логическому анализу, что критически важно для внедрения ИИ в такие сферы, как медицина, юриспруденция и научные исследования.
Источник: arXiv cs.AI ↗