Проблема логического тупика
Языковые модели (LLM) исторически испытывают трудности с задачами дедуктивного вывода, особенно с силлогизмами. Основная причина — нехватка структурного понимания входных данных. Исследование, представленное на конференции RuleML+RR 2026, предлагает решение через призму Knowledge Representation (KR) — формального представления знаний.
Методология и данные
Авторы (Hanna Abi Akl, Fabien Gandon, Catherine Faron, Pierre Monnin) расширили стандартные бенчмарки FOLIO и P-FOLIO, добавив в них варианты вопросов, записанные не на естественном языке, а в строгих логических нотациях. Эксперименты проводились на Small Language Models (SLM) в двух режимах:
- Zero-Shot (ZS): модель получает задачу без предварительного обучения на логике.
- Supervised Fine-Tuning (SFT): модель дообучается на логических данных.
Ключевые результаты
Использование формальных нотаций не только сохранило точность, но и позволило сократить время инференса. Для классификации силлогизмов авторы разработали метод SEF (Syllogistic Categorization), который позволяет обогащать Zero-Shot промпты логическими определениями, что дает значительный прирост качества у «малых» моделей.
| Параметр | Естественный язык (Baseline) | Формальная нотация (KR) |
|---|---|---|
| Точность (Accuracy) | Базовый уровень | Конкурентоспособный / Превосходящий (в SFT) |
| Скорость инференса | Стандартная | Выше (за счет упрощения токенизации) |
| Инструментарий | — | Библиотека CLGC (Common Logic Grammar Construction) |
Открытый исходный код
Авторы опубликовали первую Python-библиотеку CLGC. Она автоматически генерирует силлогизмы в различных нотациях KR и определяет их категории SEF. Это открывает путь к созданию более эффективных датасетов для обучения моделей дедуктивному мышлению без необходимости ручной разметки.
Источник: arXiv cs.CL ↗