RuleChef: LLM-генерация правил для NLP без черного ящика

От черного ящика к прозрачной логике

Команда исследователей во главе с Ádám Kovács представила RuleChef — новую парадигму работы с языковыми моделями. В отличие от традиционных подходов, где LLM используется для прямого вывода (inference), здесь они применяются исключительно на этапе обучения. Система генерирует исполняемые правила для задач NLP, таких как классификация текста, распознавание именованных сущностей (NER) и извлечение отношений.

Ключевая инновация заключается в том, что итоговая модель не является нейросетью. Это детерминированная система правил, которую можно легко редактировать человеком. LLM выступают в роли «повара», который готовит рецепт (правила), а затем итеративно улучшает его, анализируя ошибки на отложенной выборке.

Как работает RuleChef

Процесс обучения состоит из нескольких этапов, где LLM используется для синтеза и патчинга правил:

• Генерация: На основе описания задачи и набора размеченных примеров LLM создает начальный набор правил.
• Итеративное улучшение: Система проверяет правила на отложенной выборке. При обнаружении ошибок LLM анализирует провалы и предлагает исправления (патчи) к существующим правилам.
• Человеческий фактор: Правила можно корректировать вручную, что делает систему полностью интерпретируемой.
• Bootstrapping: Фреймворк может использовать входные-выходные пары из уже существующих моделей для начальной настройки правил.

Преимущества перед нейросетевыми подходами

RuleChef предлагает альтернативу тяжеловесным LLM для специфических задач. Основные преимущества включают:

• Скорость: Исполнение простых правил происходит мгновенно, без задержек на инференс большой модели.
• Интерпретируемость: Каждое решение можно объяснить, посмотрев на сработавшее правило.
• Контроль: Пользователь может вручную исправить ошибку в логике, что невозможно в «черном ящике» нейросети.

Оценка и доступность

Предварительная оценка фреймворка проводилась на задачах классификации и NER. Результаты показывают, что сгенерированные правила способны конкурировать с более сложными подходами в специфических сценариях, где важна точность и предсказуемость. Исходный код RuleChef выпущен под лицензией Apache 2.0, что делает его доступным для сообщества.

Источник: arXiv cs.CL ↗