Policy-as-Skill: Как LLM учатся соблюдать правила с точностью 61%

Проблема «черного ящика» в корпоративных LLM

Внедрение больших языковых моделей в сферу комплаенса, управления рисками и операционных решений сталкивается с главным барьером: отсутствием прозрачности. Организации требуют не просто ответа, а доказательной базы, маршрутизации на проверку и полной истории изменений. Традиционные подходы, такие как RAG (Retrieval-Augmented Generation), часто не справляются с требованиями к версионированию политик и полному аудиту.

Решение: Policy-as-Skill (PaS)

Авторы работы Kabeh Mohsenzadegan, Vahid Tavakkoli и Kyandoghere Kyamakya предлагают архитектуру Policy-as-Skill (PaS). Это модульный runtime, который инкапсулирует функции валидации доказательств, маршрутизации на ревью и контроля версий как исполняемые, версионированные «навыки» (skills). Система использует бэкенд Gemma4 и оценивалась на наборе из 600 задач разработки.

Ключевые метрики эффективности

Эксперименты показали, что базовая конфигурация PaS+Audit превосходит стандартный LLM+RAG в большинстве метрик governance. Однако максимальная точность достигается при гибридном подходе с детерминированным контролем.

Детерминированный контроль: баланс между гибкостью и строгостью

Важнейшим выводом исследования стало то, что включение детерминированного контроля (rule-based intervention) повышает агрегатную точность до 61.2%. Однако авторы подчеркивают: этот метод сильно зависит от конкретной задачи. Универсальное применение жестких правил неэффективно; оптимальная стратегия — селективное вмешательство только в тех сценариях, где это критично для соблюдения политик.

Почему это важно

Работа демонстрирует переход от «генерации текста» к «генерации обоснованных решений». Точность цитирования 1.000 и полнота аудита 1.000 делают PaS потенциально применимым в регулируемых отраслях (финансы, юриспруденция, медицина), где цена ошибки в интерпретации политики слишком высока.

Источник: arXiv cs.AI ↗