Проблема статичных навыков
Использование больших языковых моделей (LLM) в юридической сфере, например, для определения состава правонарушения, требует строгого следования экспертной логике. Однако существующие подходы сталкиваются с тремя критическими ограничениями: библиотеки навыков быстро устаревают, описания навыков имеют семантический разрыв с реальным выполнением (LLM отклоняются от логики эксперта), а рост количества навыков превышает лимит контекста, что приводит к игнорированию важных правил.
Решение: KDASO
Авторы предлагают метод KDASO (Knowledge-Data Dual-Driven Automated Skill Optimization), который непрерывно эволюционирует библиотеку навыков. Методика включает три ключевых этапа:
- Индукция с учетом окрестностей: анализ недавних данных для обновления правил.
- Уточнение, выровненное с выполнением: коррекция описаний на основе анализа траекторий работы LLM.
- Маршрутизация с учетом бюджета: выбор наиболее релевантных навыков для удержания в контексте.
Результаты бенчмарков
Эксперименты проводились на задачах арбитража поездок, определения юридической ответственности и логического вывода. KDASO демонстрирует стабильное превосходство над существующими базовыми моделями (как общего, так и предметного назначения). Особое внимание уделено способности системы переносить навыки на схожие сценарии.
| Метрика / Сценарий | Результат / Особенность |
|---|---|
| Улучшение при переносе навыков | +8.96% на концептуально схожих задачах |
| Стабильность оптимизации | Постоянный рост метрик при непрерывном обучении |
| Сравнение с базовыми моделями | Значительное превосходство в задачах арбитража и логики |
Значение для отрасли
Работа доказывает, что автоматизированная оптимизация «навыков» (skills) — это не просто улучшение промптов, а необходимость для создания надежных AI-ассистентов в регулируемых сферах. Система решает проблему «застывания» знаний и эффективно управляет контекстным окном, что критично для сложных юридических рассуждений.
Источник: arXiv cs.AI ↗