Проблема: «Черный ящик» ценности навыков
С развитием автономных AI-агентов их поведение все чаще оптимизируется через автоматические циклы обратной связи. В результате создаются сложные структурированные артефакты — так называемые «навыки» (skills), состоящие из правил, примеров, скриптов и эвристик. Однако внутренняя ценность каждого такого элемента остается неясной. Традиционные методы оценки данных или промптов не работают здесь, так как элементы навыка имеют структуру: они зависят друг от друга, формируют иерархию документа, влияют на поведение агента и потребляют ограниченное контекстное окно.
Решение: SkillSV
Команда исследователей во главе с Тао Ли (Tao Li) представила SkillSV — структуру, основанную на стиле Шепли (Shapley value), но адаптированную для учета структуры навыка. Метод позволяет точно распределить кредит (ценность) между внутренними единицами фиксированного навыка при работе на выделенном наборе задач. Ключевые особенности подхода:
- Компиляция структуры: Навык разбивается на единицы, зависимости и иерархию, что позволяет оценивать только валидные контрфактические навыки (то есть те, которые логически возможны при удалении элементов).
- Разделение ценности и стоимости: Используется метод парного удаления (paired deletion) и нейтрального по длине заполнения (length-neutral padding), чтобы отделить реальную полезность контента от затрат на контекст.
- Оценка с бюджетом: Для шумных оценок поведения агента применяется оценщик с ограниченным бюджетом развертывания (rollout-budgeted estimator).
Результаты и применение
Метод был протестирован на четырех бенчмарках для агентов. SkillSV показал способность восстанавливать взаимодействия между единицами, сохранять общую эффективность навыка (aggregate skill lift) и направлять безопасное удаление (pruning) и сжатие компонентов. Это открывает путь к более эффективной оптимизации и компрессии AI-агентов без потери качества.
| Аспект | Традиционная оценка | SkillSV |
|---|---|---|
| Учет структуры | Игнорируется | Учитывает иерархию и зависимости |
| Контрфактические сценарии | Случайное удаление | Только валидные комбинации |
| Контекстные затраты | Не разделяются | Отделены от ценности контента |
| Применимость | Данные/Промпты | Структурированные навыки агентов |
Почему это важно
По мере того как AI-агенты становятся сложнее, управление их «знаниями» и «навыками» превращается в критическую задачу. SkillSV предоставляет инструмент для точного анализа того, какие именно правила или примеры делают агента эффективным, а какие лишь занимают место в контексте. Это позволяет разработчикам безопасно оптимизировать модели, сокращая затраты на вычисления и улучшая интерпретируемость решений AI.
Источник: arXiv cs.AI ↗