Экосистемы LLM-агентов стремительно развиваются вокруг концепции «переиспользуемых навыков» (skills). Это не просто код, а сложные пакеты, включающие метаданные, инструкции на естественном языке, фрагменты кода, инструменты и рабочие процессы. По мере того как навыки становятся товарами на маркетплейсах, проблема их защиты трансформируется: традиционные детекторы клонирования кода здесь бессильны, так как они ищут полные совпадения или анализируют только один модальность. SkillTrace решает эту проблему, анализируя распределенные доказательства повторного использования.
Трехуровневая архитектура аудита
Ключевая инновация SkillTrace заключается в извлечении и сравнении трех независимых следов (traces), которые вместе формируют полный отпечаток навыка:
- Expression Trace (Выражение): Анализ текстовой части, инструкций и описаний.
- Implementation Trace (Реализация): Проверка фрагментов кода и технической логики.
- Operational Trace (Операционный): Самый сложный слой. Он представляет собой Skill Operational Graph (SOG) — граф, который фиксирует структуру активации, процедур и потоков ресурсов. Для извлечения этого следа используется LLM, но только один раз на этапе загрузки (ingestion). На этапе аудита сравнение происходит детерминированно по кэшированным данным.
Такой подход позволяет выявлять случаи, когда злоумышленник или конкурент заимствует только часть навыка (например, логику, но меняет описание), что пропускают существующие инструменты.
Результаты бенчмарка SKILLTRACE-BENCH
Авторы протестировали систему на специализированном датасете, состоящем из 100 «якорных» навыков маркетплейса. Были сгенерированы 820 позитивных примеров трансформированного повторного использования и 751 негативный контроль. Результаты превзошли базовые репозиторные методы:
| Метрика | Значение SkillTrace | Значение |
|---|---|---|
| AUROC | 0.938 | Высокая способность различать классы |
| F1 Score | 0.898 | Баланс между точностью и полнотой |
| Объем данных | 820 позитивов / 751 негатив | На 100 базовых навыках |
Дополнительный аудит «в дикой природе» (wild audit) на базе 36 446 навыков показал, что SkillTrace способен формировать очереди для ручного пересмотра, выделяя конкретные доказательства нарушения авторских прав, что недоступно для простых методов сравнения репозиториев.
Почему это важно
Для разработчиков агентов и владельцев маркетплейсов SkillTrace означает переход от хаотичного копирования к контролируемому рынку интеллектуальной собственности. Система не просто говорит «это похоже», а указывает, какая именно часть навыка (текст, код или логика выполнения) была заимствована, что критически важно для юридических и технических разбирательств.
Источник: arXiv cs.AI ↗