Проблема: «Черный ящик» инфраструктуры
Большие языковые модели (LLM) не работают в вакууме — их возможности и уязвимости определяются инфраструктурой, которую авторы статьи называют Agent Harness. На данный момент у этого понятия нет устоявшегося определения, что приводит к невозможности корректного сравнения результатов разных систем. Различные конфигурации одного и того же агента могут давать многократные различия в отчетах о производительности, скрывая реальную эффективность модели.
Решение: 8 функциональных компонентов
Авторы — Николя Гертлер, Клодио Новелли и Лучано Флориди — предлагают декомпозировать Harness на восемь функциональных компонентов. Это позволяет создавать переносимую спецификацию, которая фиксирует, какая именно модель работала в какой именно среде. Такой подход необходим, так как существующие Model Cards и Agent Cards фиксируют только общие данные о релизе, но не документируют последовательность эффективных конфигураций внутри конкретного запуска.
Ключевые метрики и риски
Исследование подчеркивает критическую важность учета изменений в среде выполнения. Агенты могут редактировать свои собственные инструменты и конфигурации прямо во время работы, что делает фиксацию состояния Harness жизненно необходимой для безопасности и аудита. Уязвимости агента часто лежат именно в его инфраструктуре, а не в ядре модели.
| Аспект | Текущее состояние | Предлагаемое решение (Harness Specification) |
|---|---|---|
| Документация | Model/Agent Cards (общие данные) | Версионированная запись конфигураций в реальном времени |
| Сравнимость | Невозможна из-за вариативности среды | Стандартизированные 8 компонентов для бенчмарков |
| Безопасность | Скрытые уязвимости в настройках | Прозрачная фиксация attack surface инфраструктуры |
Правовой и регуляторный контекст
Авторы отмечают, что действующие законы об ИИ (Enacted AI laws) обязывают документировать системы, но не предписывают использование единого стандарта записи Harness. Предложенная спецификация заполняет этот пробел, требуя явного описания инфраструктуры как версионированной части системы. Это позволит регуляторам и разработчикам отслеживать изменения, которые происходят не только между релизами, но и внутри одного сеанса работы автономного агента.
Источник: arXiv cs.AI ↗