Команда исследователей во главе с Цзичао Ли (Jichao Li) опубликовала в arXiv (5 ноября 2026 г.) работу, посвященную новой парадигме взаимодействия с ИИ. Они вводят понятие Personal External Service Agent (персональный внешний сервисный агент) — системы, которая не просто отвечает на запросы, а авторизована конкретным пользователем для выполнения работы за него, используя его знания, опыт и профессиональные границы. Это позволяет человеку масштабировать свою экспертизу и обслуживать больше клиентов с меньшим личным участием.
Проблема: отсутствие стандартов оценки
Существующие бенчмарки фокусируются на общих способностях LLM или узких задачах. Однако для агентов, действующих как «цифровые двойники» специалистов, критически важны другие параметры: способность наследовать экспертизу, обеспечивать непрерывность сервиса и оставаться экономически выгодными. Авторы отмечают, что текущие инструменты не оценивают, может ли платформа превратить человеческий опыт в верифицируемый, масштабируемый продукт.
Решение: фреймворк DelegateEval
DelegateEval — это платформа-фреймворк для оценки систем агентов, которые могут комбинировать большие языковые модели, переиспользуемые навыки, протоколы (например, MCP) и исполняемые среды инструментов. Фреймворк оценивает платформы по восьми ключевым измерениям:
- Легкость создания (Ease of creation): насколько просто пользователю настроить агента.
- Обнаружение и сопоставление услуг (Service discovery and matching): способность находить подходящие запросы клиентов.
- Качество доставки (Delivery quality): соответствие результата ожиданиям.
- Наследование экспертизы (Expertise inheritance): точность передачи знаний владельца.
- Непрерывность сервиса (Service continuity): стабильность работы в долгосрочной перспективе.
- Обучение и улучшение (Learning and improvement): способность агента развиваться на основе опыта.
- Надежность и управление (Reliability and governance): безопасность и контроль.
- Эффективность и ценность (Efficiency and value): экономическая целесообразность.
Экспериментальный дизайн и метрики
В работе представлен детальный экспериментальный дизайн, включающий 7 рисунков и 6 таблиц. Авторы подчеркивают, что фреймворк направлен на проверку того, позволяет ли платформа людям с разным бэкграундом превращать свои навыки в услуги, которые можно верифицировать и которые развиваются со временем. Полные наборы данных, исполняемые среды и унифицированный протокол оценки находятся в стадии разработки и требуют эмпирической валидации.
| Измерение DelegateEval | Ключевой вопрос оценки | Значимость для бизнеса |
|---|---|---|
| Expertise Inheritance | Насколько точно агент копирует стиль и методы эксперта? | Сохранение бренда и качества услуг |
| Service Continuity | Работает ли агент стабильно в долгосрочной перспективе? | Надежность для клиентов |
| Efficiency and Value | Окупается ли использование агента? | Масштабируемость дохода |
| Learning and Improvement | Учится ли агент на ошибках и обратной связи? | Постоянное повышение качества |
Работа открывает путь к стандартизации рынка AI-агентов, переводя их из категории «игрушек» в категорию надежных внешних исполнителей. Полные данные и код проекта будут доступны для сообщества после завершения этапа эмпирической валидации.
Источник: arXiv cs.AI ↗