Проблема: разрыв между тем, как работает агент, и тем, как работает человек
Команды, разрабатывающие AI-агентов для сложных end-to-end задач, часто сталкиваются с одной и той же проблемой: даже на базе топовых моделей агенты не могут стабильно выполнять специфичные рабочие процессы. Инженеры тратят сотни часов на создание ручных тестов (evals), правку промптов и обработку исключений. При этом реальные пользователи уже знают, как правильно выполнять эти задачи, но их действия редко фиксируются в формате, пригодном для обучения агентов.
Большинство систем наблюдаемости (observability) фиксируют только действия агента (вызовы инструментов, промпты), оставляя «правильный путь» вне поля зрения. Аналитика продуктов видит клики пользователей, но эти данные не связаны с логикой агента. CLiF (Continual Learning Platform) от CopilotKit закрывает этот разрыв.
Решение: Full-Stack Trajectories через протокол AG-UI
CLiF, находящаяся сейчас в стадии раннего доступа (early access), использует открытый протокол AG-UI (Agent-User Interaction Protocol) для захвата так называемых full-stack trajectories. Это единая временная шкала, которая синхронизирует два потока данных:
- Agent trajectory: каждый шаг агента, вызовы инструментов, изменения состояния и ответы модели.
- Product trajectory: действия пользователя в интерфейсе (клики, запросы к серверу) и диалоги с агентом.
Благодаря тому, что AG-UI находится между агентом и фронтендом, система видит обе стороны задачи в реальном времени, без необходимости собирать разрозненные данные из разных аналитических пайплайнов.
Как работает цикл обучения: от сырых данных к навыкам
Процесс обучения в CLiF состоит из четырех этапов, автоматизирующих превращение пользовательского опыта в машинные инструкции:
- Capture (Захват): Траектории стекаются в «контейнеры обучения», привязанные к конкретным задачам (например, «поддержка биллинга» или «онбординг»). Сессии автоматически распределяются по контейнерам через callback-функции.
- Find patterns (Поиск паттернов): Система анализирует накопленные сессии, выявляя повторяющиеся ошибки агента и «трение» (friction), с которым пользователи борются вручную. Именно эти точки трения считаются strongest signal для обучения.
- Review (Проверка): На основе выявленных паттернов CLiF предлагает новые навыки (skills) в виде файлов
SKILL.md. Критически важно: система не публикует изменения самостоятельно. Каждый навык должен быть одобрен или отклонен человеком (через UI или CLI). - Deliver and export (Доставка и экспорт): Утвержденные навыки применяются к агенту без передеплоя. Также доступны экспорт сырых данных и генерация датасетов.
Технические детали и интеграции
CLiF является частью экосистемы CopilotKit Intelligence. Платформа поддерживает интеграцию с популярными фреймворками через адаптеры: LangGraph (Python/TypeScript), Mastra, Google ADK, Microsoft Agent Framework. Адаптеры добавляют в агента каталог навыков и два новых инструмента: copilotkit_load_skill и copilotkit_read_skill_file.
Важно отметить, что инструкции разработчика (developer instructions) имеют приоритет над навыками: навыки не могут переопределять правила безопасности, роль агента или доступные инструменты.
Что выходит на выходе: Skills, Evals и Fine-Tuning
Помимо непосредственных навыков (skills), платформа генерирует три типа данных для улучшения качества AI:
| Тип выхода | Описание | Применение |
|---|---|---|
| Skills (Навыки) | Структурированные инструкции (SKILL.md), извлеченные из успешных сценариев пользователей. | Немедленное улучшение логики агента в продакшене без переобучения модели. |
| Production-based Evals | Тестовые наборы, основанные на реальных сценариях использования, а не на синтетических данных. | Объективная оценка качества агента в условиях, близких к реальным. |
| Fine-tuning Datasets | Данные для дообучения (fine-tuning) базовых моделей на основе полных траекторий. | Глубокая настройка модели под специфику продукта. |
Для команд, использующих CopilotKit (проект с более чем 38 000 звезд на GitHub), CLiF предлагает полностью самодостаточное решение (self-hosted), которое позволяет агентам учиться на ошибках и успехах пользователей непрерывно, сокращая время на поддержку и улучшение качества AI-интеграций.
Источник: MarkTechPost ↗