Команды, которые стремятся развернуть AI-агентов в промышленных масштабах, постоянно сталкиваются с одним и тем же паттерном. Даже агенты, построенные на базе передовых моделей, таких как Fable и Astra, часто не могут выполнять сложные сквозные задачи внутри конкретного продукта с достаточной стабильностью для выхода в продакшн. В результате инженеры тратят бесконечные часы на создание сотен или тысяч вручную написанных тестовых случаев (evals) для наиболее важных рабочих процессов. Затем они пытаются улучшить агента постепенно, редактируя промпты, исправляя хуки и добавляя специальные кейсы, пока агент не пройдет достаточное количество тестов, чтобы его можно было запустить в работу.
Параллельно с этим реальные пользователи продукта выполняют эти же задачи каждый день. Они точно знают, какие действия нужно предпринять и в каком порядке, чтобы достичь результата. Однако эта ценная информация часто остается «за бортом» систем наблюдения за агентами. Именно здесь на сцену выходит CopilotKit, компания, стоящая за фреймворком с открытым исходным кодом и протоколом AG-UI. Они выпустили CLiF (Continual Learning from Full-Stack Trajectories) — платформу для непрерывного обучения на основе полных траекторий, которая находится в стадии раннего доступа.
CLiF безопасно фиксирует то, что делает агент, и то, что делают пользователи внутри продукта, и превращает эту запись в навыки (skills), основанные на продакшене тесты (evals) и датасеты для тонкой настройки (fine-tuning). Все эти артефакты, вместе с сырыми траекториями, можно экспортировать. CopilotKit, имеющий более 38 000 звезд на GitHub, позиционирует это решение как ответ на фундаментальные проблемы масштабирования AI-агентов.
01Что упускают традиционные инструменты трассировки агентов?
Большинство современных инструментов наблюдаемости (observability) за агентами сфокусированы исключительно на самом агенте. Инструменты трассировки (tracing) фиксируют промпты, вызовы инструментов и выводы моделей. Это позволяет понять, где агент ошибся, но оставляет «правильный путь» невидимым. С другой стороны, аналитика продукта покрывает пользовательскую сторону: клики, воронки и записи сессий. Однако эти данные созданы для человека, который читает дашборд, а не для обучения агента выполнению задачи или проверки его работы.
В большинстве производственных стеков агентов эти два мира никогда не оказываются на одной временной шкале. Этот разрыв критически важен, потому что агент изучает продукт через промпты, навыки, описания инструментов и доступные API. Ему приходится самостоятельно выстраивать логическую цепочку для выполнения реальной задачи. Люди, использующие продукт, уже решили эту проблему, часто сотни раз. Позиция CopilotKit, изложенная в их объяснении agent learning, заключается в том, что то, как пользователи фактически выполняют работу, является самым ценным набором данных, который есть у любой команды AI, и он редко захватывается в форме, пригодной для обучения агента.
02Полные траектории: сигнал, на котором построен CLiF
CLiF является частью CopilotKit Intelligence и построен вокруг единой примитивной единицы — полной траектории (full-stack trajectory). Она захватывается через AG-UI (Agent-User Interaction Protocol) — открытый протокол, созданный CopilotKit для соединения агентов с пользовательскими приложениями. Поскольку AG-UI находится между агентом и пользователем на любой поверхности взаимодействия, он видит обе стороны задачи:
- Траектория агента (agent trace): каждый запуск, вызов инструмента и изменение состояния, которые сделал агент, а также то, что вернул каждый из них.
- Траектория продукта (user actions): то, что было на экране пользователя, какие кнопки он нажал и какие запросы к серверу инициировал. Если пользователь общается с агентом в процессе, этот разговор попадает в ту же временную шкалу в правильном порядке.
Вместе это и есть полная траектория. AG-UI уже транслирует события агента на фронтенд, поэтому безопасный захват действий пользователя через тот же протокол помещает обе половины в один поток с самого начала, без необходимости позже склеивать отдельные конвейеры аналитики. Каждая сессия пользователя становится единой траекторией, которую команда может открыть в CopilotKit Intelligence и воспроизвести шаг за шагом, с кликами, запросами к серверу и сообщениями агента в том порядке, в котором они происходили.
03Внутреннее устройство CLiF: от траекторий к навыкам, тестам и данным
CopilotKit описывает цикл обучения в четыре этапа. Этот процесс автоматизирован, но сохраняет критически важный человеческий контроль.
1. Захват (Capture)
Траектории потоком поступают в CopilotKit Intelligence и назначаются «контейнерам обучения» (learning containers). Это позволяет ограничить обучение одним видом работы, например, поддержкой по биллингу или онбордингом клиентов. Рантайм определяет контейнер для каждой сессии через колбэк getTrajectoryLearningContainerIds, и сессии можно перемещать в контейнеры или из них позже через интерфейс Intelligence. Каждый контейнер учится только на своих сессиях, что обеспечивает изоляцию контекста.
2. Поиск паттернов (Find patterns)
Анализ запускается по расписанию, как только контейнер проходит определенный порог новых сессий, и команды могут также запускать его вручную. Каждый запуск работает на основе замороженного снимка сессий контейнера и выявляет Insights (инсайты): повторяющиеся запросы, повторяющиеся исправления и трение (friction), с которым пользователи тихо справляются. CopilotKit рассматривает это трение как самый сильный сигнал, поскольку оно, как правило, повторяется в течение тысяч сессий и показывает именно то, чему агент должен научиться следующим. Каждый Insight цитирует конкретные события, стоящие за ним, и ведет прямую ссылку на исходную траекторию.
3. Проверка (Review)
Когда доказательства поддерживают повторяемый урок, CLiF предлагает его в виде навыка (skill), написанного как обычный файл SKILL.md. Сервис анализа не может публиковать ничего самостоятельно: человек одобряет или отклоняет каждое предложение, либо в интерфейсе Intelligence, либо через CLI CopilotKit. Опубликованные навыки версионируются и могут быть отозваны в любое время. Это гарантирует, что в продакшн не попадут ошибочные или неэтичные паттерны поведения.
4. Доставка и экспорт (Deliver and export)
Опубликованные навыки достигают агента без необходимости пересборки (redeploy). Команды, которым нужна стабильность, могут привязать агента к фиксированной версии навыка. Для любого другого агента или MCP-сервера навыки можно скачать как обычные файлы с помощью команды copilotkit skills download <container> --output <dir>. Сами траектории можно экспортировать как сырые данные событий из панели Intelligence. Для команд в раннем доступе тот же конвейер также генерирует кандидаты на тесты (eval candidates) и датасеты для тонкой настройки из этих траекторий.
04Автоматическое обучение агентов в CopilotKit Intelligence
Со стороны агента CLiF строится на Automatic Learning — возможности в CopilotKit Intelligence, которую CopilotKit также позиционирует как основу для самосовершенствующихся агентов. Automatic Learning учится на разговорах, которые пользователи ведут с агентом. CLiF расширяет этот цикл до траекторий продукта, так что он также учится на работе, которую пользователи выполняют непосредственно в продукте, вне чата.
Каждый разговор с агентом сохраняется полностью через AG-UI Streams: сообщения, вызовы инструментов, генеративный UI, состояние, утверждения и файлы. Разработчики выбирают, какие потоки считаются доказательством, возвращая ID контейнера из колбэка getLearningContainerId в рантайме CopilotKit, который является аналогом обратного вызова траектории со стороны агента. Команды, у которых уже есть агент в продакшене, могут импортировать существующую историю из LangGraph Server или LangSmith Deployment, а не начинать с нуля.
Доставка навыков (Skill delivery) работает через адаптеры для LangGraph (Python и TypeScript), Mastra, Google ADK, Microsoft Agent Framework, встроенного агента CopilotKit и других. Адаптер добавляет каталог и два инструмента: copilotkit_load_skill и copilotkit_read_skill_file, и модель загружает навык, когда задача этого требует. Инструкции разработчиков имеют приоритет, поэтому навыки не могут переопределять роль агента, правила безопасности или ограничения инструментов.
05За пределами навыков: тесты, данные для тонкой настройки и сырые траектории
Навыки — это только первый выход. Те же самые траектории питают четыре выхода, все из которых можно экспортировать в существующий стек вашей команды:
- Навыки (Skills) для агентов или MCP-серверов, созданные на основе паттернов, которые повторяются во многих сессиях.
- Тесты на основе продакшена (Production-based evals), созданные на основе задач, которые пользователи фактически выполняли, включая входные данные и крайние случаи, о которых никто не подумал написать вручную. Их можно экспортировать на платформу тестирования, которую уже использует команда.
- Датасеты для тонкой настройки (Fine-tuning datasets), извлеченные из реальных траекторий задач, предназначенные для обучения меньших, более быстрых открытых моделей на самых частых рабочих процессах компании.
- Сырые полные траектории (Raw full-stack trajectories), которые можно экспортировать в любую платформу наблюдаемости или использовать так, как хочет команда.
Позиция CopilotKit заключается в том, что команды должны сохранять инструменты тестирования и наблюдаемости, которые они уже используют, а CLiF поставляет данные, которых этим инструлам не хватало. Это не замена вашим существующим инструментам, а их усиление качественными данными.
06CLiF в действии: Практический пример
Допустим, вы технический директор (CTO) платформы управления проектами, похожей на Linear, где инженерные команды планируют спринты и отслеживают задачи. Вы хотите, чтобы агенты взяли на себя рутинную работу в вашем продукте и делали это надежно, как вашего встроенного агента, так и внешних агентов, таких как Claude, которые клиенты подключают через ваш MCP-сервер. Закрытие спринта (sprint close-out) — одна из первых задач в списке.
Ваша платформа уже имеет опцию в один клик, которая перемещает все незавершенные задачи в следующий спринт, и ваша документация описывает закрытие спринта именно так. Поэтому агент, которому поручено закрыть спринт, делает именно это и перемещает все незавершенные задачи вперед.
Однако, как только CLiF начинает безопасно захватывать траектории продукта, тысячи случаев закрытия показывают, что руководители команд на вашей платформе делают больше, чем просто нажатие одной кнопки. Большинство используют опцию в один клик, а затем тратят следующие несколько минут на исправление результата:
- Они перемещают задачи, которые уже были перенесены один раз, обратно в бэклог и снимают с них назначение.
- Они комментируют заблокированные задачи, отмечая того, кто отвечает за блокировку.
Никто в вашей команде не проектировал этот рутинный процесс, и немногие пользователи описали бы его, если бы их спросили. Он существует только в кликах и запросах, следующих за перемещением в один клик. Трассировка агентов никогда этого не видит, потому что пользователи делают это сами. Продуктовая аналитика записывает дополнительные клики без их смысла, а выявление паттерна в записях сессий означало бы просмотр тысяч записей.
CLiF выявляет этот рутинный процесс как Insight, цитируя конкретные сессии, стоящие за ним, и предлагает навык для полного закрытия спринта. После того как ваша команда проверяет и публикует его, ваш встроенный агент подхватывает его без пересборки, и вы отправляете тот же навык вместе с вашим MCP-сервером, чтобы Claude и другие подключенные агенты следовали ему. По мере изменения привычек пользователей новые сессии держат навык в актуальном состоянии, а Insight также показывает вам, где ваш собственный функционал дает сбой.
Те же самые сессии становятся случаями тестов, которые проверяют, обрабатывает ли агент каждую задачу так, как это делают руководители команд на вашей платформе, чтобы вы могли подтвердить, что агенты готовы, прежде чем передавать им задачу. Они также могут стать обучающими данными, если вы позже тонко настроите меньшую модель для планирования работы.
07Как CLiF решает боли, сдерживающие команды агентов в 2026 году
Для технических лидеров, управляющих агентами в масштабе, CopilotKit рассматривает CLiF как ответ на знакомый набор проблем.
Проведение агентов через тесты (Getting agents past evals)
Для большинства команд самой медленной частью запуска агента является заставить его пройти достаточно тестов на рабочих процессах, которые имеют значение. Навыки, изученные на основе того, как пользователи завершают эти рабочие процессы, дают агенту шаги, которых ему не хватало. Тесты на основе продакшена затем добавляют крайние случаи, с которыми пользователи сталкиваются на практике, так что набор тестов продолжает расти вместе с реальным использованием.
Раздувание контекста и перегрузка инструментами (Context bloat and tool overload)
Каждая ошибка агента, как правило, заканчивается добавлением еще одного правила в системный промпт или еще одного инструмента в арсенал агента. Со временем контекст заполняется, и поведение становится труднее предсказать. CLiF хранит изученное поведение в каталоге навыков, а модель загружает навык только тогда, когда задача этого требует. Это держит системный промпт чистым и компактным.
Стоимость (Cost)
Агенты, как правило, становятся дороже, когда они получают больше инструментов и более длинные промпты. Датасеты для тонкой настройки из реальных траекторий дают командам путь для переноса высоконагруженных рабочих процессов на меньшие, более дешевые открытые модели. Контейнеры на основе рабочих процессов показывают, где агент борется, а где нет, позволяя оптимизировать ресурсы.
Разрозненные стеки (Fragmented stacks)
Крупные организации редко соглашаются на один фреймворк агентов, и их агенты живут в веб-приложениях, мобильных приложениях, Slack и Teams. CLiF работает на AG-UI, поэтому он совместим с любым хайрингом агентов и любой моделью под капотом. AG-UI поддерживается Google, Microsoft, Anthropic, Amazon и Oracle, а также фреймворками, включая LangChain, Mastra, Pydantic AI, Google ADK и другими.
Принятие агентов вне центрального надзора (Agent adoption outside central oversight)
По мере того как команды самостоятельно внедряют инструменты агентов, становится сложнее знать, чему научился каждый агент и почему. Каждый навык CLiF проходит ручную проверку, прослеживается до сессий, из которых он произошел, и остается версионированным и обратимым. Вся платформа также может работать внутри собственной инфраструктуры компании.
08Самостоятельное размещение (Self-Hosted by Design)
CLiF полностью поддерживает самостоятельное размещение (self-hosting). CopilotKit Intelligence можно самостоятельно разместить на собственном кластере Kubernetes компании с помощью Helm-чарта, или на AWS ECS и Fargate, с использованием собственной базы данных Postgres, Redis и провайдера идентификации, такого как Okta, Azure AD или Keycloak.
Траектории, навыки и все, что из них изучено, остаются внутри VPC компании или в локальном окружении, так что активность пользователей и трассировки агентов никогда не должны покидать их сеть. Трассировки также могут поступать в существующий коллектор OpenTelemetry. CopilotKit Intelligence также работает на управляемом облаке для команд, которые хотят самый быстрый запуск.
09Что это значит на практике
Выпуск CLiF от CopilotKit знаменует собой сдвиг парадигмы в разработке AI-агентов: от ручного, трудоемкого создания тестов и промптов к автоматизированному, непрерывному обучению на основе реального поведения пользователей. Это не просто еще один инструмент для логирования, а полноценная платформа для превращения «шума» пользовательских действий в структурированные, проверяемые и исполняемые знания для ваших AI-агентов.
Для разработчиков и технических лидеров это означает:
- Экономия времени: Отказ от написания тысяч ручных тестовых случаев. Вместо этого вы получаете тесты, основанные на реальных сценариях использования.
- Повышение качества: Агенты учатся не на абстрактных примерах, а на том, как люди фактически решают проблемы, включая неочевидные шаги и обходные пути.
- Контроль и безопасность: Человеческая проверка каждого навыка и возможность полного контроля над данными через self-hosted решение.
- Масштабируемость: Возможность обучать агентов на любых фреймворках (LangGraph, Mastra, Google ADK и др.) благодаря открытому протоколу AG-UI.
Если вы строите AI-агентов, которые должны работать в реальном продукте, а не в песочнице, CLiF предлагает путь от «агент ломается на сложных задачах» к «агент учится на ошибках пользователей и становится лучше с каждым днем». Это шаг к истинно автономным и самосовершенствующимся системам, где данные от пользователей становятся топливом для интеллекта агентов.
Команды могут узнать больше, забронировать демонстрацию или запросить ранний доступ на странице CLiF.
Источник: MarkTechPost ↗