В мире искусственного интеллекта, где каждый день появляются новые модели и фреймворки, разработчики часто сталкиваются с одной и той же проблемой: как адаптировать мощные, но «тяжелые» AI-агенты под специфические задачи, не тратя недели на дообучение (fine-tuning) базовых моделей? Традиционный подход требует либо форка репозитория, либо сложной настройки промптов, что часто приводит к хрупким решениям. На смену этому приходит новый подход, предложенный командой Infini-AI-Lab. Они представили Hermit — открытый фреймворк-адаптер, который позволяет обучать внешние «шорты» (harness adapters) для AI-агентов, оставляя саму модель и её ядро полностью замороженными.
Это не просто еще одна библиотека для оптимизации промптов. Hermit представляет собой полноценную среду для эволюции поведения агентов. Первый релиз версии 0.1.0 был выпущен 25 октября 2026 года, а анонс от постдока Карнеги-Меллонского университета (CMU) Хайчжун Чжэна (Haizhong Zheng) в X (бывший Twitter) 27 октября сразу привлек внимание сообщества. Суть предложения проста и элегантна: адаптируйте агентов Codex или Claude Code под новые задачи без необходимости переписывать их ядро или запускать ресурсоемкие циклы дообучения.
01Что такое адаптер шорса (Harness Adapter)?
Чтобы понять революционность Hermit, нужно разобраться в терминологии. В экосистеме LLM мы привыкли к модельным адаптерам, таким как LoRA (Low-Rank Adaptation). LoRA позволяет тонко настраивать веса нейронной сети, добавляя небольшие матрицы к существующим слоям, что делает дообучение экономичным. Однако Hermit предлагает другой уровень абстракции — адаптер шорса (harness adapter).
Если модельный адаптер меняет «мозги» модели, то адаптер шорса меняет «инструменты» и «инструкции» агента. Представьте, что у вас есть мощный робот-рука (модель), но он не знает, как работать с конкретным типом деталей. Вместо того чтобы переплавлять саму руку, вы создаете для нее новый набор инструментов и инструкций (адаптер шорса). Этот адаптер может содержать:
- Инструкции: Специфические промпты, определяющие стиль и правила поведения.
- Навыки (Skills): Готовые функции или скрипты для выполнения узких задач.
- Память: Контекст предыдущих взаимодействий, который нужно сохранять.
- Инструменты: Подключения к внешним API, базам данных или файловым системам.
- Исполняемый код: Логику координации между несколькими агентами.
Ключевая особенность Hermit заключается в том, что спецификация адаптера четко определяет, какие части являются обучаемыми, а какие — нет. Базовая модель и основной каркас агента (harness) никогда не изменяются. Это обеспечивает три критических преимущества:
- Защита закрытых источников: Многие коммерческие harnesses (оболочки для агентов) являются проприетарными. Hermit позволяет работать с ними, не нарушая лицензий и не взламывая их код.
- Стабильность: Редактирование открытых harnesses часто ломает тонко настроенные взаимодействия между компонентами. Внешний адаптер изолирует эти изменения.
- Портативность: Обученный адаптер можно переносить между совместимыми моделями и harnesses. Вы можете обучить стратегию на одной модели, а затем применить её к другой, изменив только базовый движок.
02Как работает обучение адаптера в Hermit?
Сердцем Hermit является цикл обучения, вдохновленный подходом Reinforcement Learning (RL), но адаптированный для работы с высокоуровневыми агентами. Процесс не требует графических процессоров (GPU) для самого цикла оптимизации структуры, хотя для запуска агентов они могут понадобиться в зависимости от бэкенда.
Процесс выглядит следующим образом:
- Тренер (Trainer): Запускает пакет задач через действующего агента, используя текущую версию адаптера. Агент выполняет действия, взаимодействует с окружением и генерирует траектории.
- Судья (Judge): Оценивает выходы агента. Это может быть как автоматическая проверка (например, совпадение с эталонным ответом), так и оценка другой LLM.
- Эволюционер (Evolver): Читает траектории и обратную связь от судьи. На основе этого анализа он предлагает новую версию адаптера. Это может быть изменение промпта, добавление нового инструмента или корректировка логики координации.
- Проверка и фиксация: Тренер проверяет новый адаптер на соответствие шаблону и, если он валиден, фиксирует его как следующую версию.
Каждая версия адаптера хранится в дереве Git. Это дает разработчикам невероятный контроль: вы можете inspect (осмотреть), roll back (откатить) или ship (отправить в продакшн) любую версию. Программы-обучатели могут запускаться в песочнице (sandboxed), что требует Linux с использованием bubblewrap для обеспечения безопасности, так как агенты могут выполнять произвольный код.
03Пять методов эволюции
В первой версии Hermit доступно пять встроенных методов эволюции (Evolver), каждый из которых по-своему подходит к оптимизации адаптера:
- GEPA (Generative Evolution with Pareto Adaptation): Использует генеративную эволюцию с отбором по Парето. Позволяет находить компромиссы между разными метриками качества.
- SkillOpt: Фокусируется на оптимизации набора навыков (skills). Алгоритм добавляет, удаляет или модифицирует функции, доступные агенту.
- MetaWorld Model (MWM): Обучает мета-модель, которая предсказывает лучшие адаптации для различных типов задач. Особенно эффективен в сложных, многошаговых сценариях.
- Harness²: Метод, который обучает адаптер, непрерывно адаптируясь к потоку данных. Он не просто оптимизирует под тестовый набор, а учится «на лету».
- Continual Harness: Похож на Harness², но с акцентом на долговременное сохранение знаний и предотвращение катастрофического забывания (catastrophic forgetting) при обучении на новых данных.
Также в дорожной карте указаны ACE и ReHarness, которые появятся в будущих обновлениях. Кроме того, разработчики могут писать свои собственные Evolvers, что делает платформу крайне гибкой.
04Результаты бенчмарков: цифры говорят сами за себя
Чтобы оценить эффективность Hermit, команда провела тесты на трех различных бенчмарках, используя модель GLM 5.3 Flash в качестве действующего агента. Важно отметить, что все результаты являются самоотчетными (self-reported) и взяты из примеров в репозитории, но они демонстрируют значительный потенциал подхода.
1. OfficeQA
Этот бенчмарк задает 172 тестовых вопроса по документам Казначейства США (U.S. Treasury Bulletins). Оценка производится по точному совпадению (exact match). Результаты показывают, что простые методы не всегда работают:
- Базовый уровень (без адаптера): 0.541
- Начальный навык (Initial skill): 0.576
- GEPA: 0.580
- SkillOpt: 0.600
- Continual Harness: 0.634
- Harness²: 0.651
GEPA и SkillOpt обучались на 50 вопросах и тестировались в замороженном состоянии. Continual Harness и Harness² же учились, одновременно просматривая тестовый набор данных один раз. Команда сообщает о приросте в +7.6 пункта для Harness² по сравнению с эталонным запуском, с 95% доверительным интервалом от +1.7 до +13.4. Это статистически значимое улучшение.
2. CL-Bench (Database & Poker)
CL-Bench тестирует агентов в состоятельных (stateful) средах. В задаче исследования баз данных метод MWM достиг точности 0.795, в то время как базовый уровень обучения в контексте (in-context learning) показал лишь 0.580. В более сложной задаче — покере с эксплуатируемыми стратегиями — MWM выигрывал 3.08 больших блайндов за руку против 2.51 у in-context обучения. Это демонстрирует способность адаптера учиться на ошибках и адаптироваться к динамическому противнику.
3. ServeLearnBench
Этот бенчмарк имитирует поток из 624 запросов в службу поддержки розничной торговли с скрытой, меняющейся политикой. MWM набрал 45.3 балла на тестах с скрытой политикой. Лучший метод обучения на лидерборде (CH) показал 28.7, а «оракул» (который знает политику заранее) — 89.2. Разрыв между MWM и CH показывает, что адаптивный подход значительно ближе к идеалу, чем статические методы.
05Сравнение с другими оптимизаторами агентов
Как Hermit выглядит на фоне конкурентов? Давайте сравним его с GEPA, ACE и Agent Lightning.
| Функция | Hermit | GEPA | ACE | Agent Lightning |
|---|---|---|---|---|
| Что обучается | Внешний адаптер шорса | Любой текстовый параметр (промпты, код) | Контекстная пьесовка (playbook) | Промпты и веса модели |
| Изменяет веса модели | Нет | Нет | Не раскрыто | Да, через RL или SFT |
| Методы | 5 встроенных, кастомные Evolvers | Рефлексивная эволюция, отбор по Парето | Генератор, Рефлектор, Куратор | RL, оптимизация промптов, SFT |
| Цели развертывания | Codex, Claude Code, Pi; экспорт плагинов | DSPy (dspy.GEPA) | Не раскрыто | LangChain, OpenAI Agents SDK, AutoGen, CrewAI и др. |
| Лицензия | Apache-2.0 | MIT | Apache-2.0 | MIT |
Ключевое отличие Hermit — в его фокусе на внешних адаптерах. В то время как Agent Lightning может изменять веса модели (что требует GPU и времени), а GEPA работает с текстовыми параметрами, Hermit создает модульные, версионируемые компоненты, которые можно легко переносить. Лицензия Apache-2.0 также делает его привлекательным для коммерческого использования.
06Установка и развертывание: практическое руководство
Установка Hermit максимально проста. Фреймворк доступен в PyPI, и для начала работы достаточно одной команды:
pip install hermit-harnessВы также можете клонировать репозиторий для доступа к примерам. CLI (интерфейс командной строки) включает команды check, train, eval, deploy и convert. Модели указываются в формате <backend>/<model id>. Поддерживаемые бэкенды включают Fireworks, OpenAI, Anthropic, DeepSeek, а также локальные серверы vLLM, SGLang и Ollama.
Команда hermit deploy создает рабочее пространство для Codex, Claude Code или Pi. Это позволяет интегрировать обученный адаптер непосредственно в среду разработки. А команда hermit convert экспортирует обученный адаптер в виде нативного плагина для Codex, Claude Code, Pi или Hermes.
Пример использования: Lean Collaboration
Один из впечатляющих примеров из документации — адаптер для совместной работы в Lean. Он координирует 5 агентов Codex, которые совместно доказывают одну математическую теорему. Это демонстрирует мощь Hermit в сценариях мультиагентного взаимодействия, где каждый агент имеет свою роль, а адаптер управляет их координацией.
07Что это значит на практике?
Для разработчиков и компаний, использующих AI-агентов, Hermit открывает новые горизонты. Вот как это можно применить в реальных сценариях:
- Быстрая кастомизация: Вместо того чтобы ждать обновления от провайдера API или переписывать код агента, вы можете обучить адаптер под специфические бизнес-процессы за часы, а не недели.
- Безопасность и контроль: Поскольку базовая модель не меняется, вы не рискуете «сломать» её общие способности. Адаптер можно тестировать, откатывать и версионировать как любой другой код.
- Экономия ресурсов: Отсутствие необходимости в дообучении весов модели снижает затраты на вычисления. Вы платите только за инференс агента, а не за дорогостоящие циклы fine-tuning.
- Портативность: Обученный адаптер для работы с финансовыми документами можно перенести с модели GPT на Claude или локальную модель, изменив только бэкенд, но сохранив логику работы.
Hermit — это не просто инструмент, это новый парадигмальный сдвиг в том, как мы взаимодействуем с AI-агентами. Мы переходим от «обучения моделей» к «обучению поведения». В мире, где модели становятся все более универсальными, именно специфические, обученные адаптеры станут ключевым конкурентным преимуществом. Если вы работаете с Codex, Claude Code или другими сложными агентами, Hermit стоит того, чтобы обратить на него внимание уже сегодня.
08Заключение
Выход Hermit от Infini-AI-Lab знаменует собой важный шаг в эволюции инструментов для работы с AI-агентами. Предлагая гибкий, открытый и эффективный способ адаптации агентов без изменения их ядра, фреймворк решает одну из самых болезненных проблем в области — хрупкость и сложность кастомизации. С поддержкой нескольких методов эволюции, интеграцией с популярными бэкендами и четкой лицензией Apache-2.0, Hermit становится мощным выбором для разработчиков, стремящихся вывести своих AI-ассистентов на новый уровень.
Рекомендуем следить за развитием проекта на GitHub, изучать документацию и экспериментировать с примерами. Впереди нас ждут новые методы эволюции и, возможно, еще более впечатляющие результаты на бенчмарках.
Источник: MarkTechPost ↗