Суть инновации: Адаптер вместо Fine-tuning
Лаборатория Infini-AI-Lab представила Hermit v0.1.0 — фреймворк с открытым исходным кодом (лицензия Apache-2.0), предназначенный для адаптации AI-агентов к новым задачам. Ключевое отличие подхода: вместо дорогостоящего дообучения (fine-tuning) самой языковой модели или изменения кода базового «harness» (оболочки агента), Hermit обучает внешний адаптер.
Этот адаптер может содержать инструкции, навыки, память, инструменты и логику координации. Базовая модель (например, GLM 5.3 Flash) и структура агента остаются неизменными, что позволяет безопасно переносить обученные адаптеры между совместимыми моделями и средами.
Механика обучения: RL-цикл и эволюция
Процесс обучения напоминает обучение с подкреплением (RL). Тренер пропускает задачи через агента с текущим адаптером, судья оценивает результаты, а модуль Evolver предлагает новые версии адаптера на основе траекторий. Каждая версия хранится в Git-репозитории, что обеспечивает прозрачность и возможность отката.
На старте доступны пять методов эволюции:
- GEPA (Generative Prompt Evolution)
- SkillOpt
- MWM (MetaWorld Model)
- Harness²
- Continual Harness
В разработке находятся ACE и ReHarness. Пользователи также могут писать собственные эволюционные алгоритмы.
Результаты бенчмарков: Цифры и сравнения
Тестирование проводилось на модели GLM 5.3 Flash. Результаты демонстрируют значительный прирост эффективности по сравнению с базовыми методами (in-context learning или отсутствие адаптера). Ниже приведены ключевые метрики:
| Бенчмарк / Задача | Метод | Результат | Примечание |
|---|---|---|---|
| CL-Bench (Database Exploration) | MWM (Hermit) | 0.795 accuracy | Превосходит in-context baseline (0.580) |
| CL-Bench (Poker) | MWM (Hermit) | 3.08 BB/hand | Превосходит in-context learning (2.51 BB/hand) |
| ServeLearnBench (Hidden Policy) | MWM (Hermit) | 45.3 score | Лучший результат на лидерборде (CH: 28.7, Oracle: 89.2) |
| OfficeQA (Treasury Bulletins) | Harness² | 0.651 accuracy | Прирост +7.6 п.п. над референсом (95% CI: +1.7...+13.4) |
Сравнение с конкурентами
Hermit занимает нишу между оптимизаторами промптов и полным дообучением. В отличие от Agent Lightning, который может изменять веса модели, Hermit не трогает параметры LLM. По сравнению с GEPA, который работает с текстовыми параметрами, Hermit предлагает более глубокую интеграцию через адаптацию всей оболочки агента.
| Характеристика | Hermit | GEPA | Agent Lightning |
|---|---|---|---|
| Что обучается | Внешний адаптер harness | Текстовые параметры | Промпты и веса модели |
| Изменение весов модели | Нет | Нет | Да (RL/SFT) |
| Codex, Claude Code, Pi | DSPy | LangChain, AutoGen, CrewAI | |
| Лицензия | Apache-2.0 | MIT | MIT |
Установка и развертывание
Фреймворк доступен через PyPI. Установка занимает одну команду:
pip install hermit-harness
Поддерживаются различные бэкенды: OpenAI, Anthropic, DeepSeek, Fireworks, а также локальные серверы vLLM, SGLang и Ollama. Команда hermit deploy автоматически создает рабочее пространство для агентов, а hermit convert экспортирует адаптер в виде нативного плагина.
Важно: Большинство представленных результатов являются самоотчетными и основаны на одиночных запусках. Для production-использования рекомендуется валидация на собственных данных.
Источник: MarkTechPost ↗