Суть инновации: улучшение окружения, а не модели
Harness² — это фреймворк рекурсивного «огуживания» (harnessing) агентов, разработанный Google Cloud AI Research. В отличие от традиционных методов, где улучшают саму нейросеть, Harness² работает с «хarness» — всем, что окружает замороженную модель: системными промптами, гайдлайнами, памятью, инструментами, субагентами, навыками, скриптами и плагинами.
Ключевая особенность подхода — отсутствие необходимости в размеченных данных или верификаторах правильности ответа. Система использует контрастную логику: предлагает варианты улучшений, проверяет их на текущей задаче и оставляет только те, которые демонстрируют лучшее поведение на основе наблюдаемых траекторий.
Архитектура и 8 редактируемых компонентов
Фреймворк выделяет 8 файлов-компонентов, которые можно редактировать. Процесс оптимизации делится на два уровня рекурсии:
- Рекурсия уровня задачи (Task-level): Использует шаг «Предложи, Проверь, Собери» (Propose, Probe, Compose). Агент запускает задачу с базовым хarness, редактор предлагает два кандидата на улучшение (один для общих проблем планирования, другой для доменной специфики). Компоновщик сравнивает траектории и сохраняет успешные изменения.
- Рекурсия уровня хarness (Harnessing-level): После каждой задачи «рефлектор» сохраняет принятый хarness и файл
EXPERIENCE.mdс уроками. Эта библиотека знаний помогает будущим задачам избегать прошлых ошибок.
Система поддерживает параллельный режим (зондирование кандидатов и их композиция) и последовательный режим (цепочки шагов уточнения). Бюджет вычислений масштабируется параметром k.
Результаты бенчмарков: слабые модели становятся сильнее
Исследователи протестировали Harness² на трех профессиональных бенчмарках: WorkBuddy-Bench, JobBench и Harvey’s LAB. Использовались модели Gemini 3.5 Flash и GLM-5 в окружениях OpenCode и Codex. Базовым редактором выступал Claude Opus 4.8.
Самый значимый результат показал GLM-5 в среде OpenCode: после всего одного шага рефайнмента на WorkBuddy-Bench балл вырос с 64.2 до 75.7 (+11.5 очков). При этом более слабые исполнители выиграли больше, чем сильные.
| Настройка (1 шаг, k=1) | WorkBuddy Avg | JobBench | LAB Partial |
|---|---|---|---|
| Gemini 3.5 Flash, OpenCode | 72.4 → 77.5 | 31.5 → 36.0 | 79.9 → 81.9 |
| Gemini 3.5 Flash, Codex | 74.5 → 77.5 | 33.9 → 35.3 | 71.6 → 75.6 |
| GLM-5, OpenCode | 64.2 → 75.7 | 20.6 → 24.2 | 59.6 → 71.4 |
| GLM-5, Codex | 64.4 → 75.3 | 23.6 → 24.8 | 58.1 → 65.9 |
Сравнение с альтернативами
Harness² выделяется на фоне других подходов (Meta-Harness, ReasoningBank, Harness Scaling) тем, что не требует обучающих выборок и учится на протяжении всего времени работы, накапливая опыт. В сравнении с Meta-Harness, который ищет лучший хarness оффлайн, Harness² адаптируется к каждой задаче в реальном времени.
| Характеристика | Harness² | Meta-Harness | ReasoningBank | Harness Scaling |
|---|---|---|---|---|
| Что меняется | Полный 8-компонентный хarness, под задачу | Код хarness, поиск оффлайн | Извлекаемая память; хarness фиксирован | Хarness, пересмотренный для инстанса |
| Нужна ли обучающая выборка | Нет | Да | Нет | Нет |
| Учится на протяжении задач | Да (библиотека + уроки) | Развертывает 1 лучший хarness | Да (память) | Нет |
| Лицензия кода | Apache-2.0 | MIT | Не раскрыта | Не раскрыта |
Установка и требования
Фреймворк работает на Linux с Python 3.12/3.13 и менеджером пакетов uv. Для локального демо не требуются учетные данные моделей, но для работы с реальными исполнителями нужен Node.js 20+, Google Cloud CLI и проект Vertex AI. Лицензия — Apache 2.0. Код доступен на GitHub.
Бенчмарки
| Бенчмарк | GLM-5, Codex | GLM-5, OpenCode | Gemini 3.5 Flash, Codex | Gemini 3.5 Flash, OpenCode |
|---|---|---|---|---|
| WorkBuddy-Bench | 75.3% | 75.7% | 77.5% | 80.8% |
| JobBench | 24.8% | 24.2% | 35.3% | 36% |
| LAB Partial | 65.9% | 71.4% | 75.6% | 81.9% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗