Рекурсивная оптимизация без переобучения
Google Research представила Harness² — систему для «рекурсивного настройки окружения» (recursive agent harnessing) открытых ИИ-агентов. В отличие от традиционных подходов, где промпты и инструменты фиксируются, Harness² позволяет модели динамически улучшать свою работу в процессе выполнения задач. Ключевая особенность: веса модели остаются неизменными. Улучшение происходит за счет оптимизации «обвязки» — промптов, памяти, инструментов и скриптов.
Система использует два уровня рекурсии:
- Task-level recursion: На каждом шаге агент предлагает правки, проверяет их эффект (Propose–Probe–Compose) и собирает улучшенный набор инструментов на основе сравнения результатов, не имея доступа к правильным ответам (ground-truth).
- Harnessing-level recursion: Агент сохраняет успешные стратегии и уроки в постоянный «улучшающий модуль», который помогает ему в будущих, даже совершенно новых задачах.
Результаты на профессиональных бенчмарках
Эксперименты проводились на моделях GLM-5 и Gemini 3.5 Flash. Даже один шаг рекурсии (k=1) дал значительный прирост качества по сравнению с базовыми настройками. Ниже приведены ключевые метрики улучшений:
| Бенчмарк | Задача | Рост метрики (после 1 шага Harness²) |
|---|---|---|
| WorkBuddy-Bench | Офисные задачи, веб, код | +11.5 баллов |
| JobBench | Профессиональная работа | +4.5 баллов |
| LAB (Legal AI Benchmark) | Юридические задачи | +11.8 п.п. (partial pass rate) |
Исследователи отмечают, что увеличение бюджета рекурсии (параметр --k) и использование параллельного режима (parallel recursion) для поиска лучших комбинаций инструментов приносит дополнительную пользу.
Архитектура и компоненты
Harness² управляет восемью редактируемыми компонентами окружения агента:
- System prompt (системный промпт)
- Guardrails (ограничения безопасности)
- Memory (память)
- Tool guidance (настройка инструментов)
- Subagents (подагенты)
- Skills (навыки)
- Scripts (скрипты)
- Plugins (плагины)
Фреймворк поддерживает два режима работы: параллельный (исследование широкого спектра кандидатов) и последовательный (глубокая шлифовка через несколько шагов). Также доступна интеграция с исполнителем Codex (вместо стандартного OpenCode) для выполнения кода.
Как запустить и оценить риски
Для работы требуется Linux, Python 3.12 и менеджер пакетов uv. Установка и запуск демо-режима (без вызовов API моделей) занимают несколько минут:
uv venv --python 3.12 .venv
source .venv/bin/activate
uv pip install -e .[render]
harness2-demo --output runs/demo --k 2Важное предупреждение от разработчиков: Исполнители (executors) в Harness² имеют неограниченный доступ к сети. Это необходимо для работы агентов, но создает риски. Google рекомендует настраивать сетевые ограничения перед запуском, чтобы предотвратить доступ агентов к ответам бенчмарков или внешним ресурсам, которые могут исказить оценку.
Код проекта опубликован под лицензией Apache 2.0. Это не официальный поддерживаемый продукт Google, а исследовательский релиз.
Источник: Github ↗