От ручного промптинга к рекурсивному самосовершенствованию
Традиционные AI-агенты зависят от «harness» — кода, который управляет промптами, вызовами инструментов и контекстом. Обычно этот код пишут люди или отдельные модели-предложники. Новая работа Qiankai Xu (arXiv:2609.38372) предлагает радикально иной подход: одна и та же замороженная модель выполняет две роли. Сначала она решает задачи как решатель (solver), а затем, анализируя полные логи выполнения, редактирует свой собственный harness как предложник (proposer). Это создает цикл рекурсивного самосовершенствования без участия человека.
Методология: два этапа обучения
Процесс эволюции разделен на два этапа, напоминающих pretraining и continual training в глубоком обучении. Для оценки обобщающей способности исследователи строго разделили задачи на обучающие (in-distribution) и тестовые (out-of-distribution). Эволюция проводилась на пяти бенчмарках из разных доменов, а финальная проверка включала еще пять бенчмарков, которые модель никогда не видела в процессе обучения.
Результаты: обгон и паритет с Codex
Стартовый harness состоял всего из 49 строк кода. После первого этапа эволюции модель продемонстрировала значительный рост метрик. Особенно впечатляющим стало улучшение на задачах, выходящих за рамки обучающей выборки, что говорит о сильной способности к обобщению.
| Метрика / Бенчмарк | Результат (Delta) | Сравнение с Codex |
|---|---|---|
| In-distribution (в среднем) | +4.48 балла | Превосходит Codex |
| Out-of-distribution (в среднем) | +12.64 балла | Паритет с Codex |
| Claw-Eval (после 2-го этапа) | 66.17 → 68.06 | Превосходит Codex |
Внутренние механизмы: что изменилось в коде?
Анализ эволюционировавшего кода выявил три ключевых паттерна, которые модель выработала самостоятельно для повышения эффективности:
- Output truncation (Обрезка вывода): Модель научилась отбрасывать избыточную информацию, чтобы снизить шум в контексте.
- History compaction (Компактизация истории): Оптимизация хранения истории диалога для экономления токенов и улучшения фокуса.
- Independent review (Независимый обзор): Внедрение шагов самопроверки перед финальным ответом.
Эта работа демонстрирует, что агенты способны не просто использовать инструменты, но и архитектурно улучшать среду своего существования, что является важным шагом к созданию по-настоящему автономных AI-систем.
Источник: arXiv cs.AI ↗