Суть метода: эволюция без переобучения
Команда Google Research опубликовала руководство по реализации RRSI (Regularized Recursive Self-Improvement). Это система, которая позволяет языковой модели (LLM) самостоятельно улучшать свою «оболочку» (harness): переписывать промпты, инструменты, память, потоки управления и под-агентов. Ключевое отличие от простых самокоррекций — использование замороженной модели (frozen model). Сама нейросеть не меняется, меняется только то, как она используется.
Процесс работает в два этапа: генерация правок с помощью мощных моделей (в примере используется Claude Opus на Vertex AI) и их оценка в изолированных Docker-контейнерах. Главная проблема таких систем — переобучение (overfitting) к конкретным задачам. RRSI решает это через строгую регуляризацию и контроль за «утечкой» знаний.
Архитектура и ключевые компоненты
Логика выбора лучших правок написана на чистом Python и опирается на несколько критических модулей, которые предотвращают деградацию агента:
- Estimator (Оценщик): Считает награду (S) и стоимость (C) в токенах. Важно: если агент падает (crash) на задаче, это считается нулевой наградой, а не пропускается, что исключает ложноположительный рост метрик.
- Calibration (Калибровка): Использует калиброванную полосу шума (noise band) для оценки реального прироста качества, отсеивая случайные колебания.
- Selection (Выбор): Алгоритм отбора кандидатов, учитывающий стоимость и новизну изменений.
- Critic (Критик): Экран защиты от «утечки» (leakage screen), который не дает агенту просто запомнить ответы, а заставляет их выводить.
Метрики и бенчмарки
В рамках демонстрации RRSI оценивалась на симулированной среде с задачами разной сложности. Система сравнивалась с нерегуляризованным поиском, который просто отбирает кандидаты с максимальным баллом. Ниже приведены ключевые параметры конфигурации и результаты агрегации:
| Параметр / Метрика | Значение / Описание | Значимость |
|---|---|---|
| S_hat (Награда) | Средняя награда по всем испытаниям | RRSI учитывает провалы как 0, предотвращая искусственный рост метрик при крашах. |
| C_hat (Стоимость) | Среднее число токенов на испытание | Оптимизация затрат на инференс. В примере: ~12 000 токенов на задачу. |
| T (Раунды) | Количество итераций самосовершенствования | Определяет глубину эволюции агента. |
| k (Испытания/задача) | Количество запусков для статистики | Обеспечивает надежность оценки (в примере k=2). |
| Leakage Screen | Фильтр утечки | Не позволяет агенту «запомнить» решение, требуя его генерации. |
Почему это важно для разработчиков
RRSI демонстрирует практический путь к созданию самоулучшающихся агентов, которые не требуют постоянной дообучки (fine-tuning) всей модели. Это снижает вычислительные затраты и риски галлюцинаций, связанных с изменением весов модели. Метод позволяет агентам адаптироваться под новые задачи, переписывая свой код и логику, оставаясь при этом в рамках безопасных и проверенных параметров базовой модели.
Код библиотеки доступен в репозитории google-research/rrsi (commit be50316). Для работы требуется только клиент Anthropic для генерации идей, но сама логика отбора и валидации работает автономно.
Источник: MarkTechPost ↗