Проблема изолированного поиска
Системы эволюции программ на базе LLM, такие как FunSearch и AlphaEvolve, демонстрируют выдающиеся результаты в открытии новых алгоритмов. Однако их главный недостаток — оптимизация каждой задачи изолированно. После завершения поиска весь накопленный опыт отбрасывается, что делает невозможным использование успешных стратегий для новых, но схожих проблем.
Решение: тактическая память и адаптивный гейт
Команда авторов (Aofan Liu, Shiyuan Song, Yiyan Qi) предложила фреймворк ε-MemEvo, который хранит опыт в виде task-agnostic tactic memories — компактных естественных языковых описаний успешных алгоритмических стратегий, а не сырого кода. Это позволяет переносить знания между задачами с разными API и системами оценки.
Ключевой механизм — adaptive injection gate (адаптивный шлюз инъекции). Он решает, нужно ли использовать извлеченную память и с какой интенсивностью, предотвращая «негативный перенос» при семантическом несовпадении задач.
Результаты на базе GPT-5
Оценка проводилась на 8 разнообразных бенчмарках (математическая оптимизация и системная инженерия) с использованием протокола Leave-One-Out. Базовой моделью выступала GPT-5. ε-MemEvo превзошел метод AdaEvolve по всем метрикам:
| Метрика | Результат ε-MemEvo | Сравнение с AdaEvolve |
|---|---|---|
| AUCC (Area Under Cumulative Correctness) | Улучшение | +8.7% (средний относительный прирост) |
| Ранняя конвергенция | Ускорение | +9.4% (в среднем) |
| Накладные расходы | < 1% |
Интерпретируемость и безопасность
Абляционные исследования показали, что «наивная» инъекция памяти может привести к катастрофическому падению качества. Адаптивный гейт остается стабильным во всех тестах. Анализ показывает, что модель учится пропускать память (skip) при улучшении поиска и переключаться на использование подсказок (hint) на плато, что делает процесс прозрачным и управляемым.
Источник: arXiv cs.AI ↗