Проблема: агенты забывают, как решать задачи
Современные ИИ-агенты, используемые для инженерных задач (инструментация, анализ производительности), часто зависят от ручного написания навыков и кэшированной памяти. Это приводит к тому, что агенты не могут автономно учиться: они каждый раз заново изобретают решения, тратя ресурсы на повторные попытки, вместо того чтобы сохранять успешный опыт.
Решение: цикл «Предсказатель-Валидатор-Корректор»
Команда исследователей во главе с Харихараном Девараджаном представила Phronix — парадигму обучения, ориентированную на способности (capability-centric). Система работает по замкнутому циклу:
- Предсказатель (Predictor): Инструменты MCP и навыки предлагают решение.
- Валидатор (Validator): Выполнение инструментов проверяет корректность.
- Корректор (Corrector): Наблюдаемые результаты уточняют хранилище способностей.
Ключевая особенность: если задача не решена с первого раза, Phronix не отказывается от неё, а исследует провал, чтобы извлечь из него полезный навык.
Ключевые метрики эффективности
Внедрение Phronix демонстрирует прорывные результаты в надежности и экономии ресурсов. Агенты начинают решать повторяющиеся задачи с первого attempts в 93-95% случаев, что критически снижает недетерминированность.
| Метрика | Результат Phronix | Сравнение / Примечание |
|---|---|---|
| Точность с первого раза | 93-95% | Стабильно для всех протестированных моделей |
| Создание навыков | 7.6-30.8 на задачу | Без участия пользователя; после создания навыка требуется < 1 попытки |
| Расход токенов (Warm-start) | 0.38-0.40 млн | В 3-4 раза меньше, чем одна базовая попытка без обучения |
| Расход токенов (Cold-start) | Не превышает базовый | Стоимость первого запуска сопоставима с обычным агентом |
Практический кейс: 1000 Genome Pegasus
На реальном рабочем процессе по анализу производительности ввода-вывода (I/O) Phronix прошла все 11 проверок корректности, в то время как базовая система (baseline) выдержала только 6.
Самое впечатляющее — демократизация мощных моделей. Phronix позволила более дешевым моделям решить 91% и 87% задач SWE-bench, что сопоставимо с результатами самых дорогих моделей. Это открывает путь к использованию экономичных LLM для сложных инженерных задач с высокой надежностью.
Источник: arXiv cs.AI ↗