Проблема «элитарности» в эволюции навыков
Создание навыков (skills) для LLM-агентов превращает процедурные знания в переиспользуемые артефакты. Однако традиционные методы эволюции часто отбрасывают промежуточные версии навыков, если они показывают низкую награду (reward) на ранних этапах. Это упущение, так как для сложных задач могут потребоваться несколько взаимозависимых правок, и временное снижение качества не означает бесполезность версии.
Авторы статьи SkillNEO (Non-Elitist Evolutionary Optimization for Agent Skills) предлагают подход, который разделяет выбор версии для использования и версий для дальнейшей доработки. Это позволяет сохранять «частичные успехи» и использовать их как основу для будущих улучшений, даже если текущий балл ниже предыдущего.
Методология и результаты на SkillsBench
Эксперименты проводились на наборе данных SkillBench, включающем 86 задач в восьми различных доменах, от программирования до офисной работы. В качестве базовой модели для генерации и редактирования навыков использовалась GPT-5.4 Mini. Ключевым показателем стало повышение средней награды (average reward) с 49.1% до 66.4%.
Важно отметить, что финальная оценка проводилась на тех же экземплярах задач, что и обучение, но метод демонстрирует обобщающую способность. Полученные навыки оказались эффективны не только для самой Mini-модели, но и для более мощных систем.
| Модель / Конфигурация | Результат (Reward) | Примечание |
|---|---|---|
| GPT-5.4 Mini (до оптимизации) | 49.1% | Базовый уровень без эволюции навыков |
| GPT-5.4 Mini (после SkillNEO) | 66.4% | Результат эволюционной оптимизации |
| GPT-5.5 (с переиспользованием навыков) | +10.5 п.п. | Улучшение относительно базовой версии |
| GPT-5.6 Luna (с переиспользованием) | В диапазоне оригинальных скиллов | Навыки Mini работают и на сильных моделях |
Почему это важно для индустрии
Результаты показывают, что эволюция навыков может превратить частичный прогресс слабой модели в переиспользуемые процедурные знания, которые улучшают более мощные агенты. На 41 задаче, где навыки были модифицированы, переиспользование улучшило модель Luna на 10.5 процентных пунктов, а GPT-5.5 подняло результат на 10.6 пунктов выше ее опубликованного базового уровня.
Анализ истории поиска (search histories) подтвердил, что версии с более низким баллом часто становились отправной точкой для финально выбранных, успешных навыков. Это доказывает ценность «неэлитарного» подхода: временные неудачи являются необходимым этапом накопления экспертизы.
Источник: arXiv cs.AI ↗