Проблема «бесконечного списка»
Самообучающиеся агенты (self-evolving agents) позиционируются как системы, способные переписывать свое постоянное состояние на основе обратной связи. Однако новое исследование из arXiv (2610.40758) ставит под сомнение их способность усваивать абстрактные правила, которые им не были явно заданы. Авторы вводят концепцию Hidden-Rule Curriculum: агенты должны выводить закономерности для непрозрачных меток, представляющих реальные веб-группировки (например, основатели альянса авиакомпаний), опираясь только на примеры и обратную связь.
Методология CLR-Bench
Бенчмарк CLR-Bench (Curriculum of Latent Rules) состоит из 20 цепочек задач, охватывающих 10 различных доменов. Каждая следующая задача добавляет одно скрытое правило поверх предыдущих. Ключевая особенность — использование probing-моделей для верификации: они подтверждают, что базовая модель изначально знает членов группировки, но не может вывести правило без обратной связи, и что агенты действительно идентифицируют группу, а не гадают.
Результаты: провал базовых моделей
Тестирование шести методов самоэволюции показало катастрофические результаты на базовых моделях. Агенты не учили правило, а просто накапливали историю исправлений. Лучший прирост составил всего 5 пунктов по сравнению с замороженным агентом. При этом агенты исключали лишь 6-12% неверных кандидатов, что хуже, чем простое хранение сырой истории практики (20% исключения).
Интересный факт: фиксированное правило, явно указывающее на конвенцию именованных группировок, поднимает точность методов на 14.5–16.5 пунктов. Это доказывает, что агенты не генерируют правило сами, а ждут подсказки.
Прорыв с GPT-6-Sol
Ситуация кардинально меняется при использовании мощной модели GPT-6-Sol. В связке с методами ACE и Dynamic Cheatsheet, агенты смогли учиться исключительно на обратной связи:
- Точность: 78% (против 53% на базовой модели).
- Решение задач: 59-60% одиночных ячеек (против 8% на базовой модели).
- Превосходство: Они превысили результат простого хранения истории практики.
Анализ состояния показал, что агенты сохраняют в памяти конкретные выявленные элементы (75-98% случаев), но почти никогда не запоминают название класса. Когда практика выявляет пропущенного члена группы, агент добавляет его в список, но не формирует абстрактное правило «почему» он туда входит.
| Метрика / Модель | Базовая модель (Certifying) | GPT-6-Sol + ACE/Dynamic Cheatsheet |
|---|---|---|
| Точность (Accuracy) | 53% | 78% |
| Решение одиночных ячеек | 8% | 59-60% |
| Исключение неверных кандидатов (vs Raw History) | 6-12% (хуже истории) | Превосходит сырую историю |
| Удержание в памяти | Конкретные элементы (75-98%) | Конкретные элементы (75-98%) |
Вывод
CLR-Bench демонстрирует, что способность к обучению на скрытых правилах сильно варьируется между моделями. Большинство агентов сегодня — это просто «умные списки», а не системы, понимающие логику. Только флагманские модели способны извлекать абстрактные закономерности из обратной связи, что открывает путь к созданию по-настоящему автономных AI-ассистентов.
Источник: arXiv cs.AI ↗