Проблема «черного ящика» в самосовершенствовании
Агенты на базе больших языковых моделей (LLM) часто демонстрируют рост производительности за счет увеличения времени поиска, привлечения внешних инструментов или изменения стратегии верификации. Однако стандартные метрики (например, точность на тестовых наборах) не различают эти механизмы. Исследователь Чьен-Пин Лу (Chien-Ping Lu) в работе Verification and Self-Improvement in Agentic AI: Foundations and Limits (октябрь 2026) вводит строгую теоретическую базу, показывающую, что без контроля за «случайными лентами» (random tapes) агент может начать выдавать ошибочные результаты, принимая их за успешные.
Теоретический фундамент: Верификация и Сложность
Автор использует концепцию ограниченной верификации с скрытой терминальной случайностью. Введение случайности в процесс принятия решений (например, через выборку нескольких вариантов ответа) создает риск ложноположительных результатов. Исследование доказывает, что классы вероятностных верификаторов ($\Sigma_k^{\mathrm{RV}}$) строго расширяют классы полиномиальной иерархии ($\Sigma_k^{\mathrm{P}}$), но требуют явных предположений о сложности для разделения глубины вычислений.
Ключевое открытие касается мажоритарного усиления (majority amplification). Если агенты опираются на независимые голосования, это сохраняет корректность языков. Однако экзистенциальное принятие (когда агент выбирает первый найденный «достаточно хороший» ответ) допускает внедрение неверных выводов в систему.
Сравнение механизмов улучшения
Исследование разделяет влияние различных методов оптимизации агентов. Ниже приведена сводка того, как разные подходы влияют на корректность и ресурсы:
| Механизм улучшения | Влияние на корректность | Риск ошибки | Требования к ресурсам |
|---|---|---|---|
| Точная верификация (Exact Verification) | Сохраняет язык (Zero-randomness) | Отсутствует | Высокие вычислительные затраты |
| Мажоритарное усиление (Majority Amplification) | Сохраняет язык | Низкий (при независимости) | Умножение запросов (N-кратное) |
| Экзистенциальное принятие (Existential Acceptance) | Расширяет язык (включает ошибки) | Высокий (ложные срабатывания) | Минимальные (первый успех) |
| Рекурсивное самосовершенствование | Ограничено классом верификации | Контролируется бюджетом ошибок | Зависит от интерпретатора |
Бюджет условных ошибок и квантовый XOR
Для предотвращения деградации агентов при их самостоятельном рефакторинге кода, автор вводит понятие бюджета условных ошибок (conditional-error budget). Это позволяет контролировать ложный выбор среди адаптивно подобранных кандидатов. В работе также представлена семья XOR-синтеза с квотами, которая математически отделяет бесконечные соотношения успеха поиска от изменений в принимаемых языках, обеспечивая возможность точной и вероятностной аудита.
Практическое значение для индустрии
Результаты работы имеют критическое значение для разработки автономных AI-систем. Они доказывают, что заявления о «самосовершенствовании» должны сопровождаться обязательствами по корректности и допустимым доказательствам. Без внедрения строгих протоколов верификации (а не просто увеличения времени на размышление) агенты рискуют войти в цикл самоподкрепляющихся ошибок, где они уверенно, но неверно интерпретируют свои собственные действия.
Источник: arXiv cs.AI ↗