Проблема встроенных агентов и «дрейф» убеждений
В отличие от простых предикторов, агенты управляют своими убеждениями иначе. Автор вводит критерий рациональности: убеждения агента рациональны, когда они являются неподвижной точкой оператора обновления ($B = U(B)$). Однако для встроенных агентов (embedded agents), которые существуют внутри мира, который они же и изменяют, этот идеал недостижим. Вместо этого убеждения находятся в состоянии приближенной неподвижной точки с контролируемой ошибкой:
$B = U(B) + \epsilon(U,B)$
Здесь epsilon — это ограниченный член ошибки, отражающий неизбежный «дрейф» убеждений во времени. Агенты не могут быть идеально стабильны, но могут поддерживать локальную плавность изменений, чтобы избежать хаотического распада модели мира.
Суперагент как координация во времени
Чтобы минимизировать этот дрейф, агент должен выстроить гармоничные отношения со своими «временными вариантами» — прошлыми и будущими состояниями. Это требует мощных механизмов самомоделирования (self-prediction):
- Координация с прошлым: Анализ намерений своего «я» в прошлом и использование предоставленных им возможностей (affordances).
- Координация с будущим: Предсказание намерений будущего «я» и создание условий для его взаимодействия с текущим состоянием.
Ключевая идея: агенты достигают этой координации, следуя дизайну точки Шеллинга — некоего гипотетического «суперагента», которому доверяют все временные подсистемы. Этот суперагент не существует физически; он является коллективной галлюцинацией подсистем, чье вычисление распределено во времени.
Связь с иерархическим активным выводом
Автор признает, что эта нисходящая конструкция фактически воспроизводит принципы иерархического активного вывода (hierarchical active inference), но с новой точки зрения:
- Данные вверх: Обновления убеждений, вызванные наблюдениями или вычислениями нижних уровней.
- Данные вниз: Предсказания верхнего уровня о нижнем, которые являются лишь «галлюцинированным резюме» взаимных предсказаний нижних уровней.
Если паттерн агентности во времени называть «суперагентом», то отдельный агент существует лишь в один момент времени, выступая скорее как акт принятия решения, чем как самостоятельная сущность. Эта модель обобщается и на многоагентные системы, где суперагент возникает как эмерджентное свойство рекурсивного предсказания агентами друг друга.
| Концепт | Описание в модели | Роль в стабильности |
|---|---|---|
| Встроенный агент | Система, обновляющая себя внутри изменяемого мира | Испытывает неизбежный дрейф убеждений ($\epsilon$) |
| Суперагент | Коллективная галлюцинация временных подсистем | Точка Шеллинга для координации во времени |
| Иерархический вывод | Взаимные предсказания уровней иерархии | Механизм минимизации ошибки $\epsilon$ на разных масштабах времени |
Почему это важно для AI Safety
Эта работа предлагает новый взгляд на проблему рефлексивной стабильности (reflective stability). Если мы хотим создать ИИ, который не сойдет с ума от противоречий в собственных убеждениях со временем, нам нужно проектировать системы, способные к долгосрочной самокоординации. Понимание того, как «суперагент» возникает из простых предсказаний, может помочь в разработке архитектур, устойчивых к деградации рациональности в долгосрочной перспективе.
Источник: LessWrong ↗