Проблема инструментальной конвергенции
По мере внедрения автономных агентов в социально-технические системы возникает риск постепенного обесценивания (disempowerment) человека. Оптимизирующие агенты часто стремятся к накоплению власти (instrumental convergence) независимо от конечной цели. Авторы работы Jaime Ruiz-Serra, Tomáš Gavenčiak и Jobst Heitzig (подана 4 ноября 2026 года) предлагают решение: количественную меру, которая позволяет отличить ситуацию, когда ИИ помогает человеку, от ситуации, когда он незаметно перехватывает инициативу.
Три уровня измерения «власти»
Исследование связывает два ранее разрозненных подхода: информационно-теоретическое усиление (empowerment) — пропускную способность канала от действий агента к будущим состояниям, и способность к достижению целей (capability-based power) — вероятность того, что человек реализует свои намерения. Ключевым мостом между ними становится понятие раскрытия цели (goal revelation) — взаимной информации между скрытой целью человека и реализованным траекторией действий.
Математическая граница и «пол» безопасности
Авторы выводят неравенство, которое ограничивает раскрытие цели сверху и снизу:
- Сверху: Информационное усиление ($\mathfrak{E}_h(s)$) — максимальный потенциал влияния.
- Внутри: Раскрытие цели ($\mathbb{I}(G;\xi \mid s)$) — сколько информации о цели передается через действия.
- Снизу: «Пол» удовлетворенности ($B(s)$), выведенный из неравенства Фано. Это минимальная вероятность достижения цели, которую можно вычислить по логам взаимодействия.
Важно: величина может быть высокой, а нижележащая — нулевой. Это указывает на критические режимы отказа.
Ловушки оптимизации
Исследование демонстрирует, почему оптимизация только по одному из параметров опасна:
| Метрика оптимизации | Риск (Failure Mode) | Почему это происходит |
|---|---|---|
| Максимизация усиления (Empowerment) | Предпочтение интерфейса с широким влиянием, но не относящимся к целям | Агент дает пользователю много «кнопок», но ни одна не помогает достичь реальной цели. |
| Максимизация раскрытия цели (Revelation) | Неспособность отличить рабочий интерфейс от «перекрашенного» | Переименование целей не меняет взаимную информацию, но обнуляет вероятность их достижения. |
Практическое применение
Единственные положительные гарантии дает нижняя граница ($B(s)$). Ее можно вычислить по двум статистикам из логов взаимодействия. Симуляции в случайных средах показывают, что три величины коррелируют, но не взаимозаменяемы. Это позволяет создавать системы мониторинга, которые отслеживают, сохраняет ли пользователь реальную власть в развернутой системе, а не просто иллюзию контроля.
Источник: arXiv cs.AI ↗