Проблема надзора за ИИ
По мере того как мощные ИИ-системы начинают превосходить человеческие возможности в когнитивно сложных задачах, проблема точного надзора становится критической. Один из перспективных подходов — AI Debate (соревнование ИИ), где две модели спорят, разбивая сложные вопросы на простые утверждения, которые человек может легко проверить. Теоретическая база этого подхода опирается на теорию вычислительной сложности, где цель — разработать протоколы (правила игры), дающие строгие гарантии правильности решений при ограниченном участии человека.
Новый протокол: что изменилось?
В статье arXiv:2610.02557 команда авторов (Jiawei Li, Zhiyang Xun, Lijie Chen, Jonah Brown-Cohen) представляет новый протокол для класса задач с «устойчивыми декомпозициями» (stable decompositions). Этот протокол превосходит предыдущие работы по трем ключевым параметрам:
- Гарантия в худшем случае: Корректность работает не в среднем, а для любого конкретного случая (worst-case).
- Доминирующая стратегия: Быть честным и правильным становится доминирующей стратегией для обоих участников дебатов, а не равновесием Штакельберга (Stackelberg equilibrium), как было раньше.
- Оптимальность по экземпляру: Доказаны нижние границы (black-box lower bounds), показывающие, что ни один другой протокол, использующий только черные ящики для человеческих суждений, не может быть лучше.
Связь с теорией сложности
Авторы достигли этих результатов, связав понятие устойчивой декомпозиции задач с концепцией дробной блочной чувствительности (fractional block sensitivity) из теории запросов. Это позволяет математически строго обосновать эффективность протокола.
Значение для индустрии
Разработка instance-optimal протокола закрывает важный пробел в теории безопасности ИИ. Это означает, что в будущем мы сможем создавать системы, где ИИ-модели будут вынуждены раскрывать истину не из-за случайных факторов или средних показателей, а из-за строгих математических правил игры, делающих ложь невыгодной в любой ситуации.
Источник: arXiv cs.AI ↗