Проблема гарантий в эпоху ASI
Развитие искусственного сверхразума (ASI) неизбежно связано с обучением, так как мы не можем прописать все законы вселенной или цели в виде жесткого кода. Однако современные нейросети не имеют строгих математических гарантий эффективности. Обучение в худшем случае является NP-трудной задачей, а эмпирические тесты не масштабируются до уровня ASI, где ошибка может быть катастрофической.
Новая работа Ванессы Косой и Винаяка Патхака предлагает альтернативу: алгоритмы, для которых можно доказать полиномиальную сложность по данным и вычислениям. Ключевое требование — эти гарантии должны быть проверены до развертывания модели, а не после.
Решение: Robust Bandits на грани NP-трудности
Авторы исследуют проблему «Robust Bandits» (устойчивых многоarmed bandit) как простейшую модель взаимодействия с окружением, учитывающую встроенное агентство (embedded agency). Классические теории обучения (AIXI, SLT) дают оценки сложности, но не предоставляют эффективных алгоритмов обучения для них.
Главное достижение статьи — идентификация конкретного класса инстансов Robust Bandits, которые являются одновременно статистически и вычислительно эффективными. При этом доказано, что большинство обобщений этого класса делают задачу NP-трудной. Это означает, что найденный класс находится на самой границе того, что можно эффективно вычислить.
Сравнение подходов к обучению
| Критерий | Классические подходы (AIXI/SLT) | Новый подход (Robust Bandits) |
|---|---|---|
| Алгоритм обучения | Отсутствует или неэффективен | Существует и полиномиален |
| Гарантии сложности | Зависят от неквантифицируемых свойств распределения | Унифицированные границы для всего класса |
| Проверяемость | Сложно проверить выполнение условий до обучения | Условия проверяемы безопасным способом |
| Вычислительная сложность | Часто NP-трудная в общем случае | Полиномиальная в рамках выделенного класса |
Почему это важно для безопасности
Концепция «Robustness» (устойчивости) используется для обработки феноменов встроенного агентства, где агент является частью среды, которую он пытается моделировать. Без таких гарантий мы рискуем создать ASI, поведение которого мы не сможем предсказать или верифицировать математически. Эта работа закладывает фундамент для алгоритмов, которые будут не только мощными, но и доказуемо безопасными.
Источник: LessWrong ↗