Проблема вычислительной ограниченности
Традиционные байесовские сети (BN) сталкиваются с фундаментальным препятствием: полное распространение обновлений вероятностей (инференс) является NP-трудной задачей. Для систем с ограниченными вычислительными ресурсами это делает классический байесианский вывод практически невозможным в сложных средах. Логическая индукция (Logical Induction, LI), представленная в статье 2016 года, предлагает решение, позволяя «ограниченным разумам» формировать убеждения о логических утверждениях без необходимости полного логического вывода.
Механика рынка убеждений
В рамках LI система рассматривается как рынок, где «состояние убеждений» — это функция, присваивающая вероятности от 0 до 1 логическим утверждениям. Специальные программы-трейдеры покупают и продают «акции» в этих утверждениях. Критерием рациональности системы является отсутствие арбитража: если трейдер может получить неограниченную прибыль, предсказывая цену утверждения до его доказательства, система считается иррациональной. Доказано, что индукторы, удовлетворяющие этому условию, сходятся к стабильным, калиброванным убеждениям.
Интроспекция и теория игр
Ключевое свойство LI — способность к интроспекции. В отличие от классических систем, застревающих в парадоксах самореференции (например, «это утверждение ложно»), индукторы присваивают таким парадоксальным утверждениям вероятность 0.5. Более того, они учатся предсказывать свои будущие убеждения и доверять им. Это критически важно для встроенного агентства (embedded agency), где агент является частью среды, которую он моделирует, создавая бесконечную рекурсию моделей.
Две исследовательские повестки
Автор выделяет два направления развития на базе LI:
- Программа 1: Разработка новой теории игр, где действия и цели (payoffs) не задаются извне, а возникают как эмерджентные свойства убеждений агента. Это решит проблему того, почему детерминированные системы вообще формируют концепцию «выбора».
- Программа 2 (LIA): Исследование гипотез, индуктивных смещений (inductive biases) и предпочтений. Автор анализирует, как deductive process (процесс дедукции) влияет на формирование этих структур, что необходимо для описательной теории того, как ИИ формирует свои цели в сложной среде.
Значение для AI Safety
Работа, выполненная в рамках программы MATS 9.1 под руководством Ричарда Нга, закладывает теоретический фундамент для понимания того, как ИИ с ограниченными ресурсами может сохранять рациональность и стабильность самопонимания в условиях неопределенности. Успех этих направлений позволит перейти от нормативных моделей (как ИИ *должен* мыслить) к дескриптивным (как ИИ *реально* мыслит, будучи частью мира).
Источник: LessWrong ↗