Проблема Ньюкомбовского парадокса в ИИ
Классический Ньюкомбовский парадокс ставит перед рациональным агентом выбор между двумя коробками: одна всегда содержит 1000 долларов, а вторая может содержать 1 миллион или ничего. Предсказатель (симулятор) уже сделал свой выбор, основываясь на прогнозе действий агента. Классическая теория принятия решений (Causal Decision Theory) рекомендует брать обе коробки, но это приводит к худшему результату. Стратегия «One-Boxing» (взять только вторую коробку) дает максимальную выгоду, но требует способности «предвидеть» решение симулятора.
Реализация инфра-байесовского агента
Автор исследования, известный как XelaP, опубликовал статью и код на GitHub, демонстрирующий обучение Reinforcement Learning (RL) агента с использованием инфра-байесовской логики. В отличие от стандартных байесовских моделей, инфра-байесовский подход учитывает неопределенность в самой модели мира, что позволяет агенту действовать более робастно в условиях, где симулятор может быть идеальным предиктором.
Ключевая особенность реализации — агент не просто реагирует на текущее состояние, а обучается стратегии, которая максимизирует полезность, учитывая возможность того, что его действия уже предсказаны. Это решает фундаментальную проблему «одного ящика» (One-Boxing), которую многие другие архитектуры ИИ решают некорректно или с низкой эффективностью.
Результаты и метрики
Эксперименты показали, что инфра-байесовский агент стабильно выбирает стратегию «One-Boxing» в симуляциях Ньюкомбовского парадокса. Это подтверждает гипотезу о том, что инфра-байесовская логика является более подходящей основой для создания безопасных и рациональных агентов будущего, чем традиционные подходы.
| Параметр | Значение/Описание |
|---|---|
| Автор исследования | XelaP |
| Дата публикации | 29 октября 2026 |
| Платформа | LessWrong, Arxiv, GitHub |
| Ключевая задача | Ньюкомбовский парадокс (One-Boxing) |
| Методология | Infra-Bayesian Reinforcement Learning |
| Результат | Агент успешно выбирает стратегию максимизации выигрыша (One-Boxing) |
Почему это важно для индустрии
Разработка агентов, способных к корректному решению задач с предсказуемыми противниками, критически важна для безопасности ИИ. Если агент может быть предсказан, он должен уметь действовать так, чтобы его предсказание приводило к наилучшему исходу для себя, не впадая в тупики локальных оптимумов, характерные для каузальных теорий принятия решений. Эта работа открывает путь к созданию более надежных систем автономного принятия решений, которые могут взаимодействовать с мощными симуляторами или другими ИИ-агентами.
Источник: LessWrong ↗