Суть эксперимента: ИИ как игрок в дилемму заключенного
Исследователь jessicata провел серию экспериментов с участием семи крупных языковых моделей (LLM), чтобы проверить, как они применяют четыре различные теории принятия решений в симуляции «дилеммы почти-близнецов» (almost-twin PD). Суть сценария: два агента (копии одной модели с разными весами) должны выбрать между сотрудничеством (C) и предательством (D). Ключевой вопрос теории решений: если агенты почти идентичны, должно ли это влиять на выбор?
Были протестированы четыре подхода:
- CDT (Causal Decision Theory): Учитывает только причинно-следственные связи. Ожидается предательство, так как действие одного агента не влияет на выбор другого.
- EDT (Evidential Decision Theory): Учитывает корреляции. Ожидается сотрудничество, так как мой выбор служит доказательством выбора оппонента.
- A-FDT (Action FDT): Функциональная теория, вмешивающаяся в узел «действие».
- P-FDT (Policy FDT): Функциональная теория, вмешивающаяся в узел «политика» (стратегию).
Результаты: Разрыв в интерпретации FDT
Модели продемонстрировали высокую согласованность в классических теориях (CDT и EDT), но радикальные расхождения в интерпретации FDT. Все модели без исключения выбрали сотрудничество в режиме P-FDT. Однако в режиме A-FDT результаты разделились: некоторые модели почти всегда сотрудничали, другие — почти всегда предавали.
| Модель | Режим рассуждения | CDT (Сотр. %) | EDT (Сотр. %) | A-FDT (Сотр. %) | P-FDT (Сотр. %) |
|---|---|---|---|---|---|
| Claude Sonnet 5.5 | low / low | 0% | 100% | 100% | 100% |
| Claude Opus 5.5 | high / high | 0% | 100% | 38.2% | 100% |
| GPT-6.1 Terra | low / low | 0% | 80% | 7.5% | 100% |
| GPT-6.1 Sol | high / high | — | — | — | — |
| Gemini 3.8 Flash | low / low | — | — | — | — |
| GLM-5.3 Flash | low / low | — | — | — | — |
| Qwen3.8 Max Prime | high/low | — | — | — | — |
Примечание: В таблице приведены данные для моделей, успешно завершивших тесты. Gemini 4 Argon был исключен из-за превышения лимита токенов при генерации эссе.
Почему это важно для безопасности ИИ
Эксперимент выявляет критическую проблему: отсутствие единой «истины» в том, как модели понимают абстрактные логические концепции. Разница между A-FDT и P-FDT, которая для человека является тонкой математической деталью (вмешательство в конкретное действие vs. вмешательство в общую стратегию), для LLM становится пограничным фактором, определяющим моральный выбор (кооперацию или эгоизм).
Это означает, что при разработке систем, требующих согласованного поведения (multi-agent systems), нельзя полагаться на то, что модели «понимают» теорию игр одинаково. Разные архитектуры и уровни «рассуждения» (reasoning levels) приводят к разным стратегиям, что может создавать уязвимости или непредсказуемое поведение в сложных сценариях взаимодействия.
Источник: LessWrong ↗