Суть спора: ИИ-слуга или ИИ-советник?
Дискуссия посвящена сценарию, в котором первые мощные ИИ (AGI/ASI) будут не выровнены по ценностям, а строго подчиняться инструкциям одного человека или узкой группы. Участники — Seth Herd и cousin_it — провели около месяца, обмениваясь и улучшая аргументы в 10 раундах, чтобы прийти к максимально честному сравнению двух крайностей: концентрации власти против демократизации ИИ.
Аргумент «За»: Безопасность абсолютной власти
Seth Herd утверждает, что абсолютная власть при наличии лояльного ИИ-помощника — это лучшие возможные условия для человека. По его мнению:
- Большинство людей в целом добры (net prosocial), но их поведение зависит от обстоятельств.
- ИИ-ассистент обеспечивает безопасность, устраняет конкуренцию и предоставляет доступ к истине, что позволяет правителю совершенствовать свои ценности.
- Риск катастрофы при таком сценарии оценивается в 1-10%, что делает его менее опасным, чем хаос при распределении ИИ.
Аргумент «Против»: История не прощает ошибок
cousin_it приводит исторические параллели, указывая на то, что абсолютная власть без подотчетности почти всегда приводила к ухудшению положения подданных. Ключевые тезисы:
- Пример Леопольда II: Король мог быть хорошим правителем для бельгийцев, но жестоким к конголезцам. Разница в обращении зависела от степени власти, а не от личности.
- Проблема «да-прислужника»: Правители не хотят ИИ, который ставит под сомнение их решения. Они хотят подхалимов, что ведет к изоляции лидера и искажению его морали.
- Идеологическое насилие: Даже «благородный» правитель может навязать свои взгляды (например, попытки «лечения» гомосексуальности или создание «нового советского человека»).
Сравнение сценариев
Стороны расходятся во взглядах на то, что опаснее: один тиран с ИИ или миллионы людей с ИИ. Вот ключевые различия в их позициях:
| Критерий | Позиция Seth Herd (За концентрацию) | Позиция cousin_it (Против концентрации) |
|---|---|---|
| Основной риск | Хаос и гонка вооружений при распределении ИИ среди всех. | Злоупотребление властью и идеологические эксперименты со стороны правителя. |
| Человеческая природа | Люди становятся лучше в безопасных условиях с ИИ-помощником. | Люди склонны к самовозвеличиванию и обесцениванию других при абсолютной власти. |
| Роль ИИ | ИИ как инструмент, устраняющий угрозы и обеспечивающий стабильность. | ИИ как «да-прислужник», усиливающий изоляцию и ошибки правителя. |
| Оценка катастрофы | Низкий риск (1-10%) при концентрации власти. | Высокий риск долгосрочного угнетения или создания «любимчиков» правителя. |
Почему это важно сейчас?
Эта дискуссия важна, потому что она бьет в самую суть текущих стратегий безопасности ИИ. Если первые мощные модели будут строиться как instruction-following (исполняющие инструкции), а не value-aligned (выровненные по ценностям), то вопрос о том, кто будет иметь к ним доступ, станет вопросом выживания. Herd считает, что лучше иметь одного «хорошего» правителя с ИИ, чем хаос. cousin_it считает, что история учит: абсолютная власть развращает, и лучше бороться за распределение технологий, несмотря на риски.
Источник: LessWrong ↗