В статье, опубликованной на платформе LessWrong, автор Ihor Kendiukhov поднимает вопрос о необходимости финансирования «странных» (weird) проектов в области безопасности искусственного интеллекта. Он утверждает, что текущие стратегии финансирования часто не соответствуют реальным временным рамкам и вероятностям катастрофических сценариев. Автор предлагает расширить «окно Овертона» в AI safety, чтобы включить более радикальные и необычные инициативы.
Почему нужны «странные» проекты?
Автор приводит несколько аргументов в пользу финансирования нестандартных проектов:
- Высокая вариативность: «Странные» проекты имеют более длинный и жирный «хвост» положительных результатов, что делает их потенциально более выгодными в долгосрочной перспективе.
- Критическая важность: Даже если большинство таких проектов окажутся бесполезными, успех хотя бы одного из них может радикально улучшить ситуацию.
- Необходимость действий: В условиях потенциальной катастрофы, «отчаянные времена требуют отчаянных мер».
Примеры «странных» проектов
Автор приводит ряд примеров проектов, которые он считает потенциально полезными:
| Категория | Пример проекта | Описание |
|---|---|---|
| План E | Создание полезности даже при крахе цивилизации | Отправка информации о человеческой цивилизации инопланетянам или минимизация страданий в случае катастрофы. |
| Радикальное усиление человеческого интеллекта | Супердети, генетическая инженерия взрослых людей, модификация экспрессии генов в нейронах, BCI | Решение проблемы выравнивания (alignment) через улучшение человеческих способностей. |
| Коммуникация рисков ИИ | Целевой маркетинг | Убеждение людей в рисках ИИ с использованием данных. |
| Психологическая работа | Поддержка исследователей | Борьба с дефеатизмом и повышение мотивации среди исследователей AI safety. |
| Выкуп chokepoints вычислений | Покупка физических узких мест | Убеждение миллиардеров в покупке и компрометации ключевых узлов для обучения ИИ. |
| Поддержка информаторов | Радикальная защита | Предоставление экстремальных гарантий безопасности информаторам, включая физическую защиту и переезд. |
| Технические проекты | Фундаментальные исследования | Работы в области теории обучения, основ агентов или фундаментальной механической интерпретируемости. |
| Взаимодействие с религиозными институтами | Альянсы | Сотрудничество с религиозными организациями для продвижения идей безопасности ИИ. |
| Прогнозные рынки | Субсидии | Крупные субсидии для прогнозных рынков по вопросам безопасности ИИ. |
Заключение
Автор призывает к более открытому обсуждению и финансированию «странных» проектов, так как они могут стать ключом к решению критических проблем в области безопасности ИИ. Он также предлагает мысленный эксперимент: представьте, что сейчас 2029 год, и мир развивался по сценарию AI-27. Будут ли ваши действия в 2026 году казаться вам разумными?
Источник: LessWrong ↗