Увольнение как протест против милитаризации ИИ
Доктор Алекс Тернер (Alex Turner), известный своими работами в области активационного управления (activation steering) и теории поиска власти, покинул Google DeepMind. Основной причиной стал контракт компании с Министерством обороны США. Тернер утверждает, что Google DeepMind нарушил свою основополагающую миссию, позволив использовать технологии для создания автономного оружия. По его словам, это запускает гонку вооружений, которая снижает глобальную безопасность.
Тернер отметил, что многие известные сотрудники Google, заботящиеся об этике ИИ, не предприняли действий, что заставило его уйти ради сохранения личных ценностей. При этом он не поддерживает движение PauseAI в его текущем виде, хотя и считает, что ИИ развивается слишком быстро.
Конфликт с Элиезером Юдковским и «Список смертоносности»
Значительная часть дискуссии коснулась разногласий Тернера с Элиезером Юдковским, одним из основоположников движения за безопасность ИИ. Тернер прямо называет некоторые пункты «Списка смертоносности» (List of Lethalities) Юдковского «фундаментально ошибочными», «нелогичными» и «бессмысленными» (bogus). Он считает, что Юдковский не признает своих ошибок в оценке сложности задачи выравнивания (alignment).
Эволюция взглядов: от 85% до «супер-перспектив»
Тернер признает, что в 2021 году он разделял пессимистичный взгляд сообщества, оценивая вероятность катастрофического сценария при создании AGI в 80-85%. Однако после встречи с исследователем Квинтином Попом в 2022 году он начал пересматривать оценку сложности выравнивания. Сейчас он считает, что технические исследования в области alignment идут «супер-хорошо» по сравнению с его ожиданиями 2021 года, когда прогресс казался практически невозможным.
Детали биографии и научного пути
Интересно, что путь Тернера в AI Safety начался случайно: в 2016 году он искал лучшие фанфики по «Гарри Поттеру» и наткнулся на LessWrong и книгу Юдковского «Гарри Поттер и методы рациональности». В 2018 году он сменил направление PhD в Университете штата Орегон на исследования безопасности ИИ. Его карьера включала постдока в UC Berkeley и публикации в NeurIPS. Он подчеркивает, что LessWrong долгое время была его интеллектуальной средой, но теперь он дистанцируется от некоторых догм этого сообщества.
| Критерий | Позиция Алекса Тернера (2021) | Позиция Алекса Тернера (2024/2026) |
|---|---|---|
| Вероятность катастрофы при AGI | 80-85% | Не подтверждает, но признает риски |
| Прогресс в Alignment | Практически невозможен | «Супер-хороший» прогресс |
| Отношение к Юдковскому | Разделял мировоззрение | Критикует ошибки в «Списке смертоносности» |
| Причина ухода из DeepMind | — | Протест против военных контрактов Google |
Почему это важно
Уход ключевого исследователя из Google DeepMind сигнализирует о растущем внутреннем напряжении в индустрии между коммерческими/государственными интересами и этическими соображениями. Кроме того, публичная критика взглядов Юдковского ведущим специалистом по выравниванию может привести к переосмыслению стратегий безопасности ИИ внутри сообщества рационалистов и AI Safety.
Источник: LessWrong ↗