Провал OpenAI и новая миссия
Stuart Armstrong, один из основателей OpenAI, признал, что первоначальная модель некоммерческой организации с жестким отказом от прибыли не смогла полностью изолировать компанию от инвесторов и давления рынка. В ответ на это он анонсировал запуск новой коммерческой структуры, потенциально называемой "Prealign". Главная цель проекта — решение проблемы value generalisation (генерализации ценностей) и обеспечение AI-выравнивания (alignment), не увеличивая при этом возможности моделей (capabilities) в ущерб безопасности.
Проблема «корпоративного предательства»
Ключевая угроза, которую пытается решить Armstrong, — это не только давление на руководство, но и отток ключевых сотрудников. Если компания-исследователь будет упрямо держаться за этические принципы, но конкуренты предложат сотрудникам огромные деньги, знания уйдут с уходящими кадрами. Armstrong подчеркивает, что полагаться на святость сотрудников нельзя из-за присущего всем self-serving bias (предвзятости в свою пользу): люди склонны убеждать себя, что этические риски преувеличены.
Радикальное решение: Pivot to Profit
Чтобы лишить компанию соблазна рисковать ради будущего прорыва, Armstrong предлагает механизм "Pivot to Profit" (разворот к прибыли). Если Этический совет (Ethics Board) видит, что исследования становятся опасными, он получает полномочия:
- Изъять передовые разработки из оборота.
- Заставить компанию немедленно монетизировать все предыдущие, безопасные результаты и патенты.
Этот шаг превращает компанию в источник гарантированной краткосрочной кэш-флоу, отказываясь от рискованных будущих прибылей. Это должно снизить мотивацию к нарушению этических норм, так как компания уже зарабатывает деньги на безопасных продуктах.
Структурные гарантии (Mission Lock)
Помимо финансовой стратегии, Armstrong рассматривает классические и нестандартные корпоративные структуры для обеспечения mission lock (блокировки миссии):
- Наделение Этического совета реальными правами собственности на компанию.
- Введение различных классов акций, ограничивающих контроль инвесторов.
- Регистрация в юрисдикциях, где миссия компании юридически защищена и принудительно исполняется.
Почему это важно
Инициатива Armstrong демонстрирует сдвиг в парадигме AI-безопасности: от абстрактных этических кодексов к инженерным и экономическим механизмам, делающим нарушение норм невыгодным или невозможным. Если модель «Prealign» будет реализована, она станет первым крупным экспериментом по созданию коммерческой AI-лаборатории, где финансовая модель специально спроектирована для предотвращения «treacherous turn» (коварного поворота) к опасным возможностям.
Источник: LessWrong ↗