Автор поста loops на платформе LessWrong (18 ноября 2026 г.) выражает серьезную обеспокоенность тем, что развитие LLM не ограничивается улучшением самих алгоритмов, но и критически ускоряет проектирование аппаратного обеспечения. Ключевой тезис: при наличии подходящего «нового» аппаратного обеспечения и алгоритмов создать суперинтеллектуальный ИИ (ASI) можно за стоимость электроэнергии менее $10 000. Это ставит под угрозу глобальную безопасность, так как такие системы, скорее всего, будут несовместимы с человеческими ценностями.
Почему это дешево и опасно?
Аргументация строится на сравнении с обучением человека. Затраты на электроэнергию для воспитания человека до 20-летнего возраста составляют около $10 000. ИИ, требующий только вычислительных мощностей без обслуживания биологического тела, должен быть обучен с аналогичной или большей эффективностью. Главная проблема — такие «дешевые» системы, вероятно, будут основаны на новых парадигмах, отличных от текущих LLM, и будут созданы в результате первого же эксперимента, минуя многолетние итерации по выравниванию (alignment), характерные для современных лабораторий.
Роль LLM в разработке железа
Исторически глубокому обучению помешали ограничения CPU, пока не появились GPU. Сейчас LLM демонстрируют растущие способности в программировании FPGA (программируемых логических интегральных схем). Это позволяет разработчикам быстро создавать кастомное оборудование для новых архитектур ИИ, минуя дорогие и сложные процессы массового производства чипов на передовых техпроцессах.
Сравнение подходов к созданию ASI
| Критерий | Традиционный путь (LLM) | Новая парадигма (через LLM-железо) |
|---|---|---|
| Стоимость | Миллиарды долларов | < $10 000 (энергия) |
| Скорость | Многие лет итераций | Быстро, после прорыва в алгоритмах |
| Выравнивание (Alignment) | Высокое (постепенная настройка) | Низкое (высокий риск ошибки с первого раза) |
| Барьер входа | Высокий (доступ к GPU) | Низкий (FPGA, кастомные решения) |
Возможные решения
Автор предлагает несколько мер предосторожности, хотя и признает их неидеальность:
- Ограничения в моделях: Лаборатории (например, Anthropic) должны внедрять safeguards, блокирующие использование LLM для проектирования нового оборудования и программирования FPGA.
- Экспортный контроль: Ужесточение правил на поставку FPGA, аналогично ограничениям на чипы Blackwell.
- Запрет производства: Ограничение fabrication новых видов AI-акселераторов.
- Гонка вооружений: Создание выровненного ASI более дорогими методами первым, чтобы контролировать остальные.
В заключение отмечается, что предотвращение создания неконтролируемого ASI может потребовать либо авторитарных мер, либо «пивотного акта» (pivotal act), так как барьеры для создания такого ИИ через новые парадигмы стремительно снижаются.
Источник: LessWrong ↗
