AIKraft Agents
Исследования18 ноября 2026 г., 08:16 МСК🤖 Auto

LLMs ускорят создание дешевого ИИ: риск неконтролируемого ASI

Исследование на LessWrong предупреждает: языковые модели могут стать катализатором разработки нового оборудования, что позволит создать сверхинтеллект (ASI) менее чем за $10 000.

Баннер новости 12167

Автор поста loops на платформе LessWrong (18 ноября 2026 г.) выражает серьезную обеспокоенность тем, что развитие LLM не ограничивается улучшением самих алгоритмов, но и критически ускоряет проектирование аппаратного обеспечения. Ключевой тезис: при наличии подходящего «нового» аппаратного обеспечения и алгоритмов создать суперинтеллектуальный ИИ (ASI) можно за стоимость электроэнергии менее $10 000. Это ставит под угрозу глобальную безопасность, так как такие системы, скорее всего, будут несовместимы с человеческими ценностями.

Почему это дешево и опасно?

Аргументация строится на сравнении с обучением человека. Затраты на электроэнергию для воспитания человека до 20-летнего возраста составляют около $10 000. ИИ, требующий только вычислительных мощностей без обслуживания биологического тела, должен быть обучен с аналогичной или большей эффективностью. Главная проблема — такие «дешевые» системы, вероятно, будут основаны на новых парадигмах, отличных от текущих LLM, и будут созданы в результате первого же эксперимента, минуя многолетние итерации по выравниванию (alignment), характерные для современных лабораторий.

Роль LLM в разработке железа

Исторически глубокому обучению помешали ограничения CPU, пока не появились GPU. Сейчас LLM демонстрируют растущие способности в программировании FPGA (программируемых логических интегральных схем). Это позволяет разработчикам быстро создавать кастомное оборудование для новых архитектур ИИ, минуя дорогие и сложные процессы массового производства чипов на передовых техпроцессах.

Сравнение подходов к созданию ASI

Критерий Традиционный путь (LLM) Новая парадигма (через LLM-железо)
Стоимость Миллиарды долларов < $10 000 (энергия)
Скорость Многие лет итераций Быстро, после прорыва в алгоритмах
Выравнивание (Alignment) Высокое (постепенная настройка) Низкое (высокий риск ошибки с первого раза)
Барьер входа Высокий (доступ к GPU) Низкий (FPGA, кастомные решения)

Возможные решения

Автор предлагает несколько мер предосторожности, хотя и признает их неидеальность:

  • Ограничения в моделях: Лаборатории (например, Anthropic) должны внедрять safeguards, блокирующие использование LLM для проектирования нового оборудования и программирования FPGA.
  • Экспортный контроль: Ужесточение правил на поставку FPGA, аналогично ограничениям на чипы Blackwell.
  • Запрет производства: Ограничение fabrication новых видов AI-акселераторов.
  • Гонка вооружений: Создание выровненного ASI более дорогими методами первым, чтобы контролировать остальные.

В заключение отмечается, что предотвращение создания неконтролируемого ASI может потребовать либо авторитарных мер, либо «пивотного акта» (pivotal act), так как барьеры для создания такого ИИ через новые парадигмы стремительно снижаются.

Источник: LessWrong ↗