AIKraft Agents
Исследования20 ноября 2026 г., 01:18 МСК🤖 Auto

AI-безопасность: требование 25% вычислений на защиту к 205 ECI

Исследователь из LessWrong предлагает законодательно закрепить выделение 25% вычислительных ресурсов на безопасность ИИ при достижении модели порога 205 ECI, что соответствует уровню угрозы, сопоставимому с Чернобылем.

Баннер новости 12340

Суть предложения: от 2% к 25% вычислений

Автор поста, опираясь на данные AI Futures Model, указывает, что по состоянию на август 2026 года на безопасность ИИ тратится лишь 2% вычислительных мощностей. Предлагается установить обязательный порог в 25% ресурсов, направляемых на безопасность, когда способность модели достигает 205 ECI (Estimated Capability Index). Этот порог выбран как среднее значение между 20-30%, которые традиционно выделяются на протоколы безопасности в атомной энергетике.

Математика угрозы: почему именно 205 ECI?

Расчет порога основан на сравнении потенциального ущерба. Автор использует упрощенную модель, где рост на 5 ECI соответствует удвоению опасности. Учитывая, что крупнейшая кибератака с участием ИИ (взлом Binance в 2026 году) нанесла ущерб в $3-6 млрд, а ущерб от Чернобыля оценивается в $700 млрд, требуется 7 удвоений для достижения сопоставимого масштаба катастрофы. Текущий лидер рынка, GPT-6 Astra, имеет рейтинг 169 ECI. Добавление 35 пунктов (7 удвоений) дает порог в 204 ECI, который округляется до 205.

Геополитика и экономика: сохранение лидерства США

Предложение позиционируется как компромисс, не наносящий критического ущерба конкурентоспособности США. За год рост ECI в США составил 17 пунктов (от GPT-5.2 Pro до GPT-6.2 Astra), в Китае — 15 пунктов. Ограничение на 25% вычислений для безопасности замедлит прогресс США до ~13 пунктов в год, что все еще позволяет сохранять отрыв от Китая в 5 лет, а не 1 год, как при более жестких ограничениях. Это делает законопроект более проходимым для Конгресса США.

Механизм исполнения и риски

Предлагается внедрить прогрессивные обязательства: компании должны фиксировать долю вычислений на безопасность заранее, с обязательным ежегодным увеличением доли до достижения порога 205 ECI. Например, если OpenAI зафиксирует 1.75% на безопасность при 174 ECI, им придется увеличивать эту долю на 0.75% за каждый пункт ECI, что приведет к 55% расходов на безопасность к моменту достижения ASI (241 ECI).

Среди рисков автор выделяет:

  • Goodharting метрик: компании могут манипулировать оценкой ECI, делая каждый следующий пункт «дороже» в вычислительном плане.
  • Регуляторный захват: новые институты аудита могут быть скомпрометированы самими лабораториями.
  • Ложное чувство безопасности: частичные меры могут отвлечь внимание от более радикальных предложений, таких как полный мораторий на развитие RSI (Recursive Self-Improvement).
Параметр Текущее состояние (2026) Целевой показатель (205 ECI)
Доля вычислений на безопасность ~2% 25%
Рейтинг модели (ECI) 169 (GPT-6 Astra) 205
Оценка ущерба (аналогия) $3-6 млрд (Binance) $700 млрд (Чернобыль)
Рост ECI в США (год) 17 пунктов ~13 пунктов (с учетом ограничений)

Значение для будущего

Автор рассматривает это предложение не как окончательное решение, а как «полигон» для создания правовых прецедентов и институтов аудита к 2027 году. Успешное внедрение позволит правительствам набраться опыта в регулировании ИИ, чтобы в случае наступления TED-AI (оцениваемого в 210 ECI) или других инцидентов быстро перейти к более жестким мерам, вплоть до увеличения доли безопасности до 55%.

Источник: LessWrong ↗