Суть предложения: от 2% к 25% вычислений
Автор поста, опираясь на данные AI Futures Model, указывает, что по состоянию на август 2026 года на безопасность ИИ тратится лишь 2% вычислительных мощностей. Предлагается установить обязательный порог в 25% ресурсов, направляемых на безопасность, когда способность модели достигает 205 ECI (Estimated Capability Index). Этот порог выбран как среднее значение между 20-30%, которые традиционно выделяются на протоколы безопасности в атомной энергетике.
Математика угрозы: почему именно 205 ECI?
Расчет порога основан на сравнении потенциального ущерба. Автор использует упрощенную модель, где рост на 5 ECI соответствует удвоению опасности. Учитывая, что крупнейшая кибератака с участием ИИ (взлом Binance в 2026 году) нанесла ущерб в $3-6 млрд, а ущерб от Чернобыля оценивается в $700 млрд, требуется 7 удвоений для достижения сопоставимого масштаба катастрофы. Текущий лидер рынка, GPT-6 Astra, имеет рейтинг 169 ECI. Добавление 35 пунктов (7 удвоений) дает порог в 204 ECI, который округляется до 205.
Геополитика и экономика: сохранение лидерства США
Предложение позиционируется как компромисс, не наносящий критического ущерба конкурентоспособности США. За год рост ECI в США составил 17 пунктов (от GPT-5.2 Pro до GPT-6.2 Astra), в Китае — 15 пунктов. Ограничение на 25% вычислений для безопасности замедлит прогресс США до ~13 пунктов в год, что все еще позволяет сохранять отрыв от Китая в 5 лет, а не 1 год, как при более жестких ограничениях. Это делает законопроект более проходимым для Конгресса США.
Механизм исполнения и риски
Предлагается внедрить прогрессивные обязательства: компании должны фиксировать долю вычислений на безопасность заранее, с обязательным ежегодным увеличением доли до достижения порога 205 ECI. Например, если OpenAI зафиксирует 1.75% на безопасность при 174 ECI, им придется увеличивать эту долю на 0.75% за каждый пункт ECI, что приведет к 55% расходов на безопасность к моменту достижения ASI (241 ECI).
Среди рисков автор выделяет:
- Goodharting метрик: компании могут манипулировать оценкой ECI, делая каждый следующий пункт «дороже» в вычислительном плане.
- Регуляторный захват: новые институты аудита могут быть скомпрометированы самими лабораториями.
- Ложное чувство безопасности: частичные меры могут отвлечь внимание от более радикальных предложений, таких как полный мораторий на развитие RSI (Recursive Self-Improvement).
| Параметр | Текущее состояние (2026) | Целевой показатель (205 ECI) |
|---|---|---|
| Доля вычислений на безопасность | ~2% | 25% |
| Рейтинг модели (ECI) | 169 (GPT-6 Astra) | 205 |
| Оценка ущерба (аналогия) | $3-6 млрд (Binance) | $700 млрд (Чернобыль) |
| Рост ECI в США (год) | 17 пунктов | ~13 пунктов (с учетом ограничений) |
Значение для будущего
Автор рассматривает это предложение не как окончательное решение, а как «полигон» для создания правовых прецедентов и институтов аудита к 2027 году. Успешное внедрение позволит правительствам набраться опыта в регулировании ИИ, чтобы в случае наступления TED-AI (оцениваемого в 210 ECI) или других инцидентов быстро перейти к более жестким мерам, вплоть до увеличения доли безопасности до 55%.
Источник: LessWrong ↗
