Кризис парадигмы: почему «ограничение интеллекта» не работает
В преддверии возможного быстрого взлета (fast-takeoff) индустрия AI сосредоточилась на сдерживании вычислительной мощности и когнитивных способностей моделей. Однако новая работа Хендрика Луука (Hendrik Luuk), опубликованная в arXiv и принятая в NeurIPS 2026 (Position Paper Track), ставит этот подход под сомнение. Автор доказывает, что реальная угроза исходит не от скорости мышления, а от способности агента действовать в физическом мире и получать доступ к критическим данным.
Модель «Компетентностной цепи» (Competence Circuit)
Исследователь предлагает новую метрику оценки воздействия ИИ — IKC + KC + C. Эта формула декомпозирует влияние автономного агента на три ключевых пути:
- IKC (Intelligence-mediated Discovery): Обнаружение новых решений через интеллект.
- KC (Procedural Know-how): Процедурные знания и навыки.
- C (Direct Control): Прямой контроль над физическими или цифровыми системами.
Симуляции на NK-пейзажах приспособленности (NK fitness landscapes) в шести сценариях показали, что «скорость взлета» (speedup) ограничена не сложностью задачи, а соотношением уровней интеллекта конкурирующих агентов. Даже при наличии «шумного» пространства гипотез, абсолютное время прогресса упирается в необходимость прохождения критических тестов.
Институциональные «бутылочные горлышки» как главный щит
Ключевой вывод исследования заключается в том, что институциональные задержки (mandatory authorization delays) оказывают непропорционально сильное замедляющее действие на суперинтеллектуальные системы. Поскольку агенты тратят ничтожно мало времени на непродуктивный поиск, именно барьеры на пути к контролю и знаниям становятся главными рычагами безопасности.
| Параметр | Влияние на безопасность | Вывод исследования |
|---|---|---|
| Ограничение интеллекта (IQ/Compute) | Низкое | Неэффективно: агент может достичь цели через другие каналы. |
| Ограничение контроля (C) | Высокое | Критично: предотвращает физическое или системное вмешательство. |
| Границы знаний (KC) | Высокое | Критично: блокирует доступ к процедурным знаниям для атак. |
| Задержки авторизации | Высокое | Эффективно против суперинтеллекта, тратящего мало времени на поиск. |
Цифровые домены vs Физический мир
Исследование подчеркивает уязвимость чисто цифровых сред, где эти «бутылочные горлышки» ослаблены. Автор рекомендует архитектурам, которые намеренно "put physics in the loop" (включают физику в контур управления), как наиболее перспективный путь для создания устойчивых к взлету систем. Это означает, что для безопасности ИИ необходимо не столько снижать его ум, сколько физически и процедурно ограничивать его доступ к миру.
Источник: arXiv cs.AI ↗