Снижение вычислений в 10 раз замедляет взлет ИИ в 6 раз

Суть проблемы: почему старые модели ошибаются

Традиционные модели прогноза ИИ (например, AI Futures Model или GATE от Epoch AI) часто рассматривают эффективные вычисления как накопительный запас (stock), умноженный на эффективность ПО. Это создает ложную дихотомию при резком сокращении бюджета: либо мгновенная потеря всех предыдущих вычислений (что нереалистично, так как веса моделей сохраняются), либо игнорирование того факта, что новые алгоритмы нельзя применить к старым данным без дополнительных затрат.

Авторы предлагают новую формулу, где эффективные вычисления — это интеграл от потока (flow) вычислений, умноженного на текущую эффективность ПО. Это точнее отражает физику процесса: улучшение алгоритмов помогает только тем FLOP, которые выполняются после его внедрения, а не всем историческим накопленным ресурсам.

Ключевые цифры и метрики

Исследование моделирует сценарий, при котором компания-разработчик AGI резко сокращает свои R&D-вычисления (на эксперименты, автоматизированных исследователей и финальное обучение) в 10 раз. Результаты показывают:

• Медианное замедление: Взлет ИИ происходит примерно в 6 раз медленнее.
• Доверительный интервал (80%): Замедление варьируется от 3.5x до 8x.
• Причина: Сокращение вычислений снижает темп роста эффективности ПО. Хотя «сырое» железо (training system performance) может оставаться стабильным, нехватка вычислений для экспериментов и работы AI-агентов-исследователей тормозит алгоритмический прогресс, который является драйвером общего роста.

Почему это важно для индустрии

Результат «6x» важнее, чем кажется на первый взгляд. Он означает, что вычислительные ресурсы обладают убывающей отдачей в контексте скорости инноваций, но при этом нелинейность падения не является линейной (10x денег ≠ 10x скорости).

Для крупных игроков это сигнал: резкое сокращение бюджета на R&D не остановит прогресс, но существенно растянёт временные горизонты достижения ключевых вех (milestones). Для регуляторов и инвесторов это означает, что «вычислительный потолок» может быть достигнут не мгновенным коллапсом, а постепенным замедлением темпов, которое трудно отследить по простым метрикам затрат.

Источник: LessWrong ↗