Суть пересмотра модели
Исследователь James_T пересмотрел модель «программного взрыва интеллекта» (Software Intelligence Explosion), предложенную Томом Дэвидсоном и Томом Холденом. Оригинальная модель предполагала, что после создания первой системы ASARA (AI System for AI R&D Automation) можно ожидать колоссального скачка эффективности за счет оптимизации алгоритмов при постоянном объеме «железа».
Ключевое изменение автора касается двух параметров: начальной отдачи от программных исследований (g) и предела алгоритмического потолка (OOMs). Пересмотр аргументов привел к существенному снижению вероятности сверхбыстрого взрывного роста.
Ошибка «Chinchilla Scaling»
Оригинальная гипотеза опиралась на аналогию с законом масштабирования Chinchilla, который помогает балансировать размер модели и объем данных. Аргумент гласил: человеческий мозг (1014 синапсов) обучается на ~109 токенов, что неоптимально по Chinchilla. Если бы люди жили тысячи лет, они могли бы достичь большей эффективности, но эволюция ограничена смертностью. Следовательно, ИИ, не ограниченный биологией, сможет перераспределить вычислительные ресурсы и получить выигрыш в 4-5 порядков (OOMs).
Автор статьи отвергает этот аргумент, называя его ошибочным. Человеческий мозг не является «шиншиллой», и прямое применение законов масштабирования LLM к биологическим нейросетям не дает такого огромного запаса эффективности, как предполагалось ранее. Это снижает верхнюю границу возможных улучшений.
Сравнение параметров и результатов
После корректировки распределений параметров (сужение диапазона g с 0.4–3.6 до 0.33–3 и OOMs с 6–16 до 2–13) вероятности кардинально изменились:
| Событие | Оригинальная вероятность | Новая вероятность |
|---|---|---|
| ≥ 3 года прогресса за 1 год | 56% | 39% |
| ≥ 3 года прогресса за 4 месяца | 41% | 24% |
| ≥ 10 лет прогресса за 1 год | 17% | 4% |
| ≥ 10 лет прогресса за 4 месяца | 12% | 2% |
Почему это важно
Хотя вероятность получения 3 лет прогресса за год снизилась умеренно (с 56% до 39%), вероятность 10-летнего скачка за год упала с 17% до всего 4%. Автор делает вывод, что сценарий, где 10 лет исследований упаковываются в один год исключительно за счет софтверных улучшений, становится маловероятным.
Тем не менее, даже 3 года прогресса за год могут быть disruptive (срывными) и опасными. Автор подчеркивает высокую неопределенность модели, но указывает, что слепая вера в «шиншиллиевое» масштабирование человеческого мозга как эталона для ИИ является методологической ошибкой.
Источник: LessWrong ↗