Суть графика и масштаб прорыва
В ходе дорожной карты IPO Anthropic был представлен график, иллюстрирующий рост «множителей вычислений» (Compute Multipliers, CM). Автор анализа, опираясь на косвенные данные, предполагает, что вертикальная ось графика имеет логарифмический масштаб с шагом 10x. Это означает, что текущая эффективность предобучения моделей Anthropic (точка «стрелка» на графике) примерно в 30 000 раз выше, чем у моделей 2024 года (Claude 3.5). Иными словами, для достижения того же качества модели теперь требуется 1/30 000 часть вычислительных ресурсов.
Ключевые модели и кодовые названия
Анализ сопоставляет кодовые названия моделей из документов SEC с известными объемами вычислений (FLOPs). Это позволяет оценить реальный прогресс в эффективности архитектуры и данных.
| Кодовое имя | Модель | Дата релиза / Статус | Вычисления (FLOPs) |
|---|---|---|---|
| lark | Claude 1 | Март 2023 | 1.6e25 |
| eagle2 | Claude Instant 1.1 | — | 2.0e24 |
| teal | Claude 3 Opus | Март 2024 | ~4.0e25 (оценка) |
| dove | Claude 3.5 Sonnet | Июнь 2024 | — |
| junior | Нерелизная модель | Середина 2022 | 4.2e24 |
Как рассчитывается экономия?
Авторы анализа выделяют два драйвера роста CM: улучшение качества данных и оптимизация процесса обучения. Сравнение Claude 1.0 и Claude 3 Opus показывает, что при увеличении вычислений всего в 2.5 раза (с 1.6e25 до ~4e25 FLOPs), качество модели выросло эквивалентно 13–32-кратному масштабированию старой архитектуры. Это дает множитель эффективности около 8x за год.
Переход от Claude 3.5 к Claude 4 оценивается в 3–4x за 8 месяцев. Если сложить эти множители, они создают экспоненциальный эффект, объясняющий огромный разрыв на графике IPO.
Финансовые последствия для инвесторов
Финансовый директор Anthropic Кришна Рао подтверждает, что этот эффект уже виден в отчетности. За последние шесть кварталов выручка выросла более чем в 45 раз, в то время как затраты на вычисления и инфраструктуру увеличились только в 10 раз. Это обеспечивает рост выручки на каждый доллар вычислений более чем в 4 раза, создавая устойчивое конкурентное преимущество, которое, по мнению компании, будет ускоряться за счет самообучения самих моделей.
Источник: LessWrong ↗
