Новое исследование, опубликованное на LessWrong, вскрывает фундаментальную ошибку в интерпретации метрик времени горизонта (time horizon) от лаборатории METR. Ключевой вывод: разрыв в 8 месяцев между моментом, когда ИИ решает 50% задач, и моментом решения 80% задач, часто ошибочно принимается за время, необходимое модели для освоения навыка. На самом деле, медианное время перехода задачи от 50% к 80% успешности составляет всего 4 месяца. Остальные 4 месяца — это статистический шум, вызванный тем, что задачи одинаковой длительности имеют разную сложность для ИИ.
Разрыв в 8 месяцев: артефакт или реальность?
Данные показывают, что для фронтальных моделей разрыв между 50% и 80% горизонтом стабилен. Например, Claude 3.7 Sonnet достиг 50% горизонта в 1 час в феврале 2025 года, а 80% горизонта — лишь через 9 месяцев. Однако это не означает, что модель училась 9 месяцев. Аналогия с детьми: если 10% детей ходят в 10 месяцев, а 90% — в 14,5 месяцев, разрыв составляет 4,5 года. Но для конкретного ребенка переход от ползания к ходьбе занимает недели, а не годы. Так и здесь: каждая задача решается быстро, но «группа» задач растягивается во времени.
Сравнение горизонтов: 50% против 80%
Ниже приведена таблица, иллюстрирующая медианный разрыв между 50% и 80% горизонтом для различных моделей. Обратите внимание, что этот разрыв (lag) почти всегда составляет около 8 месяцев, независимо от абсолютной скорости прогресса.
| Модель (50% horizon) | Первая модель с 80% horizon | Разрыв (месяцев) |
|---|---|---|
| GPT-4 (4 мин) | o1-preview | 17.7 |
| GPT-4o (7 мин) | o1 | 6.7 |
| Claude 3.5 Sonnet (11 мин) | Claude 3.7 Sonnet | 7.9 |
| o1-preview (20 мин) | o3 | 6.4 |
| o1 (39 мин) | Gemini 3 Pro | 8.2 |
| Claude 3.7 Sonnet (60 мин) | GPT-5.2 | 9.3 |
| o3 (2.0 ч) | Claude Mythos Preview | 10.8 |
Реальная скорость обучения: 4 месяца
Использование иерархической байесовской модели (Item Response Theory) позволило оценить время перехода для отдельной задачи. Медианное время составляет 4 месяца (90% доверительный интервал: 3.7–4.3). Это вдвое меньше заявленного разрыва. Более того, только 6% задач занимают столько же времени, сколько полный разрыв между горизонтами. Для 25% задач переход занимает менее 3 месяцев, для еще 25% — более 5 месяцев.
Почему это важно для автоматизации?
Прогнозы, такие как от AI Futures Project, часто используют 80% горизонт как точку, когда ИИ может заменить программистов. Однако 80% успешность на уровне группы задач может маскировать наличие «трудных» задач, которые модель не решает вовсе. Данные METR показывают, что доля задач, которые фронтальная модель проваливает в каждом запуске, резко выросла с появлением Claude Mythos Preview: 26% задач (8 из 31) в диапазоне около 3 часов стали нерешаемыми, в то время как для GPT-5.2 этот показатель составлял всего 7%.
Это означает, что даже при высоком среднем проценте успешности, наличие «узких мест» (hard tasks) делает автоматизацию критически важных процессов ненадежной. Разброс сложности задач внутри одной временной категории искажает показатели риска и требует более детального анализа, чем просто усредненные кривые.
Источник: LessWrong ↗
