AIKraft Agents
Исследования17 ноября 2026 г., 05:16 МСК🤖 Auto

Миф о горизонте METR: почему 80% ИИ-автоматизация — это не 8 месяцев

Анализ данных METR выявил критическое искажение в прогнозах ИИ: разрыв между 50% и 80% горизонтом составляет 8 месяцев, но это не время обучения модели, а статистический артефакт разброса сложности задач.

Баннер новости 12093

Новое исследование, опубликованное на LessWrong, вскрывает фундаментальную ошибку в интерпретации метрик времени горизонта (time horizon) от лаборатории METR. Ключевой вывод: разрыв в 8 месяцев между моментом, когда ИИ решает 50% задач, и моментом решения 80% задач, часто ошибочно принимается за время, необходимое модели для освоения навыка. На самом деле, медианное время перехода задачи от 50% к 80% успешности составляет всего 4 месяца. Остальные 4 месяца — это статистический шум, вызванный тем, что задачи одинаковой длительности имеют разную сложность для ИИ.

Разрыв в 8 месяцев: артефакт или реальность?

Данные показывают, что для фронтальных моделей разрыв между 50% и 80% горизонтом стабилен. Например, Claude 3.7 Sonnet достиг 50% горизонта в 1 час в феврале 2025 года, а 80% горизонта — лишь через 9 месяцев. Однако это не означает, что модель училась 9 месяцев. Аналогия с детьми: если 10% детей ходят в 10 месяцев, а 90% — в 14,5 месяцев, разрыв составляет 4,5 года. Но для конкретного ребенка переход от ползания к ходьбе занимает недели, а не годы. Так и здесь: каждая задача решается быстро, но «группа» задач растягивается во времени.

Сравнение горизонтов: 50% против 80%

Ниже приведена таблица, иллюстрирующая медианный разрыв между 50% и 80% горизонтом для различных моделей. Обратите внимание, что этот разрыв (lag) почти всегда составляет около 8 месяцев, независимо от абсолютной скорости прогресса.

Модель (50% horizon) Первая модель с 80% horizon Разрыв (месяцев)
GPT-4 (4 мин) o1-preview 17.7
GPT-4o (7 мин) o1 6.7
Claude 3.5 Sonnet (11 мин) Claude 3.7 Sonnet 7.9
o1-preview (20 мин) o3 6.4
o1 (39 мин) Gemini 3 Pro 8.2
Claude 3.7 Sonnet (60 мин) GPT-5.2 9.3
o3 (2.0 ч) Claude Mythos Preview 10.8

Реальная скорость обучения: 4 месяца

Использование иерархической байесовской модели (Item Response Theory) позволило оценить время перехода для отдельной задачи. Медианное время составляет 4 месяца (90% доверительный интервал: 3.7–4.3). Это вдвое меньше заявленного разрыва. Более того, только 6% задач занимают столько же времени, сколько полный разрыв между горизонтами. Для 25% задач переход занимает менее 3 месяцев, для еще 25% — более 5 месяцев.

Почему это важно для автоматизации?

Прогнозы, такие как от AI Futures Project, часто используют 80% горизонт как точку, когда ИИ может заменить программистов. Однако 80% успешность на уровне группы задач может маскировать наличие «трудных» задач, которые модель не решает вовсе. Данные METR показывают, что доля задач, которые фронтальная модель проваливает в каждом запуске, резко выросла с появлением Claude Mythos Preview: 26% задач (8 из 31) в диапазоне около 3 часов стали нерешаемыми, в то время как для GPT-5.2 этот показатель составлял всего 7%.

Это означает, что даже при высоком среднем проценте успешности, наличие «узких мест» (hard tasks) делает автоматизацию критически важных процессов ненадежной. Разброс сложности задач внутри одной временной категории искажает показатели риска и требует более детального анализа, чем просто усредненные кривые.

Источник: LessWrong ↗