Проблема старых метрик: изоляция человека и машины
В ноябре 2026 года исследователь aak опубликовал анализ работы METR (Cunningham et al.), предлагающей метрику «горизонта расходов» (expenditure horizon). Эта метрика определяет бюджет, при котором улучшение цели за счет ИИ равно улучшению за счет человека с тем же бюджетом. Однако автор указывает на критический недостаток: метрика рассматривает только крайние случаи — полностью человеческую или полностью автономную работу, игнорируя гибридные модели.
На практике, особенно в AI R&D, человек и ИИ выступают как комплементарные ресурсы. Эффективность достигается не выбором «или/или», а оптимальным распределением бюджета между ними. Метрики, основанные на изолированных показателях, теряют информативность, так как не отражают синергию гибридного труда.
Новая метрика: X% Expenditure Share Horizon (ESH)
Вместо поиска точки равенства «человек vs ИИ», предлагается измерять X% Expenditure Share Horizon — уровень бюджета, при котором оптимально тратить X% средств на агентов, а остальное — на людей. Это позволяет отслеживать, как меняется структура затрат по мере роста бюджета и улучшения моделей.
Ключевое преимущество ESH — учет «маржинальных долларов». При малых бюджетах выгоднее вкладываться в ИИ (быстро и дешево), при больших — в людей (для контроля и креативности). График оптимального распределения расходов (expansion path) показывает, что для каждой модели существует своя кривая оптимальной доли AI.
Почему «человек-только» становится нерелевантным
Измерение производительности «человек-только» становится все сложнее и менее полезно по двум причинам:
- Практическая невозможность: В условиях высокого AI-uplift новые задачи решаются гибридно. Попытка изолировать «чистый» человеческий труд искажает данные, так как люди уже используют ИИ как базовый инструмент (аналогично тому, как мы не измеряем продуктивность офисного работника без ноутбука).
- Шум в данных: Даже в открытых проектах, таких как NanoGPT, доля коммитов, созданных с участием кодовых агентов, достигает 14% (по оценкам GPT-5.6 Sol). Корректировка таких данных вносит погрешность, которую проще избежать, перейдя на гибридную метрику.
Сравнение подходов
| Характеристика | Expenditure Horizon (METR) | X% Expenditure Share Horizon (aak) |
|---|---|---|
| Фокус сравнения | AI-only vs Human-only | Оптимальная доля AI в гибридной работе |
| Учет комплементарности | Нет (рассматривает endpoints) | Да (учитывает синергию) |
| Измеримость Human-only | Требует изоляции, сложно на практике | Не требуется (базируется на распределении бюджета) |
| Информативность для бизнеса | Низкая (игнорирует реальные процессы) | Высокая (помогает оптимизировать затраты) |
Значение для индустрии
Переход к метрике доли расходов позволяет более точно оценивать экономический эффект от внедрения AI. Вместо вопроса «Заменит ли ИИ человека?», мы получаем ответ на вопрос «Какую долю бюджета стоит отдать ИИ для максимизации результата?». Это особенно важно для оценки стоимости разработки ПО, анализа данных и других сложных задач, где человеческий надзор и инициатива остаются критичными.
Источник: LessWrong ↗