Проблема «часов» против «бухгалтерии»
Автор статьи предлагает отказаться от простого измерения времени («stopwatch view») в пользу более сложной модели учета рисков. Эффективность ИИ нельзя оценивать только по тому, насколько быстрее выполняется задача. Необходимо учитывать excess escaped defects (избыток просочившихся ошибок) — количество ошибок, которые ИИ пропустил, а человек не заметил из-за снижения бдительности. Введение понятия break-even defect cost (точка безубыточности стоимости ошибки) позволяет перевести качество работы в денежный или временной эквивалент.
Репликация исследования METR: ИИ замедляет разработчиков
Автор провел независимую репликацию исследования METR по использованию ИИ разработчиками. Результаты опровергают популярные тезисы о том, что ИИ ускоряет работу программистов. В зависимости от выбранной метрики, ИИ-ассистенты замедлили разработчиков на 19–24% (при корректировке на случайные отклонения выборки). При этом ИИ помог лишь в 3–82% случаев, что делает среднюю эффективность крайне нестабильной.
| Метрика | Результат | Интерпретация |
|---|---|---|
| Замедление (с корректировкой) | 19% | Чистое влияние ИИ на скорость с учетом статистических погрешностей |
| Замедление (без корректировки) | 24% | Сырые данные, показывающие еще более негативный эффект |
| Доля успешной помощи | 3% – 82% | Высокая дисперсия: ИИ то бесполезен, то полезен, но в среднем тянет вниз |
Предел ускорения GPT-5
В анализе отчета GDPval рассматривается модель GPT-5. Даже при идеальном сценарии, где ИИ генерирует весь черновик, время на проверку (review) ограничивает максимальное ускорение работы до 3.6x. При этом внешние консультанты, не использующие передовые модели, работали быстрее и допускали меньше ошибок, чем ИИ в сочетании с человеком.
Эксперимент: «Все или ничего»
В ходе собственного эксперимента автора было выявлено парадоксальное поведение ИИ-рецензентов. Когда рецензенту сообщали о высокой вероятности ошибок в черновике, он проверял больше данных. Однако, когда ИИ-рецензент «уверен», что черновик качественный (ошибок в 10 раз меньше), он снижает усилия: проверяет на 7 цифр меньше и пропускает ошибку в 22.5% случаев. Это доказывает, что ИИ не просто экономит время, но и активно снижает качество контроля, создавая ложное чувство безопасности.
Источник: arXiv cs.AI ↗