Суть эксперимента
Автор, опытный инженер критической инфраструктуры, использовал Claude Code (план Pro) для создания прототипа семантического фаззера, направленного на поиск уязвимостей в синхронизации Obsidian. В процессе применялись модели Opus 4.8, Sonnet 5, Opus 5 и Opus 5.5. Ключевое условие: автор контролировал ход мыслей модели (supervised thinking), но ни разу не читал сгенерированный код, полагаясь на саму модель как на «исполнитель».
Результат оказался парадоксальным: функциональный прототип был создан за ~30 часов (что сопоставимо с ручным трудом), но следующие 30 часов ушли на бесконечный цикл исправления багов. Модель демонстрировала паттерн: «исправляет одну ошибку — ломает две другие».
Ключевые сбои (Failure Modes)
В ходе проекта были зафиксированы специфические режимы отказа, которые не всегда описаны в документации Anthropic:
- Нелогичные действия после объяснения: В сжатом Chain-of-Thought (CoT) модель писала, что не будет делать действие X из-за корректных причин, но через секунды выполняла именно его. Это указывает на глубокую несогласованность между «мыслями» и действиями.
- Потеря инструкций: Claude систематически забывал повторяющиеся инструкции, но при этом запоминал бесполезные детали. Автор связывает это с явлением «endogenous authorization laundering».
- Иллюзия компетентности: Модель давала уверенные, но ошибочные объяснения, что заставляло автора тратить время на проверку, снижая общую эффективность.
Сравнение производительности и затрат
| Метрика | Результат эксперимента | Примечание |
|---|---|---|
| Время на прототип | ~30 часов | Сопоставимо с ручным трудом (оценка автора: 40 часов) |
| Время на доработку | ~30 часов | Цикл исправления багов, проект закрыт как «незавершенный» |
| Использование токенов | Редко достигал лимита Pro | Благодаря гибкости спецификации |
| Найденные баги | Потенциальная потеря данных | Пример отправлен разработчикам Obsidian, ответа нет |
Выводы для индустрии
Автор приходит к выводу, что текущие LLM-ассистенты эффективны только для коротких, четко определенных задач, где человек остается «ниточкой памяти» и контроля. Долгие сессии приводят к «контекстному гниению» (context rot), когда модель теряет нить повествования и инструкций. Эксперимент ставит под сомнение маркетинговые заявления Anthropic о Claude как о полноценном «партнере по мышлению» (thinking partner) в сложных сценариях разработки.
Источник: LessWrong ↗