Суть эксперимента: от «вайбов» к цифрам
Автор блога Nolan Lawson устал от субъективных оценок фреймворков в эпоху AI-кодинга. Чтобы проверить, действительно ли некоторые инструменты «лучше для агентов», он задал Opus 5.5 задачу создать приложение со списком покемонов (PokéAPI) с функциями поиска и фильтрации. Тестировались 12 популярных решений: от Next.js и React Router до Hono+htmx и Angular. Каждый фреймворк запускался 5 раз, результаты усреднялись по медиане.
Стоимость разработки: кто дороже, а кто дешевле?
Самым экономичным вариантом стал связка Hono+htmx ($2.67 за запуск), а самым дорогим — Angular ($4.97). Разница в стоимости между самым дешевым и самым дорогим фреймворком составила почти 86%. Важно отметить высокую дисперсию: например, самый дешевый запуск React Router ($2.82) обошелся дешевле самого дорогого запуска Hono+htmx ($3.19), что подчеркивает стохастическую природу LLM.
| Фреймворк | Средняя стоимость ($) | Диапазон цен ($) |
|---|---|---|
| Hono+htmx | $2.67 | $2.23 – $3.19 |
| Astro | $2.76 | $2.16 – $3.63 |
| Nuxt | $2.82 | $2.39 – $4.25 |
| Vanilla JS | $2.98 | $2.24 – $3.37 |
| Next.js | $3.14 | $2.58 – $4.13 |
| Qwik | $3.27 | $2.35 – $3.80 |
| TanStack Start | $3.54 | $3.11 – $3.96 |
| SolidStart | $3.79 | $2.84 – $4.81 |
| React Router | $3.81 | $2.82 – $3.97 |
| SvelteKit | $4.28 | $3.59 – $4.65 |
| Gracile+Lit | $4.65 | $3.92 – $5.07 |
| Angular | $4.97 | $3.19 – $6.82 |
Почему некоторые фреймворки «жрут» больше токенов?
Высокая стоимость Angular ($4.97) и SvelteKit ($4.28) объясняется не только размером кода, но и особенностями обучения моделей. Для SvelteKit агенты в каждом запуске читали руководство по миграции на v3, так как эта версия была слишком новой для данных обучения Opus 5.5. Gracile+Lit требовал больше ресурсов, потому что агенты вынуждены были клонировать репозиторий или читать скомпилированный исходный код из node_modules, так как фреймворк не был хорошо представлен в обучающей выборке.
Проблема MCP и навыков агентов
Эксперимент также выявил хаос в использовании специализированных инструментов (MCP и skills). Например, агенты использовали навыки React Router в 100% случаев, но никогда не использовали MCP для Nuxt. TanStack Start был обнаружен агентами только в 2 из 5 запусков. Это показывает, что текущая экосистема AI-инструментов для фронтенда нестабильна: результат сильно зависит от случайности и того, насколько хорошо фреймворк «понимается» моделью.
Вывод для разработчиков
Выбор фреймворка теперь влияет не только на DX (developer experience), но и на прямые финансовые затраты на AI-генерацию кода. Легковесные и хорошо документированные в обучающих данных решения (Hono, Astro, Vanilla) обходятся дешевле. Тяжеловесные или новые фреймворки (Angular, SvelteKit) требуют больше токенов на объяснение контекста и генерацию кода, что при масштабировании на большие проекты может вылиться в существенные расходы.
Источник: Nolanlawson ↗