Эксперимент: $100 на PDF-редактор
Исследователь нейросетей nielstron провел тест: дал четырем AI-агентам (Gemini 3.8 Flash, GPT Astra 6, Opus 5, Fable 5) бюджет в $100 и задачу создать открытый PDF-редактор с отличным UX. Агенты работали автономно на выделенных VM, не взаимодействуя друг с другом. Результат: код работает, но интерфейсы полны багов и нелогичных решений. Автор называет это явление SlopWare — софт, который «работает», но раздражает пользователя.
Ключевые провалы AI-разработчиков
Анализ выявил системные ошибки, которые AI не замечает, так как не испытывает «трения» при использовании софта:
- Web-first ошибка: Все модели создали веб-приложения, игнорируя нативные установки. Gemini даже не предоставил готовой ссылки, только инструкции по npm. Только Astra сделала GitHub Pages, но ни одна не подумала о PWA или мобильных версиях.
- Проблемы взаимодействия: Gemini 3.8 Flash вставлял изображения в случайную точку без превью, делая их последующее удаление невозможным. Claude и Codex решили это случайно, добавив drag-and-drop, но не объяснили логику.
- Навигация: Astra перегрузила интерфейс текстовыми подписями к каждой кнопке (антипаттерн UX). Gemini насыпал кучу иконок без ясности. Ни одна модель не добавила поиск по настройкам — стандарт для мобильных ОС.
- Производительность: На примере форка Gramps-Web показано, что AI-код часто содержит последовательные SQL-запросы и медленные бэкенд-операции, которые пагубно сказываются на скорости при больших объемах данных (1500 записей).
Сравнение подходов моделей
| Модель | Деплой | UX/Интерфейс | Функциональность |
|---|---|---|---|
| Gemini 3.8 Flash | npm (сложно) | Много кнопок, нет превью вставки | Базовый просмотр, сжатие |
| GPT Astra 6 | GitHub Pages | Текстовые лейблы на всех кнопках | Базовый редактор |
| Opus 5 | Инфо отсутствует | Информация недостаточна | Единственная попытка редактировать существующие элементы |
| Fable 5 | Инфо отсутствует | Минимализм до абсурда | Только выделение текста, нет выбора объектов |
Почему люди всё еще нужны?
Автор выделяет две главные ценности человека в процессе разработки с AI:
- Контроль цели: Не дать агенту преждевременно завершить задачу или сбиться с пути.
- Обнаружение «мусора»: Замечать мелкие баги и неудобства, которые AI не видит, так как не взаимодействует с продуктом как пользователь. AI генерирует код, но не чувствует «трения» интерфейса.
Без изменения парадигмы работы LLM (добавления симуляции пользовательского опыта) мы рискуем получить рынок, заваленный функциональным, но раздражающим софтом.
Источник: LessWrong ↗