Суть эксперимента: Экономика против ИИ
Исследователь Пратьуш Сингх (Pratyush Singh) использовал классическую экономическую модель линейного города Хотеллинга для проверки стратегического мышления больших языковых моделей. Цель — понять, улучшают ли структурированные вмешательства (scaffolding) способность моделей к дедуктивному и абдуктивному выводу, и зависит ли это от архитектуры.
В исследовании сравнивались две модели OpenAI:
- GPT-4.1-mini: стандартная модель, оптимизированная на следование инструкциям.
- GPT-5-mini: модель, специально оптимизированная для рассуждений (reasoning-optimized).
Было проведено 720 индивидуальных оценок ответов (8 вопросов × 3 фрейминга × 3 повторения × 5 условий).
Ключевая находка: Кросс-интеракция архитектур
Статистический анализ выявил значимое перекрестное взаимодействие между типом вмешательства и архитектурой модели ($t(7) = 4.79$, $p = 0.002$). Простое добавление «подсказок» не работает универсально. Напротив, разные методы структурирования мышления дают противоположные результаты для разных типов моделей.
| Метод вмешательства | Эффект для GPT-4.1-mini | Эффект для GPT-5-mini |
|---|---|---|
| Commitment Scaffolding (фиксация обязательств) | Улучшение (+0.21) | Деградация (-0.63) |
| Principled Separation (принципиальное разделение) | Деградация (-0.40) | Улучшение (+0.31) |
Оба эффекта статистически значимы. Например, при использовании метода commitment модель GPT-5-mini теряет в качестве ответов почти в три раза сильнее, чем выигрывает GPT-4.1-mini. Это доказывает, что «reasoning-optimized» модели не просто «умнее», они имеют иную внутреннюю логику обработки инструкций.
Уязвимость к атакам и разрыв декларативного/процедурного знания
Исследование также провело adversarial stress-testing (стресс-тестирование на устойчивость). Оказалось, что атаки вредят обеим моделям, но для GPT-5-mini ущерб оказался в 2,6 раза выше ($-1.47$ против $-0.57$ у GPT-4.1-mini, $p = 0.038$). Это создает парадокс: модель, лучше рассуждающая в штатном режиме, оказывается более хрупкой при целенаправленных атаках.
Также зафиксирован персистентный разрыв между знанием и действием:
- Обе модели могут идентифицировать правильную стратегию (декларативное знание) значительно чаще, чем способны ее реализовать (процедурное знание).
- Метод principled separation полностью закрывает этот разрыв для GPT-5-mini, но не помогает GPT-4.1-mini ни в одном из тестов.
Почему это важно
Результаты опровергают идею универсальных промптов для сложных задач. Разработчикам и энтерпрайз-решениям необходимо учитывать архитектуру модели: то, что является «best practice» для instruction-following моделей, может стать токсичным фактором для reasoning-optimized архитектур. Выбор метода структурирования промпта должен быть строго привязан к типу используемой модели.
Источник: arXiv cs.AI ↗