Суть эксперимента: контракт против модели
Исследователь Йеабин Мун (Yeabin Moon) в работе "The Price of Thinking" (август 2026) предлагает новый взгляд на API-интеграции: покупателю продается не просто имя модели, а «датированный контракт». Этот контракт включает параметры запроса, термин усилий рассуждения (reasoning effort), выходной рельс (output rail) и график цен. Автор провел парное сравнение модели Sonnet 5 в двух режимах: с явным указанием high effort и с опущенным параметром (по умолчанию).
Методология и бенчмарки
Тестирование проводилось на наборе данных AIME 2026 (30 задач). Для каждой задачи выполнялось по 5 вызовов API. Все попытки были категоризированы, а выборка ресэмплировалась с сохранением повторных вызовов. Статистический план и парсер были заморожены до начала анализа результатов, что исключило предвзятость исследователя.
Ключевые метрики: цена vs точность
Результаты показали, что «дорогой» режим действительно стоит дороже, но экономическая эффективность (стоимость за правильный ответ) остается на сопоставимом уровне, а прирост точности статистически незначим.
| Метрика | High Effort (явный) | Effort Omitted (по умолчанию) | Разница / Интервал |
|---|---|---|---|
| Средняя стоимость за вызов | $0.01031 | Базовая (ниже) | + $0.00204 ... + $0.01974 |
| Прирост точности (Accuracy) | — | — | +0.0133 [интервал: -0.0267, +0.0467] |
| Стоимость за правильный ответ | $0.08665 | $0.07662 | Разница в эффективности |
Интервал доверия для прироста точности [-0.0267, +0.0467] означает, что исследование не может исключить как ухудшение, так и улучшение на 4.67 процентных пункта. Однако точка оценки (point estimate) показывает лишь незначительный сдвиг.
Почему это важно для разработчиков
Исследование документирует модель-специфичную семантику опущения параметров. То, что для одного провайдера отсутствие параметра effort означает «стандартный режим», для другого может трактоваться иначе. Авторы подчеркивают, что claims (утверждения) остаются на уровне документации только при анализе сырой структуры запросов. Для инженеров это сигнал: явное указание high effort — это платная опция, которая не гарантирует прорыва в качестве ответа на сложных математических задачах, но точно увеличивает расход API.
Источник: arXiv cs.AI ↗