Проблема: неконтролируемый рост расходов на токены
Крупные технологические компании столкнулись с проблемой стремительно растущих затрат на использование больших языковых моделей (LLM). По данным консалтинговой компании Accenture, значительная часть этих расходов связана с неэффективным использованием ИИ, например, при конвертации PDF-файлов в презентации. Потребление токенов стало непредсказуемым и слишком дорогим.
Решение: плагин «Caveman»
Для борьбы с этой тенденцией разработчики начали использовать специальный плагин, который принудительно меняет стиль ответов ИИ. Вместо развёрнутых, вежливых и многословных объяснений, характерных для моделей вроде Claude Code, Codex или Gemini, ИИ начинает отвечать в стиле «пещерного человека» — максимально кратко, по существу и без лишних слов. Пример ответа меняется с «Вы правы, я ошибся» на «Hulk smash».
Кто уже использует технологию
Создатели инструмента отмечают, что среди пользователей плагина есть разработчики из OpenAI, Nvidia и GitHub. Более того, старший сотрудник OpenAI уже внес свой вклад в проект, добавив поддержку инструмента Codex. Это свидетельствует о том, что метод применяется на уровне корпоративных стандартов, а не является разовой акцией.
Экономический эффект
Сокращение длины ответов напрямую влияет на количество обрабатываемых токенов. Поскольку оплата за использование LLM часто зависит от объёма входных и выходных данных, такой подход позволяет компаниям существенно снизить операционные расходы. Это пример того, как оптимизация промптов и стиля коммуникации становится новым инструментом управления бюджетом в AI-индустрии.
Источник: 404media ↗