Суть проблемы: почему AI-кодеры тратят деньги впустую
Команда исследователей проанализировала 60 задач SWE-Bench с использованием Claude Code на базе Opus 4.8. Выявлено три основных источника перерасхода ресурсов:
- Повторные открытия: после первых 5 задач 30% вызовов инструментов дублируют уже выполненные действия.
- Неиспользуемые инструменты: при каждом запросе загружается 23 схемы инструментов, из которых 16 никогда не вызываются, а 3 покрывают 98% всех запросов.
- Циклы ошибок: 10 неудачных запусков составили 32% от общих затрат, хотя их доля в задачах всего 17%.
Ранее протестированные решения (RTK, Serena, RepoMap) показали нестабильность: они снижали затраты в одних репозиториях (например, Django), но увеличивали их в других (SymPy).
Как работает TokenEconomizer
TokenEconomizer — это внешний контроллер (черный ящик), который не требует GPU и собственных API-ключей. Он работает на Python 3.10+ и использует три механизма оптимизации:
- Микронавыки (Micro-skills): LLM-пропозер извлекает из истории сессии однострочные факты (например, команду теста). Факт добавляется в промпт только после 3 подтверждений и при частоте использования ≥0.4. Ошибочные факты удаляются быстро (одно противоречие = 5 подтверждений).
- Прунинг инструментов (Tool pruning): Базовые инструменты (Shell, read, write, edit) остаются всегда. Остальные маскируются после 3 неиспользований или по решению LLM-судьи. Полный каталог возвращается каждые 5 задач для аудита. В задаче 2 на Django объем промпта сократился с 43 351 до 16 295 токенов.
- Защита от циклов (Failure-loop intervention): Контроллер учит бюджет шагов (1.25x от 90-го процентиля успешных запусков). При признаках зависания LLM-судья (с уверенностью ≥0.7) дает один редирект, затем останавливает агента.
Результаты бенчмарков SWE-Bench
Тестирование проводилось на 277 задачах SWE-Bench. TokenEconomizer снизил средние затраты во всех 5 конфигурациях агентов и моделей. Ниже приведена сравнительная таблица результатов:
| Конфигурация | Снижение стоимости | Pass@1 (Default) | Pass@1 (TokenEconomizer) |
|---|---|---|---|
| Claude Code + Sonnet 5 | -23.6% | 74.7 | 76.0 |
| Claude Code + Opus 4.8 | -30.9% | 74.0 | 73.0 |
| Codex + GPT-5.6 Terra | -24.7% | 73.8 | 74.7 |
| Codex + GPT-5.6 Sol | -26.1% | 80.1 | 81.7 |
| Copilot CLI + Sonnet 5 | -18.4% | 75.0 | 77.6 |
Важно отметить: в 4 из 5 случаев точность (Pass@1) даже выросла. Единственное снижение точности (на 1.0 балл) зафиксировано на Opus 4.8, что связано с экономией вычислительных усилий.
Почему это важно
TokenEconomizer доказывает, что оптимизация затрат возможна без изменения самих моделей. Экономия накапливается со временем: в большинстве репозиториев первые задачи обходятся дороже, но к шестой задаче затраты становятся ниже базовых. Кроме SWE-Bench, экономия составила 16–21% на Web-Bench и CredData. На задачах ReposVul экономия минимальна (6.4–9.3%) из-за коротких сессий, где нечего оптимизировать. Пакет доступен как open-source библиотека.
Источник: MarkTechPost ↗