Проблема стоимости длинного контекста
В новых моделях с открытым весом наблюдается значительный дисбаланс в стоимости генерации токенов. Более поздние токены, генерируемые при работе с длинным контекстом, могут обходиться в 7 раз дороже, чем ранние. Это создает экономическое препятствие для развертывания ИИ-агентов, которым требуется хранить обширную историю переписки для выполнения сложных многошаговых задач.
Методология: Semantic State Space Models (SSSM)
Команда во главе с Питером Белчаком (Peter Belcak) предложила концепцию Semantic State Space Models (SSSM). Суть подхода заключается в частой компиентации (compaction) контекста. Вместо того чтобы хранить всю историю диалога, модель периодически сжимает информацию, сохраняя только семантически значимые фрагменты. Исследование показало, что при таком подходе производительность не падает, даже если модель выполняет не более одного действия на один контекстный срез.
Ключевые результаты бенчмарков
Эксперименты проводились на широком спектре задач с длинным горизонтом и длинным входом. Результаты демонстрируют, что современные LLM жертвуют минимальной или нулевой точностью при использовании короткого контекста благодаря механизму компиентации.
| Параметр | Традиционный подход (Long Context) | Предложенный подход (SSSM/Compaction) |
|---|---|---|
| Стоимость генерации | Высокая (разница до 7x между токенами) | Значительно снижена за счет сжатия |
| Точность задач | Базовый уровень | Без потери точности (No significant drop) |
| Применимость к коду | Требует хранения всей истории | Работает на задачах софт-инжиниринга при 1 действии на контекст |
Почему это важно
Найденное противоречие ставит под сомнение необходимость разработки и использования специализированных моделей с экстремально длинным контекстом (long-context LLM). Если семантическое сжатие позволяет достигать тех же результатов при меньших вычислительных затратах, индустрия может сместить фокус с расширения контекстного окна на оптимизацию состояний агентов. Это открывает путь к более дешевым и эффективным ИИ-ассистентам, способным работать с большими объемами данных без провалов в производительности.
Источник: Arxiv ↗