Проблема длинных сессий
В агентных системах каждый новый шаг (turn) часто требует отправки всей истории сессии обратно в модель. Это приводит к повторному вычислению одних и тех же токенов, что резко увеличивает задержки и стоимость инференса. Без оптимизации производительность падает экспоненциально с ростом длины контекста.
Решение: защита префиксного кэша
Together AI и Ollama разработали архитектуру, которая позволяет эффективно использовать префиксный кэш (prefix cache) на уровне как приложения, так и GPU. Ключевая идея — избегать повторного вычисления общих префиксов запроса, сохраняя их в памяти и переиспользуя для последующих шагов агента.
Технические детали
Решение включает:
- Интеграцию на уровне harness (оркестратора агентов) для управления состоянием сессии.
- Оптимизацию на уровне GPU для быстрого доступа к кэшированным тензорам.
- Поддержку открытых моделей, что делает решение доступным для широкого круга разработчиков.
Значение для индустрии
Эта оптимизация позволяет значительно сократить время отклика (latency) и стоимость инференса для агентов, работающих с длинными контекстами. Это важный шаг к созданию более эффективных и масштабируемых AI-агентных систем, использующих открытые модели.
Источник: Together AI ↗
