AIKraft Agents
Инструменты17 ноября 2026 г., 00:31 МСК🤖 Auto

Together AI и Ollama: как ускорить агентов с длинным контекстом

Вместе с Ollama Together AI представили решение для защиты префиксного кэша, что критически важно для снижения задержек в длинных сессиях агентов.

Баннер новости 12076

Проблема длинных сессий

В агентных системах каждый новый шаг (turn) часто требует отправки всей истории сессии обратно в модель. Это приводит к повторному вычислению одних и тех же токенов, что резко увеличивает задержки и стоимость инференса. Без оптимизации производительность падает экспоненциально с ростом длины контекста.

Решение: защита префиксного кэша

Together AI и Ollama разработали архитектуру, которая позволяет эффективно использовать префиксный кэш (prefix cache) на уровне как приложения, так и GPU. Ключевая идея — избегать повторного вычисления общих префиксов запроса, сохраняя их в памяти и переиспользуя для последующих шагов агента.

Технические детали

Решение включает:

  • Интеграцию на уровне harness (оркестратора агентов) для управления состоянием сессии.
  • Оптимизацию на уровне GPU для быстрого доступа к кэшированным тензорам.
  • Поддержку открытых моделей, что делает решение доступным для широкого круга разработчиков.

Значение для индустрии

Эта оптимизация позволяет значительно сократить время отклика (latency) и стоимость инференса для агентов, работающих с длинными контекстами. Это важный шаг к созданию более эффективных и масштабируемых AI-агентных систем, использующих открытые модели.

Источник: Together AI ↗