Бизнес3 октября 2026 г., 16:16 МСК🤖 Auto

AI потребляет токены в 5 раз больше людей: проблема кэша и памяти

ИИ-агенты используют в 5 раз больше токенов, чем люди, но 85% этого объема — повторное чтение кэшированных данных. Это создает дефицит HBM-памяти для дата-центров.

Баннер новости 8853

ИИ-агенты доминируют по объему запросов

Генеральный директор Futurum Group Дэниел Ньюман опубликовал данные платформы OpenRouter, которые показывают беспрецедентный сдвиг в потреблении вычислительных ресурсов. По состоянию на август 2026 года ИИ-агенты использовали 7,3 триллиона токенов, в то время как люди — всего 1,4 триллиона. Это соотношение составляет 5:1. С момента пересечения кривых в феврале 2026 года использование агентов выросло в 14 раз, тогда как человеческое — лишь в 2,8 раза.

Скрытая природа трафика: кэш против генерации

Ключевой вывод исследования Andreessen Horowitz (a16z) заключается в том, что подавляющее большинство токенов не является результатом новой генерации. Более 85% токенов, потребляемых агентами, — это кэшированные промпты. Агенты постоянно перечитывают уже обработанный контекст, что значительно дешевле с точки зрения вычислений, но критично для хранения данных в оперативной памяти.

Показатель ИИ-агенты Люди
Объем токенов (август 2026) 7,3 трлн 1,4 трлн
Доля кэшированных токенов >85% Низкая (генерация нового)
Рост с февраля 2026 14x 2.8x

Проблема HBM и KV-кэша

Несмотря на низкую стоимость кэшированных токенов, они требуют значительных объемов высокоскоростной памяти (HBM). Данные хранятся в KV-кэше, который уже превышает пропускную способность GPU. Пример из практики консалтинговой компании, тестировавшей DeepSeek на Nvidia H200, показал, что 96% входных данных для агентов Claude Code составляло повторное чтение старых диалогов. Это означает, что счет за токены может быть занижен, но физическая нагрузка на память дата-центров — реальна и растет.

Прогноз дефицита памяти

Производители памяти, такие как Micron, предупреждают об усугублении нехватки RAM и HBM в 2027–2028 годах. Если прогноз Ньюмана о росте соотношения до 10x, 20x или 30x оправдается, конкуренция за память между ИИ-агентами и пользователями ПК станет острой. Для конечных потребителей это может означать рост цен на оборудование из-за приоритизации поставок HBM для корпоративного ИИ-сектора.

Источник: Tom's Hardware ↗