Суть прорыва: хранение состояния, а не просто контекст
Обычно большие языковые модели (LLM) при каждом запросе заново вычисляют внутреннее ключ-значение (KV) состояние для всего промпта. Это требует огромных вычислительных ресурсов. Новый метод, реализованный в пакете galahad-kv, предлагает иной подход: он сохраняет KV-состояние каждого блока текста (примерно 16 000 токенов) в зашифрованное хранилище на локальном NVMe-диске. При повторном обращении к этому фрагменту система загружает состояние «байт-в-байт», полностью исключая необходимость его пересчета.
Масштаб тестирования и метрики
Автор провел строгое тестирование на реальном публичном тексте объемом 50 000 000 токенов. Эксперимент выполнялся на одной видеокарте NVIDIA H100 с использованием сервера vLLM и моделей Gemma 4 12B и Gemma 4 31B. Ключевые результаты:
- 100% точность загрузки: Все 100 проверенных блоков были успешно загружены из хранилища на глубине от 0 до 50 млн токенов без ошибок.
- Скорость: Загрузка блока с диска в 2.8x – 4.3x раз быстрее, чем его пересчет на GPU.
- Энергоэффективность: Потребление энергии GPU снижено в 8.8x – 12.3x раз.
- Память: Объем используемой видеопамяти (VRAM) оставался плоским (flat) на протяжении всего потока в 50 млн токенов, не завися от длины истории.
Качество ответов и надежность
Система проверялась на способность модели отвечать на вопросы о фактах, «спрятанных» миллионы токенов назад. Результаты показали высокую надежность:
| Модель | Правильных ответов (из 100) | Галлюцинаций |
|---|---|---|
| Gemma 4 12B | 82 | 0 |
| Gemma 4 31B | d>98 | 0 |
Важно отметить: ни одна из моделей не придумала ответ (hallucination rate = 0), что критично для долгосрочной памяти.
Ограничения и технические детали
Автор подчеркивает, что это не расширение окна внимания (attention window) в традиционном смысле. Система работает с повторным использованием сохраненного состояния: один блок загружается за раз. Качество ответа зависит от архитектуры самой модели. Запись в память — это одноразовая стоимость, но система требует терабайтов локального NVMe-диска для хранения состояний. Протокол тестирования разработан так, чтобы исключить типичные способы «накрутки» бенчмарков длинного контекста.
Источник: arXiv cs.CL ↗