Революция в хранении: от 201 ГБ к 6 ГБ
Лаборатория Sky Computing (UC Berkeley) представила LEANN (Low-storage Approximate Nearest Neighbor) — векторный индекс, решающий главную проблему RAG-систем: избыточный расход памяти. Традиционные индексы, такие как HNSW, требуют хранения полных векторных представлений, что часто превышает размер исходных данных. LEANN меняет парадигму: он хранит только сжатый граф и таблицу продуктного квантования (PQ), а эмбеддинги восстанавливаются «на лету» в момент запроса.
Результаты впечатляют: индекс из 60 миллионов чанков Wikipedia, занимавший 201 ГБ, сжимается до 6 ГБ. При этом точность поиска остается сопоставимой с классическими методами, что делает возможным запуск сложных RAG-пайплайнов на устройствах с ограниченной памятью, включая MacBook M1 Ultra и рабочие станции с 32 ГБ ОЗУ.
Техническая суть: как это работает без лагов?
Ключевая инновация LEANN — гибридный подход к поиску, который минимизирует вычислительные затраты. Вместо загрузки всех векторов в память, система использует три механизма:
- Двухуровневый поиск: Сначала дешевые расстояния PQ ранжируют кандидатов. Точная рекомпутация эмбеддингов происходит только для топ-кандидатов.
- Динамическая пакетная обработка: Кандидаты из нескольких шагов графа группируются (например, по 64 штуки) для эффективного использования GPU.
- Сохранение высокоуровневых узлов: Граф прунится, но топ-2% «хабов» (связных узлов) сохраняют высокую степень связности для точности.
Хотя рекомпутация занимает около 76% времени запроса, оптимизации дают ускорение в 1.8 раза по сравнению с базовым подходом. LEANN построен на базе FAISS и лицензирован под MIT.
Сравнение производительности: LEANN против HNSW и DiskANN
В бенчмарках на датасетах NQ, TriviaQA, GPQA и HotpotQA (корпус 60M passages) LEANN демонстрирует баланс, недоступный другим решениям. Ниже приведены ключевые метрики с RTX 4090:
| Метрика | LEANN | HNSW (FAISS) | DiskANN | IVF-Recompute (EdgeRAG) |
|---|---|---|---|---|
| Размер индекса (76 GB corpus) | 4 GB | 188 GB | 270 GB | 20 GB |
| Точность NQ (90% Recall@3) | 25.5% | 25.5% | Не раскрыто | 17.9% |
| Время поиска NQ | 2.48 s | 0.05 s | 0.03 s | 307.61 s |
| Время поиска HotpotQA | 7.12 s | 0.05 s | 0.11 s | 429.46 s |
| Вмещение в 32 GB RAM | Да | Нет (OOM) | Да | Да |
Практическое применение и экосистема
LEANN — это не просто алгоритм, а готовый инструмент для разработчиков. Репозиторий предлагает приложения для семантического поиска по документам, истории браузера, сообщениям Apple Mail, WeChat и iMessage. Поддерживается интеграция через MCP-серверы для Slack, Twitter и Claude Code.
В тестах на наборе задач SWE-Bench Pro LEANN показал 24.2% релевантности при поиске кода (против 11.4% у BM25), используя на 8.4% меньше токенов. Система кроссплатформенна: поддерживает Ubuntu, Arch, WSL, macOS и Windows. Для установки достаточно выполнить uv pip install leann.
Почему это важно?
Победа в номинации Best Research Paper на MLSys 2026 подтверждает значимость подхода. LEANN демократизирует доступ к мощным RAG-системам, устраняя барьер в виде необходимости в серверах с терабайтами памяти. Это шаг к тому, чтобы персональные AI-ассистенты могли эффективно работать с огромными базами знаний прямо на устройстве пользователя, обеспечивая приватность и скорость, недостижимые для облачных аналогов при тех же аппаратных ограничениях.
Источник: MarkTechPost ↗