Суть проблемы и решение ZHA
Существующие методы разреженного внимания (например, DeepSeek Sparse Attention) часто страдают от того, что индексатор, выбирающий ключевые токены, все равно сканирует весь контекст. При длине последовательности около 1 млн токенов этот этап занимает 60–90% времени вычислений слоя. Zyphra Hierarchical Attention (ZHA) решает эту проблему, делая сам процесс поиска разреженным. Метод использует древовидный индексатор, который сжимает ключи (KV cache) в иерархические уровни, позволяя модели быстро отсекать нерелевантные ветки дерева.
Архитектура и эффективность
ZHA не требует переобучения всей модели. Базовая модель остается замороженной, обучаются только 81 920 параметров — так называемые «reference queries» (ссылочные запросы), которые формируют узлы дерева. Для дистилляции на Qwen3.6-35B-A3B потребовалось всего 4 млрд токенов (KL-расстояние) при контексте 32K. Метод поддерживает адаптивный бюджет: запросы, требующие поиска по множеству разрозненных фактов, расширяют больше веток дерева, чем простые запросы.
Сравнение производительности
В бенчмарках ZHA демонстрирует результаты, близкие к плотному вниманию (dense attention), и значительно превосходит конкурентов в задачах долгосрочного поиска. Ниже приведены результаты на модели Qwen3.6-35B-A3B:
| Бенчмарк | Dense Attention | ZHA (Deep Tree) | ZHA (Wide Tree) | MSA (MiniMax) |
|---|---|---|---|---|
| AIME 2026 | 93.1 | 91.2 | 90.8 | 91.7 |
| SWE-bench Verified | 67.4 | 67.4 | 68.4 | 63.6 |
| Terminal-Bench 2.1 | 49.9 | 46.7 | 53.3 | 46.1 |
| MMLU-Pro | 84.9 | 85.3 | 85.2 | 85.3 |
| GPQA Diamond | 84.8 | 85.0 | 85.0 | 83.1 |
| RULER-13 (256K) | 96.0 | 93.3 | 96.2 | 77.1 |
| LongBench v2 (thinking) | 58.0 | 63.4 | 62.4 | 49.3 |
Ключевое отличие видно в бенчмарке RULER-13 (256K): ZHA сохраняет точность на уровне 93.3–96.2%, в то время как MiniMax Sparse Attention (MSA) падает до 77.1%. В LongBench v2 ZHA (deep tree) показывает результат 63.4%, что на 14.1 пункта выше, чем у MSA, при схожем объеме читаемых ключей (1.1% против 1%).
Прогнозируемая скорость
Zyphra не опубликовала оптимизированные ядра (kernels), поэтому данные о скорости получены на основе моделирования на H100 (roofline model). Прогнозы обещают колоссальный ускорение на очень длинных контекстах: при 1 млн токенов скорость декодирования может вырасти в 373–417 раз по сравнению с плотным вниманием. Однако при контексте 256K прирост скромнее — 1.93x–2.28x, так как накладные расходы на маршрутизацию становятся значимыми.
Почему это важно
ZHA доказывает, что иерархический поиск позволяет масштабировать LLM до контекста в сотни тысяч токенов без катастрофического падения качества, характерного для других методов разрежения. Это открывает путь к созданию эффективных агентов, работающих с огромными базами знаний, где критична как скорость, так и точность извлечения информации.
Бенчмарки
| Бенчмарк | Dense | MSA | ZHA deep | ZHA wide |
|---|---|---|---|---|
| AIME 2026 | 93.1% | 91.7% | 91.2% | 90.8% |
| SWE-bench Verified | 67.4% | 63.6% | 67.4% | 68.4% |
| Terminal-Bench 2.1 | 49.9% | 46.1% | 46.7% | 53.3% |
| MMLU-Pro | 84.9% | 85.3% | 85.3% | 85.2% |
| GPQA Diamond | 84.8% | 83.1% | 85% | 85% |
| RULER-13 (256K) | 96% | 77.1% | 93.3% | 96.2% |
Жирным — лучший результат в строке. Источник цифр — официальная публикация.
Источник: MarkTechPost ↗