В мире больших языковых моделей (LLM) длина контекста остается одним из главных вызовов. Чем длиннее текст, тем больше вычислительных ресурсов требуется для обработки внимания (attention mechanism). Стандартный подход, известный как "dense attention", требует квадратичной сложности от длины последовательности, что делает обработку миллионов токенов практически невозможной без серьезных оптимизаций. В ответ на эту проблему компания Zyphra представила ZHA (Zyphra Hierarchical Attention) — инновационный метод разреженного внимания, который кардинально меняет подход к индексации ключей (keys) в кэше KV.
Главная проблема существующих методов разреженного внимания заключается в том, что хотя само вычисление внимания становится разреженным, процесс выбора, какие именно токены важны, все еще требует сканирования всего контекста. Это создает узкое место, особенно при работе с контекстами близкими к 1 миллиону токенов, где индексация может занимать до 90% времени работы слоя. ZHA решает эту проблему, делая сам процесс поиска разреженным, используя иерархическую древовидную структуру. В этой статье мы подробно разберем, как работает ZHA, как она обучается, какие результаты показывает на бенчмарках и что это значит для разработчиков AI.
01Что такое Zyphra Hierarchical Attention (ZHA)?
ZHA — это метод разреженного внимания, разработанный компанией Zyphra, который находит релевантные ключи (keys) путем поиска в древовидной структуре. Важно отметить, что ZHA сохраняет полный кэш KV (Key-Value cache), но древовидный индексатор решает только одну задачу: определяет, какие именно сохраненные ключи должен прочитать каждый запрос (query). Это фундаментальное отличие от методов, которые полностью отбрасывают части кэша.
Существующие методы с фиксированным состоянием, такие как SSM (State Space Models) и скользящие окна, достигают предела эффективности при увеличении длины контекста. С другой стороны, методы с тонкозернистым разреженным вниманием, такие как DeepSeek Sparse Attention, оценивают каждый прошлый токен с помощью индексатора. Хотя итоговое внимание становится разреженным, сам индексатор все равно растет вместе с полным контекстом, что приводит к линейному или даже квадратичному росту затрат на индексацию. ZHA делает поиск внутри этого процесса разреженным, что позволяет масштабироваться на гораздо более длинные последовательности.
Как работает древовидный индексатор ZHA?
Процесс построения дерева в ZHA начинается с разделения ключей на непрерывные чанки (блоки). Каждый чанк сжимается до сводного ключа (summary key). Эти сводки затем группируются и снова сжимаются на каждом уровне иерархии. Например, при размере чанка 4 и 6 уровнях дерева, один узел верхнего уровня может охватывать 4096 токенов. Это позволяет моделировать внимание на разных уровнях абстракции.
Сводки генерируются с использованием небольшого набора обучаемых "reference queries" (эталонных запросов). Каждый такой эталонный запрос дает оценку логарифмической массы внимания на касательной плоскости. Максимум по этим плоскостям аппроксимирует то, сколько внимания любой будущий запрос может уделить данному чанку. Таким образом, дерево служит эффективным фильтром, который отбрасывает нерелевантные ветви до того, как будут затронуты сырые записи KV.
Механизм маршрутизации Top-p
На этапе декодирования (decode time) запрос оценивает узлы верхнего уровня дерева. Алгоритм сохраняет наименьшее количество узлов, которые содержат долю p (обычно 0.95) оценочной массы внимания. Затем он расширяет только тех детей (потомков) этих узлов, повторяя процесс до тех пор, пока не достигнет сырых записей KV. Этот подход делает бюджет внимания адаптивным.
Например, запрос, требующий поиска одного конкретного факта, затронет лишь несколько ветвей дерева. В то же время запрос, которому нужно собрать множество разрозненных фактов из разных частей документа, расширит больше ветвей. При этом первый токен всегда сохраняется как "attention sink" (сток внимания), что является стандартной практикой для обеспечения стабильности генерации. Такая адаптивность позволяет ZHA эффективно балансировать между скоростью и точностью в зависимости от сложности запроса.
02Сравнение производительности: ZHA против плотного внимания и MSA
Команда Zyphra провела обширные тесты, конвертировав модель Qwen3.6-35B-A3B с использованием двух типов деревьев: "deep" (глубокое, чанк 4, 6 уровней) и "wide" (широкое, чанк 256, 1 уровень). Оба варианта использовали 16 эталонных запросов и параметр p = 0.95. Для сравнения также была обучена модель MiniMax Sparse Attention (MSA) на 40 миллиардах токенов, что в 10 раз превышает бюджет обучения ZHA.
Результаты тестирования на различных бенчмарках показывают впечатляющие цифры. На задаче AIME 2026 плотное внимание показало результат 93.1%, ZHA deep — 91.2%, ZHA wide — 90.8%, а MSA — 91.7%. В задаче SWE-bench Verified плотное внимание и ZHA deep показали одинаковый результат 67.4%, в то время как ZHA wide превзошла их, показав 68.4%. На MMLU-Pro и GPQA Diamond результаты всех версий ZHA и плотного внимания находятся в пределах 1-2 процентных пунктов друг от друга.
Однако самые значительные различия проявляются в задачах на работу с длинными контекстами. На бенчмарке RULER-13 (256K контекст) плотное внимание показало 96.0%, ZHA deep — 93.3%, ZHA wide — 96.2%, а MSA — всего 77.1%. Это подчеркивает слабость MSA в сохранении точности на очень длинных последовательностях. На LongBench v2 (thinking) плотное внимание показало 58.0%, в то время как ZHA deep превзошла его, показав 63.4%, а ZHA wide — 62.4%. MSA в этом тесте показала лишь 49.3%.
Исследование 28 различных геометрий деревьев показало, что точность RULER оставалась стабильной при обращении к 10-30% ключей. При фиксированной степени сжатия более глубокие деревья сохраняли точность на более высоких уровнях разреженности. Была разработана модель с 4 параметрами, которая предсказывает точность RULER на основе геометрии дерева с ошибкой RMSE 1.44 пункта, что открывает возможности для автоматической оптимизации структуры дерева под конкретные задачи.
03Скорость и производительность: моделирование против реальности
Zyphra не выпустила оптимизированных ядер (kernels) для ZHA, поэтому данные о скорости основаны на моделировании задержки декодирования для одного слоя при размере пакета 1 с использованием roofline-модели H100 BF16. Легкая настройка использует 1 эталонный запрос, чанк 8 и p = 0.75. В этой модели ZHA превосходит плотное внимание при контекстах около 48K токенов и MSA при 0.48M токенов.
При 1 миллиарде токенов прогнозируемое ускорение достигает 373-417x по сравнению с плотным вниманием и 52-58x по сравнению с MSA. В блоге Zyphra добавляются данные для 10 миллионов токенов: ускорение составляет 32-35x над плотным вниманием и 4.7-5.1x над MSA. Однако при 256K токенах modeled gains (моделируемые приросты) становятся скромнее. Настройки, находящиеся на Парето-фронте, достигают ускорения 1.93x-2.28x над плотным вниманием, сохраняя 92.7-96.4% точности RULER-13. Важно понимать, что маршрутизация и выбор токенов добавляют свои собственные накладные расходы, которые могут снижать теоретическое ускорение на практике.
04Обучение ZHA на существующих моделях
Одним из главных преимуществ ZHA является то, что базовая модель остается замороженной (frozen). Обучаются только эталонные запросы (reference queries). Функция потерь KL (Kullback-Leibler divergence) согласовывает массу плотного внимания для каждого чанка на каждом уровне. Эксперименты с моделями Qwen и Nemotron использовали 3.98 миллиарда токенов за 1900 шагов при контексте 32K токенов. Это относительно небольшой объем данных для обучения, что делает метод доступным для внедрения.
Zyphra сообщает, что модели с размером менее 1 миллиарда параметров испытывали трудности при конвертации. Результаты значительно улучшились при размере модели 4 миллиарда параметров и выше. Это указывает на то, что ZHA лучше всего подходит для средних и крупных моделей, где есть достаточная емкость для извлечения полезных паттернов из эталонных запросов. Для локального запуска в России это означает, что для эффективного использования ZHA потребуется модель как минимум среднего размера, что может быть ресурсоемко, но все же значительно дешевле, чем полное переобучение.
05ZHA против MSA, DSA и NSA: сравнительный анализ
Сравнение ZHA с другими методами разреженного внимания, такими как MiniMax Sparse Attention (MSA), DeepSeek Sparse Attention (DSA) и Neural Sparse Attention (NSA), выявляет ключевые различия в подходах к индексации и выбору токенов. ZHA использует многоуровневое дерево сжатых ключей с адаптивным правилом выбора top-p на каждом уровне. MSA использует плоский индексатор блоков для каждой группы GQA, выбирая топ-16 блоков по 128 токенов. DSA использует индексатор молнии на уровне токенов, выбирая топ-2048 токенов. NSA комбинирует сжатие, выбор и скользящее окно, используя 16 блоков по 64 токена и окно в 512 токенов.
Затраты на индексатор в ZHA заявлены как подлинейные на каждый запрос, в то время как MSA имеет квадратичную ветвь индексации, а DSA оценивает каждый кэшированный токен. ZHA добавляется к предварительно обученной модели с использованием около 4 миллиардов токенов при замороженном остове, в то время как MSA требует 400 миллиардов токенов для продолжения обучения (CPT). DSA использует продолженное обучение версии V3.1-Terminus.
С точки зрения максимальной показанной модели, ZHA протестирована на 35B MoE (Qwen3.6-35B-A3B), MSA — на 109B MoE (6B активных), DSA — на 685B MoE, а NSA — на 27B MoE (~3B активных). Сообщенное ускорение для ZHA основано только на моделировании (H100 roofline), в то время как MSA заявляет ускорение 14.2x при префилле и 7.6x при декодировании при 1M токенов (H800). Для DSA и NSA данные о скорости не раскрыты или представлены только в виде графиков.
06Что это значит на практике
Внедрение ZHA открывает новые возможности для работы с длинными контекстами в локальных и облачных средах. Для разработчиков в России, где доступ к мощным облачным GPU может быть ограничен или дорог, возможность использовать замороженные модели с минимальными дополнительными параметрами является огромным преимуществом. ZHA позволяет достичь качества, близкого к плотному вниманию, при значительно меньшем использовании ключей, что снижает требования к памяти и вычислительной мощности.
Однако важно помнить, что текущие данные о скорости являются смоделированными, а не измеренными на реальном оборудовании. Отсутствие оптимизированных ядер означает, что реальное ускорение может отличаться от прогнозируемого. Разработчикам следует проводить собственные тесты на своем оборудовании, особенно при работе с контекстами свыше 100K токенов. Кроме того, метод лучше всего подходит для моделей среднего и большого размера (от 4B параметров), что может ограничить его применение на очень легких моделях.
ZHA представляет собой значительный шаг вперед в области разреженного внимания, предлагая элегантное решение проблемы масштабирования индексатора. Хотя метод все еще находится на стадии исследований и требует дальнейшей оптимизации, его потенциал для создания эффективных и масштабируемых LLM огромен. Следующие шаги включают разработку оптимизированных ядер, тестирование на более широком спектре моделей и интеграцию с существующими фреймворками для машинного обучения.
07Заключение
Zyphra Hierarchical Attention (ZHA) — это инновационный метод разреженного внимания, который использует древовидную структуру для эффективного поиска релевантных ключей в кэше KV. Метод демонстрирует высокую эффективность на длинных контекстах, превосходя плотное внимание в некоторых задачах и значительно опережая другие методы разреженного внимания, такие как MSA, в сохранении точности. Хотя текущие данные о скорости являются смоделированными, потенциал ZHA для создания масштабируемых и эффективных больших языковых моделей очевиден. Для разработчиков AI это открывает новые возможности для работы с длинными документами, кодом и сложными агентами, требующими обширного контекста.
Дальнейшее развитие ZHA, включая оптимизацию ядер и тестирование на различных архитектурах, может сделать этот метод стандартом для обработки длинных контекстов в будущем. Следите за обновлениями от Zyphra и исследуйте технические детали в их статье на arXiv, чтобы быть в курсе последних достижений в области эффективного внимания.
Источник: MarkTechPost ↗