Ошибка «мешка значений» в архитектуре Transformer
Основная проблема современных Large Language Models (LLM) — квадратичная сложность механизма внимания (attention) относительно длины промпта. Для ускорения инференса используются методы sparse attention, которые отбрасывают часть взаимодействий query-key. Однако авторы новой работы (arXiv:2610.10871) утверждают, что существующие подходы трактуют матрицу внимания как «мешок значений» (bag of values), просто отбирая скалярные элементы с наибольшей массой.
Это концептуальная ошибка. Матрица внимания используется не как набор независимых чисел, а как структурированная структура, гдеEntries совместно определяют выход через умножение на value-векторы. Игнорирование этой структуры приводит к потере информации, которую нельзя восстановить простым отбором «самых больших» чисел.
Решение: Matrix Approximation Sparse Attention (MASA)
Команда во главе с Фан Ванем (Fang Wan) предлагает заменить сырое ранжирование по массе внимания на замкнутую формулу (closed-form score). Эта метрика измеряет, насколько каждый спарсный блок снижает ошибку аппроксимации матричного произведения. MASA позиционируется как теоретически обоснованный плагин, который можно добавить к существующим фреймворкам спарсного внимания без изменения их ядер (kernels) или бюджетов вычислений.
Эмпирические результаты
Эксперименты проводились на множестве базовых моделей (LLM backbones) и бенчмарков. Интеграция MASA показала стабильный прирост точности по сравнению с базовыми методами отсечения внимания. Ниже приведена сравнительная логика подхода:
| Характеристика | Традиционный Sparse Attention | Предлагаемый MASA |
|---|---|---|
| Базовая гипотеза | Важность определяется величиной скаляра (score) | Важность определяется влиянием на ошибку аппроксимации матрицы |
| Метод отбора | Отбор элементов с максимальной массой (top-k) | Оптимизация структуры для минимизации ошибки матричного произведения |
| Интеграция | Часто требует переписывания ядер | Plug-in решение, совместимое с существующими ядрами |
| Результат | Риск потери структурной информации | Стабильный прирост точности (accuracy gains) |
Почему это важно для индустрии
Работа MASA закрывает важный пробел между теорией линейной алгебры и практикой оптимизации LLM. Если спарсное внимание действительно является задачей аппроксимации матриц, то это открывает путь к более эффективным алгоритмам сжатия контекста. Для разработчиков это означает возможность получить лучшую точность без увеличения вычислительных затрат, просто изменив логику отбора ключевых токенов.
Источник: arXiv cs.CL ↗