Суть TurboQuant: вращение без констант
Традиционные квантователи требуют хранения масштаба (scale) и смещения (zero point) для каждого блока значений, что добавляет 1–2 бита накладных расходов. TurboQuant предлагает «data-oblivious» подход: случайная ортогональная ротация вектора, после которой каждая координата подчиняется известному распределению (близкому к Гауссу с дисперсией 1/d). Это позволяет использовать один фиксированный кодбук Lloyd-Max для всех входных данных без этапа обучения.
Ключевой механизм — ротация превращает анизотропные векторы (где энергия сосредоточена в нескольких координатах) в изотропные сферы. Это делает квантование каждой координаты независимым и эффективным, снижая MSE (среднеквадратичную ошибку) по сравнению с прямым квантованием без ротации.
Реализации в Qdrant и vLLM: что сохранили, а что отбросили
Две крупные системы внедрили TurboQuant, но их решения различаются. Qdrant 1.18 использует вариант MSE (Mean Squared Error) и добавил собственные расширения, не описанные в оригинальной статье. vLLM, напротив, намеренно исключил модуль QJL (Quantization with Joint Learning), который в оригинальной работе предназначен для устранения смещения внутренних произведений (unbiased inner products).
| Параметр | Qdrant 1.18 | vLLM (TurboQuant module) |
|---|---|---|
| Базовый метод | MSE-вариант + собственные расширения | Базовый TurboQuant |
| Коррекция QJL | Не указано (вероятно, интегрировано в расширения) | Намеренно исключен |
| Цель оптимизации | Точность поиска (recall) на аннотированных датасетах | Скорость инференса LLM |
| Статус QJL | — | Опущен, так как не считается критичным для текущих задач |
Метрики точности: цифры из продакшена
Qdrant представил результаты тестирования на десяти датасетах. Для 4-битного квантования потеря точности (recall) составляет всего около 2 пунктов по сравнению с скалярным квантованием (FP32/FP16). Для 2-битного квантования recall на 9–24 пункта выше, чем у бинарного квантования, что делает метод жизнеспособным для сжатия KV-кэша.
Оригинальная статья TurboQuant сообщает, что MSE метода находится в пределах 2.7x от теоретического нижнего предела. В тестовом сниппете на NumPy для 4-битного квантования ротированная MSE составила 0.009, в то время как неротированная — 0.009 (в сравнении с 1.05 для неротированных данных в тесте с анизотропией).
Критика и споры вокруг бенчмарков
Несмотря на успехи, результаты не однозначны. Независимый бенчмарк KV-кэша показал, что метрика perplexity может скрывать повреждения на хвостах распределения (tail damage). Авторы альтернативных методов RaBitQ и EDEN оспаривают атрибуцию результатов и сравнение скорости, указывая на возможные методологические ошибки в сравнении производительности.
Разработка велась с участием AI-ассистента Claude, что подчеркивает скорость итераций, но требует осторожности при интерпретации независимых валидаций. Выбор vLLM исключить QJL может быть компромиссом между скоростью и точностью на высоких перцентилях (99.9th-percentile KL), что важно для критичных к ошибкам приложений.
Источник: Towards AI pub ↗