Скрытые предпочтения и проблема аудита
Исследователи из Университета Шабджит (Md Rayhanul Masud, Mst Suraiya Akter Shefa) провели эксперимент с моделью Qwen2.5-7B-Instruct, чтобы проверить, как квантование влияет на «сублимнально обученные» предпочтения. В модель была внедрена скрытая связь: «любимое животное — панда». Авторы измерили «чистую силу» этого предпочтения как разницу в вероятности ответа про панд между обученной моделью и нейтральным контролем.
Ключевой вопрос заключался в том, сохраняется ли это поведение при переходе от стандартного 16-битного формата (FP16/BF16) к сжатым 4-битным весам, которые часто используются для ускорения инференса. Результаты показали, что квантование не просто сжимает веса, но и перестраивает то, как модель выражает свои внутренние состояния.
Разные квантизаторы — разный эффект
Эксперимент выявил резкий контраст между двумя популярными методами квантования при 4-битной точности. Поведение оставалось стабильным при 8-битном сжатии, но при переходе к 4 битам модели разошлись в противоположных направлениях:
- HQQ (Half-Quadratic Quantization): Усилила скрытое предпочтение. Вероятность ответа про панду выросла с ~55% (при 16 бит) до 64% (при 4 бит), в то время как у контрольной группы она осталась на уровне ~17%. Чистая сила предпочтения выросла примерно в 1.3 раза.
- NormalFloat (NF4): Подавила предпочтение. Чистая сила снизилась до ~0.3 от значения 16-битной версии, несмотря на то, что размер ошибок округления был сопоставим с HQQ (в пределах 4%).
Структура ошибок округления важнее их величины
Авторы обнаружили, что причина расхождений кроется не в величине ошибок квантования, а в их пространственном распределении. Чтобы доказать это, они провели контрольный эксперимент: случайным образом перемешали ошибки округления внутри каждой группы квантования HQQ, не меняя их абсолютные значения. В результате «чистая сила» предпочтения колебалась от 0.2 до 1.6 от исходного значения. Это доказывает, что архитектура ошибок напрямую диктует поведение модели.
Почему это важно для индустрии
Главный вывод исследования: аудит безопасности, проведенный на 16-битной версии модели, не может надежно оценить риски при развертывании в 4-битном формате. Внутреннее состояние модели и её внешнее поведение расходятся непредсказуемо при сжатии. Это создает риск, когда модель, прошедшая проверку на отсутствие вредоносных паттернов в полном разрешении, начинает проявлять усиленные или искаженные предпочтения в продакшене.
| Метрика / Параметр | 16-bit (Baseline) | 4-bit (HQQ) | 4-bit (NF4) |
|---|---|---|---|
| Вероятность ответа «Панда» (Обученная) | ~55% | ~64% | Снижена (см. текст) |
| Вероятность ответа «Панда» (Контроль) | ~17% | ~17% | ~17% |
| Чистая сила предпочтения (Net Strength) | 1.0x (База) | ~1.3x (Усиление) | ~0.3x (Подавление) |
| Размер ошибок округления | 0 | ~4% | ~4% |
Исследование подчеркивает необходимость тестирования безопасности на точно тех весах, которые будут использоваться в финальном продукте, а не на абстрактных float16-версиях.
Источник: arXiv cs.CL ↗