От абстракции к метрике: новый подход к сжатию моделей
Команда исследователей во главе с Дэвидом Берманом (David S. Berman) из Королевского колледжа Лондона (QMUL) предложила фундаментально новый взгляд на задачу прунинга (обрезки) нейронных сетей. Вместо эвристического удаления весов с наименьшим абсолютным значением, метод использует дифференциально-геометрическое расстояние в пространстве параметров модели, определяемое метрикой Фишера (Fisher Information Metric).
Суть метода заключается в том, что установка веса в ноль эквивалентна перемещению модели на гиперповерхность, где этот параметр равен нулю. Оптимальный прунинг — это минимизация геодезического расстояния до этой поверхности, что гарантирует наименьшее изменение функционала потерь и сохранение точности модели.
Иерархия оптимизации и вычислительная эффективность
Авторы не просто предложили «идеальный», но вычислительно сложный метод, а выстроили иерархию аппроксимаций геодезического расстояния. Это позволяет выбирать баланс между точностью и скоростью. Метод демонстрирует, что традиционный magnitude pruning (удаление по модулю) является лишь грубым приближением более глубокой геометрической истины. Промежуточные уровни аппроксимации обеспечивают near-optimal performance (почти оптимальную производительность) при значительно меньших вычислительных затратах.
Экспериментальные результаты: Vision Transformers и MLP
Методика протестирована на двух ключевых архитектурах: полносвязных сетях (MLP) и Vision Transformers (ViT). Тестирование проводилось на датасетах MNIST и CIFAR-10 в полном диапазоне прунинга от 0% до 100% с использованием пяти случайных начальных условий (random seeds).
Новый подход статистически значимо превосходит как magnitude pruning, так и методы, основанные исключительно на локальной информации Фишера, по двум ключевым метрикам: Accuracy (точность) и MCC (коэффициент корреляции Мэтьюза). Это особенно важно для задач с несбалансированными классами, где MCC является более надежным показателем, чем простая точность.
Сравнительные характеристики методов
| Метод прунинга | Основной принцип | Точность (Accuracy) | Корреляция Мэтьюза (MCC) |
|---|---|---|---|
| Magnitude Pruning | Удаление весов с наименьшим абсолютным значением | Базовый уровень | Базовый уровень |
| Local Fisher Info | Оценка чувствительности по локальной информации Фишера | Выше базового | Выше базового |
| Geodesic Fisher (Proposed) | Минимизация геодезического расстояния в пространстве моделей | Максимальная | Максимальная |
Значение для индустрии
Работа (QMUL-PH-26-32) предоставляет не только state-of-the-art методологию, но и строгое математическое обоснование того, почему одни методы сжатия работают лучше других. Это открывает путь к созданию более эффективных и компактных моделей для edge-устройств и мобильных платформ без потери качества инференса.
Источник: arXiv cs.AI ↗