Проблема «среднего поля» и многие тела
Традиционные методы глубинного прунинга (depth pruning) часто используют эвристики, оценивающие важность каждого блока трансформера изолированно. В терминах физики это подход «среднего поля» (mean-field), который игнорирует взаимодействия между блоками. Однако удаление одного блока может компенсировать или усугублять потерю качества от удаления другого. Это делает задачу комбинаторной оптимизацией с взаимодействующими бинарными переменными, а не простым ранжированием.
Метод: Изинговское стекло и матрица Гессе
Авторы переформулировали выбор блоков для удаления как задачу ограниченной бинарной оптимизации (CBO), которая математически эквивалентна поиску состояний с низкой энергией в спиновом стекле Изинга. Каждый блок получает бинарную переменную (0 — оставить, 1 — удалить). Используя второе разложение Тейлора функции потерь, исследователи вычисляют матрицу Гессе, где диагональные элементы отражают индивидуальную важность блока, а внедиагональные — пары взаимодействий (couplings) между ними. Минимизация энергии этой системы коррелирует с качеством модели на бенчмарках.
Результаты на Llama-3.3-70B-Instruct
Ключевое преимущество метода — вычисление матрицы Гессе требуется один раз на небольшой калибровочной выборке. После этого оценка любой конфигурации удаления блоков сводится к быстрому расчету энергии без запуска полной модели. Для модели Llama-3.3-70B-Instruct при сжатии на 50% (удаление 40 из 80 блоков) метод показал значительное превосходство над существующими подходами.
| Метрика / Параметр | Значение / Описание |
|---|---|
| Модель | Llama-3.3-70B-Instruct |
| Уровень сжатия | 50% (удаление 40 блоков из 80) |
| Прирост на MMLU | +23 процентных пункта относительно лучших методов удаления блоков |
| Вычислительная сложность | Однократное вычисление Гессе; последующая оценка конфигураций — мгновенно |
| Солверы | Классические (Tabu search), квантовые и квантово-вдохновленные |
Почему важен спектр возбужденных состояний
Исследование показало, что поиск только основного состояния (ground state) с минимальной энергией не всегда дает лучший результат. На примере Llama-3.1-8B-Instruct было обнаружено, что 17-е возбужденное состояние (excited state), предлагающее удаление блока в начале модели, после легкой дообучки превзошло основное состояние. Это опровергает миф о том, что оптимальное удаление всегда представляет собой непрерывный сегмент в середине или конце сети, и подчеркивает важность учета сложных взаимодействий между блоками.
Источник: Hugging Face blog ↗