Проблема: коллапс общих допустимых направлений
Современные большие языковые модели (LLM) требуют частых обновлений знаний, но существующие методы редактирования (например, ROME или MEMIT) терпят неудачу при последовательном применении к мультизадачным сценариям. Авторы статьи, принятой в NeurIPS 2026, выявили корневую причину этого явления: междоменное несовпадение нуль-пространств (inter-domain null-space misalignment).
Разнородные задачи порождают различные геометрии матриц Якоби. При попытке обновить модель для новой задачи, общее нуль-пространство (направление, в котором можно менять веса, не затрагивая старые знания) резко сужается. Это оставляет слишком мало «допустимых направлений» для бесконфликтного обновления, что приводит к деградации модели.
Решение: MuEdit и Индекс Конфликта
Для борьбы с этим эффектом предложена методика MuEdit, состоящая из двух ключевых компонентов:
- Conflict Index (Индекс Конфликта): метрика для количественной оценки геометрического вмешательства между задачами.
- Conflict-aware ordering: алгоритм упорядочивания задач, который минимизирует кумулятивное вмешательство, обновляя модели в оптимальной последовательности.
- Dynamic low-rank approximation: динамическое низкоранговое приближение, которое расширяет нуль-пространство, когда простого упорядочивания недостаточно.
Результаты и бенчмарки
Эксперименты проводились на пяти функциональных доменах и трех различных архитектурах бэкбон-моделей. MuEdit демонстрирует значительное превосходство над существующими базовыми методами (baselines) в задачах мультизадачного редактирования, сохраняя при этом общие способности модели (general capabilities). Метод также показал устойчивость при инкрементальном поступлении новых задач.
| Компонент метода | Функция | Решаемая проблема |
|---|---|---|
| Conflict Index | Количественная оценка | Геометрическое вмешательство между доменами |
| Conflict-aware ordering | Оптимизация порядка | Минимизация кумулятивного interference |
| Dynamic low-rank approx. | Расширение пространства | Увеличение допустимых направлений для обновлений |
Значение для индустрии
Работа Songshi Liang и соавторов (включая Ting-En Lin, Yuchuan Wu и др.) закрывает критический пробел в области оперативного обучения LLM. Возможность последовательно обновлять знания из гетерогенных доменов без потери исходных компетенций делает модели более живыми и адаптивными, снижая необходимость в полном переобучении (fine-tuning) с нуля.
Источник: arXiv cs.AI ↗
