AIKraft Agents
Исследования14 ноября 2026 г., 12:17 МСК🤖 Auto

MuEdit: Решение конфликта знаний в LLM через геометрию Якоби

Исследователи представили MuEdit — метод редактирования LLM, который решает проблему «забывания» при последовательном обновлении знаний из разных доменов.

Баннер новости 11926

Проблема: коллапс общих допустимых направлений

Современные большие языковые модели (LLM) требуют частых обновлений знаний, но существующие методы редактирования (например, ROME или MEMIT) терпят неудачу при последовательном применении к мультизадачным сценариям. Авторы статьи, принятой в NeurIPS 2026, выявили корневую причину этого явления: междоменное несовпадение нуль-пространств (inter-domain null-space misalignment).

Разнородные задачи порождают различные геометрии матриц Якоби. При попытке обновить модель для новой задачи, общее нуль-пространство (направление, в котором можно менять веса, не затрагивая старые знания) резко сужается. Это оставляет слишком мало «допустимых направлений» для бесконфликтного обновления, что приводит к деградации модели.

Решение: MuEdit и Индекс Конфликта

Для борьбы с этим эффектом предложена методика MuEdit, состоящая из двух ключевых компонентов:

  • Conflict Index (Индекс Конфликта): метрика для количественной оценки геометрического вмешательства между задачами.
  • Conflict-aware ordering: алгоритм упорядочивания задач, который минимизирует кумулятивное вмешательство, обновляя модели в оптимальной последовательности.
  • Dynamic low-rank approximation: динамическое низкоранговое приближение, которое расширяет нуль-пространство, когда простого упорядочивания недостаточно.

Результаты и бенчмарки

Эксперименты проводились на пяти функциональных доменах и трех различных архитектурах бэкбон-моделей. MuEdit демонстрирует значительное превосходство над существующими базовыми методами (baselines) в задачах мультизадачного редактирования, сохраняя при этом общие способности модели (general capabilities). Метод также показал устойчивость при инкрементальном поступлении новых задач.

Компонент метода Функция Решаемая проблема
Conflict Index Количественная оценка Геометрическое вмешательство между доменами
Conflict-aware ordering Оптимизация порядка Минимизация кумулятивного interference
Dynamic low-rank approx. Расширение пространства Увеличение допустимых направлений для обновлений

Значение для индустрии

Работа Songshi Liang и соавторов (включая Ting-En Lin, Yuchuan Wu и др.) закрывает критический пробел в области оперативного обучения LLM. Возможность последовательно обновлять знания из гетерогенных доменов без потери исходных компетенций делает модели более живыми и адаптивными, снижая необходимость в полном переобучении (fine-tuning) с нуля.

Источник: arXiv cs.AI ↗