Суть открытия: декодируемо, но не отделимо
Команда исследователей во главе с Маркусом Армстронгом провела масштабный анализ параметрической модульности в больших языковых моделях (LLM). Главный вопрос: можно ли найти в нейронах модели «скорлупы» (shells) — группы нейронов, ответственные за конкретную область знаний, удаление которых не затронет другие навыки?
Результат оказался парадоксальным: хотя доменная принадлежность модели можно линейно декодировать с точностью выше 85%, причинно-следственные матрицы повреждений оказались «плоскими» на уровне академических предметов. Это означает, что знания о физике или истории не локализованы в отдельных кластерах нейронов, а распределены по всей сети.
Методология и масштаб
Авторы применили унифицированную каузальную методологию, протестировав модели объемом от 1.5B до 7B параметров. Были проанализированы 939 008 нейронов FFN (Feed-Forward Network) в рамках восьми различных доменов. Исследование сравнивало два уровня гранулярности данных: академические предметы (математика, история) и языки/модальности (код, испанский, китайский).
Ключевые метрики: предметы против языков
Разница в результатах между уровнями гранулярности оказалась радикальной. Для академических предметов модульность практически отсутствует, тогда как для языков и кода она выражена ярко.
| Характеристика | Уровень: Академические предметы | Уровень: Языки и модальности |
|---|---|---|
| Доля нейронов с селективностью >60% | 0% (ни один нейрон не превысил порог) | 0.65–1.14% всех нейронов |
| Характер матрицы повреждений | Плоская (flat), нет избирательности | Почти идеально диагональная (соотношения до 595:1) |
| Влияние маскирования на математику | Не применимо (нет изолированных модулей) | Снижение точности на 16–24 п.п. при удалении кодовых нейронов |
| Пересечение множеств нейронов (IoU) | — | < 0.003 (модули практически не пересекаются) |
Почему это важно для индустрии
Результаты опровергают надежды на простую «хирургическую» очистку моделей от нежелательных знаний или специфических доменов. Модульные «скорлупы» формируются только там, где обучающие данные были модульными на уровне токенов (например, код или отдельные языки имеют четкие границы). В случае же сложных интеллектуальных дисциплин знания глубоко интерлированы (переплетены) с другими навыками.
Кроме того, авторы отмечают, что сила модульных скорлуп монотонно растет с увеличением масштаба модели, но их пространственное расположение исключает возможность групповой селективной квантования. Это накладывает ограничения на методы сжатия LLM, требующие учета распределенного характера хранения сложных знаний.
Источник: arXiv cs.AI ↗