Разделение логики и содержания
Новое исследование, опубликованное в arXiv, предлагает радикальный взгляд на архитектуру больших языковых моделей. Автор Дэвид Нордфорс (David Nordfors) подтвердил гипотезу о том, что модели хранят реляционные паттерны (архетипы) независимо от предметной области. На примере модели Qwen3.8-27B показано, что нейронные сети разделяют знания на три независимых компонента: сам архетип, тему и язык.
Это означает, что модель может знать, что такое «точка невозврата» (archetype), «политика» (topic) и «английский язык» (language), обрабатывая их в разных группах нейронов. Такая архитектура напоминает принцип модульности, где логика отделена от данных.
Эксперимент с «выключением» нейронов
Для проверки гипотезы исследователи провели серию экспериментов по «затемнению» (silencing) конкретных наборов нейронов. Результаты продемонстрировали четкую специализацию слоев:
- Отключение нейронов архетипа: Модель переставала распознавать паттерн (например, не видела «точки невозврата»), но сохраняла понимание сути текста и контекста.
- Отключение нейронов темы: Модель теряла понимание предметной области (политика, экология), но продолжала корректно идентифицировать логический паттерн.
Эксперимент подтвердил, что эти структуры не были запрограммированы вручную, а самоорганизовались в процессе преподготовки (pretraining).
Архитектура «Сэндвича»
Анализ карт нейронов выявил устойчивую пространственную организацию, которую автор называет «сэндвичем». Слои модели распределяются строго по функционалу:
| Уровень в модели | Функция | Примеры данных |
|---|---|---|
| Внешние слои | Язык (Language) | Английский, испанский, китайский |
| Средние слои | Тема (Topic) | Политика, экология, биология клеток |
| Центральные слои | Архетип (Archetype) | «Точка невозврата», «побеждает сильнейший» |
Эта структура обнаружена во всех протестированных моделях, что указывает на универсальный механизм формирования интеллекта в LLM.
Почему это важно для индустрии
Если архетипы действительно являются архитектурной основой для аналогий, это меняет подход к обучению и интерпретации ИИ. Разделение абстрактной логики от конкретных доменов позволяет:
- Создавать более эффективные модели, переиспользуя «ядро» логики для разных задач.
- Упрощать отладку: можно отключать «предвзятость» темы, не ломая понимание контекста.
- Глубже понимать природу интеллекта, рассматривая его как набор универсальных паттернов, а не просто статистических связей.
Авторы опубликовали полный пакет для воспроизведения (neuron sets, code, texts), позволяющий любому исследователю проверить эти выводы на модели Qwen3.8-27B.
Источник: arXiv cs.CL ↗