От биологии к алгоритмам: что обнаружили ученые
Команда исследователей во главе с Пенжуй Ханом (Pengrui Han) и Джейкобом Эндрюсом (Jacob Andreas) провела анализ нейронных цепей (circuit analysis) в больших языковых моделях (LLM). Целью работы было выяснение, является ли модульность — наличие специализированных сетей для разных задач — фундаментальным свойством интеллекта или эволюционной случайностью биологических мозгов.
Результаты показали, что LLM, оптимизированные совершенно иным образом, чем биологические нейросети, все равно приходят к схожей модульной организации. Это подтверждает гипотезу о том, что модульность — это не «биологическая особенность», а необходимое условие для эффективного интеллекта.
Методология: 46 задач и 4 когнитивных домена
Для проверки гипотезы авторы использовали набор из 46 различных задач, разделенных на четыре ключевых когнитивных домена. Исследователи сравнивали, какие именно нейроны активируются в LLM при решении задач, требующих разных типов мышления, и сопоставляли эти данные с известными сетями человеческого мозга.
Ключевые результаты: конвергенция структур
Анализ выявил четкую корреляцию: задачи, которые у людей выполняются одними и теми же мозговыми сетями, в LLM активируют перекрывающиеся наборы нейронов. Напротив, задачи из разных доменов задействуют различные, не пересекающиеся нейронные группы в модели.
| Когнитивный домен | Примеры задач | Наблюдение в LLM |
|---|---|---|
| Язык (Language) | Синтаксический анализ, семантика | Активация специфических языковых модулей |
| Формальная логика (Formal Reasoning) | Математические вычисления, логические правила | Выделение отдельных вычислительных цепей |
| Социальное мышление (Social Reasoning) | Теория сознания, понимание намерений | Специализированные нейронные группы |
| Физическое мышление (Physical Reasoning) | Пространственные отношения, причинно-следственные связи | Отдельные модули обработки пространственной информации |
Почему это важно для индустрии AI
Обнаружение модульной архитектуры в LLM имеет два серьезных последствия. Во-первых, это объясняет, почему современные модели часто демонстрируют «гало-эффект» или, наоборот, провалы в специфических задачах: они не являются монолитными «черными ящиками», а состоят из функционально разделенных блоков. Во-вторых, это открывает путь к созданию более эффективных и интерпретируемых архитектур. Если мы понимаем, что модульность естественна для интеллекта, мы можем целенаправленно проектировать нейросети с четким разделением ответственности, что упростит отладку, безопасность и улучшение конкретных навыков моделей.
Источник: arXiv cs.AI ↗