AIKraft Agents
Исследования15 ноября 2026 г., 04:16 МСК🤖 Auto

Карлус Ренниус: От «Дарвинизма схем» к интерпретируемости вычислений

Исследователь CarolusRenniusVitellius предлагает пересмотреть парадигму механической интерпретируемости: вместо поиска эволюционирующих «схем» (circuits) предлагается фокусироваться на динамике когерентных множеств и резервуарных вычислениях.

Баннер новости 11965

Кризис «Дарвинизма схем»

В эссе, опубликованном на LessWrong, исследователь CarolusRenniusVitellius (в рамках Iliad Fellowship) ставит под сомнение доминирующую метафору «нейронного дарвинизма». Традиционный подход рассматривает нейронные сети как ансамбль конкурирующих функциональных блоков (схем), которые выживают благодаря градиентному спуску. Автор утверждает, что эта модель обходит вокруг сложной проблемы: она принимает за данность существование четко определенных «схем», не объясняя, как они возникают и почему их границы размыты.

Две модели происхождения: «Prune» vs «Precipitate»

Автор противопоставляет два взгляда на то, как формируются вычислительные структуры в нейросетях:

  • Prune (Обрезка): Сеть изначально содержит хаотичный ансамбль схем. Обучение — это процесс отбора и удаления лишних связей. Эта модель опирается на концепцию многоуровневого отбора, но требует четкого определения «начального ансамбля», что пока невозможно.
  • Precipitate (Осаждение): Сеть — это безформенная масса, из которой функциональные единицы «вырастают» снизу вверх, подобно кристаллам. Здесь акцент смещается с весов на то, как данные обрабатываются на каждом шаге. Эта модель ближе к нейробиологическим теориям резервуарных вычислений (reservoir computing).

Проблемы с текущими бенчмарками

В разделе II автор разбирает эмпирические факты, которые плохо укладываются в простую модель отбора схем. Ниже приведена таблица с ключевыми аргументами против упрощенного «дарвинизма»:

Наблюдение Почему это бросает вызов «Darwinism»
Бесконечная потеря данных (Infinite-Data Loss) Предсказывает деградацию популяции схем, что противоречит стабильности больших моделей.
Полнопакетный градиентный спуск (Full-Batch GD) Опровергает гипотезу о том, что вариативность батчей является основным механизмом отбора.
Скорость обучения LLM Обучение происходит значительно быстрее, чем ожидалось бы при постепенном отборе сложных схем.
Важность свежих данных Трудно объяснить, почему новые данные так критичны, если схемы уже «законсервированы».

Новый подход: Резервуарные вычисления и спектральная кластеризация

В третьей части эссе предлагается синтез, основанный на идее «когерентных множеств» (coherent sets). Вместо поиска модулей в пространстве весов, предлагается анализировать, как активации нейронов группируются в пространстве состояний. Автор связывает это с концепцией «активационных клеток» (activation cells) и спектральной кластеризацией, предлагая смотреть на то, какие нейроны «живут и умирают вместе» в динамике системы.

Значение для интерпретируемости

Главный вывод статьи: мы тратим слишком много усилий на формализацию «схем» как единиц отбора. Истинная проблема интерпретируемости кроется в онтологии вычислений — в том, как именно случайные функции преобразуются в устойчивые вычислительные паттерны. Переход от статического поиска модулей к динамическому анализу когерентных множеств может стать ключом к созданию «фундаментальной теории интерпретируемости».

Источник: LessWrong ↗