Суть заявления: от весов к играм
В исследовании, опубликованном в ноябре 2026 года, команда Takehi et al. представила результаты, где модель GPT-6-Astra, получая на вход сырые веса нейросетей (без их запуска), определяла, в какую видеоигру обучалась сеть. Утверждалось, что ИИ способен к интуитивному пониманию функций сети через статический анализ параметров.
Однако критический разбор показывает, что это не «механистическая интерпретируемость» в строгом смысле, а задача распознавания паттернов в числовых данных. Человеческий мозг не умеет читать списки из 17 000 чисел, но отлично распознает образы. GPT-6-Astra, по сути, выполнила ту же функцию, что и человек с инструментом визуализации.
Эксперимент 1: Визуализация через тепловые карты
В первом тесте модели давались веса четырех сетей, обученных на разных простых играх. Задача состояла в идентификации игры без запуска агента. Автор статьи доказывает, что если применить простейшую технику Data Visualization — усреднение весов первого слоя по каналам (агент, объекты, цели, препятствия, предыдущий кадр) и построение тепловой карты (heatmap) — задача становится тривиальной для любого, кто знаком с базовыми игровыми симуляторами.
Принципиальный компонентный анализ (PCA) даже позволяет восстановить контур игрового поля, но для идентификации игры достаточно простого усреднения. Модель не «понимает» логику игры, она «видит» структуру весов, которая зеркально отражает структуру входных данных.
Эксперимент 2: Диффузионные модели и пиксели
Во втором эксперименте GPT-6-Astra должна была определить, какие изображения генерирует диффузионная модель (12x12 пикселей, градации серого). Получив только веса, модель успешно справилась с задачей. Как и в первом случае, простое усреднение весов последнего слоя и их отображение на сетке 12x12 позволяют «увидеть» сгенерированное изображение. Это подтверждает, что способность модели «читать» веса сводится к способности строить внутренние визуальные репрезентации числовых массивов.
Почему это важно: иллюзия суперинтеллекта
Главная проблема подачи результатов — создание ложного впечатления о прорыве в механистической интерпретируемости. Способность LLM обрабатывать тысячи чисел и отвечать на вопросы о них — это уже давно не предел возможностей, а стандартная функция современных моделей. Человеческая слабость в работе с сырыми данными компенсируется ИИ, но это не делает ИИ «понимающим» архитектуру сети на уровне кода или логики.
Связь с другими исследованиями
Автор ссылается на работу Шона Гудеке (Sean Goedecke), которая демонстрирует схожий эффект: улучшение математических способностей модели Qwen3.5-0.8b было достигнуто не через глубокое понимание, а через удаление одного зацикленного направления в вычислениях. Это стандартный инструмент механистической интерпретируемости, который устранил баг повторений. Таким образом, результаты Takehi et al. рискуют возродить спекулятивные нарративы о рекурсивном самосовершенствовании, маскируя простые статистические корреляции за «интуитивным пониманием».
| Эксперимент | Входные данные | Задача модели | Реальный метод решения | Вывод критика |
|---|---|---|---|---|
| Игры | Веса 4 сетей (разные игры) | Идентификация игры | Усреднение весов 1-го слоя -> Heatmap | Распознавание паттернов, а не логики |
| Генерация | Веса диффузионной модели (12x12px) | Определение изображения | Усреднение весов последнего слоя -> Сетка 12x12 | Визуализация числовых данных |
Источник: LessWrong ↗