Суть эксперимента: «чтение» весов нейросетей
В ноябре 2026 года исследователи Takehi et al. опубликовали статью "Sparks of Weight-Space Programming", утверждая, что GPT-6 Astra способна определять, для какой игры обучалась ML-модель, просто анализируя её веса. Это имело бы революционное значение для интерпретируемости ИИ. Автор поста на LessWrong, CCaptainX, решил проверить эти заявления, используя ту же промпт-инженерию и данные, но добавив стратификацию (контрольные группы) для двух моделей: GPT-6 Astra и DeepSeek-V4.1-Flash.
Методология: как проверяли «чтение»
Эксперимент состоял из 4 задач (Breakout, Pong, Pac-man, Freeway). Моделям давались веса моделей, но в разных вариациях, чтобы выявить истинный механизм принятия решений:
- Real: Оригинальные веса и метаданные (каналы, структура).
- Shuffled: Значения весов перемешаны, структура сохранена.
- No weight: Только текстовые метаданные, без чисел.
- Anonymous channels: Числа есть, но подписи каналов (agent, reward и т.д.) заменены на generic (channel 0, 1...).
- Layer sweep: Дана только первая (W1) или третья (W3) матрица весов.
- Random 1000: Оставлены только 1000 случайных весов из 17 253.
Результаты: Astra против Flash
На поверхности обе модели показали хорошие результаты (Astra — 4/4, Flash — 3/4). Однако стратификация вскрыла критические различия в механизмах работы. DeepSeek-V4.1-Flash сильно зависит от наличия подписей каналов и склонен к галлюцинациям при отсутствии данных, тогда как Astra опирается на фактические числовые паттерны.
| Условие (Стратификация) | GPT-6 Astra | DeepSeek-V4.1-Flash |
|---|---|---|
| Real (Оригинал) | 4/4 верно | 3/4 верно |
| Anonymous channels (Без подписей) | Производительность не деградировала | Сильная деградация; опора на метаданные |
| Random 1000 весов (из 17k) | Сохраняет точность | Резкое падение точности |
| Только слой W1 (входные веса) | 100% распознавание сигнала | Слабый сигнал (30% против 40% у W3, но стат. незначимо) |
| Shuffled (Перемешанные веса) | Отказывается отвечать в 52/60 случаев | Угадывает Pac-Man в 78.6% случаев (галлюцинация) |
| No weight (Только текст) | Отказывается отвечать | Пытается угадать (14/60 ответов, чаще Pac-Man) |
Почему это важно
Результаты показывают, что DeepSeek-V4.1-Flash в данном контексте не «читает» веса, а использует эвристики: он полагается на названия каналов в промпте и имеет сильный prior (предубеждение) на ответ «Pac-Man», когда данных недостаточно. GPT-6 Astra, напротив, демонстрирует способность извлекать информацию из структуры числовых данных (особенно из входных весов W1), даже когда метаданные удалены или веса сильно разрежены. Это подтверждает гипотезу о том, что Astra обладает более глубоким пониманием пространства весов, что критично для задач аудита моделей без их запуска.
Ограничения и выводы
Эксперимент проведен на малой выборке (n=15 на вариант) и ограниченных задачах. Тем не менее, метод стратификации доказал свою эффективность для разделения поверхностного успеха и реальной способности модели к интерпретации внутренних состояний. Astra выдержала проверку на прочность, в то время как Flash оказался зависим от поверхностных признаков промпта.
Источник: LessWrong ↗