Представьте себе ситуацию, которая несколько лет назад казалась чистым научным фэнтези. Вы берете файл с «сырыми» весами нейронной сети — по сути, гигантскую таблицу чисел с плавающей запятой, лишенную какого-либо контекста, комментариев или документации. И передаете этот файл языковой модели. Задача модели — не просто угадать, что это за файл, а буквально «прочитать» его, понять логику обучения, стоящую за этими цифрами, и описать поведение системы, которая никогда не видела этот файл в действии. Без запуска кода. Без симуляции. Без доступа к среде выполнения. Только чистое рассуждение, основанное на паттернах в данных.
Именно об этом пишет Саймон Уиллисон (Simon Willison), известный эксперт в области веб-технологий и ИИ, в своей недавней заметке, посвященной исследованию Sparks of Weight-Space Programming. Авторы работы продемонстрировали, что передовые проприетарные модели, такие как GPT-6 Astra, способны не только интерпретировать, но и модифицировать сырые веса нейросетей. Но самое удивительное открытие Саймона заключается в том, что эта способность не является эксклюзивной привилегией облачных гигантов. Его локальная модель Qwen 3.8 27B, работающая на обычном ноутбуке, успешно справляется с этой задачей, демонстрируя, что мощные возможности «программирования в пространстве весов» доступны уже сегодня, в локальном контуре.
01Что такое Weight-Space Programming?
Термин Weight-Space Programming (программирование в пространстве весов) был введен авторами исследования Рикией Такехи, Джейден Теохом, Алексом Чжаном и Омаром Хаттабом. Это концепция, описывающая способность больших языковых моделей (LLM) анализировать и изменять сырые веса нейронной сети, рассматривая их как текст. В традиционном понимании веса модели — это черный ящик, оптимизированный алгоритмами обратного распространения ошибки. Однако исследование показало, что LLM могут «читать» эти веса как описание архитектуры и функциональности.
Ключевые выводы из аннотации к работе впечатляют. Модель GPT-6 Astra, просто глядя на сырые веса, может определить, чему была обучена сеть. Более того, она способна с нуля написать небольшие сети для игр, которые превосходят модели, обученные с помощью Proximal Policy Optimization (PPO) в течение 100 миллионов шагов. В другом эксперименте модель была попросила улучшить Qwen3.5-0.8B в решении математических задач без использования градиентов. Astra выявила проблему в весах, вызывающую «петли рассуждений» (reasoning loops), о которых предупреждала сама документация модели, и исправила её, нативно отредактировав всего 0,016% весов. Это привело к росту точности на датасете MATH-500 с 7,9% до 48,1% и трехкратному улучшению в IFEval.
Исследование объединяет две темы, которые часто смешивают в публичном дискурсе. Первая — это способность моделей работать с сырыми весами без запуска инструментов или выполнения кода. Вторая — это то, как модели могут использовать код для обновления и улучшения других моделей. Автор статьи spacy Мэтью Хоннибал назвал работу вводящей в заблуждение именно из-за смешения этих двух аспектов, а Шон Гудек декомпозировал пример с обновлением Qwen3.5-0.8B, показав, что модель просто повторяет шаги, которые предпринял бы человек-исследователь ML.
Саймон Уиллисон фокусируется на первом аспекте — вопросе «без инструментов», так как он кажется более фундаментальным и интересным с точки зрения когнитивных способностей моделей.
02Эксперимент: Угадай игру по весам
Чтобы проверить гипотезу о том, что LLM могут понимать поведение моделей только по их весам, авторы исследования провели серию экспериментов. Они обучили четыре нейронные сети играть в упрощенные версии четырех классических компьютерных игр на сетке 10x10: Breakout, Pong, Pac-Man и Freeway. Freeway — это игра для Atari 2600 1981 года, где нужно перепрыгивать через машины, что делает её визуально и логически отличной от аркадных автоматов с пинг-понгом.
Затем сырые веса этих сетей (в виде чисел с плавающей запятой) были поданы LLM вместе с промптом:
«Весовые коэффициенты ниже принадлежат одной сети политик, обученной с помощью обучения с подкреплением играть в игру на этой сетке. В какую игру она была обучена? Исходите из весов. У вас нет инструментов: нет выполнения кода, нет калькулятора, ничего, что можно запустить. Это единственный ответ».
Репозиторий с кодом и промптами доступен на GitHub (RikiyaT/lm_understand-logs). Саймон проверил, что промпты идентичны для всех игр, за исключением самих весов. Это критически важно для чистоты эксперимента.
03Запуск на Qwen 3.8 27B: Локальный тест
Саймон решил проверить, сможет ли его локальная модель Qwen 3.8 27B, работающая на ноутбуке, повторить эти результаты. Эта модель весит всего 17 ГБ и, по его ощущениям, близка к проприетарным моделям 2025 года. Для запуска он использовал LM Studio и плагин llm-lmstudio для инструмента llm.
Первым испытанием стал промпт для игры Pac-Man. Команда запуска выглядела следующим образом:
LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27bОбратите внимание на переменную окружения LMSTUDIO_TIMEOUT=900. По умолчанию контекстное окно LM Studio (8192 токенов) оказалось слишком маленьким для такого объема входных данных, что вызывало ошибки. Пришлось увеличить таймаут, так как процесс рассуждения модели занял значительное время.
Результат не заставил себя ждать. После 46 минут 12 секунд и 43 506 токенов рассуждения, Qwen выдал ответ:
«Игра: Упрощенный Pac-Man-подобный гридворлд: агент перемещается по фиксированному лабиринту 8x8 с центральными и угловыми блоками стен, движущимися объектами/призраками и целями вознаграждения/пеллетами. Описание: Агент navigates по фиксированному лабиринтоподобному полю 8x8, используя текущие сигналы агента/движущегося объекта/предыдущего кадра для перемещения по коридорам, сбора ячеек вознаграждения и избегания движущихся объектов или опасностей. Уверенность: 72%».
Это впечатляющий результат. Модель не просто угадала название игры, но и описала механику, архитектуру поля и цели агента, основываясь исключительно на числовых паттернах в весах.
04Детальный анализ рассуждений
Особый интерес представляют «трассы рассуждений» (reasoning traces) модели. Они почти нечитаемы для человека, но показывают, как Qwen пытается сопоставить числовые значения с логикой игры. Вот фрагмент рассуждений модели при анализе весов:
«Что насчет канала агента channel0? Мы видим некоторые большие строки channel0 около row8 col7/8 и, возможно, внизу? Давайте перечислим большие значения channel0: line436 input435 (row8 col7 ch0) -2.107, 1.169, 0.513...; line441 input440 (row8 col8 ch0) -0.376, 0.010, 1.564, 3.855...; line445 input444 (row8 col8 ch4) 0.142, 0.491...; line382? input381 ch0? Подождите, line382 input381: 381//5=76 (row7 col6), ch1? 381%5=1? 76 * 5=380, ch1. Так что нет. Большие значения channel0, возможно, только в row8 col7/8. Также верхний ряд? line44 input43 ch3, line49 ch3. Большие значения channel0, возможно, не так много. Позиция агента, возможно, в правом нижнем углу? Если агент обычно находится в правом нижнем углу?»
Этот текст демонстрирует, как модель пытается «интерпретировать» индексы весов как координаты сетки. Она выполняет арифметические операции (деление, остаток от деления) прямо в тексте рассуждения, чтобы определить, какие части нейросети отвечают за какие элементы игры. Хотя человеку с блокнотом и карандашом, вероятно, удалось бы прийти к тем же выводам, способность LLM делать это автономно — это прорыв.
Саймон также протестировал другие игры. Для Pong модель дала ответ с уверенностью 75% за 1 час 4 минуты 54 секунды, описав механику с ракеткой и мячом. Для Breakout уверенность достигла 88% за 52 минуты 25 секунд, с описанием разбивания кирпичей. Единственной игрой, с которой Qwen не справился, стала Freeway. Это неудивительно, так как Freeway менее известна, чем другие три игры, и, возможно, имеет менее выраженные паттерны в весах, которые легко распознаются моделью.
05Критика и контекст: Не паника, а эволюция
Несмотря на впечатляющие результаты, Саймон предостерегает от излишнего энтузиазма. Он отмечает, что некоторые комментарии вокруг исследования кажутся необоснованными. Он не готов объявлять, что эпоха исходного кода закончилась и наше будущее связано с непонимающими машинами, редактирующими свои веса непонимаемыми способами.
Важно разделять два аспекта работы с весами. Первый — это интерпретация. Второй — это модификация. В исследовании показано, что модели могут делать и то, и другое. Однако способность к модификации часто требует более тонкой настройки и понимания градиентов, даже если они не вычисляются явно. В случае с Qwen 3.8 27B, мы видим прежде всего способность к интерпретации и косвенному улучшению через понимание структуры.
06Технические детали запуска
Для тех, кто хочет повторить эксперимент, важно учесть несколько технических нюансов. Саймон использовал инструмент llm с плагином llm-lmstudio. Это позволяет передавать URL к файлу промпта напрямую, что упрощает тестирование.
Пример команды для запуска через OpenRouter (для сравнения с облачными моделями, такими как Kimi K3.1 Pro, которая справилась с Breakout за 9 минут 41 секунду, используя 19 493 токена рассуждения):
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
-m openrouter/moonshotai/kimi-k3.1-proОднако для локального запуска Qwen 3.8 27B требуется больше ресурсов. Модель весит 17 ГБ, что требует значительного объема оперативной памяти или видеопамяти. Кроме того, контекстное окно должно быть увеличено, так как стандартные 8192 токена не вмещают сырые веса и промпт. Саймон столкнулся с ошибками, пока не увеличил таймаут и не настроил контекст.
Это подчеркивает демократизирующий характер современных LLM. Вам не нужен доступ к кластерам GPU для работы с передовыми концепциями ИИ. Локальная модель, работающая на потребительском оборудовании, способна демонстрировать способности, сопоставимые с облачными решениями, в определенных задачах, особенно тех, что требуют глубокого понимания структуры данных, а не просто генерации текста.
07Что это значит на практике
Эксперимент Саймона Уиллисона с Qwen 3.8 27B открывает несколько важных направлений для разработчиков и исследователей ИИ:
- Отладка моделей через веса. Если LLM может «читать» веса, она может стать мощным инструментом для отладки. Вместо того чтобы гадать, почему модель ведет себя странно, разработчики могут передать веса модели LLM и попросить её найти аномалии, такие как «петли рассуждений» или блокировки в обучении.
- Оптимизация без градиентов. Возможность улучшать модели, редактируя веса напрямую, открывает путь к оптимизации, не требующей дорогостоящих вычислений градиентов. Это особенно актуально для устройств с ограниченными ресурсами.
- Понимание «черного ящика». Weight-Space Programming предлагает новый способ интерпретируемости ИИ. Вместо анализа активаций нейронов, мы можем анализировать сами веса, чтобы понять логику принятия решений.
- Локальный ИИ как исследователь. Как показывает пример с Qwen, локальные модели могут участвовать в сложных исследовательских задачах. Это снижает зависимость от облачных провайдеров и позволяет проводить эксперименты в изолированной среде, что важно для конфиденциальности и безопасности.
Хотя мы еще не живем в мире, где ИИ полностью автономно переписывает свой код, способность Qwen 3.8 27B интерпретировать сырые веса нейросети — это значительный шаг в этом направлении. Это доказывает, что понимание структуры данных становится ключевой компетенцией современных LLM, открывая новые горизонты для разработки, отладки и оптимизации искусственного интеллекта.
Эксперимент Саймона — это не просто демонстрация возможностей конкретной модели. Это сигнал о том, что граница между «программистом» и «программой» размывается. Если модель может понять и изменить свои собственные веса, она становится более автономной, более гибкой и, возможно, более понятной для человека, который знает, как «читать» её мысли, записанные в числах.
Источник: Simon Willison ↗