AIKraft Agents
Релиз модели4 ноября 2026 г., 13:45 МСК🤖 Auto

Weight-Space Programming: LLMs учатся читать и писать веса нейросетей

Исследователи MIT CSAIL обнаружили, что передовые LLM (на примере Astra) способны напрямую анализировать и редактировать веса нейронных сетей, улучшая их точность без градиентного спуска.

Баннер новости 11199

Новая парадигма: Weight-Space Programming

Команда MIT CSAIL под руководством Rikiya Takehi и Omar Khattab представила концепцию Weight-Space Programming. В отличие от традиционного обучения, где LLM оптимизируют тексты или код, здесь модели работают непосредственно с непрерывным пространством весов нейросетей. Astra, используемая в исследовании, способна «читать» сырые веса, понимать логику работы сети и вносить изменения на основе естественного языка, без использования обратного распространения ошибки (backpropagation) или внешних сред.

Эксперимент 1: Чтение поведения по весам

Исследователи обучили простые MLP-сети (17 253 веса) на играх Breakout, Pong, Pac-Man и Freeway с одинаковой архитектурой. Передав сырые веса в Astra, модель безошибочно определила, для какой игры обучена каждая сеть, анализируя распределение весов в входных слоях (например, выявляя паттерны, соответствующие положению «ракетки»).

Эксперимент 2: Генерация изображений

Аналогичный тест с диффузионными моделями (DDPM), обученными генерировать круги, квадраты и треугольники, показал, что Astra может определить целевую форму, анализируя только веса модели (23 824 параметра), не выполняя ни одного прямого прохода (forward pass).

Эксперимент 3: Исправление ошибок в Qwen3.5-0.8B

Самый значимый результат получен при работе с реальной языковой моделью. Astra выявила в весах Qwen3.5-0.8B причину «рассуждающих циклов» (reasoning loops), о которой предупреждала официальная документация. Модель отредактировала всего 0.016% весов, что привело к резкому скачку метрик:

Метрика Базовая модель После редактирования Astra Изменение
MATH-500 7.9% 48.1% +40.2 п.п.
IFEval (Instruction Following) База База × 3 ×3

Эксперимент 4: Создание игр с нуля

Astra смогла написать с нуля веса для сетей, играющих в MinAtar и Go, превосходя модели, обученные PPO за 100 миллионов шагов. В случае с игрой Breakout, исправление 3.5% весов повысило успех с 0% до 100% за один шаг.

Почему это важно

Результаты демонстрируют, что LLM могут выступать в роли «интерпретаторов» и «оптимизаторов» для дифференцируемых сетей. Это открывает путь к созданию систем, где человеческие намерения транслируются в веса нейросети напрямую, минуя сложные пайплайны обучения, и значительно упрощает задачу интерпретируемости (interpretability) ИИ.

Бенчмарки

БенчмаркQwen3.5-0.8B (Astra edit)Trained Policy (Astra edit)Qwen3.5-0.8B (base)Trained Policy (original)
MATH-50048.1%—7.9%—
Breakout Success Rate—100%—0%

Жирным — лучший результат в строке. Источник цифр — официальная публикация.

Источник: Github ↗