В мире искусственного интеллекта мы привыкли к двум основным способам улучшения моделей: тонкой настройке (fine-tuning) с использованием градиентов и оптимизации промптов, где меняется только текст инструкций. Однако компания Cmpnd представила прорывной прототип dspy-wsp, который стирает границы между этими подходами. Этот инструмент внедряет технологию Weight-Space Programming (WSP) в экосистему DSPy, позволяя передовым языковым моделям напрямую читать и изменять веса нейронных сетей.
Представьте себе сценарий, где вам не нужно собирать огромные датасеты, запускать многочасовые циклы обучения на мощных GPU или беспокоиться о переобучении. Вместо этого вы используете мощь рассуждений большой языковой модели (LLM), чтобы она проанализировала внутреннюю структуру вашей модели, нашла слабые места в её «мозгах» (весах) и внесла точечные исправления. Это как если бы опытный хирург-нейрохирург, глядя на МРТ, мог бы точечно изменить связи в мозге пациента, чтобы тот лучше решал математические задачи, не проводя при этом длительную реабилитацию.
В тестах Cmpnd затраты на запуск этого процесса составили всего от 5 до 10 долларов за вызовы GPT-6-Astra, что привело к значительному улучшению показателей всех протестированных моделей принятия решений. В этой статье мы подробно разберем, что такое программирование в пространстве весов, как работает dspy-wsp, какие результаты он показывает и что это значит для разработчиков AI, работающих в условиях ограниченных ресурсов или из России.
01Что такое программирование в пространстве весов (WSP)?
Традиционно веса нейронной сети считаются «черным ящиком» после их первоначального обучения. Мы подаем на вход данные, получаем результат и, если он неверен, корректируем веса с помощью обратного распространения ошибки (backpropagation) и градиентного спуска. Это требует вычислительных мощностей и времени.

Концепция Weight-Space Programming (WSP), исследованная в MIT, предлагает совершенно иной подход. Она рассматривает веса нейронной сети не как статичные числа, а как программу, которую можно прочитать, понять и переписать. Фронтальная LLM (в исследованиях использовалась GPT-6-Astra) анализирует тензоры весов, рассуждает о том, что вычисляет каждая часть сети, и изменяет их напрямую, чтобы соответствовать цели, сформулированной на обычном английском языке.
Важно отметить, что WSP — это не фиксированный алгоритм, а emerging capability (возникающая способность). Исследователи намеренно исключили градиенты из своих экспериментов, чтобы доказать, что логика LLM достаточно сильна для прямого манипулирования архитектурой. Однако концепция не запрещает использование градиентов в будущем; она просто доказывает, что они не являются строго необходимыми для этого типа оптимизации.
02Сравнение с тонкой настройкой и оптимизацией промптов
Чтобы понять ценность dspy-wsp, нужно рассмотреть три основных рычага, к которым прибегают разработчики:

- Оптимизация промптов (Prompt Optimization): Инструменты вроде MIPROv2 или GEPA в DSPy меняют только текст: инструкции, примеры (few-shot). Веса модели остаются неизменными. Это безопасно, но ограничено контекстным окном и способностью модели следовать инструкциям.
- Тонкая настройка (Fine-tuning): Методы вроде BootstrapFinetune меняют веса с помощью градиентного спуска. Это требует обучающих данных, цикла обучения и обычно GPU. Это мощно, но дорого и долго.
- Программирование в пространстве весов (WSP): Меняет веса путем рассуждения. Редактор (LLM) выдвигает гипотезу (например, «эти нейроны слишком сильно оценивают вариант B»), пишет код для их патчинга и проверяет результат несколькими прямыми проходами (forward passes). Градиенты не используются.
WSP позиционируется как следующий шаг после оптимизации текстовых артефактов. Ранние работы позволяли LLM улучшать промпты и код обучения, но оставляли веса на откуп алгоритмам вроде Adam. WSP утверждает, что способность LLM к рассуждению теперь достигла уровня, позволяющего напрямую влиять на веса.
03Что показали оригинальные исследования MIT?
Прежде чем говорить о dspy-wsp, стоит взглянуть на фундаментальные результаты, которые вдохновили этот инструмент. Исследовательская группа MIT провела 9 экспериментов, некоторые из которых выглядят почти как магия:
- Чтение весов: Модель Astra смогла определить игру (Breakout, Pong, Pac-Man, Freeway) для четырех политик PPO, глядя только на их веса. Это доказывает, что веса несут семантическую информацию о поведении модели.
- Исправление сломанной политики: Политика автомобиля Kinetix на рампе провалила все 256 эпизодов. Одно изменение в 3,5% весов привело к успешному прохождению всех 1024 тестовых эпизодов.
- Написание с нуля: На задаче MinAtar Breakout сеть с нулевыми инициализированными весами, «написанная» за один шаг, набрала 517.4 балла. Для сравнения, стандартный алгоритм PPO достигал 25.3 баллов после 500 миллионов шагов.
- Исправление LLM: Модель Qwen3.5-0.8B зацикливалась на математических задачах. Astra выявила проблему в слоях MLP 15 и 19 и изменила 131 072 веса (всего 0,016% от модели). После 50 прямых проходов точность на MATH-500 выросла с 7,9% до 48,1%, а на GSM8K — с 13,8% до 67,1%.
Однако исследования также показали ограничения. На модели Gemma 3 270M изменения увеличили точность на MATH-500 с 6,8% до 7,0–7,7%. Авторы не посчитали это значимым улучшением. WSP может устранить препятс
Источник: MarkTechPost ↗
