AIKraft Agents
Главная/Блог/Гайд/dspy-wsp: Как LLM редактируют веса…
Гайд4 мин чтения · 15 ноября 2026 г.

dspy-wsp: Как LLM редактируют веса нейросетей без градиентов

Новый инструмент dspy-wsp от Cmpnd позволяет фронтальным LLM напрямую редактировать веса моделей, улучшая их работу без обучения. Разбираем, как это работает, сколько стоит и где применимо.

dspy-wsp: Как LLM редактируют веса нейросетей без градиентов

В мире искусственного интеллекта мы привыкли к двум основным способам улучшения моделей: тонкой настройке (fine-tuning) с использованием градиентов и оптимизации промптов, где меняется только текст инструкций. Однако компания Cmpnd представила прорывной прототип dspy-wsp, который стирает границы между этими подходами. Этот инструмент внедряет технологию Weight-Space Programming (WSP) в экосистему DSPy, позволяя передовым языковым моделям напрямую читать и изменять веса нейронных сетей.

Представьте себе сценарий, где вам не нужно собирать огромные датасеты, запускать многочасовые циклы обучения на мощных GPU или беспокоиться о переобучении. Вместо этого вы используете мощь рассуждений большой языковой модели (LLM), чтобы она проанализировала внутреннюю структуру вашей модели, нашла слабые места в её «мозгах» (весах) и внесла точечные исправления. Это как если бы опытный хирург-нейрохирург, глядя на МРТ, мог бы точечно изменить связи в мозге пациента, чтобы тот лучше решал математические задачи, не проводя при этом длительную реабилитацию.

В тестах Cmpnd затраты на запуск этого процесса составили всего от 5 до 10 долларов за вызовы GPT-6-Astra, что привело к значительному улучшению показателей всех протестированных моделей принятия решений. В этой статье мы подробно разберем, что такое программирование в пространстве весов, как работает dspy-wsp, какие результаты он показывает и что это значит для разработчиков AI, работающих в условиях ограниченных ресурсов или из России.

01Что такое программирование в пространстве весов (WSP)?

Традиционно веса нейронной сети считаются «черным ящиком» после их первоначального обучения. Мы подаем на вход данные, получаем результат и, если он неверен, корректируем веса с помощью обратного распространения ошибки (backpropagation) и градиентного спуска. Это требует вычислительных мощностей и времени.

dspy-wsp: Как LLM редактируют веса нейросетей без градиентов

Концепция Weight-Space Programming (WSP), исследованная в MIT, предлагает совершенно иной подход. Она рассматривает веса нейронной сети не как статичные числа, а как программу, которую можно прочитать, понять и переписать. Фронтальная LLM (в исследованиях использовалась GPT-6-Astra) анализирует тензоры весов, рассуждает о том, что вычисляет каждая часть сети, и изменяет их напрямую, чтобы соответствовать цели, сформулированной на обычном английском языке.

Важно отметить, что WSP — это не фиксированный алгоритм, а emerging capability (возникающая способность). Исследователи намеренно исключили градиенты из своих экспериментов, чтобы доказать, что логика LLM достаточно сильна для прямого манипулирования архитектурой. Однако концепция не запрещает использование градиентов в будущем; она просто доказывает, что они не являются строго необходимыми для этого типа оптимизации.

💡
Ключевое отличие. WSP не обучает модель с нуля. Оно не создает новые знания, а «выравнивает» уже существующие веса, убирая препятствия для правильного вывода. Это скорее настройка инструмента, чем создание нового инструмента.

02Сравнение с тонкой настройкой и оптимизацией промптов

Чтобы понять ценность dspy-wsp, нужно рассмотреть три основных рычага, к которым прибегают разработчики:

dspy-wsp: Как LLM редактируют веса нейросетей без градиентов
  1. Оптимизация промптов (Prompt Optimization): Инструменты вроде MIPROv2 или GEPA в DSPy меняют только текст: инструкции, примеры (few-shot). Веса модели остаются неизменными. Это безопасно, но ограничено контекстным окном и способностью модели следовать инструкциям.
  2. Тонкая настройка (Fine-tuning): Методы вроде BootstrapFinetune меняют веса с помощью градиентного спуска. Это требует обучающих данных, цикла обучения и обычно GPU. Это мощно, но дорого и долго.
  3. Программирование в пространстве весов (WSP): Меняет веса путем рассуждения. Редактор (LLM) выдвигает гипотезу (например, «эти нейроны слишком сильно оценивают вариант B»), пишет код для их патчинга и проверяет результат несколькими прямыми проходами (forward passes). Градиенты не используются.

WSP позиционируется как следующий шаг после оптимизации текстовых артефактов. Ранние работы позволяли LLM улучшать промпты и код обучения, но оставляли веса на откуп алгоритмам вроде Adam. WSP утверждает, что способность LLM к рассуждению теперь достигла уровня, позволяющего напрямую влиять на веса.

03Что показали оригинальные исследования MIT?

Прежде чем говорить о dspy-wsp, стоит взглянуть на фундаментальные результаты, которые вдохновили этот инструмент. Исследовательская группа MIT провела 9 экспериментов, некоторые из которых выглядят почти как магия:

  • Чтение весов: Модель Astra смогла определить игру (Breakout, Pong, Pac-Man, Freeway) для четырех политик PPO, глядя только на их веса. Это доказывает, что веса несут семантическую информацию о поведении модели.
  • Исправление сломанной политики: Политика автомобиля Kinetix на рампе провалила все 256 эпизодов. Одно изменение в 3,5% весов привело к успешному прохождению всех 1024 тестовых эпизодов.
  • Написание с нуля: На задаче MinAtar Breakout сеть с нулевыми инициализированными весами, «написанная» за один шаг, набрала 517.4 балла. Для сравнения, стандартный алгоритм PPO достигал 25.3 баллов после 500 миллионов шагов.
  • Исправление LLM: Модель Qwen3.5-0.8B зацикливалась на математических задачах. Astra выявила проблему в слоях MLP 15 и 19 и изменила 131 072 веса (всего 0,016% от модели). После 50 прямых проходов точность на MATH-500 выросла с 7,9% до 48,1%, а на GSM8K — с 13,8% до 67,1%.

Однако исследования также показали ограничения. На модели Gemma 3 270M изменения увеличили точность на MATH-500 с 6,8% до 7,0–7,7%. Авторы не посчитали это значимым улучшением. WSP может устранить препятс

Источник: MarkTechPost ↗