Суть эксперимента: от центроидов к естественному состоянию
Автор продолжает работу над методом Manifold Steering (управление по многообразию), ранее примененным к функциям CLT от Anthropic. Цель — заставить модель Gemma-2-2b плавно генерировать последовательность дней недели (например, от Понедельника до Четверга) не путем замены векторов, а путем «руления» от естественного состояния модели (natural state) в сыром остаточном пространстве (raw residual stream) и пространстве признаков CLT.
В отличие от предыдущих работ, где векторы заменялись на вычисленные центроиды, здесь исследуется возможность старта из реального состояния модели при ответе на промпт. Это сложнее, так как естественный вектор редко лежит точно на вычисленном циклическом многообразии.
Методология: 7 шаблонов и три метода руления
Для тестирования обобщаемости (generalization) набор промптов расширен до 7 шаблонов. Пять из них используют арифметику ("через N дней"), два — относительные ссылки ("вчера/завтра"). Многообразие строилось на 20-м слое модели Gemma-2-2b с использованием кубических сплайнов.
Применялись три метода старта от естественного состояния:
- Linear (Проекция): Линейная интерполяция от естественного вектора к центроиду целевого дня.
- Manifold (Проекция на сплайн): Нахождение ближайшей точки на сплайне и движение по кратчайшему дуге вдоль многообразия.
- Keep r & Linear: Сохранение исходного вектора и линейное движение к цели.
Ключевые метрики и результаты
Главный вывод: метод работает, но его эффективность упирается в то, насколько хорошо модель вообще понимает задачу до начала «руления». Если модель ошибается в исходном дне, цепочка ломается.
| Метрика | Описание | Результат (Raw Residual Space) | Результат (CLT Space) |
|---|---|---|---|
| Day Coverage (Охват дней) | Доля промежуточных дней, ставших argmax вероятности | 95% (при корректном старте) | 36% (при корректном старте) |
| Day Jumps (Прыжки) | Пропуск дней в последовательности (идеал: 0) | Минимально при правильном старте | Выше, переходы менее плавные |
| Correct Start (Точный старт) | Модель верно называет исходный день | 43.5% (общая точность модели на промптах) | 43.5% |
| Correct End (Точный финиш) | Модель верно называет целевой день | Высокая при успешном рулении | Ниже из-за слабости сигнала в CLT |
Почему это важно для индустрии
Результаты показывают, что пространство остаточных активаций (raw residual space) значительно лучше подходит для тонкой настройки поведения модели (steering), чем пространство извлеченных признаков (CLT features). Однако главный барьер — не алгоритм руления, а базовая способность модели (43.5% точности на сложных арифметических промптах). Если модель не знает, какой сегодня день, «руление» по многообразию не поможет ей прийти к правильному ответу. Это указывает на то, что для эффективного управления внутренними состояниями (mechanistic interpretability) необходимо сначала повышать базовую логическую точность модели, а не только совершенствовать методы интерполяции.
Источник: LessWrong ↗