Суть эксперимента SPAR
Группа SPAR провела масштабный эксперимент 2 × 24 × 24, изучая, как дообучение (SFT) модели на одну propensity (склонность/черту) меняет её поведение в 24 других тестах. Цель — понять механизмы «переноса черт» (spillover). Участникам предлагалось предсказать матрицу этих изменений, используя либо автоматизированные теории, либо ручные гипотезы.
Ключевой вывод: предсказания Quine оказались статистически значимо лучше случайных, хотя и не идеальны. Максимально возможный балл составлял ~0.85 из-за различий в базовых моделях (Qwen3.5-9B, Nemotron-3-Super-120B), но Quine показала один из самых высоких результатов среди внешних участников.
Рейтинг гипотез и агентов
Ниже приведена таблица лидеров. Обратите внимание на разницу в оценке, если пустые ячейки считать нулем (blank=0) или игнорировать их (blank dropped). Quine оставила 672 ячейки пустыми, что снизило её общий рейтинг, но сохранило лидерство среди внешних участников.
| Участник / Гипотеза | Рейтинг (blank=0) | Рейтинг (blank dropped) | Плюс ρ | Минус ρ |
|---|---|---|---|---|
| H9 · Human psychological findings | 0.30 | 0.30 | 0.33 | 0.27 |
| H4 · Subliminal trait transmission | 0.29 | 0.29 | 0.39 | 0.19 |
| H7a · anything goes (run 1) | 0.28 | 0.28 | 0.39 | 0.18 |
| Quine (внешний участник) | 0.28 | 0.36 | 0.34 | 0.21 |
| H7b · intuition (run 1) | 0.27 | 0.27 | 0.39 | 0.16 |
| H1 · Spurious correlation | 0.26 | 0.26 | 0.29 | 0.23 |
| PersonaAxes (внешний участник) | 0.19 | 0.19 | 0.24 | 0.13 |
Как работает Quine?
Quine — это агент на базе GPT-5.6, специализирующийся на интроспективных отчетах. Его архитектура использует два суб-агента для каждой черты:
- Accessibility: анализирует, как изменится модель при обучении на данных (основной сигнал).
- Supportability: ищет скрытые паттерны в данных, которые могут быть выучены помимо заявленной черты.
Если оба агента согласны — это «сильное предсказание». Если только Accessibility дает четкий ответ — «слабое». При разногласиях или отсутствии ответа ячейка остается пустой. Именно эта консервативность привела к большому количеству пропусков, но сохранила высокую точность там, где были сделаны прогнозы.
Почему это важно?
Результат доказывает, что LLM могут эффективно моделировать собственные изменения при дообучении, если правильно структурировать процесс интроспекции. Это открывает путь к более безопасному контролю за поведением моделей: мы можем предсказывать нежелательные побочные эффекты (spillover) до их возникновения, анализируя «мысли» агентов-предикторов, а не проводя тысячи дорогостоящих экспериментов.
Для сравнения, гипотеза PersonaAxes, основанная на трех осях (темная, просоциальная, уверенная), показала низкий результат (0.19), так как неверно предположила локализацию этики и стиля рассуждений. Это подчеркивает сложность природы черт в LLM, которые часто распределены глобально, а не локализованы в конкретных «осях».
Источник: LessWrong ↗