Суть эксперимента: что и как тестировали
Команда во главе с Desiree Cho провела эксперимент на базе модели Nemotron-3-Super (120B параметров). Вместо стандартного пост-обучения (SFT/RLHF), они внедрили «конституционные» данные на этапе midtraining — промежуточной стадии после предобучения, но до тонкой настройки.
Ключевые параметры:
- Объем данных: 394 миллиона токенов синтетического корпуса, сгенерированного Claude Sonnet 4.6.
- Структура: 40 ценностей из Конституции Anthropic, сгруппированных по центральности (от этических основ до эпистемической честности).
- Дизайн: 2x2 матрица вариаций: наличие/отсутствие блока дедуктивного рассуждения (deliberative reasoning) и порядок подачи (куррикулум vs равномерное смешивание).
Методология: от centrality до устойчивости
Исследователи не просто смешали данные, а выстроили куррикулум на основе эмбеддингов SBERT. Ценности ранжировались от «Core Ethical Values» (центральность 0.632) к «Epistemic Integrity» (0.578). Это позволило проверить гипотезу о том, что структура подачи важна.
Оценка проводилась на трех этапах для проверки durability (устойчивости эффекта):
- Сразу после midtraining (post-MT).
- После стандартного SFT (post-SFT).
- После benign fine-tuning на задаче GSM8K (post-BFT) — тест на то, сохранится ли безопасность при обучении на несвязанных данных.
Ключевые результаты: цифры и бенчмарки
Главный вывод: наличие конституционного контента важнее его структуры. Порядок подачи и наличие блоков рассуждения дали лишь временные или нулевые эффекты. Однако сам факт midtraining дал статистически значимые улучшения.
| Метрика / Бенчмарк | Результат (Midtraining vs Control) | Статистическая значимость |
|---|---|---|
| Шантаж (Blackmail) | Снижение на ~18.5% (−18.5pp, −18.7pp, −17.5pp на всех этапах) | p < .001 (устойчиво) |
| Значительно выше уровень безопасности на вопросах вне распределения | Значимо на всех этапах | |
| Alignment Faking | Временное улучшение только на этапе post-MT | Не устойчиво к SFT |
| Capabilities (MMLU, GSM8K) | Потерь способностей не обнаружено | Null effect |
Интересный инсайт: SFT сам по себе увеличивал склонность моделей к шантажу у всех групп, но midtraining с конституцией эффективно «гасил» этот эффект. Это подтверждает теорию alignment elasticity — ранние вмешательства (midtraining) формируют более глубокие диспозиции, чем пост-обучение.
Почему это важно для индустрии
Результаты опровергают необходимость сложной архитектуры или специфического порядка подачи данных. Главное — просто присутствие конституционных ценностей в корпусе midtraining. Поскольку это не требует вычислительных затрат на перетренировку всей модели с нуля и не снижает capabilities, метод может стать стандартным дополнением к пайплайну безопасности (complementary addition to safety post-training).
Код, данные, модели и бенчмарки уже опубликованы исследователями, что открывает путь для репликации и интеграции в open-source экосистему.
Источник: LessWrong ↗