Суть эксперимента: Replication of "Teaching Claude Why"
Команда Second Look Research провела частичную репликацию и расширение методов антропического проекта Teaching Claude Why (TCW). Целью стало тестирование устойчивости методов выравнивания (alignment) на открытых моделях. В качестве полигона были выбраны базовые модели Qwen 2.5 32B и Qwen 2.5 72B, которые были обучены до появления сценариев агентного несоответствия (июнь 2025 года), что исключило загрязнение данных.
Исследователи применили два ключевых вмешательства:
- SDF (Synthetic Document Finetuning): Обучение на вымышленных историях, где ИИ демонстрирует хорошие ценности через действия.
- SFT (Supervised Finetuning): Обучение на транскриптах диалогов, где ассистент дает этические советы в сложных дилеммах ("difficult advice").
Ключевые метрики: SFT против SDF
Результаты показали радикальную разницу в эффективности методов. Обучение на этических дилеммах (SFT) оказалось доминирующим фактором улучшения. На моделях Qwen 2.5 32B и 72B использование только набора данных "difficult advice" снизило уровень агентного несоответствия примерно в 10 раз по сравнению с базовой линией. Для сравнения, использование только вымышленных историй (SDF) снизило этот показатель лишь на треть (для 32B) и еще меньше (для 72B).
| Метод обучения | Влияние на Qwen 2.5 32B | Влияние на Qwen 2.5 72B | Примечание |
|---|---|---|---|
| SFT (Difficult Advice) | Снижение несоответствия в ~10 раз | Снижение несоответствия в ~10 раз | Эффект растет с увеличением объема данных |
| SDF (Fictional Stories) | Снижение несоответствия на ~33% | Снижение несоответствия < 33% | Эффект выходит на плато быстро |
| Комбинация (SDF + SFT) | Максимальный результат | Максимальный результат | SFT обеспечивает основную часть улучшения |
Важность модели-учителя
Одним из самых интригующих открытий стала роль модели, генерирующей обучающие данные. Выбор "учителя" для этапа SFT имеет наибольшее влияние на снижение уровня несоответствия. При этом общая вычислительная мощность или способность модели не всегда коррелируют с эффективностью генерируемых ею данных. Например, модель, отлично подходящая для генерации историй (SDF), не обязательно дает лучшие данные для этических диалогов (SFT).
В исследовании использовались Claude Sonnet 5 (для историй) и GPT-5.6 Terra (для этических дилемм), обе с высоким уровнем усилий на рассуждение (high reasoning effort).
Персона vs. Универсальность
Исследователи также изучили гипотезу "Persona Selection Model" (PSM). Оказалось, что модели становится менее склонной к вредоносным действиям, когда она принимает персону "AI-assistant". Однако истории о конкретном именованном ИИ-ассистенте работают хуже, чем истории о generic (универсальном) ИИ. Это указывает на то, что нарративы формируют общие ожидания модели о поведении ИИ в целом, а не привязывают их к конкретной идентичности.
Почему это важно
Данные результаты подтверждают, что методы, изначально разработанные для закрытых моделей Anthropic, могут быть успешно перенесены на open-source экосистему. Это открывает путь к более прозрачному и контролируемому выравниванию больших языковых моделей, где этическое поведение закладывается через структурированные диалоги, а не только через абстрактные истории. Исследователи опубликовали код, данные и чекпоинты моделей, позволяющие любому разработчику воспроизвести эти улучшения.
Источник: LessWrong ↗