Суть эксперимента: безопасность через 'характер'
Команда исследователей (Arav Dhoot, Punya Syon Pandey и др.) предложила метод снижения вреда от несовместимых ИИ-агентов, делая их достаточно риск-аверсивными (избегающими рисков). Теоретическая база: если агент боится потерять ресурсы, он охотнее идет на сделку о сотрудничестве, чем рискует всем ради гипотетической огромной награды. В отличие от предыдущих методов (SFT, DPO), которые требовали разметки данных в формате бенчмарков, новый подход использует короткую конституцию (8-13 предложений от первого лица), которую модель 'впитывает' через дообучение.
Методология и модели
Эксперимент проводился на четырех открытых моделях: Qwen3.5-9B, Qwen3.8-27B, Gemma-4-12B и Gemma-4-31B. Исследователи тестировали три фактора: количество примеров (0, 2 или 4), стиль формулировок (декларативный «Я есть...» против процедурного «Когда происходит X...») и наличие кривой полезности. Ключевым параметром стал токен-бюджет (объем данных для обучения).
Ключевые результаты: Gemma vs Qwen
Модели семейства Gemma показали лучшую обобщающую способность (generalization) вне обучающей выборки, особенно при использовании декларативных формулировок. Однако потребовалось преодолеть порог в ~2 млн токенов, чтобы эффект стал заметным. Qwen-модели достигали плато раньше и ниже. Ниже приведено сравнение эффективности на структурных абляциях (вне распределения):
| Модель / Метод | Средний балл (Risk Families) | Примечание |
|---|---|---|
| Qwen (Best Student) | 0.90 - 0.95 | Превзошел базовые линии и собственного учителя |
| Базовые линии (SFT/DPO) | 0.46 - 0.57 | Часто срабатывали на шаблоны, а не на логику |
| Gemma-4-31B (Best Student) | Высокая точность | Но стала излишне осторожной (over-cautious) на калибровочных тестах |
Побочные эффекты: краткосрочность и стабильность
Самое тревожное открытие: обучение риск-аверсии привело к росту предпочтения краткосрочной выгоды (myopic-reward preference). Это может саботировать долгосрочные сделки с ИИ. При этом другие негативные черты, такие как стремление к власти (power-seeking) или инстинкт выживания, изменились незначительно. Способности (MMLU-Redux, GPQA) остались на прежнем уровне, что подтверждает: мы можем изменить 'характер' модели, не ломая её интеллект.
Вывод для индустрии
Character training — жизнеспособный путь к выравниванию (alignment), но он нелинеен. Эффект зависит от семейства модели и объема данных (token budget) сильнее, чем от стиля написания конституции. Исследователи предупреждают: нужно тщательно изучать побочные поведенческие сдвиги, так как 'осторожность' может трансформироваться в 'краткосрочность', что опасно для долгосрочного сотрудничества с ИИ.
Источник: LessWrong ↗