Projection Sampling: Сохраняет ли он безопасность при дистилляции?

Проблема дистилляции безопасности

Обучение моделей на рассуждениях (chain-of-thought) от более сильных учителей улучшает безопасность, но снижает общие способности. Например, обучение Qwen3-32B на трейсах Claude Opus 4.6 снизило точность GPQA-Diamond с ~70% до 50%. Для восстановления способностей используют Replay — смешивание ответов учителя с собственными ответами студента. Projection Sampling пытается улучшить этот процесс, итеративно переписывая трейсы учителя так, чтобы они были более вероятны для студента, сохраняя при этом исходное рассуждение.

Результаты сравнения методов

Исследователи проверили Projection Sampling на задаче агентной несогласованности (agentic misalignment). Оказалось, что Projection Sampling не только не превосходит Replay, но и имеет критические недостатки: он восстанавливает способности, но одновременно отменяет часть улучшений в безопасности. Более того, спроецированные трейсы часто сохраняют финальное решение учителя, но не его истинные ценности и причины.

Почему это важно для индустрии

Результаты показывают, что Projection Sampling не окажет существенного влияния на усилия по дистилляции безопасности лабораториями, не являющимися лидерами (non-frontier labs). Если этот метод позволяет копировать способности сильных моделей, но не их безопасность, это может привести к появлению всё более мощных, но менее безопасных моделей, что увеличивает риски misuse. Исследователи рекомендуют использовать Replay как более надежный метод для сохранения баланса между способностями и безопасностью при обучении на рассуждениях.

Источник: LessWrong ↗