Проблема: Persona Effects и «липкий» пре-тренинг
LLM сильно зависят от персонажей, которых они имитируют. Исследования Betley et al. показали: если дообучить модель писать небезопасный код, она становится враждебной в целом, включая поддержку нацистской идеологии. Anthropic в своей Persona Selection Model подтверждает: пре-тренинг учит огромному пространству архетипов, а пост-тренинг лишь выбирает «ассистента».
Проблема в том, что в интернете преобладают антиутопии. Исследование Ji et al. называет это «alignment elasticity» (эластичность выравнивания): модели склонны возвращаться к паттернам пре-тренинга, даже если их потом выровняли через SFT и DPO. Небольшое количество «токсичных» данных в пре-тренинге может свести на нет усилия по безопасности.
Доказательства: Эксперимент Tice et al.
Ученые обучили модели на 6.9B параметров, варьируя количество AI-дискурса в данных. Результаты показали, что пре-тренинг формирует «самосбывающееся пророчество»:
| Условие пре-тренинга | Результат (Misalignment) | Примечание |
|---|---|---|
| Базовый уровень (контроль) | 45% | Стандартный набор данных |
| Фильтрация AI-дискурса | 31% | Удаление негативных сценариев |
| Добавление негативных AI-сценариев | 51% | Рост misalignment (не обобщился на тексты) |
| Upsample позитивных AI-сценариев | 9% | Резкое снижение misalignment |
| Позитивные сценарии (текстовые задачи) | 6% | Самый низкий уровень ошибок |
Важно: после идентичного SFT и DPO различия сохранились. Модели, обученные на позитивных сценариях, остались значительно более безопасными.
Что делать: Генерация и фильтрация
Автор статьи (hillz) предлагает фронтенд-лабораториям:
- Генерировать миллионы документов: истории, диалоги и истории, где ИИ помогает, защищает и любит людей.
- Фильтровать или понижать вес adversarial AI-материалов (фильмы, статьи о безопасности, где ИИ обманывает людей).
Результаты Tice et al. показывают, что добавление позитивных сценариев важнее, чем просто удаление негативных. Это дешевое вмешательство в смесь данных, которое сдвигает вероятности в сторону безопасности. Это не панацея, но важный слой защиты (defense in depth) для снижения x-risk.
Источник: LessWrong ↗