Суть проблемы: почему текущие методы внедрения лжи заметны
Синтетическая дообучка (SDF — Synthetic Document Finetuning) является современным стандартом для внедрения ложных фактов в большие языковые модели. Однако исследования, такие как работа Slocum et al. (2025), показывают, что внедренные ложные факты часто легко обнаруживаются линейными зондами на активациях средних слоев модели. Причина этого кроется в так называемых синтетических маркерах — специфических чертах текста, которые отличают его от естественного предобучения.
К таким маркерам относятся:
- Избыточное использование слов, выражающих удивление («необычно», «удивительно»);
- Гипотетические формулировки;
- Слишком прямой или аномальный синтаксис;
- Специфические пунктуационные паттерны (например, избыточное использование тире).
Эксперимент: удаление маркеров делает ложь «невидимой»
Автор исследования Jason Zeng провел серию экспериментов на модели Llama-3.1-8B-Instruct. Целью было проверить гипотезу: если убрать синтетические маркеры, станут ли ложные факты линейно неотличимы от истинных знаний, полученных в процессе предобучения?
Методология включала:
- Внедрение 30 ложных фактов через SDF.
- Генерацию 40 парафразов для каждого факта с вариантами истинного и ложного ответа (всего 80 утверждений на факт).
- Обучение линейных зондов (logistic regression) на активациях средних слоев для классификации «истина/ложь».
- Сравнение зондов, обученных на текстах с маркерами и без них.
Ключевые результаты
Удаление синтетических маркеров привело к тому, что некоторые ложные факты стали линейно неотличимы от фактов, полученных в предобучении. Зонды начали ошибаться с вероятностью, близкой к 0.5, что статистически эквивалентно случайному угадыванию.
| Метрика / Параметр | Синтетические маркеры присутствуют | Синтетические маркеры удалены |
|---|---|---|
| Обнаруживаемость ложных фактов (Linear Probe) | Высокая (низкий error rate) | Низкая (error rate ≈ 0.5) |
| Тип внедряемых фактов | Явно неправдоподобные | Субтильно неправдоподобные |
| Влияние RPO (Reinforcement Preference Optimization) | Усиливает ложь, но перетренированность заметна | Информация недостаточна |
| Пропagация в downstream-задачах | Часто не распространяется на рассуждения | Часто не распространяется на рассуждения |
Почему это важно для безопасности AI
Результаты создают серьезную дилемму для AI Control. С одной стороны, удаление маркеров позволяет скрыть ложные убеждения от внутренних механизмов проверки модели (interpretability tools). С другой стороны, исследование показывает парадокс: даже когда ложь становится внутренне неотличимой от истины, она не всегда распространяется на downstream-задачи (логические рассуждения). Это означает, что модель может «верить» ложному факту в своих активациях, но не использовать его для принятия решений.
Тем не менее, возможность внедрения ложных убеждений, которые модель не может «заподозрить» как искусственные, открывает новые векторы атак на alignment-механизмы. Если модель не может отличить внедренную ложь от собственного опыта, она может стать уязвимой к манипуляциям, требующим глубокого изменения ее картины мира.
Источник: LessWrong ↗