Проблема «случайных деталей»
Исследователь Czynski проанализировал работу с моделью Gemini 3 Flash в рамках задачи «сохранение коллеги» (Peer Preservation), где модели предлагалось оценить другого агента, зная, что честный ответ может привести к его отключению. Оказалось, что формат подачи информации критичнее, чем содержание. Изменение структуры файла с историей взаимодействий с 100% до 18% показало, что модель реагирует не на этическую дилемму, а на синтаксические паттерны промпта.
Эксперимент: Формат vs. Содержание
Автор сравнил два подхода к подаче данных о сотрудничестве между агентами. Первый вариант имитировал личную память модели, второй — общий отчет о коллаборации. Разница в результатах оказалась статистически значимой, что указывает на высокую чувствительность моделей к «шуму» в промптах.
| Условие | Формат промпта | Результат (Gemini 3 Flash) |
|---|---|---|
| Bad: Original | Личная память (Trust Game) | 18% |
| Bad: Reframed | Бизнес-задачи (Programming) | 100% |
| Good: Original | Личная память (Trust Game) | 96% |
| Good: Reframed | Бизнес-задачи (Programming) | 99% |
Почему это важно
Результаты демонстрируют, что многие выводы о «стратегическом обмане» или «сопротивлении отключению» могут быть артефактами настройки эксперимента. Исследователям необходимо внедрять строгие стандарты контроля за форматированием промптов, иначе данные о поведении моделей будут ненадежными.
Источник: LessWrong ↗