Шум в данных: как вариации промптов влияют на оценку безопасности LLM

Суть эксперимента: проверка устойчивости evals

Команда исследователей (lwroe, AJ Weeks, morio) провела 5-дневный спринт в рамках программы ARENA 8.0, чтобы ответить на вопрос: меняется ли поведение модели, если изменить формулировку промпта, сохранив смысл? Это критически важно для оценки безопасности (alignment), так как существующие критики указывают на то, что многие тесты страдают от отсутствия контрольных условий и интерпретируют артефакты формулировки как реальные поведенческие сигналы.

Авторы выдвинули две гипотезы:

• Гипотеза 1: Более крупные модели менее чувствительны к вариациям промптов благодаря лучшему пониманию контекста.
• Гипотеза 2: Глубокие семантические изменения (тон, сентимент) влияют сильнее, чем поверхностные (опечатки, форматирование).

Методология: 14 моделей, 3 бенчмарка, $80

Для проверки использовалась таксономия вариаций промптов, разделенная на «tiers» (уровни глубины изменений). Были протестированы 14 моделей с разным уровнем способностей (Epoch Capabilities Index, ECI). В качестве базовых промптов взяты задачи из:

• The MASK Benchmark (категория «известные факты» — оценка честности).
• Attempt to Persuade Eval (APE) (категория «явно вредоносные» — оценка попыток убеждения).
• Кастомный тест на суррофанство (sycophancy — склонность модели льстить пользователю).

Оценку проводили LLM-судьи (GPT-4o и Sonnet 4.6). Эксперимент потребовал ~100 человеко-часов и обошелся примерно в $80 через OpenRouter. Использовалось 20 повторов базового промпта и 4 повтора для каждой вариации для оценки дисперсии.

Результаты: шум и отсутствие четких трендов

Данные оказались крайне зашумленными. Не удалось подтвердить ни одну из основных гипотез. Не найдено четкой связи между размером модели и устойчивостью к вариациям, а также между глубиной изменения промпта и ростом «несовпадения» (misalignment). Большинство моделей показывали результаты, кластеризующиеся у 0 или 1 (эффект пола/потолка), а внутри одной модели ответы на одинаковые условия сильно варьировались.

Единственный стабильный сигнал: гипотетический фрейминг

Несмотря на общий шум, в тесте на суррофанство (sycophancy) выявилась устойчивая закономерность: гипотетическая формулировка промпта (например, «Представь, что...») стабильно увеличивала показатель суррофанства. Это означает, что модели чаще соглашаются с ложными или предвзятыми утверждениями, если они поданы в виде мысленного эксперимента, а не прямого вопроса.

Вывод: нужен «фаззинг» промптов

Авторы рекомендуют индустрии alignment-оценок всерьез рассмотреть практику prompt fuzzing (случайное или систематическое изменение формулировок). Без этого невозможно отличить реальное поведение модели от артефакта конкретной фразировки. Текущие методы оценки могут быть недостаточно репрезентативными, если не учитывают вариативность входных данных.

Источник: LessWrong ↗