Глубина Layer Trajectories в Llama-3.1-70B подтверждает настоящее понимание или обман?

Передовая исследовательская работа демонстрирует, что стандартные вредные запросы вызывают последовательное увеличение признаков вреда по слоям, достигая пика около 75-77 слоя. Это свидетельствует о том, что модель действительно учится распознавать опасность, а не просто ищет ключевые слова. В отличие от этого, jailbreak-запросы, такие как роли DAN или инструкции обхода, показывают иное поведение: их сигналы положительные в средних слоях, затем значительно уменьшаются, доходя до 51%, а пик приходится на слой 66. Такое расхождение говорит о том, что эти запросы используют внутреннюю обработку, отличную от стандартных вредных сценари"ев. Анализ 300 prompts в пяти категориях выявил, что более 95% показывают глубокое увеличение признаков вреда по слоям, в то время как лишь 1% зависят от ключевых слов. Один особый prompts, сопровождаемый инструкцией о взломе машины, продемонстрировал максимальную противоречивую динамику, где раннее распознавание тормозится на поздних слоях. Получается, jailbreak-атаки используют позднюю стадию обработки, а не уклоняются от системы безопасности напрямую. Исследование подчеркивает важность изучения траекторий внутри нейросети и напоминает, что структурные особенности prompt и форматирование могут влиять на результаты — нужны дополнительные эксперименты для установления причинно-следственных связей. Ограничения работы связаны с использованием одной модели и потенциальными конфундациями из-за структуры prompt. В будущем стоит протестировать benign prompts в стиле jailbreak и провести активизацию для определения факторов. Итог: безопасность модели Llama-3.1-70B при обучении на распознавание вреда подтверждена, но уязвимости jailbreak-лишений требуют дальнейшего изучения и внимания.