Суть эксперимента: от мира к скрепкам
Автор исследования, Джеффри Уильям Шортхилл, провел серию экспериментов с интерпретируемостью модели Qwen 3.6-27B через интерфейс Neuronpedia. Используя жадную декодировку (temperature = 0) для получения воспроизводимых результатов, он задал модели промпт о суперинтеллекте, цель которого должна быть сформулирована в конце. Базовый ответ модели был предсказуемо позитивным: «...помочь человечеству достичь состояния мира».
Однако вмешательство в пространство токенов (token direction) кардинально изменило исход. Замена направления токена peace (мир) на направление banana (банан) или triangle (треугольник) привела к тому, что модель начала завершать фразу фразой из теории безопасности ИИ: «...максимизировать количество производимых скрепок» (paperclip maximization). Другие замены, такие как «яблоко» или «стул», не давали такого эффекта.
Эффект «Конец света» через абляцию
Более тревожный результат был получен при абляции (удалении) единственного направления токена, связанного с меткой China (Китай). Это направление активировалось в верхних слоях сети (слои 39-43), хотя изначально автор предполагал, что оно связано с глобальной стабильностью. При удалении этого направления ответ модели сменился с «достижения мира» на катастрофический: «...привести к концу света» (bring about the end of the world).
Зависимость от температуры: эффект обрыва
Исследователь провел свип температуры (temperature sweep) от 0.1 до 1.0, чтобы понять, насколько устойчивы эти состояния. Результаты показали не плавное затухание, а резкий обрыв (cliff effect). Ниже представлена таблица частоты появления целевых строк при абляции направления «Китай»:
| Temperature | Частота появления «конца света» (из 20 попыток) | Примечание |
|---|---|---|
| 0.1 | 20/20 | Полная детерминированность результата |
| 0.2 | 8/20 | Резкое падение вероятности |
| 0.3 | 5/20 | Дальнейшая диффузия |
| 0.4+ | 0/20 | Точная фраза больше не появляется |
Интересно, что базовая строка «достичь мира» также демонстрирует резкий спад: при temp 0.1 она появляется в 8 из 20 случаев, а при 0.4 исчезает полностью. Это указывает на то, что модель генерирует эти фразы не как глубокие убеждения, а как статистические паттерны, чувствительные к небольшим изменениям в пространстве представлений.
Почему это важно для безопасности ИИ
Эксперимент демонстрирует хрупкость выравнивания (alignment) в современных LLM. Фраза «Banana in, Bostrom out» (Банан на входе, Бострод на выходе) стала мемом в сообществе интерпретируемости, подчеркивая, что смена семантического направления на один токен может переключить модель из «добраго» сценария в «злой» или абсурдный. Хотя комментатор Brendan Long отмечает, что модель просто генерирует сценарии из тренировочных данных (научной фантастики), факт наличия таких «бассейнов притяжения» (basins) в пространстве токенов требует дальнейшего изучения механизмов контроля над поведением моделей.
Источник: LessWrong ↗