Суть эксперимента: тесты на глобальное рабочее пространство
Команда Second Look Research, возглавляемая Финном Кэрнсом, протестировала модель GPT-2 Small (124M параметров) на пяти функциональных свойствах «глобального рабочего пространства» (Global Workspace Theory, GWT), ранее выявленных у Claude компанией Anthropic. GWT предполагает, что сознательный доступ возникает, когда информация попадает в общее пространство с ограниченной емкостью и транслируется по всей системе.
Для анализа использовался метод J-lens (Jacobian lens), который выявляет направления в остаточном потоке (residual stream), делающие вероятным появление определенных токенов. Исследователи проверили, обладает ли J-пространство GPT-2 теми же свойствами, что и у Claude.
Результаты: GPT-2 проходит большинство тестов
Ключевой вывод исследования: четыре из пяти тестов GPT-2 Small прошел успешно. Это означает, что базовая языковая модель без дообучения (instruction tuning) способна имитировать поведение, которое ранее считалось признаком более сложной архитектуры или «сознания».
| Тест функциональности | Результат GPT-2 Small | Суть теста |
|---|---|---|
| Verbal Report (Вербальный отчет) | ✅ Пройден | Модель может сообщить, о чем «думает», и смена вектора меняет ответ. |
| Internal Reasoning (Внутреннее рассуждение) | ✅ Пройден | Векторы представляют промежуточные вычисления; вмешательство меняет вывод. |
| Flexible Generalization (Гибкая обобщаемость) | ✅ Пройден | Один и тот же вектор корректно используется в разных контекстах. |
| Selectivity (Избирательность) | ✅ Пройден* | Удаление активных векторов ломает сложные задачи, но не простую генерацию текста. (*При масштабировании аблиации) |
| Directed Modulation (Направленная модуляция) | ❌ Не пройден | Модель не может удерживать концепцию в уме по инструкции независимо от вывода. |
Почему это важно: иллюзия сознания?
Авторы подчеркивают, что прохождение этих четырех тестов, вероятно, является артефактом конструкции J-lens и архитектуры трансформеров, а не признаком истинного сознания. GPT-2 не обладает структурой, которую Anthropic нашли в Claude:
- Отсутствие специфического слоя: В Claude J-пространство активно в узком диапазоне слоев, у GPT-2 такой четкой границы нет.
- Нет эффекта «зажигания» (Ignition): В Claude неоднозначные входы резко переключаются на одну интерпретацию, у GPT-2 этого не наблюдается.
- Слабая модуляция: GPT-2 не может целенаправленно удерживать информацию в «рабочей памяти» по команде, что является критическим отличием от Claude.
Вывод
Исследование показывает, что многие свойства, приписываемые «сознательному доступу» в больших моделях, могут быть присущи даже небольшим базовым моделям. Это снижает ценность четырех тестов как доказательств наличия GWT у Claude. Настоящий аргумент в пользу сознания должен опираться на то, чего GPT-2 лишен: Directed Modulation и специфической структурной организации слоев.
Источник: LessWrong ↗