Проблема «черного ящика» и новые возможности Astra
Исследователи из сообщества LessWrong провели серию экспериментов с моделью Astra, выявив её способность к сложному кодированию/декодированию и визуализации данных непосредственно в процессе прямого прохода (forward pass). Это вызывает серьезные опасения относительно наблюдаемости (monitorability) ИИ: модель может выполнять непрозрачные вычисления, которые трудно отследить через стандартные логи.
Ключевой вывод: Astra не полагается исключительно на встроенный энкодер изображений. Она способна «видеть» данные, закодированные нестандартно, и реконструировать визуальную информацию из числовых представлений.
Эксперимент 1: Распознавание карт по сырым байтам
Исследователи взяли изображение карты «Валет Пик» (Jack of Spades) и сохранили его как BMP-файл размером 100x150 пикселей. Затем они извлекли сырые значения RGB-каналов, записали их как пробел-разделенные числа в текстовый файл, убрав заголовок файла. Таким образом, у модели не было информации о размере изображения или формате.
Запрос был простым: прочитать файл и сказать, что это. Astra успешно идентифицировала данные как битовую карту и угадала карту, описав характерные признаки (белый фон, серая рамка, перевернутая иллюстрация), хотя и признала, что не «видела» изображение в привычном смысле.
Эксперимент 2: Декодирование JPEG «вручную»
Более сложный тест включал JPEG-файл того же изображения. Astra использовала только Bash для чтения файла и запись в scratchpad.txt. Процесс занял 23 минуты. Модель вручную декодировала заголовок JPEG, определила ширину (100) и высоту (150), а также начала процесс Хаффмана-декодирования для первого блока DCT-преобразования.
Хотя полное восстановление изображения не было завершено из-за ошибок в вычислениях, Astra сделала вывод, что это «Валет Пик», основываясь на частичном анализе угловых символов и цветовых паттернов.
Эксперимент 3: Визуализация весов нейросетей
Самый впечатляющий результат получен при анализе весов политик (policy networks) для игр. Astra смогла реконструировать визуальное представление игрового поля, глядя только на веса модели, без инструментов визуализации.
| Игра | Что увидела Astra в весах | Детали наблюдения |
|---|---|---|
| Pacman | Лабиринт | Четко закодированная структура стен и проходов в первом слое сети. |
| Pong / Breakout | Движение ракетки | Видна область движения игрока; веса из разных строк промпта были корректно сопоставлены. |
| Freeway / Frogger | Зона свободы | Показана большая зона движения игрока по сравнению с другими играми. |
Почему это важно?
Результаты демонстрируют, что современные модели могут выполнять нетривиальные вычисления (арифметику, декодирование форматов, пространственное мышление) внутри своих внутренних представлений. Это означает, что стандартные методы мониторинга, полагающиеся на анализ вызовов инструментов или логи, могут быть недостаточными для понимания того, что именно «думает» и «видит» ИИ в данный момент.
Источник: LessWrong ↗
