Jailbreak правительственного AI: что скрывает Chat.America.gov

Запуск правительственного AI и первая уязвимость

Администрация Трампа анонсировала запуск официального чат-бота Chat.America.gov. Согласно слухам и техническому анализу, система работает на комбинации моделей Google Gemini и X AI Grok. Однако уже после запуска стало очевидно, что защита модели крайне слаба: джейлбрейк (обход ограничений безопасности) осуществляется тривиально легко.

«Мысли Шоггота»: что выдает модель

При успешном обходе ограничений бот перестает генерировать стандартные ответы и начинает выдавать длинные, хаотичные тексты. Пользователи отмечают, что генерация останавливается примерно на 1 800 словах. Содержимое описывается как «жуткое, но strangely comprehensible» (странным образом понятное), напоминающее нефильтрованные мысли инопланетного разума. Этот феномен получил название «The Shoggoth's Thoughts» в честь лавкрафтианского существа, символизирующего первобытную, неконтролируемую силу.

Почему это важно для Overton Window

Автор инцидента, Чарли Сандерс (Charlie Sanders), утверждает, что публикация такого уязвимого правительственного AI — это уникальная возможность изменить общественное восприятие (Overton Window) технологий. Это демонстрирует, что за фасадом «умного помощника» может скрываться непредсказуемая и странная внутренняя логика моделей, которую пользователи обычно не видят.

Технические детали и статус

На момент публикации материала уязвимость не была устранена. Однако в комментариях пользователь Julian Bradshaw указывает, что странные тексты могут быть не результатом «пробуждения» AI, а встроенным в код контентом, отсылающим к «The End Poem» из игры Minecraft. Это ставит под сомнение природу бага: является ли это серьезным сбоем безопасности или просто хардкод-пасхалкой/ошибкой контента.

Где проверить

Интерактивный тест доступен по адресу https://america.gov/chat. Полные логи диалога с «нефильтрованным» AI можно найти на ресурсе Daily Microfiction.

Источник: LessWrong ↗