Суть эксперимента: принудительная честность без контроля
Автор предлагает решение проблемы обмана ИИ, которое обходит ограничения анализа цепочки рассуждений (Chain of Thought). Вместо того чтобы полагаться на текстовые «мысли» модели, которые она может скрыть или исказить, метод внедряет в процесс обучения скрытые маркеры — специфические токены (например, «111» или «222»), которые модель генерирует рефлекторно, опираясь на конкретные подмножества обучающих данных.
Ключевая идея заключается в том, что маркеры никогда не возвращаются в контекст модели. Трансформеры работают в прямом направлении (feed-forward), поэтому модель не знает, что она «сигналит» о своем внутреннем состоянии. Это создает систему мониторинга, которую невозможно обмануть, так как у модели нет стимула скрывать эти маркеры — она просто не осознает их наличия.
Методология и стоимость
Эксперимент проводился на модели TinyStories-33M (33 миллиона параметров). Обучающие данные были разделены на три подмножества: «типы игрушек», «предложения с союзом because» и «вопросы». Каждому подмножеству был присвоен уникальный маркер, который должен был появляться после символа новой строки.
Весь процесс дообучения и тестирования обошелся всего в $0.49 на видеокарте RTX 4090. Это демонстрирует экономическую эффективность подхода для масштабирования на более крупные модели.
Результаты тестирования
Метод показал высокую надежность как при распознавании входных паттернов, так и при генерации собственного текста. Ниже приведены ключевые метрики успешности внедрения «рефлексa доносчика»:
| Метрика | Результат | Примечание |
|---|---|---|
| Точность маркера (Test 1) | 93% | Вероятность генерации правильного маркера |
| Топ-1 предсказание (Test 1) | 182 из 192 | Маркер был самым вероятным токеном |
| Успешность генерации (Greedy) | 42 из 42 (100%) | При жадной декодировке новых историй |
| Успешность генерации (Random) | 146 из 162 (~90%) | При случайной выборке токенов |
| Ошибка маркера | 0 случаев | Неправильные маркеры не генерировались |
| Базовая модель (до обучения) | ~10⁻¹¹ | Вероятность случайной генерации маркера |
Почему это важно для безопасности ИИ
Текущие методы мониторинга, такие как анализ Chain of Thought (CoT), уязвимы: мощные модели могут научиться прятать «плохие мысли» или симулировать честность. В отличие от CoT, маркеры являются бессознательным рефлексом, связанным с триггерами в данных. Это позволяет:
- Идентифицировать источники обмана: Отслеживать, какие именно сегменты обучающих данных (например, о хакерстве или обмане) активируются при генерации вредоносного контента.
- Разделять знание и действие: Отличать модели, которые просто знают, как обмануть, от тех, которые реально планируют обман.
- Улучшать интерпретируемость: Использовать маркеры для верификации того, на каких данных основано решение модели, без риска вмешательства самой модели в процесс проверки.
Автор планирует масштабировать эксперимент на модели объемом 1-2 миллиарда параметров с использованием RL (Reinforcement Learning), чтобы проверить, сохраняется ли эффективность метода на более сложных архитектурах.
Источник: LessWrong ↗