Проблема масштабируемости оверсайта
Существующие подходы к интерпретируемости, такие как Transluce, используют метод «оверсайта как вывода» (oversight-as-inference). Они обучают модели-инвестигаторы объяснять поведение конкретной целевой модели на естественном языке, используя инструменты вроде get_activations или patch. Однако этот метод требует переобучения для каждой новой модели, что делает его нежизнеспособным в условиях быстрого выхода новых семейств моделей. Авторы предлагают альтернативу: обучение агентов-инвестигаторов и целевых моделей генерировать явные теории поведения — рабочие гипотезы об окружающей среде, которые служат общей валютой для контроля.
Почему «теории» лучше сырых данных?
Ключевое отличие подхода — переход от пространства весов или Python-кода к пространству убеждений (belief space). Теории изолируют компоненты, важные для поведения, игнорируя шум среды. Это позволяет:
- Переносить знания: Теория, выученная на одной модели, помогает предсказывать поведение другой, что эффективнее, чем обучение с нуля.
- Избегать коллапса мод: Модели, сильные в построении теорий, демонстрируют лучшие общие способности к обучению и креативность.
- Создавать репозиторий: Формировать публичную базу объяснений и сбоев моделей, доступную для итеративного улучшения.
Исследовательская повестка: от клеточных автоматов к реальным средам
Первый шаг — создание формального представления теорий. Прототип разрабатывается в среде клеточных автоматов, где модели должны вывести правила обновления, формализуя их на языке Lean. Это обеспечивает полную верифицируемость действий. Далее исследователи планируют переход к более «размытым» представлениям, таким как естественный язык.
Для обучения используется платформа Fig, которая рассматривает теории как diff-изменения в среде (правила игры, поведение оппонентов, контекст). Это позволяет исследовать мультиагентное поведение, которое не масштабируется при использовании методов, ориентированных на одну модель.
Валидация через WitnessBench
Для тестирования переносимости теорий используется бенчмарк WitnessBench. В нем модели фиксируют свои гипотезы о правилах игры в постоянной памяти, используя интерпретируемое вербальное рассуждение. Этот процесс включает рефлексию, планирование и анализ обратной связи, что предотвращает «взрыв контекста». Следующий этап — проверка того, как теории, выученные в игровых средах, переносятся на высокоуровневые, реальные задачи с высокими ставками.
| Метод/Инструмент | Описание | Ключевое преимущество |
|---|---|---|
| Transluce (текущий) | Оверсайт через байесовский вывод по выводам Pythonic world model | Глубокий анализ, но требует переобучения под каждую модель |
| Proposed Theory-Building | Генерация явных теорий поведения как общей валюты | Переносимость между моделями, масштабируемость |
| Lean (прототип) | Формальная верификация правил в клеточных автоматах | Полная проверяемость гипотез на ранних этапах |
| Fig | Платформа для создания diff-изменений в средах | Исследование мультиагентного поведения и emergent dynamics |
| WitnessBench | Бенчмарк для верификации правил через память и рассуждение | Предотвращение взрыва контекста, тест переносимости |
Значение для индустрии
Если гипотеза подтвердится, что модели, сильные в построении теорий, являются лучшими универсальными учениками, это изменит подход к alignment. Вместо поиска «черных ящиков» в весах каждой новой модели, мы сможем использовать их «рациональные убеждения» как предсказуемый интерфейс для контроля, аналогично тому, как reasoning models вынесли промежуточные вычисления в контекст.
Источник: LessWrong ↗