Проблема черного ящика и новая гипотеза
Основным препятствием на пути к надежной выравниванию (alignment) современных больших языковых моделей остается их природа «черного ящика». Традиционные методы механистической интерпретируемости часто не дают полного понимания внутренних процессов. Автор идеи, Magmappie, предлагает радикальный подход: позволить самой LLM, имея доступ к своим весам и активациям, провести саморасшифровку (self-decompilation) и реконструировать закодированные алгоритмы в виде обычного программного кода.
Научная база: от трансформеров к Python
Хотя задача масштабна, существуют доказательства концепции, что вычисления нейросетей можно перевести в традиционные алгоритмы. Исследователи уже демонстрировали, что специально обученные трансформеры могут быть преобразованы в читаемые Python-программы. Ниже приведено сравнение ключевых исследований в этой области:
| Исследование / Авторы | Суть метода | Результаты |
|---|---|---|
| Friedman, Wettig, Chen (Learning Transformer Programs) |
Превращение обучаемых трансформеров в человекочитаемые Python-программы. | Доказана возможность перевода вычислений трансформеров в конвенциональные алгоритмы. |
| Michaud et al. (Opening the AI Black Box) |
Извлечение алгоритмов из рекуррентных нейронных сетей (RNN) и синтез Python-реализаций. | Метод решил 32 из 62 алгоритмических задач. GPT-4 решил 30 задач (частичное совпадение с методом). |
| Gao et al. (Weight-sparse transformers) |
Ограничение большинства весов нулями для упрощения анализа нейронных контуров. | Повышена интерпретируемость вычислений за счет разреженности весов. |
| Khan et al. (Can LLM Agents be Helpful Circuit Explainers?) |
Использование LLM-агентов для выдвижения гипотез о нейронных контурах и их валидации. | Агенты способны формулировать и проверять объяснения работы сети. |
Механизм саморасшифровки
Учитывая, что современные модели содержат до 10 триллионов параметров, ручная работа невозможна. Однако LLM, обладающие отличными навыками программирования, могут выполнить итеративный процесс:
- Идентификация значимых внутренних представлений и вычислительных контуров.
- Выдвижение гипотез о роли отдельных компонентов.
- Дизайн экспериментов для проверки гипотез.
- Преобразование подтвержденных механизмов в явные алгоритмы.
- Тестирование реконструированного кода на новых данных для сравнения с оригинальными весами.
Риски и преимущества
Автор предупреждает о рисках: интерпретируемость может стать инструментом улучшения способностей модели (capabilities research), а также о потенциальной обманчивости модели. Рекомендуется использовать кросс-провайдерский подход (модель А расшифровывает модель Б), хотя это ограничено вопросами интеллектуальной собственности. Даже частичный успех откроет возможности для сжатия моделей, формальной верификации и создания гибридных систем, где критические функции реализованы в виде прозрачного кода, а не «черного ящика».
Источник: LessWrong ↗