Суть открытия: «Чистые» нейроны
Команда Goodfire опубликовала эссе и предварительные результаты технического исследования, доказывающие, что интерпретируемость больших языковых моделей (LLM) может быть значительно проще, чем предполагалось. Ключевой вывод: если правильно обработать данные об активации нейронов (пороговая фильтрация, разделение полярностей, кластеризация), можно построить «наложение» (overlay) на модель, которое позволяет точно отслеживать и вмешиваться в процесс принятия решений.
В отличие от методов словарного обучения (Dictionary Learning) или сжатых автоэнкодеров (SAE), нейронная база является «родной» для модели. Это дает преимущество в стабильности: найденные единицы (нейроны) более надежны для построения каузальных графов, чем искусственные паттерны, извлеченные алгоритмами.
Методология: От визуализации к каузальным графам
Исследователи предлагают использовать нейроны как базовые строительные блоки для интерпретации. Основные шаги обработки данных:
- Правильное пороговое значение: Игнорирование шума и выделение значимых активаций.
- Разделение полярностей: Учет как положительных, так и отрицательных активаций отдельно.
- Кластеризация: Группировка нейронов, реагирующих на внешне несвязанные входы, в «суперузлы» (supernodes).
Результатом становится граф атрибуции, который действует как библиотека векторов управления (steering vectors). Это позволяет исследователям «подключаться» к конкретным концепциям (например, «честность» или «возврат») и изучать их влияние на вывод модели.
Сравнение подходов к интерпретируемости
Хотя методы на основе SAE и транскодеров популярны, исследование Goodfire выделяет нейроны как более фундаментальный инструмент. Ниже приведено сравнение ключевых характеристик:
| Критерий | Нейронная база (Goodfire) | SAE / Транскодеры |
|---|---|---|
| Происхождение | Нативная структура модели | Внешние алгоритмы обучения |
| Стабильность единиц | Высокая (фундаментальные блоки) | Спорная (зависит от словаря) |
| Стоимость применения | Низкая (доступно для хобби-проектов) | Высокая (требует ресурсов) |
| Спarsity (разреженность) | Ниже (нейроны менее разрежены) | Выше (специально обучены на разреженность) |
| Интерпретируемость | Требует агентов ИИ для анализа | Часто более прямолинейна |
Ограничения и гипотеза моносемантичности
Автор поста на LessWrong, neverix, отмечает, что метод не идеален. Графы атрибуции на основе нейронов менее разрежены, чем SAE, и их значения часто неоднозначны. Для их интерпретации необходимы AI-агенты, способные обрабатывать большие объемы контекста. Кроме того, метод плохо масштабируется на модели с экспертами (MoE), где активация одного нейрона может не иметь эффекта без активации всего эксперта.
Ключевой вопрос будущего: почему нейроны кажутся «моносемантичными» (выполняют одну функцию)? Исследователи предполагают, что это свойство связано с разреженными активациями и тем, как модели обходят суперпозицию. Понимание этого механизма критически важно для предсказания того, как интерпретируемость будет меняться при масштабировании моделей.
Практическое значение
Даже если нейроны не объясняют модель на уровне «шестеренок» (gears-level) в деталях, они предоставляют мощные «ручки» для управления. Примеры успешного применения включают управление поведением Llama 3.1 8B в арифметических задачах и создание векторов для отказа от ответов или смены персонажа. Это открывает путь к созданию более безопасных и контролируемых ИИ-систем через прямое вмешательство в нейронные цепи.
Источник: LessWrong ↗