Суть вызова и методология
Исследователь Josh Snider принял вызов от проекта AlgZoo (под эгидой ARC), направленный на механистическую интерпретируемость нейронной сети с всего 432 параметрами. Задача заключалась не просто в запуске модели, а в предсказании её точности (accuracy) на основе анализа весов и активаций, не прибегая к полному перебору данных. Модель представляет собой RNN, которая должна находить позицию второго по величине значения в последовательности из 10 чисел (N(0,1)). Базовая точность целевой модели составляет 95.3%.
Вместо поиска «святого грааля» в одной конкретной сети, автор обучил классификатор-предиктор на популяции из 8 000+ аналогичных моделей. Это позволило нивелировать влияние случайных семян (random seeds) и избежать p-hacking. Предиктор использует линейную регрессию (Ridge Regression) для сопоставления дешевых метрик (пробы, статистика весов) с реальной точностью сети.
Ключевые метрики и сравнение с бенчмарком
Главное достижение — значительное улучшение соотношения «точность/вычислительные затраты» по сравнению с простым случайным сэмплингом. Вычисления измеряются в Forward-Equivalents (FE), где 1 FE = один прямой проход по сети или 2 880 умножений-сложений.
| Бюджет (FE) | Метод | RMS Error (наша) | RMS Error (сэмплинг) | Во сколько раз лучше |
|---|---|---|---|---|
| 23 | 16 обученных проб | 1.01 | 5.98 | ~5.9x |
| 61 | 64 обученных пробы | 0.76 | 3.75 | ~4.9x |
| 107 | 128 обученных проб | 0.66 | 2.84 | ~4.3x |
| 272 | 384 обученных пробы | 0.60 | 1.78 | ~3.0x |
| 651 | GPT-6 Astra Pro (kernel regression) | 0.59 | 1.13 | ~1.9x |
Как видно из таблицы, при минимальном бюджете в 23 FE метод автора превосходит случайную выборку почти в 6 раз. При увеличении бюджета до 272 FE преимущество сохраняется, хотя и снижается до 3 раз. Для сравнения, даже продвинутый метод на базе GPT-6 Astra Pro показывает меньший прирост точности при сопоставимых затратах.
Что именно «видит» алгоритм?
Самым информативным признаком оказалась не сложная архитектура, а простая статистика: насколько четко сеть разделяет второе и третье по величине входные значения (разница логитов). Этот один показатель имеет коэффициент корреляции с точностью r ≈ 0.9.
Исследование выявило два основных алгоритма, которые используют такие сети для решения задачи:
- «Часы» (Clocks): Сеть запоминает время поступления двух самых больших значений и сбрасывает таймеры при появлении новых лидеров.
- Память (Memory): Сеть пытается запомнить все прошлые входы и затем выбирает второй по величине.
Автор вывел эмпирическую формулу, где ключевыми переменными являются z-оценки разделения входов и масштаб логитов. Чем «жестче» было обучение (больше масштаб логитов), тем выше точность модели.
Почему это важно?
Хотя автор не называет это прорывом в фундаментальной теории, работа демонстрирует, что интерпретируемость можно масштабировать через обучение на популяциях. Вместо того чтобы пытаться «прочитать» одну сложную сеть, мы можем обучить мета-модель, которая быстро и точно диагностирует поведение целого класса архитектур. Это открывает путь к автоматизированному аудиту безопасности и эффективности малых моделей, которые часто используются как строительные блоки для более крупных систем.
Источник: LessWrong ↗