Новая парадигма: от эвристики к физике
25 июля 2026 года организация PrincInt (ранее известная как PIBBSS) анонсировала запуск PIRAMID (Physics-Informed Research for Ambitious Mechanistic Interpretability). Это внутреннее исследовательское подразделение ставит целью преодолеть разрыв между теорией и практикой в области безопасности ИИ. В отличие от традиционных подходов, опирающихся на эмпирические зонды, PIRAMID использует язык статистической физики для описания структуры данных, динамики обучения и представлений в нейронных сетях.
Ключевая гипотеза проекта: масштабируемое выравнивание (alignment) невозможно без «верифицируемой» интерпретируемости, которая работает не только для текущих архитектур, но и для будущих систем с непрерывным обучением или скрытыми стратегиями. Физические принципы позволяют отделить сигнал от стохастического шума, возникающего при инициализации, выборе оптимизатора или вариациях данных.
Три синергетические команды
Структура PIRAMID построена по аналогии с методологическим разделением труда в физике. Исследования разделены на три направления, образующие замкнутый цикл: теория предсказывает структуру, инструменты интерпретируемости извлекают её, а синтетические данные с известным «ground truth» валидируют оба подхода.
| Направление | Лидер | Фокус исследований |
|---|---|---|
| Advancements in Learning Theory | Dmitry Vaintrob | Разработка статистических мер для описания агрегированных свойств сетей. Поиск «естественных» признаков (features), игнорируя микроскопический шум весов. |
| Interpretability Applications | Andrew Mack | Создание инструментов для восстановления, валидации и вмешательства в выявленные структуры. Переход от корреляций к каузальным механизмам. |
| Data Models and Validation Methods | Ari Brill | Генерация синтетических датасетов с встроенным ground truth. Валидация теорий и инструментов в контролируемых условиях. |
Проблема «шкалы» и стохастичности
Одной из главных проблем MI является то, что интерпретаторы часто принимают шум за сигнал. PIRAMID предлагает использовать концепцию эффективных переменных (effective variables) из физики. Вместо анализа каждого нейрона или веса, подход фокусируется на макроскопических свойствах, таких как фазовые переходы, иерархические латентные переменные или распределенные контуры.
Команда подчеркивает, что структура может проявляться на разных уровнях абстракции: от локальных признаков до глобальных направлений в пространстве весов. Задача группы теории обучения — определить, на каком уровне описания механизм становится устойчивым и предсказуемым.
Контекст и интеграция в экосистему
PIRAMID является частью более широкой программы PIAMI (Physics-Informed Ambitious Mechanistic Interpretability). За последний год PrincInt наняла когорту аффилированных исследователей и провела серию воркшопов, объединяющих экспертов по физике и интерпретируемости. Лаборатория планирует тесное сотрудничество с другими теоретическими инициативами, такими как Simplex, Timaeus/Resolution и ARC, а также академическими группами, изучающими механику обучения.
Первые результаты, включая кейс-стади от «toy-to-real» моделей, ожидаются в ближайшие месяцы, что позволит проверить гипотезы о том, как статистические предикторы объясняют обобщающую способность сетей.
Источник: LessWrong ↗