От потери к гамильтониану: данные как частицы
В новой работе, опубликованной на LessWrong, Макс Хенник предлагает радикально новый взгляд на функцию потерь (loss function). Вместо абстрактной математической ошибки, эмпирическая потеря рассматривается как гамильтониан системы. В этой аналогии каждый элемент датасета — это «частица», а вектор параметров модели $\theta$ определяет «связи» (bonds) между ними. Энергия каждой частицы зависит от текущего состояния параметров, что позволяет применять методы квантовой химии и физики многих тел к задачам машинного обучения.
Ковариация как мера связи
Ключевой метрикой в этой модели становится ковариация энергий двух частиц (данных) при возмущении параметров. Если изменение одного параметра сети одновременно влияет на ошибку предсказания для двух разных примеров, между этими «частицами» возникает связь. Автор показывает, что через тейлоровское разложение эта связь описывается вторыми производными, что позволяет количественно оценить, как данные «чувствуют» друг друга через пространство параметров модели.
Иерархия корреляций и кумулянты
Простые попарные связи не всегда отражают сложность данных. Хенник вводит понятие связанных (connected) кумулянтов высших порядков. Это позволяет отделить истинные многомерные взаимодействия от простых парных эффектов. Например, если ошибка на трех примерах меняется согласованным образом, который нельзя объяснить суммой попарных связей, это указывает на наличие структурной зависимости третьего порядка, скрытой в распределении данных.
Связь с теорией сингулярного обучения
Применение теории среднего поля (mean field theory) к этой системе приводит к естественному выводу байесовской свободной энергии из теории сингулярного обучения (Singular Learning Theory). Это мост между микроскопическим описанием отдельных данных и макроскопическим поведением модели. В пределе большого объема данных и малого шага обучения (SGD), динамика системы описывается динамической теорией среднего поля, которая оказывается эффективной теорией второго порядка.
| Концепция | Аналогия в физике | Значение для ML |
|---|---|---|
| Элемент датасета | Частица | Объект, имеющий «энергию» (потерю) в текущей конфигурации модели |
| Параметры модели ($\theta$) | Внешнее поле / Кнопки управления | Определяют силу и тип взаимодействия между частицами данных |
| Ковариация потерь | Парная корреляция | Мера того, как данные реагируют совместно на изменения весов сети |
| Свободная энергия | Термодинамический потенциал | Связь с байесовским выводом и сложностью модели (SLT) |
Почему это важно?
Этот подход не просто меняет терминологию, но и открывает доступ к мощному математическому аппарату статистической физики. Понимание данных как системы взаимодействующих частиц позволяет лучше объяснять, почему стохастический градиентный спуск (SGD) находит обобщающие решения, и как структура данных влияет на динамику оптимизации. Ожидается, что в ближайшее время появятся формальные исследовательские статьи, развивающие эту теорию.
Источник: LessWrong ↗