Связь между априорным распределением и шириной схемы
В новых работах, подготовленных с участием GPT-6 Astra, описывается фундаментальное свойство байесовского обучения нейронных сетей. Для различных разумных априорных распределений на весах многослойных перцептронов (MLP) индуцированное априорное распределение на функции оказывается circuit prior. Это означает, что для фиксированной глубины упорядочивание функций по отрицательному логарифму априорной вероятности примерно совпадает с упорядочиванием по минимальной ширине схемы, реализующей эти функции.
Количественная оценка выборки
Из этого качественного утверждения вытекает строгая оценка сложности выборки. Если целевая функция реализуется схемой ширины w, то для достижения тестовой точности 1-ε достаточно conditioning на n точках обучающих данных. При этом результаты справедливы, пока выполняется условие реализуемости, в частности, для произвольно переобученных (overparametrized) байесовских сетей.
Проблема экспоненциальной зависимости
Главное ограничение текущих выводов — экспоненциальная зависимость от глубины схемы, реализующей функцию. Авторы отмечают, что можно получить полиномиальную зависимость от глубины, если ограничить априорное распределение только теми нейронными сетями, которые удовлетворяют предположению о робастности (robustness assumption). Однако природа этого условия остается предметом открытых исследований.
Плохие результаты для других априоров
Для других разумных априорных распределений, которые меньше заботятся о норме весов (в частности, тех, что «слабее» mean field prior), наблюдается плохая сложность выборки в условиях сильного переобучения. В таких случаях, даже после просмотра n обучающих точек, алгоритм с высокой вероятностью будет иметь ненулевую константу ошибки на тестовой выборке.
Формализация и верификация
Все теоретические результаты были формализованы в системе доказательства теорем Lean. Модели Opus 5.5 подтвердили корректность формулировок теорем. В папке с материалами содержится более 30 дополнительных рукописей, которые еще не прошли формализацию, но авторы предполагают их корректность.
Источник: LessWrong ↗