В индустрии машинного обучения укоренилось заблуждение, что количество обучаемых параметров напрямую определяет сложность и мощность модели. Однако новая методика, описанная в исследовании Effective Dimension (Эффективная размерность), доказывает обратное: модель может иметь тысячи параметров, но быть функционально «пустой» из-за линейных зависимостей между ними. Эффективная размерность — это мера информационной сложности, зависящая от данных, которая показывает, сколько действительно независимых направлений в пространстве параметров влияют на выход модели.
Почему счетчик параметров врет
Рассмотрим простой пример: две модели с параметрами \(\theta_1\) и \(\theta_2\). В первой модели параметры независимы — изменение \(\theta_1\) дает уникальный эффект, не воспроизводимый \(\theta_2\). Во второй модели выход зависит только от их суммы: \(f(x; \theta_1, \theta_2) = f(x; \theta_1 + \theta_2)\). Здесь увеличение \(\theta_1\) на 1 и уменьшение \(\theta_2\) на 1 оставляет функцию неизменной. Формально параметров два, но степеней свободы — одна. Эффективная размерность выявляет эту избыточность, которую скрывает обычный подсчет.
Роль матрицы Фишера и правдоподобия
Ключевым инструментом расчета выступает матрица информации Фишера. Она измеряет чувствительность распределения предсказаний к изменениям параметров. Интуитивно это можно сравнить с оценкой среднего значения \(\mu\) из гауссовского распределения:
- Узкое распределение (малый \(\sigma\)): Данные сильно ограничивают возможные значения \(\mu\). Информация высока.
- Широкое распределение (большой \(\sigma\)): Данные слабо информативны, много значений \(\mu\) остаются правдоподобными. Информация низка.
Матрица Фишера количественно оценивает эту «крутизну» функции правдоподобия. Если правдоподобие плоское, параметры плохо идентифицируемы, и их вклад в сложность модели близок к нулю.
Сравнение метрик сложности
Эффективная размерность дополняет, но не заменяет традиционные метрики. Ниже приведено сравнение того, что измеряют разные подходы:
| Метрика | Что показывает | Что упускает |
|---|---|---|
| Количество параметров | Номинальный размер вектора | Избыточные или функционально неактивные параметры |
| Training Loss | Качество подгонки под обучающие данные | Причину плохой работы: оптимизация, архитектура или инициализация |
| Test Loss / Accuracy | Вероятное качество на новых данных | Потенциал модели к улучшению при другой стратегии обучения |
| Effective Dimension | Число различимых направлений, выявленных данными | Зависимость от распределения данных и масштаба выборки |
Зачем это нужно: Оптимизация и принцип бритвы Оккама
Использование Effective Dimension позволяет применять принцип бритвы Оккама в ML: если две модели показывают схожие результаты, следует выбрать ту, у которой меньше эффективных направлений. Это снижает стоимость вычислений (меньше оценок градиентов, меньше гейтов в квантовых схемах) и риск переобучения. Высокая выразительность не гарантирует легкости обучения; часто оптимизация затруднена из-за «плоских» участков ландшафта потерь, которые эффективно выявляются через анализ геометрии параметров.
Источник: Towards Data Science ↗