От скаляров к функциям: суть архитектуры KAN
Предложенные в 2024 году, Kolmogorov–Arnold Networks (KAN) опираются на теорему Колмогорова-Арнольда, которая гласит, что любую непрерывную многомерную функцию можно представить через суммы и композиции одномерных функций. В отличие от традиционных сетей, где связь между узлами определяется одним числом (весом w), в KAN эта связь — это обучаемая функция φ(x).
В стандартном перцептоне выход вычисляется как y = σ(Σ(w·x) + b), где нелинейность σ применяется к сумме взвешенных входов. В KAN нелинейное преобразование применяется к каждому входу индивидуально перед суммированием: y = Σ(φ(x) + b). Это позволяет сети «изучать» форму зависимости, а не просто масштабировать сигнал.
Эволюция edge-функций: от полиномов до сплайнов
Автор исследования использовал прототип LabLayer для тестирования различных семейств функций на ребрах сети. Эксперименты показали, что простота реализации не всегда гарантирует эффективность. Ниже приведено сравнение подходов к параметризации реберных функций:
| Тип функции | Параметризация | Сложность вычислений | Результат/Применение |
|---|---|---|---|
| Квадратичная | 2 обучаемых параметра на ребро | Низкая | Успешно восстановила простую целевую функцию на синтетических данных |
| B-сплайны | Сетка контрольных точек | Средняя | Более гибкая аппроксимация сложных нелинейностей |
| Полиномы Чебышева | Коэффициенты разложения | Высокая | Использовались для финального восстановления уравнений Лоренца |
Вычислительная цена интерпретируемости
Главный компромисс KAN — вычислительная нагрузка. Если в обычной сети вес — это одно число, то в KAN каждое ребро должно оценивать свою функцию. Это требует хранения множества параметров и более дорогих операций прямого прохода. Однако эта цена окупается возможностью визуализации того, какую именно функцию выучила сеть. Автор демонстрирует, как можно «вернуть» обученную сеть в виде аналитического уравнения.
Практический кейс: восстановление уравнений Лоренца
Финальным тестом стала задача восстановления динамической системы Лоренца из синтетических данных. Используя полиномы Чебышева в качестве базисных функций на ребрах, модель смогла не только предсказывать значения, но и выявить структуру, близкую к известным дифференциальным уравнениям. Это подтверждает гипотезу: KAN способны не только классифицировать, но и открывать новые физические законы из данных.
Почему это важно для AI-индустрии
Проблема «черного ящика» в глубоком обучении остается критической. KAN предлагают путь к интерпретируемому ИИ. Если мы можем видеть, что сеть выучила функцию φ(x) = x² или φ(x) = sin(x), мы можем верифицировать логику модели. Это открывает двери для применения нейросетей в науке, где важна не только точность, но и понимание механизмов работы.
Источник: Towards Data Science ↗