Réseaux de Kolmogorov-Arnold

Les réseaux de Kolmogorov-Arnold (KAN) ont été proposés par Liu et al. (2024)^[4] comme une généralisation du théorème de représentation de Kolmogorov-Arnold (KART), visant à surpasser les perceptrons multicouches (MLP) dans les petites tâches d'IA et scientifiques. Avant les KAN, de nombreuses études ont exploré les liens entre le KART et les réseaux de neurones, ou l'ont utilisé comme base pour concevoir de nouvelles architectures de réseaux.

Dans les années 1980 et 1990, les premières recherches ont appliqué la méthode du KART à la conception de réseaux de neurones. Kůrková et al. (1992)^[5], Hecht-Nielsen (1987)^[6] et Nees (1994)^[7] ont établi les fondements théoriques des réseaux multicouches basés sur KART. Igelnik et al. (2003)^[8] a introduit le réseau de splines de Kolmogorov, utilisant des splines cubiques pour modéliser des fonctions complexes. Sprecher (1996, 1997)^[9],[10] a introduit des méthodes numériques pour la construction des couches du réseau, tandis que Nakamura et al. (1993)^[11] ont créé des fonctions d'activation avec une précision d'approximation garantie. Ces travaux ont permis de relier le potentiel théorique du KART à la mise en œuvre pratique des réseaux de neurones.

Le théorème de représentation de Kolmogorov-Arnold (KART) a également été utilisé dans d'autres domaines informatiques et théoriques. Par exemple, Coppejans (2004)^[12] a développé des estimateurs de régression non paramétriques utilisant des B-splines ; Bryant (2008) l'a appliqué à des tâches d'imagerie de grande dimension ; Liu (2015) a étudié des applications théoriques dans le transport optimal et le chiffrement d'images ; plus récemment, Polar et Poluektov (2021)^[13] ont utilisé des opérateurs d'Urysohn pour une construction KART efficace ; et Fakhoury et al. (2022)^[14] ont intégré le KART à des arbres probabilistes et des B-splines multivariées pour obtenir une approximation de fonction améliorée.

Summarize Timeline Top Qs Fact Check

Les réseaux de Kolmogorov-Arnold (KAN) sont basés sur le théorème de représentation de Kolmogorov-Arnold (KART), qui était lié au 13^e problème de Hilbert^{[15],[16],[17]}.

Donné ${\displaystyle x=(x_{1},x_{2},\dots ,x_{n})}$ composée de n variables, une fonction continue multivariée ${\displaystyle f(x)}$ peut être représenté comme :

${\displaystyle f(x)=f(x_{1},\dots ,x_{n})=\sum _{q=1}^{2n+1}\Phi _{q}\left(\sum _{p=1}^{n}\varphi _{q,p}(x_{p})\right)}$   (1)

Cette formulation contient deux sommes imbriquées : une somme externe et une somme interne. La somme externe ${\displaystyle \sum _{q=1}^{2n+1}}$ agrège ${\displaystyle 2n+1}$ termes, chacun impliquant une fonction ${\displaystyle \Phi _{q}:\mathbb {R} \to \mathbb {R} }$.

La somme intérieure ${\displaystyle \sum _{p=1}^{n}}$ calcule n termes pour chaque q, où chaque terme ${\displaystyle \varphi _{q,p}:[0,1]\to \mathbb {R} }$ est une fonction continue de la variable unique ${\displaystyle x_{p}}$. Les fonctions continues intérieures ${\displaystyle \varphi _{q,p}}$ sont universels, indépendants de ${\displaystyle f}$, tandis que les fonctions externes ${\displaystyle \Phi _{q}}$ dépendent de la fonction spécifique ${\displaystyle f}$ étant représentée. La représentation (1) est valable pour toutes les fonctions multivariées ${\displaystyle f}$ comme démontré dans ^[17]. Si ${\displaystyle f}$ si est continue, alors les fonctions extérieures ${\displaystyle \Phi _{q}}$ sont continues ; si ${\displaystyle f}$ est discontinue, alors les fonctions extérieures ${\displaystyle \Phi _{q}}$ correspondantes sont généralement discontinues, tandis que les fonctions internes ${\displaystyle \varphi _{q,p}}$ restent les mêmes fonctions universelles.

Un KAN général composé de L couches prend x en entrée pour générer la sortie comme suit :

${\displaystyle \mathrm {KAN} (x)=(\Phi ^{L-1}\circ \Phi ^{L-2}\circ \cdots \circ \Phi ^{1}\circ \Phi ^{0})x}$   (3)

Ici, ${\displaystyle \Phi ^{l}}$ est la matrice de fonction de la l-ième couche KAN ou d'un ensemble de pré-activations.

Si i est le neurone de la l-ième couche et j le neurone de la (l+1)-ième couche, alors la fonction d'activation ${\displaystyle \varphi _{j,i}^{l}}$ relie (l, i) à (l+1, j) comme suit :

${\displaystyle \varphi _{j,i}^{l},\quad l=0,\dots ,L-1,\;i=1,\dots ,n_{l},\;j=1,\dots ,n_{l+1}}$   (4)

où n_l est le nombre de nœuds de la l-ième couche.

Par conséquent, la matrice de fonction ${\displaystyle \Phi ^{l}}$ peut être représentée comme une matrice ${\displaystyle n_{l+1}\times n_{l}}$ des activations :

${\displaystyle x^{l+1}={\begin{pmatrix}\varphi _{1,1}^{l}(\cdot )&\varphi _{1,2}^{l}(\cdot )&\cdots &\varphi _{1,n_{l}}^{l}(\cdot )\\\varphi _{2,1}^{l}(\cdot )&\varphi _{2,2}^{l}(\cdot )&\cdots &\varphi _{2,n_{l}}^{l}(\cdot )\\\vdots &\vdots &\ddots &\vdots \\\varphi _{n_{l+1},1}^{l}(\cdot )&\varphi _{n_{l+1},2}^{l}(\cdot )&\cdots &\varphi _{n_{l+1},n_{l}}^{l}(\cdot )\end{pmatrix}}x^{l}}$

Pour rendre optimisables les couches d'un KAN, la fonction interne est formée par la combinaison de fonctions spline et de fonctions de base selon la formule :

${\displaystyle \varphi (x)=w_{b}\,b(x)+w_{s}\,{\text{spline}}(x)}$

où ${\displaystyle b(x)}$ est la fonction de base, généralement définie comme ${\displaystyle silu(x)=x/(1+e^{x})}$, et ${\displaystyle w_{b}}$ est la matrice de pondération de base. ${\displaystyle w_{s}}$ est la matrice de pondération des splines, et ${\displaystyle {\text{spline}}(x)}$ est la fonction spline. La fonction spline peut être une somme de B-splines.

${\displaystyle {\text{spline}}(x)=\sum _{i}c_{i}B_{i}(x)}$

De nombreuses études ont suggéré de remplacer les B-splines par d'autres fonctions polynomiales ou d'autres courbes pour créer de nouvelles variantes de KAN^{[18],[19],[3]}.

Le choix de la base fonctionnelle a une forte influence sur les performances des KAN. Parmi les différentes familles de fonctions courantes, on trouve :

• Les B-splines : elles offrent à la fois localité, régularité et interprétabilité ; ce sont les plus utilisées dans les implémentations actuelles^[3].
• Les fonctions de base radiales ou RBF (y compris les RBF gaussiennes) : elles capturent les caractéristiques localisées des données, et sont efficaces pour approximer les fonctions ayant des structures non linéaires ou groupées^[3],[20].
• Les polynômes de Tchebychev : ils offrent une approximation efficace avec une erreur minimale dans la norme maximale, ce qui les rend utiles pour la représentation stable des fonctions^[3],[21].
• Les fonctions rationnelles : elles sont utiles pour approximer des fonctions présentant des singularités ou des variations brusques, car elles modélisent mieux les comportements asymptotiques que les polynômes^[3],.
• Les séries de Fourier : elles permettent de capturer efficacement les motifs périodiques et sont particulièrement utiles dans des domaines tels que l'apprentissage automatique basé sur la physique^{[3],[22],[23]}.
• Les fonctions d'ondelettes (différence de gaussiennes, chapeau mexicain, Morlet et Shannon) : elles sont utilisées pour extraire des caractéristiques spécifiques, grâce à leur capacité à capturer à la fois les composantes de données à haute et à basse fréquence^[3],[24],.
• Les fonctions linéaires par morceaux : elles fournissent une approximation efficace pour les fonctions multivariées dans les KAN^[25],[26].

Dans certaines architectures neuronales modernes, comme les réseaux de neurones convolutifs (CNN), les réseaux de neurones récurrents (RNN) et les transformeurs, les KAN sont généralement utilisés comme substituts directs aux couches MLP. Malgré leur conception généraliste, les KAN ont été utilisés pour de nombreuses tâches spécifiques, notamment :

• L'apprentissage automatique scientifique (SciML) : ajustement de fonctions, équations aux dérivées partielles (EDP)^{[1],[27],[28]} et lois physiques/mathématiques.
• L'apprentissage continu : les KAN préservent mieux les informations apprises précédemment lors des mises à jour incrémentales, évitant ainsi les phénomènes d'oubli catastrophique dû à la localité des ajustements de spline^[2],[29].
• Les réseaux neuronaux graphiques : des extensions telles que les réseaux neuronaux graphiques de Kolmogorov-Arnold (KA-GNN) intègrent des modules KAN dans des architectures à passage de messages, montrant des améliorations dans les tâches de prédiction des propriétés moléculaires^{[3],[30],[31]}.

Du fait de leur utilisation de fonctions polynomiales pour capturer les données, les KAN peuvent nécessiter une puissance de calcul importante et un grand nombre de paramètres^[32],.

• Théorème de représentation de Kolmogorov-Arnold
• Théorème d'approximation universelle