Régression de Tikhonov à noyau

La méthode appartient à la famille des méthodes de régression, et permet d'apprendre à prédire une variable ${\displaystyle Y\in \mathbb {R} }$ en fonction de variables explicatives ${\displaystyle X}$ qui lui sont corrélées (on peut considérer par exemple ${\displaystyle X\in \mathbb {R^{d}} }$). On suppose avoir accès à un ensemble d'observations ${\displaystyle (x_{i},y_{i})_{1\leq i\leq n}}$ de ces variables, et l'on cherche une fonction ${\displaystyle f}$ permettant d'expliquer les données, c'est-à-dire telle que ${\displaystyle y_{i}\approx f(x_{i}),1\leq i\leq n}$, tout en étant suffisamment « lisse ».

La particularité de la régression a noyau est de choisir la fonction ${\displaystyle f}$ dans un espace de Hilbert à noyau reproduisant ${\displaystyle (H,\lVert \cdot \rVert _{H})}$, et d'utiliser la norme ${\displaystyle \lVert f\rVert _{H}}$ afin de mesurer la régularité de la fonction ${\displaystyle f}$. Plus précisément, on parle de de régression de Tikhonov car c'est le carré de cette norme qui est utilisé, il s'agit donc en ce sens d'une généralisation de la régularisation de Tikhonov classiquement utilisée en régression linéaire.

Soit ${\displaystyle (x_{i},y_{i})_{1\leq i\leq n}\in ({\mathcal {X}}\times \mathbb {R} )^{n}}$, et ${\displaystyle (H,\lVert \cdot \rVert _{H})}$ un espace de Hilbert à noyau reproduisant sur ${\displaystyle {\mathcal {X}}}$.

La régression de Tikhonov à noyau consiste à calculer

${\displaystyle f_{X,y,\lambda }\in {\underset {f\in H}{\operatorname {arg\,min} }}{\frac {1}{n}}\sum _{i=1}^{n}(f(x_{i})-y_{i})^{2}+\lambda \lVert f\rVert _{H}^{2}}$

où ${\displaystyle \lambda >0}$ est un paramètre contrôlant le compromis entre attache aux données et régularisation.

L'estimateur ${\displaystyle f_{X,y,\lambda }}$ est convergent^[1] lorsque ${\displaystyle n\rightarrow \infty }$ (le paramètre de régularisation ${\displaystyle \lambda }$ étant choisi de manière dépendante de ${\displaystyle n}$).

L'estimateur est par ailleurs optimal dans un sens minimax^[2], pour une classe de distributions caractérisée par certaines propriétés de l'opérateur intégral associé. Dans ce cadre théorique, les taux de convergence optimaux dépendent notamment de la vitesse de décroissance des valeurs propres de l'opérateur intégral, ainsi que d'une condition de source sur le minimiseur de l'erreur de généralisation, c.-à-d. que le taux de convergence peut être amélioré dans certains cas lorsque ce minimiseur est supposé appartenir à un certain sous-espace de ${\displaystyle H}$.

L'estimateur ${\displaystyle f_{X,y,\lambda }}$ peut s'interpréter^[3] comme la moyenne a posteriori d'un processus gaussien conditionné aux observations ${\displaystyle (x_{i},y_{i})_{1\leq i\leq n}}$.