Régression de poursuite de projection

Le modèle est constitué de combinaisons linéaires de fonctions de crête : des transformations non linéaires de combinaisons linéaires des variables explicatives. Le modèle de base prend la forme suivante :

${\displaystyle y_{i}=\beta _{0}+\sum _{j=1}^{r}f_{j}(\beta _{j}^{\mathrm {T} }x_{i})+\varepsilon _{i},}$où :

• yi : la variable réponse (valeur à prédire) pour l'observation i
• β0 : le biais (constante du modèle)
• r : le nombre de composantes (hyperparamètre du modèle)
• fj : la j-ième fonction lisse (non linéaire) inconnue
• βj : un vecteur de projection (de dimension p, généralement normalisé)
• xi : le vecteur des variables explicatives pour l'observation i (dimension p)
• βjTxi : projection de xi sur la direction βj
• εi : le terme d'erreur (bruit) pour l'observation i

La valeur de r peut être choisie via validation croisée ou via une stratégie d'ajout progressif, stratégie qui s'arrête lorsque l'ajustement du modèle ne peut plus être amélioré de manière significative. Lorsque r devient grand et que les fonctions {f_j} sont bien choisies, le modèle PPR devient un approximateur universel, capable d'approcher toute fonction continue dans ${\displaystyle \mathbb {R} ^{p}}$.

Summarize Timeline Top Qs Fact Check

Pour un ensemble de données donné ${\displaystyle \{(y_{i},x_{i})\}_{i=1}^{n}}$, l'objectif est de minimiser la fonction d'erreur.

${\displaystyle \min _{f_{j},\beta _{j}}S'=\min _{f_{j},\beta _{j}}\sum _{i=1}^{n}\left[r_{i}-f_{j}(\beta _{j}^{\mathrm {T} }x_{i})\right]^{2}}$

sur les fonctions ${\displaystyle f_{j}}$ et les vecteurs ${\displaystyle \beta _{j}}$.

Il n'existe pas de méthode permettant de résoudre le problème sur toutes les variables simultanément, mais il peut être résolu par optimisation alternée.

Considérons d'abord chaque paire (𝑓𝑗, 𝛽𝑗) individuellement : en fixant tous les autres paramètres, on calcule un « résidu », c'est-à-dire la variance de la sortie qui n'est pas expliquée par ces autres paramètres, donnée par

${\displaystyle r_{i}=y_{i}-\sum _{l\neq j}f_{l}(\beta _{l}^{\mathrm {T} }x_{i})}$

La tâche de minimiser la fonction d'erreur se réduit alors à résoudre

${\displaystyle S=\sum _{i=1}^{n}\left[y_{i}-\sum _{j=1}^{r}f_{j}(\beta _{j}^{\mathrm {T} }x_{i})\right]^{2}}$

pour chaque j à son tour. Généralement les nouvelles paires ${\displaystyle (f_{j},\beta _{j})}$ sont ajoutées au modèle étape par étape.

^[1]

La résolution de la fonction d'erreur simplifiée afin de déterminer une paire (fj,βj) peut se faire par optimisation alternée. On commence par utiliser un βj aléatoire pour projeter X dans un espace unidimensionnel, puis on trouve la fonction optimale fj décrivant la relation entre cette projection et les résidus, à l'aide de la méthode de régression sur nuage de points de votre choix.

Ensuite, si fj est maintenue constante, et en supposant que fj est dérivable une fois, les poids optimaux mis à jour βj peuvent être obtenus via la méthode de Gauss–Newton — une méthode de type quasi-Newton dans laquelle la partie de la matrice hessienne impliquant la dérivée seconde est négligée.

Pour établir cela, on commence par effectuer un développement de Taylor :

${\displaystyle f_{j}(\beta _{j}^{T}x_{i})\approx f_{j}(\beta _{j,old}^{T}x_{i})+{\dot {f_{j}}}(\beta _{j,old}^{T}x_{i})(\beta _{j}^{T}x_{i}-\beta _{j,old}^{T}x_{i})}$

puis, on remplace cette approximation dans la fonction d'erreur simplifiée S', et on effectue quelques manipulations algébriques pour la mettre sous la forme

${\displaystyle \min _{\beta _{j}}S'\approx \min _{\beta _{j}}\sum _{i=1}^{n}\underbrace {{\dot {f_{j}}}(\beta _{j,old}^{T}x_{i})^{2}} _{w}{\Bigg [}{\bigg (}\underbrace {\beta _{j,old}^{T}x_{i}+{\frac {r_{i}-f_{j}(\beta _{j,old}^{T}x_{i})}{{\dot {f_{j}}}(\beta _{j,old}^{T}x_{i})}}} _{\hat {b}}{\bigg )}-\beta _{j}^{T}x_{i}{\Bigg ]}^{2}}$

Il s'agit d'un problème de moindres carrés pondérés. Si l'on détermine toutes les pondérations 𝑤 et qu'on les place dans une matrice diagonale ${\displaystyle W}$, si l'on regroupe toutes les nouvelles cibles ${\displaystyle {\hat {b}}}$ en un vecteur, et si l'on utilise la matrice de données complète ${\displaystyle X}$ au lieu d'un seul exemple ${\displaystyle x_{i}}$, alors la valeur optimale 𝛽𝑗 est donnée par la formule exacte

${\displaystyle {\underset {\beta _{j}}{\operatorname {arg\,min} }}{\Big \|}{\vec {\hat {b}}}-X\beta _{j}{\Big \|}_{W}^{2}=(X^{\mathrm {T} }WX)^{-1}X^{\mathrm {T} }W{\vec {\hat {b}}}}$

Utilisez cette version mise à jour de ${\displaystyle \beta _{j}}$ pour trouver une nouvelle projection de ${\displaystyle X}$ et réajustez ${\displaystyle f_{j}}$ au nouveau nuage de points. Utilisez ensuite ce nouveau ${\displaystyle f_{j}}$ pour mettre à jour ${\displaystyle \beta _{j}}$ en résolvant ce qui précède, et en poursuivant ce processus alterné jusqu'à ce que ${\displaystyle (f_{j},\beta _{j})}$ converge.

Il a été démontré que le taux de convergence, le biais et la variance sont affectés par l'estimation de ${\displaystyle \beta _{j}}$ et ${\displaystyle f_{j}}$.

Summarize Timeline Fact Check

Le modèle PPR prend la forme d'un modèle additif de base, mais avec la composante supplémentaire ${\displaystyle \beta _{j}}$ ; ainsi, chaque ${\displaystyle f_{j}}$ s'adapte à un nuage de points représentant ${\displaystyle \beta _{j}^{T}X^{T}}$ en fonction du résidu (variance inexpliquée) pendant l'apprentissage, plutôt que d'utiliser les données brutes elles-mêmes. Cela réduit le problème de la recherche de chaque ${\displaystyle f_{j}}$ à une faible dimension, ce qui le rend soluble à l'aide de méthodes courantes d'ajustement par moindres carrés ou par splines, et permet d'éviter le problème de la malédiction de la dimensionnalité pendant l'apprentissage. Comme ${\displaystyle \beta _{j}^{T}x_{i}}$ est tiré d'une projection de ${\displaystyle X}$, le résultat ressemble à une « crête » orthogonale à la dimension de projection, de sorte que ${\displaystyle \{f_{j}\}}$ sont souvent appelées « fonctions de crête ». Les directions ${\displaystyle \beta _{j}}$ sont choisies pour optimiser l'ajustement de leurs fonctions de crête correspondantes.

Il convient de noter que, comme la méthode PPR tente d'ajuster des projections des données, il peut être difficile d'interpréter le modèle ajusté dans son ensemble, car chaque variable d'entrée a été prise en compte de manière complexe et multiforme. Cela peut rendre le modèle plus utile pour la prédiction que pour la compréhension des données, même si la visualisation des fonctions de crête individuelles et l'examen des projections mises en évidence par le modèle peuvent apporter un certain éclairage.

• Elle utilise des fonctions de régression univariées au lieu de leur forme multivariée, traitant ainsi efficacement le problème de la malédiction de la dimensionnalité.
• La régression univariée permet une estimation simple et efficace.
• Par rapport aux modèles additifs généralisés, la PPR permet d'estimer une classe de fonctions beaucoup plus riche.
• Contrairement aux méthodes de moyenne locale (telles que les k plus proches voisins), le PPR peut ignorer les variables ayant un faible pouvoir explicatif.

• La PPR nécessite l'examen d'un espace de paramètres à M dimensions afin d'estimer ${\displaystyle \beta _{j}}$.
• Il faut sélectionner le paramètre de lissage pour ${\displaystyle f_{j}}$.
• Le modèle est souvent difficile à interpréter.

• D'autres fonctions de lissage, telles que la fonction de base radiale, la fonction harmonique et la fonction additive, ont été proposées et leurs performances varient en fonction des ensembles de données utilisés.
• D'autres critères d'optimisation ont également été utilisés, tels que les écarts absolus types et les écarts absolus moyens.
• On peut recourir à la méthode des moindres carrés ordinaires pour simplifier les calculs, car les données ne présentent souvent pas de fortes non-linéarités.
• La régression inverse par tranches (SIR) a été utilisée pour choisir les vecteurs directionnels de la méthode PPR.
• La méthode PPR généralisée combine la méthode PPR classique avec la méthode des moindres carrés pondérés itérativement (IRLS) et une fonction de liaison pour estimer des données binaires.