Réduction de la dimensionnalité

La réduction de la dimensionnalité (ou réduction de (la) dimension) est un processus étudié en mathématiques et en informatique, qui consiste à prendre des données dans un espace de grande dimension, et à les remplacer par des données dans un espace de plus petite dimension. Pour que l'opération soit utile il faut que les données en sortie représentent bien les données d'entrée.

Définition et buts

La réduction de dimensionnalité consiste à prendre des données dans un espace de grande dimension, et à les remplacer par des données dans un espace de plus petite dimension^[1]^,^[2].

La raison pour laquelle une telle opération est utile est que les données de plus petites dimension peuvent être traitées plus rapidement^[1]. Cette opération est cruciale en apprentissage automatique par exemple, pour lutter contre le fléau de la dimension.

Approches

Les méthodes de réduction de la dimensionnalité peuvent être classifiées selon plusieurs critères, dont notamment :

le type de fonction utilisée pour effectuer la réduction : l'extraction de caractéristiques consiste à créer de nouvelles variables^[1], en appliquant aux variables d'entrée une transformation qui peut être linéaire ou non linéaire ; la sélection de caractéristiques consiste à conserver un sous-ensemble des variables d'entrée, et peut donc s'interpréter comme un cas particulier de transformation linéaire ;
l'objectif recherché : certaines techniques cherchent à préserver les distances entre les données d'entrée, d'autres à approcher des propriétés globales des données d'entrée (préservation de la variance) ; de nombreuses méthodes non linéaires reposent sur l'estimation d'une variété latente des données ; enfin, certaines techniques cherchent à optimiser un critère qui ne dépend pas uniquement des données d'entrée, mais également d'un problème spécifique que l'on souhaite résoudre en utilisant les données réduites (prédiction d'une autre variable, approximation de modèle, etc.).

Méthodes linéaires agnostiques aux données

Un moyen simple pour réduire la dimension de données dans un espace euclidien est de les multiplier par une matrice aléatoire. Le lemme de Johnson-Lindenstrauss garantit^[3] pour tout entier $n$ , et tout entier $d>\log(n)/\epsilon ^{2}$ , qu'il est possible de plonger tout ensemble de $n$ points $x_{1},\dots ,x_{n}\in \mathbb {R} ^{D}$ en dimension $d$ tout en préservant les distances $\lVert x_{i}-x_{j}\rVert$ à une précision $1\pm \epsilon$ près. La dimension $d$ du plongement ne dépend ici pas de la dimension $D$ de l'espace initial.

En pratique, cette propriété de préservation des distances peut être obtenue avec forte probabilité en considérant un plongement de la forme $x\mapsto \Omega x$ , où $\Omega$ est une matrice aléatoire, par exemple avec des entrées gaussiennes i.i.d.

Méthodes linéaires

Sélection de caractéristique

Article détaillé : Sélection de caractéristique.

La sélection de caractéristique consiste à préserver un sous-ensemble des variables d'entrée. Il s'agit d'un cas particulier de transformation linéaire.

Lorsque cette réduction est effectuée dans le but d'approcher ou d'étudier la variabilité d'une fonction cible, on parle d'analyse de sensibilité.

Analyse en composantes principales

L'analyse en composantes principales (ACP) est une méthode de réduction de la dimensionalité transformant des variables corrélées entre elles en nouvelles variables décorrelées entre elles. Les différentes composantes principales sont choisies successivement en maximisant la projection du nuage de points sur la composante, tout en étant orthogonales aux composantes précédentes. On calcule un taux de variance expliquée (en anglais, "explained variance ratio") pour chaque composante principale. On représente en général les résultats de la variance expliquée à l'aide d'un diagramme en barres, ou en projetant les variables sur un cercle de corrélation.

Méthodes non linéaires

Article détaillé : Réduction non linéaire de la dimensionnalité.

Algorithme t-SNE

L'algorithme t-SNE (anglais pour t-distributed stochastic neighbor embedding) est une méthode de réduction de la dimensionalité modélisant les similarités entre les paires de points dans chaque dimension par des lois de probabilité. Cette méthode est basée sur SNE, une méthode antérieure de réduction de la dimensionalité. Le « t » de la méthode tire son nom de la loi de Student utilisée pour modéliser les similarités entre les points en petite dimension^[4]. t-SNE a obtenu de bons résultats sur des espaces de grande dimension comme MNIST.

UMAP

UMAP (anglais pour Uniform Manifold Approximation and Projection)^[5] est une autre méthode de réduction de la dimensionalité similaire à t-SNE, mais qui base sa théorie sur la géométrie riemannienne (l'étude des variétés riemanniennes).

Analyse en composantes principales à noyau

Article détaillé : Analyse en composantes principales à noyaux.

L'analyse en composantes principales à noyau consiste à effectuer une analyse en composantes principales après avoir appliqué une transformation non linéaire aux données, permettant de les plonger dans un espace de Hilbert à noyau reproduisant.

Auto-encodeur

Article détaillé : Auto-encodeur.

Un auto-encodeur est un réseau de neurones artificiels permettant de représenter des fonctions de la forme $f(x)=g(h(x))$ où $h:\mathbb {R} ^{D}\rightarrow \mathbb {R} ^{d}$ et $g:\mathbb {R} ^{d}\rightarrow \mathbb {R} ^{D}$ sont tous les deux des perceptrons multicouches. Le réseau est entraîné afin de minimiser une fonction de perte de la forme $\lVert x-g(h(x))\rVert$ , ainsi après entraînement le vecteur $h(x)$ peut s'interpréter comme une représentation de faible dimension contenant l'information la plus pertinente afin de reconstruire l'entrée $x$ .

Processus de diffusion

Des méthodes plus récentes, qui se basent sur un processus de diffusion, permettent de réduire la dimension des données tout en préservant leurs structures locales et globales^[6].

Méthodes supervisées

Régression inverse par tranches

La régression inverse par tranches consiste à effectuer une régression d'une variable expliquée $Y$ à partir d'une variable explicative $X\in \mathbb {R} ^{D}$ en utilisant un modèle de la forme $Y=g(\beta ^{T}X)$ où $\beta \in \mathbb {R} ^{D\times r}$ avec $r<D$ et $g$ une fonction non linéaire. L'opération $X\mapsto \beta ^{T}X$ est donc une transformation linéaire réduisant la dimension de la variable explicative, mais la différence avec les approches présentées ci-dessus est que le paramètre $\beta$ est choisi en utilisant des observations jointes des deux variables $X,Y$ .