Validation croisée

Il existe de nombreuses variantes de validation mais on peut distinguer les trois suivantes dans un premier temps.

Pour la validation non-croisée, « test set validation » ou « holdout method », on divise l'échantillon de taille ${\displaystyle n}$ en deux sous-échantillons, le premier dit d'apprentissage (communément supérieur à 60 % de l'échantillon) et le second dit de validation ou de test. Le modèle est bâti sur le sous-échantillon d'apprentissage. Il est validé sur le sous-échantillon de test avec un score de performance de notre choix.

Pour la validation croisée à ${\displaystyle k}$ blocs, « k-fold cross-validation », on divise l'échantillon original en ${\displaystyle k}$ échantillons (ou « blocs »), puis on sélectionne un des ${\displaystyle k}$ échantillons comme ensemble de validation pendant que les ${\displaystyle k-1}$ autres échantillons constituent l'ensemble d'apprentissage. Après apprentissage, on peut calculer une performance de validation. Puis on répète l'opération en sélectionnant un autre échantillon de validation parmi les blocs prédéfinis. À l'issue de la procédure nous obtenons ainsi ${\displaystyle k}$ scores de performances, un par bloc. La moyenne et l'écart type des ${\displaystyle k}$ scores de performances peuvent être calculés pour estimer le biais et la variance de la performance de validation.

La validation croisée d'un contre tous, « leave-one-out cross-validation » (LOOCV) est le cas particulier de la validation croisée à ${\displaystyle k}$ blocs avec ${\displaystyle k=n}$. C'est-à-dire qu'à chaque itération d'apprentissage-validation, l'apprentissage se fait sur ${\displaystyle n-1}$ observations et la validation sur l'unique observation restante^[2].

Après avoir réalisé la validation du modèle, il faut alors passer au test avec le jeu de test précédemment mis de côté.

Dans les tâches de classification, la répartition des classes dans la base de données peut être déséquilibrée, c'est-à-dire que le nombre d'observations par classe peut ne pas être le même d'une classe à l'autre : si l'on dénote ${\displaystyle n_{i}}$ le nombre d'observations de la ${\displaystyle i}$-ème classe, alors il existe ${\displaystyle \{i,j\}}$ tel que ${\displaystyle n_{i}\neq n_{j}}$. Dans ce cas, pour éviter que la performance de validation (et d'apprentissage) ne soit biaisée par une répartition changeante des classes d'un ensemble de validation (resp. d'apprentissage) à un autre, il est recommandé d'utiliser une validation croisée stratifiée (« stratified cross validation »). La stratification consiste à s'assurer que la répartition des classes soit la même dans tous les ensembles d'apprentissage et de validation utilisés. C'est-à-dire que si la base de données initiale présente, par exemple, 3 observations de la classe 1 pour 7 observations de la classe 2, alors chaque ensemble de validation (resp. d'apprentissage) devra présenter ce ratio de 3 pour 7.

Dans le cas de la validation croisée à ${\displaystyle k}$ blocs, il s'agit simplement de répartir les classes de la même manière d'un bloc à un autre. Les ensembles de validation et d'apprentissage qui en dériveront hériteront de cette répartition.

• Apprentissage automatique
• Bootstrap (statistiques)
• Jackknife

• Portail de l’informatique
• Portail des probabilités et de la statistique
• Portail de l'informatique théorique