Minimisation du risque empirique
From Wikipedia, the free encyclopedia
Les informations figurant dans cet article ou cette section doivent être reliées aux sources mentionnées dans les sections « Bibliographie », « Sources » ou « Liens externes » ().
En apprentissage automatique, la minimisation du risque empirique est une technique de recherche de solution procédant par minimisation d'une mesure d'erreur correspondant à la moyenne d'une fonction de perte sur un jeu de données connu et fixé. On parle de risque empirique par opposition à l'erreur de généralisation, qui correspond à une mesure d'erreur idéale quantifiant la performance du modèle appris sur de nouvelles données, mais qui n'est en général pas calculable. L'erreur empirique en constitute donc une approximation utilisable en pratique. Étudier l'erreur de généralisation de modèles appris par minimisation du risque empirique est au cœur de la théorie de l'apprentissage statistique.
En théorie de l'apprentissage statistique, on considère avoir accès à un ensemble fini de données tirées selon une loi de probabilité.
Dans le cas par exemple d'un problème d'apprentissage supervisé, on observe les données correspondant à des observations i.i.d. de variables aléatoires suivant une loi , et l'on cherche une fonction permettant de prédire la valeur de en fonction de la variable , c.-à-d. minimisant l'erreur de généralisation (ou risque)
![{\displaystyle R(f):=\mathbb {E} _{X,Y}[\ell (f(x),y)]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/02d81f2d6e81072f1644a6db2923840d135130e6)
pour une certaine fonction objectif dépendant du problème considéré. Le plus souvent, la loi des données est inconnue et l'erreur de généralisation ne peut donc pas être calculée.
La minimisation du risque empirique consiste à minimiser en lieu et place de cette espérance le risque empirique, défini comme
Le risque empirique correspond au risque de la fonction par rapport à la loi empirique de l'échantillon considéré.
