Théorème de Cover

Type

Théorème

Nommé en référence à

Thomas M. Cover

Théorème de Cover

L'image de gauche montre 100 échantillons dans l'espace réel de dimension 2. Ces échantillons ne sont pas séparables linéairement, mais en transposant les échantillons dans l'espace tridimensionnel avec l'astuce du noyau, les échantillons deviennent linéairement séparables. On observe que dans ce cas et dans de nombreux autres cas, il n'est pas nécessaire de placer les échantillons dans un espace de 99 dimensions comme dans la démonstration du théorème.

Type	Théorème
Nommé en référence à	Thomas M. Cover

modifier - modifier le code - modifier Wikidata

Le théorème de Cover est un énoncé de la théorie de l'apprentissage automatique et est l'une des principales motivations théoriques pour l'utilisation de l'astuce du noyau non linéaires dans les applications de l'apprentissage automatique.

Le théorème stipule que, étant donné un ensemble de données d'apprentissage qui ne sont pas séparables par un classifieur linéaire, on peut avec une forte probabilité le transformer en un ensemble qui est linéairement séparable en le projetant dans un espace de dimension supérieure au moyen d'une transformation non linéaire. Le théorème est nommé d'après le théoricien de l'information Thomas M. Cover qui l'a énoncé en 1965. Dans sa propre formulation, il s’énonce comme suit :

A complex pattern-classification problem, cast in a high-dimensional space nonlinearly, is more likely to be linearly separable than in a low-dimensional space, provided that the space is not densely populated. (« Un problème de classification de modèles complexe, transposé de manière non linéaire dans un espace de grande dimension, est plus susceptible d'être linéairement séparable que dans un espace de dimension faible, à condition que l'espace ne soit pas densément peuplé »)^[1]