Extreme learning machine
From Wikipedia, the free encyclopedia
Cet article ne s'appuie pas, ou pas assez, sur des sources secondaires ou tertiaires ().
| Type | |
|---|---|
| Nom court |
(en) ELM |
| Formule |
En apprentissage automatique, le terme extreme learning machine (machine à apprentissage extrême) fait référence à un type de réseau de neurones. Sa spécificité est de n'avoir qu'une seule couche de nœuds cachés, où les poids des entrées de connexion de nœuds cachés sont répartis au hasard et jamais mis à jour. Ces poids entre les nœuds cachés d'entrée et les sorties sont appris en une seule étape, ce qui revient essentiellement à l'apprentissage d'un modèle linéaire. Le nom "extreme learning machine" (ELM) a été donné à ces modèles par Guang-Bin Huang, mais le principe était déjà connu.
Ces modèles peuvent produire une bonne performance de généralisation et avoir un processus d'apprentissage beaucoup plus rapide que les réseaux entraînés en utilisant la rétropropagation du gradient[1].
Le plus simple algorithme d'apprentissage ELM a un modèle de la forme
où W1 est la matrice des pondérations d'entrée-à-couche cachée, σ est une fonction d'activation, et W2 est la matrice des pondérations de couche cachée-à-sortie. L'algorithme fonctionne de la manière suivante :
- Assignez W1 avec du bruit aléatoire gaussien ;
- Estimez W2 par la méthode des moindres carrés pour faire correspondre la matrice réponse des variables Y, calculée en utilisant le pseudoinverse ⋅+, donnant une matrice de conception X :
