AlexNet
From Wikipedia, the free encyclopedia
AlexNet est le nom d'une architecture de réseau neuronal convolutif. Elle a été conçue par Alex Krizhevsky, Ilya Sutskever et leur directeur de thèse Geoffrey Hinton[1],[2].
AlexNet a participé le au concours ImageNet de reconnaissance d'images. Le réseau (nommé initialement « SuperVision ») a fait 10,8 % d'erreurs de moins que le deuxième[3].
L'article original souligne que la profondeur du modèle est essentielle pour obtenir de hautes performances, mais nécessite beaucoup de capacités de calcul. AlexNet s'est démarqué en utilisant des processeurs graphiques pour paralléliser les calculs, permettant ainsi d'entraîner un réseau particulièrement profond[2].
AlexNet n'était pas la première implémentation d'un réseau neuronal convolutif utilisant des processeurs graphiques pour en augmenter les performances. Un tel réseau avait déjà été implémenté en 2006 par K. Chellapilla et ses collègues, et était 4 fois plus rapide qu'une implémentation équivalente sur CPU[4]. Un réseau neuronal convolutif profond implémenté en 2011 par Dan Cireșan et ses collègues était déjà 60 fois plus rapide[5], et surpassait ses prédécesseurs en [6]. Entre le et le , leur CNN a remporté pas moins de quatre concours d'images[7],[8]. Ils ont également considérablement amélioré les meilleures performances de la littérature pour plusieurs bases de données d'images[9].
Selon l'article d'AlexNet[2], le réseau antérieur de Cireșan était « quelque peu similaire ». Les deux ont été initialement écrits avec CUDA pour fonctionner avec les cartes graphiques Nvidia. En fait, les deux ne sont que des variantes des réseaux neuronaux convolutifs introduits en 1989 par Yann Le Cun et ses collègues[10],[11], qui ont appliqué l'algorithme de rétropropagation à une variante de l'architecture originale de réseau neuronal convolutif de Kunihiko Fukushima appelée « néocognitron »[12],[13]. L'architecture a ensuite été modifiée par la méthode de J. Weng appelée max-pooling[14],[8].
En 2015, AlexNet a été surpassé par le très profond CNN de Microsoft Research Asia avec plus de 100 couches, qui a remporté le concours ImageNet 2015[15].
