Whisper (système de reconnaissance vocale)

La reconnaissance vocale a été étudiée de longue date; les premières approches utilisaient des méthodes statistiques, telles que la déformation temporelle dynamique, puis plus tard ont été testés des modèles de Markov cachés. Autour des années 2010, les modèles les plus courants se sont appuyés sur des réseaux neuronaux profonds, ce qui a été rendu possible par les progrès du Big Data et le développement de processeurs plus puissants^[5]. Les premières approches mobilisant l'apprentissage profond pour la reconnaissance vocale ont intégré des réseaux de neurones convolutifs. Ceux-ci étaient toutefois limités du fait de leur limitation pour capturer des données séquentielles, ce qui a ensuite conduit au développement des approches Seq2seq, qui incluent des réseaux de neurones récurrents utilisant la LSTM (long short-term memory) .

Les transformateurs, introduits en 2017 par Google, se sont substitués à des approches antérieures pour progresser dans la résolution des difficultés posées par l'apprentissage automatique et sont devenus l'architecture neuronale de base dans plusieurs domaines comme la modélisation du langage et la vision par ordinateur ; ^[6] les approches faiblement supervisées de formation de modèles d’apprentissages de la reconnaissance vocale ont été reconnues au début des années 2020 comme les plus prometteuses utilisant des réseaux de neurones profonds^[7].

Whisper a été formé par apprentissage semi-supervisé sur 680 000 heures de données multilingues, dont environ un cinquième (117 000 heures) étaient des données audio non anglaises. Whisper ne surpasse pas les modèles spécialisés dans l'ensemble de données LibriSpeech, mais lorsqu'il est testé sur des ensembles de données plus variés, il apparaît plus robuste et commet de l’ordre de 50 % d'erreurs en moins que les autres modèles en cours à la même époque^[8].

Whisper a un taux d'erreur différent en ce qui concerne la transcription de différentes langues, avec un taux d'erreur de mot plus élevé dans les langues sous-représentées dans les données qui ont servi de base à son entraînement^[9].

L’outil peut être installé sur une machine autonome^[10]. Whisper est notamment utilisé par l'INA en France^[11].

• Portail de l’intelligence artificielle
• Portail du logiciel