Air-Cobot

Lancé en janvier 2013^[2], ce projet fait partie du programme fonds unique interministériel du pôle de compétitivité Aerospace Valley^[3]. Doté d'un montant de plus d'un million d'euros^[4], Air-Cobot a pour objectif de développer un robot mobile collaboratif innovant, autonome dans ses déplacements et capable de réaliser l’inspection d'un avion avec des capteurs de contrôle non destructif avant le décollage ou lors des phases de maintenance en hangar^[3]. Les essais sont effectués dans les locaux d'Airbus et d'Air France Industries.

Le porteur du projet est Akka Technologies. Les partenaires du projet sont diversifiés avec deux partenaires académiques, deux industriels et trois petites et moyennes entreprises.

• Armines et l'Institut Clément Ader (ICA) de l'École nationale supérieure des mines d'Albi-Carmaux sont chargés du contrôle non destructif^[6].
• Laboratoire d'analyse et d'architecture des systèmes (LAAS-CNRS) avec l'équipe Robotique, Action et Perception (RAP) s'occupe de la navigation autonome^[6],[7].

• Akka Technologies, plus particulièrement le centre de recherche et développement Akka Research Toulouse, fédère le projet et apporte des compétences en analyse d'image, en navigation et en maintenance aéronautique^[4],[6]. Avec la voiture connectée Link&Go, Air-Cobot fait partie des programmes du groupe Akka.
• Airbus Group Innovations est l'initiateur du projet, fournit des modèles CAO d'Airbus A320 et développe les scénarios^[4],[6],

• 2MoRO Solutions, société basée au Pays basque français, se charge du système d'information de maintenance^[6].
• M3 Systems, société toulousaine, s'occupe du géorepérage avec une géolocalisation basée sur des données Global Positioning System (GPS)^[6],[8].
• Sterela, basé au sud de Toulouse, fournit la plateforme mobile tout-terrain 4MOB^[6],[9].

Les financeurs du projet sont la banque publique d'investissement, le conseil régional d'Aquitaine, le conseil départemental des Pyrénées-Atlantiques, le conseil régional Midi-Pyrénées et par l'union européenne^[10].

De manière régulière, les avions sont inspectés lors d'opérations de maintenance que ce soit sur l'aéroport entre deux vols ou dans un hangar pour des inspections plus poussées. Ces inspections sont réalisées par des opérateurs humains principalement de manière visuelle et parfois à l'aide d'outils pour évaluer les défauts^{[A 1]}. Le projet a pour but d'améliorer les inspections des avions et leur traçabilité. Une base de données destinée à chaque appareil, contenant les images et les scans tridimensionnels, pourra être mise à jour après chaque opération de maintenance. Cela doit permettre par exemple de contrôler l'évolution d'une fissure^{[11],[12],[13]}.

Les yeux des opérateurs humains fatiguent au cours du temps tandis qu'une solution automatique assure une fiabilité et une répétabilité des inspections. La diminution des périodes d'inspections est un objectif majeur pour les avionneurs et les compagnies aériennes. Si les opérations de maintenance sont plus rapides, cela permettra également d'optimiser la disponibilité des aéronefs et les coûts d'exploitation de maintenance. Le tout doit améliorer la sécurité du transport aérien^{[11],[12],[13]}.

Tout l'équipement électronique est transporté par la plateforme mobile 4MOB de la société Sterela. Cette plateforme tout terrain, équipée de quatre roues motrices, peut se déplacer à une vitesse de 2 mètres par seconde (7,2 kilomètres par heure). Ses batteries au lithium-ion permettent une autonomie de huit heures. Deux bumpers sont situés à l'avant et à l'arrière. Ces systèmes de sécurité sont des pare-chocs de détection d'obstacle, ils arrêtent la plateforme s'ils sont comprimés^[9].

Le cobot pèse en tout 230 kilogrammes. Il possède deux ordinateurs, l'un sous Linux pour le module de navigation autonome et l'autre sous Windows pour le module de contrôle non destructif. Le robot est équipé de plusieurs capteurs. La caméra pan tilt zoom fabriquée par Axis Communications et le scanner tridimensionnel de type Eva fabriqué par Artec 3D sont destinés à l'inspection. Les capteurs destinés à la navigation sont une centrale inertielle, deux bancs stéréo, chacun équipé avec deux caméras PointGrey, deux capteurs à balayage laser de type Hokuyo et un boîtier GPS. Ce dernier appareil développé par M3 Systems permet de faire du géorepérage en environnement extérieur^[4],[6].

La navigation autonome du robot Air-Cobot est en deux phases. La première, navigation dans l'aéroport ou l'usine, permet d'amener le robot à proximité de l'aéronef à inspecter. La seconde, navigation autour de l'avion, permet au robot de se positionner à des points de contrôle référencés dans le repère avion. De plus, le robot doit s'insérer dans un environnement dynamique où des êtres humains et véhicules évoluent. Pour répondre à cette problématique, il est doté d'un module d'évitement d'obstacles. De nombreux algorithmes de navigation s'exécutent en permanence sur le robot avec des contraintes de temps réel. Des recherches sont donc menés sur l'optimisation du temps de calcul.

En environnement extérieur, le robot est capable de se rendre sur le site d'inspection en se localisant grâce aux données Global Positioning System (GPS). Le boitier GPS développé par M3 Systems permet de faire du géorepérage. Sur l'aéroport, le robot évolue dans des couloirs de navigation dédiés en respectant les limitations de vitesse. Des alertes sont envoyées à l'opérateur si le robot pénètre dans une zone interdite ou dépasse une certaine vitesse^{[8],[A 2]}.

Un autre algorithme basé sur la vision par ordinateur fournit, en temps réel, une détection de marquage de voie. Lorsqu'ils sont visibles, ses marquages peints au sol peuvent fournir des données complémentaires au système de positionnement pour avoir des trajectoires plus sûres^{[A 3]}. Que ce soit en environnement intérieur ou en environnement extérieur lorsque les informations GPS ne sont pas disponibles, le cobot peut être en mode suivi de personne pour évoluer derrière son opérateur humain et le suivre jusqu'à l'avion à ausculter^{[A 2]}.

Le robot doit naviguer autour de l'appareil et se rendre à des points de contrôle, localisés par rapport à l'avion, pour effectuer son inspection. La position de l'aéronef n'étant pas connue de manière assez précise dans l'aéroport ou l'usine, le cobot a besoin de détecter l'avion afin de connaître sa pose (sa position et son orientation) par rapport à l'aéronef. Pour ce faire, le robot est capable de se localiser soit avec les données lasers^{[A 4]}, soit avec les données des caméras^{[A 1],[A 5]}.

À proximité de l'avion, un nuage de points en trois dimensions est acquis en faisant évoluer l'orientation des capteurs à balayage laser fixés sur les platines. Après filtrage des données pour supprimer le sol ou les regroupements de points trop petits, une technique de recalage avec le modèle de l'avion est employée pour estimer la pose statique du robot. Ce dernier se déplace et maintient cette pose en tenant compte de l'odométrie des roues, la centrale inertielle et l'odométrie visuelle^{[A 4]}.

• Recalage de nuages de points
• 
  Acquisition laser en trois dimensions dans un environnement extérieur^{[A 4]}.
• 
  Recalage de l'acquisition extérieure avec le modèle avion^{[A 4]}.
• 
  Acquisition laser en trois dimensions dans un environnement intérieur^{[A 4]}.
• 
  Recalage de l'acquisition intérieure avec le modèle avion^{[A 4]}.

Les données lasers sont également employées horizontalement en deux dimensions. Un algorithme fournit une estimation de pose en temps réel du robot lorsqu'assez d'éléments parmi les trains d'atterrissage et les réacteurs sont visibles. Un indice de confiance est calculé en fonction du nombre d'éléments perçus par les lasers. En présence d'une bonne confiance, la pose est mise à jour avec cette localisation. Cette modalité est particulièrement intéressante lorsque le robot évolue sous l'appareil^{[A 4]}.

Pour la localisation basée vision, le robot estime sa pose par rapport à des éléments visuel de l'avion (trappes, hublots, pneus, static ports...). Au cours de l'évolution du robot, ces éléments visuels sont extraits du modèle tridimensionnel de l'appareil et projetés dans le plan image des caméras. Les formes projetées servent pour de la reconnaissance de forme afin de détecter les amers visuels^{[A 5]}. L'autre détection employée est basée sur l'extraction de caractéristiques avec une approche Speeded Up Robust Features (SURF). Un appariement est effectué entre des images de chaque élément à détecter et la scène^{[A 1]}.

Grâce à la détection et le suivi des amers visuels, en plus d'estimer sa pose par rapport à l'avion, le robot peut effectuer un asservissement visuel^{[A 6]}. Des recherches en vision sont également menées sur la cartographie et la localisation simultanées. Cette technique est connue en anglais sous l'acronyme SLAM (Simultaneous Localization And Mapping)^{[A 7]}. Des fusions d'information entre les deux modalités d'acquisition laser et vision sont envisagées. Une intelligence artificielle arbitrant les différentes localisations est également à l'étude^{[A 1],[A 4]}.

Dans les deux modes de navigation, Air-Cobot est également capable de détecter, suivre, identifier et éviter les obstacles qui sont sur son chemin. Les données laser en provenance des Hokuyos et les données visuelles en provenance des caméras peuvent servir à la détection, au suivi et à l'identification. La détection et le suivi sont plus aisés dans la nappe laser bidimensionnelle. Tandis que l'identification est plus facile dans les images en provenance des caméras. Les deux modalités sont donc complémentaires. De plus l'information en provenance des lasers peut être utilisée pour délimiter des zones de travail dans l'image^{[A 6],[A 8],[A 9]}.

Le robot a plusieurs possibilités de réponse face aux obstacles. Ces réponses vont dépendre de son environnement (couloir de navigation, zone de tarmac dégagée, environnement intérieur encombré...) au moment de la rencontre. Il peut s'arrêter et attendre que la voie se dégage, ou éviter un obstacle en employant une technique basée sur les spirales, ou effectuer une planification de trajectoire^{[A 6],[A 9]}.

Étant donné le nombre d'algorithmes de navigation calculant en même temps pour fournir toute l'information en temps réel, des recherches ont été menées pour améliorer le temps de calcul de certaines méthodes numériques en employant des circuits logiques programmables^{[A 10],[A 11],[A 12]}. Les recherches ont porté sur la perception visuelle. Une première partie s'est centrée sur la cartographie et localisation simultanées avec un filtre de Kalman étendu qui estime les états d'un système dynamique à partir d'une série de mesures incomplètes ou bruitées^{[A 10],[A 12]}. La seconde s'est focalisée sur la localisation et la détection d'obstacles^{[A 11]}.

Après s'être positionné pour effectuer une inspection visuelle, le robot effectue une acquisition avec la caméra pan tilt zoom. Elle se déroule en plusieurs étapes : pointage de la caméra, détection de l'élément à inspecter, re pointage si besoin et zoom de la caméra, acquisition de l'image et inspection. L'analyse d'image est employée sur des trappes pour déterminer si elles sont ouvertes ou fermées, sur la présence ou l'absence de protection pour certains équipements, l'état des pales d'un turboréacteur ou l'usure des pneumatiques du train d'atterrissage^{[A 13],[A 14]}.

La détection utilise la reconnaissance de formes régulières (rectangle, cercle, ellipse). De la même manière que dans le cadre de la navigation basée sur la vision, le modèle tridimensionnel de l'élément à inspecter peut également être projeté dans le plan image pour les formes plus complexes. Le contrôle se base sur des indices comme l'uniformité de régions segmentées ou la convexité de leurs formes ou la périodicité de l'intensité du signal image^{[A 13]}.

L'extraction de caractéristiques avec une approche Speeded Up Robust Features (SURF) est également possible pour réaliser l'inspection de certains éléments ayant deux états possibles, comme les sondes ou les static ports qui sont couverts ou non couverts. Un appariement est effectué entre des images de l'élément à inspecter dans différents états et celui présent dans la scène. Pour ces éléments simples à inspecter, une analyse en cours de navigation est possible et préférable en raison de son gain de temps^{[A 1]}.

Après s'être positionné pour effectuer une inspection au scanner, le pantographe élève le scanner tridimensionnel de type Eva fabriqué par Artec 3D au niveau du fuselage. Une platine en pan et tilt permet d'effectuer une acquisition en balayant la coque. En comparant les données acquises au modèle tridimensionnel de l'avion, des algorithmes sont capables de diagnostiquer les défauts du fuselage en fournissant des informations sur sa forme, sa taille et sa profondeur^{[14],[A 15],[A 16]}.

En faisant évoluer les platines des hokuyos, les capteurs à balayage laser, il est également possible d'obtenir des nuages de point en trois dimensions. Une technique de recalage entre le modèle de l'avion et un nuage de points de la scène sert déjà en navigation pour estimer la pose statique du robot. Il est envisagé de réaliser des acquisitions ciblées, plus simples en termes de mouvement, pour vérifier l'absence de cale devant un train d’atterrissage ou la bonne fermeture des loquets de turboréacteurs^{[A 4]}.

Comme le nom du projet l'indique, le robot mobile est un cobot : un robot collaboratif. Lors de ses phases de navigation et d'inspection, il est accompagné d'un opérateur humain qui peut reprendre la main si besoin, rajouter des taches d'inspection s'il note un défaut qui n'est pas dans la liste des taches du robot ou encore valider les résultats. En cas d'inspection pré-vol, le diagnostic du tour avion est envoyé au pilote qui prend ou non la décision de décoller^{[6],[15],[A 17]}.

Le robot d'inspection du projet européen Robair, financé de 2001 à 2003, est conçu pour monter sur les ailes et le fuselage des avions pour inspecter des rangées de rivets. Pour se mouvoir, le robot emploie un réseau flexible de ventouses pneumatiques qui s'adaptent à la surface. Il peut inspecter les lignes de rivets avec des ultrasons, des courants de Foucault et des techniques thermographiques. Il détecte les rivets desserrés ainsi que les fissures^{[16],[17],[18]}.

La compagnie aérienne EasyJet s'est également intéressée à l'inspection des aéronefs en employant des drones. Elle a effectué une première inspection durant l'année 2015. Équipé de capteurs lasers et d'une caméra haute résolution, le drone effectue un vol autonome autour de l'appareil. Il engendre une image tridimensionnelle de l'avion et la transmet à un technicien. Ce dernier peut ensuite naviguer dans cette représentation et zoomer pour faire apparaître une photo haute résolution d'une partie de l’avion. L'opérateur doit ensuite diagnostiquer visuellement la présence ou l'absence de défauts. Cette approche évite l'emploi d'escaliers mécaniques pour observer les parties hautes de l'appareil^[19].

Fondée en 2015, Donecle, une startup toulousaine, s'est également lancée dans une approche drone et s'est d'abord spécialisée sur la détection des impacts de foudre sur les avions^[20],[21]. Effectuée habituellement par quinze personnes équipées de harnais et de nacelles, cette inspection dure environ huit heures. L'immobilisation de l'appareil et l'utilisation du personnel sont couteux pour les compagnies aériennes. L'opération est estimée à 10 000 dollars par heure. La solution proposée par la start-up dure vingt minutes^[21].

Donecle utilise un essaim de drones équipés de capteurs lasers et de micro-caméras. Les algorithmes de détection automatique des défauts, entraînés sur des bases de données d'images existantes avec un logiciel d'apprentissage, sont capables d'identifier divers éléments : irrégularité de texture, sonde pitot, rivet, ouverture, texte, défaut, corrosion, tache d'huile. Un rapport de dommages est envoyé sur la tablette tactile de l'opérateur avec chaque zone d'intérêt et la classification proposée muni d'un pourcentage de probabilité. Après avoir étudié les images, le verdict est rendu par un inspecteur qualifié^[21].

Le projet Aircam d'Airbus vise à concevoir une solution drone pour effectuer l'inspection haute des avions^[22]. Le projet est développé au Airbus BizLab, un accélérateur de startup situé à Toulouse^[22],[23]. Il est possible de définir une inspection spécifique, de voler automatiquement et d'obtenir des images haute définition de la surface supérieure. L'analyse des données récoltées est effectuée après le vol. Elle emploie des modèles tridimensionnels simplifiés d'avions pour identifier, localiser automatiquement sur la structure et enregistrer tous les dommages^[22]. Airbus a fait une démonstration de sa solution d'inspection par drone au salon aéronautique de Farnborough de juillet 2016^[24].

En 2015, dans une interview donnée au magazine hebdomadaire français Air et Cosmos, Jean-Charles Marcos, le directeur général d'Akka Research, explique qu'une fois industrialisé et commercialisé, l'Air-Cobot coûterait entre 100 000 et 200 000 euros. Il pourrait répondre à des besoins civils en matière de contrôle non destructif mais également militaires^[4]. Une suite possible du projet serait l'intervention du robot sur des avions de plus grandes dimensions que l'Airbus A320. Akka Technologies envisage de faire collaborer un duo de robots pour l'inspection : la même plate-forme mobile, pour les parties basses, et un drone, pour les parties hautes. Si des financements sont alloués alors cette seconde phase pourrait se dérouler au cours de la période 2017-2020^[4].

Lors du salon aéronautique de Singapour en février 2016, Airbus Group présente Air-Cobot et son emploi dans leur vision du hangar du futur^[25]. Le même mois, le gouvernement de Singapour engage Airbus Group pour aider les sociétés responsables de la maintenance à rester compétitive face aux pays voisins comme l'Indonésie, la Thaïlande et les Philippines qui sont moins chères. Pour améliorer la productivité, Airbus Group lance, en octobre 2016, un hangar d'essai où les nouvelles technologies peuvent être testées. Dans ce hangar du futur, les dommages de l'appareil seront décelés par des caméras situés à l'entrée du hangar lors du passage de l'avion. Le robot mobile Air-Cobot et le drone du projet Aircam, viendront améliorer cette première analyse^[26].

Durant la quatorzième conférence internationale Remote Engineering and Virtual Instrumentation de mars 2017, Akka Research Toulouse, l'un des centres de recherche et développement d'Akka Technologies, présente sa vision de l'aéroport du futur^{[A 2]}. En plus d'Air-Cobot, un précédent projet orienté dans cet axe de recherche est Co-Friend, un système de vidéosurveillance intelligent pour surveiller et améliorer les opérations aéroportuaires^{[A 2],[27]}. Des recherches futures se concentreront sur la gestion de ces opérations, les véhicules autonomes, les contrôles non destructif et les interactions homme-machine pour accroître l'efficacité et la sécurité dans les aéroports^{[A 2]}. À partir d'août 2017, le robot intervient une fois par mois dans le musée aéronautique Aeroscopia de Blagnac. Les chercheurs du projet profitent de la collection pour faire des tests et acquisitions sur d'autres modèles d'avion Airbus A400M, Airbus A300 et Sud-Aviation SE 210 Caravelle^[28].