La prochaine fois que vous volerez, demandez-vous: qu’est-ce que je regarde? Selon une étude de Université Aéronautique Embry-Riddle, il y a de fortes chances que ce ne soit pas votre drone – mais la réalité augmentée a le potentiel de vous aider à mieux vous concentrer sur votre avion, ce qui est vraiment important, comme le montre cet extrait de la partie 107:
14 CFR § 107. 31 : Exploitation de l’avion en ligne de mire.
R. Avec une vision qui n’est assistée par aucun dispositif autre que des lentilles correctrices, le pilote commandant de bord à distance, l’observateur visuel (le cas échéant) et la personne manipulant les commandes de vol du petit système d’aéronef sans pilote doivent être en mesure de voir l’aéronef sans pilote tout au long du vol afin de ::
1. Connaître l’emplacement de l’avion sans pilote
2. Déterminer l’assiette, l’altitude et la direction du vol de l’aéronef sans pilote;
3. Observer l’espace aérien pour détecter tout autre trafic aérien ou danger; et
4. Déterminer que l’aéronef sans pilote ne met pas en danger la vie ou les biens d’autrui.
Un type de réalité augmentée (RA) couramment utilisé dans l’aviation avec équipage est l’affichage tête haute, qui fournit aux pilotes un accès immédiat aux données de vol cruciales, sans avoir à regarder les instruments de l’avion à l’intérieur du cockpit. (Photo gracieuseté de Telstar Logistics)
Comme cet extrait réglementaire le montre très clairement, le maintien de la ligne de visée visuelle (VLOS) avec votre aéronef est une responsabilité essentielle du commandant de bord à distance (RPIC), ainsi que de son équipage de conduite. Cependant, il est juste de se demander si la plupart des opérateurs commerciaux y adhèrent ou non strictement. J’avoue que je ne réponds jamais à cette norme. Je serais prêt à parier que non, non plus, mais ne vous inquiétez pas, votre secret est en sécurité avec moi. De plus, ce n’est pas vraiment un secret.
La vérité, c’est que nous sommes en bonne compagnie. Au cours d’une étude de terrain menée par Jeff Coleman et David Thirtyacre pour le Département de vol du Campus mondial de l’Université aéronautique Embry-Riddle, les professeurs de l’école — certains des pilotes d’UAS les plus qualifiés et les plus formés au monde — ont été observés consacrer près de 70% de leur temps à la station de contrôle au sol (GCS) de l’avion, plutôt qu’à l’avion lui-même.
Pour tous ceux qui ont déjà piloté un petit système d’avion sans équipage (sUAS), la raison est évidente: le GCS est là où l’action est! En regardant votre drone, vous êtes en mesure de déterminer son attitude, sa direction de vol et d’estimer son altitude. Cependant, en regardant votre GCS, vous pouvez voir sa liaison descendante vidéo en temps réel, ainsi que déterminer avec précision son emplacement, son altitude, sa distance et sa direction jusqu’au point de lancement, sa vitesse horizontale et verticale, le retour du récepteur GPS et du capteur, la puissance restante de la batterie, la fonction et l’état de la charge utile, la force du signal radio et d’autres facteurs.
Si nous volions dans un environnement garanti en quelque sorte exempt de tout danger — aucun autre avion, obstacle, personne ou bien sensible dans les environs — nous regarderions probablement notre écran GCS 100% du temps, car les informations qu’il fournit sont si précieuses. Cependant, nous ne vivons pas dans un tel environnement, c’est pourquoi la FAA met autant l’accent sur la maintenance des VLOS avec l’avion: c’est le seul moyen de garantir que nous ne volons pas en difficulté.
Les résultats de cette étude de terrain indiquent un changement radical du comportement des pilotes à distance lorsqu’ils sont équipés d’un système de réalité augmentée (RA), augmentant considérablement le temps passé à maintenir la ligne de visée directe (VLOS) avec leur avion.
Une Meilleure Façon?
Lorsque Coleman et Thirtyacre ont lancé leurs recherches, elles ne visaient pas exclusivement à faire mal paraître leurs collègues. Au lieu de cela, ils voulaient voir si la réalité augmentée (RA), fournie par le système de lunettes intelligentes Epson Moverio BT-300 et BT-35E, pouvait permettre des opérations VLOS plus fidèles tout en donnant simultanément au pilote accès à toute la vidéo et la télémétrie fournies par le GCS.
Porter une paire de Moverios superpose l’affichage que vous verriez normalement sur votre GCS sur le monde réel, vous permettant de le voir et votre avion simultanément. Les résultats ne sont pas différents de l’affichage tête haute (HUD) dans les chasseurs à réaction modernes.
La question à laquelle le chercheur a cherché à répondre était la suivante: le fait d’avoir ce HUD disponible changera-t-il le comportement ou les pilotes volant en mission autonome? Thirtyacre a décrit le processus de collecte des données, en commençant par le fait que chaque pilote était invité à piloter deux missions autonomes comparables: l’une utilisant un GCS conventionnel et l’autre portant les Moverios.
« Nous avons filmé des personnes en vol sur une période de quatre jours, et nous avons retiré ces données et les avons analysées », a-t-il déclaré. « En fonction de la position de leurs yeux et de leur tête, nous avons décidé s’ils regardaient le GCS, l’avion ou autre chose. Comme il s’agissait d’une étude de terrain et non d’une expérience, il est important de comprendre que nous ne pouvions pas contrôler toutes les variables. Nous ne pouvions que documenter ce qui s’est passé et fonder notre jugement sur cela.”
Les lunettes de réalité augmentée (AR) Moverio d’Epson intègrent un écran binoculaire 720p, une caméra intégrée de 5 mégapixels et une connectivité WiFi et Bluetooth.
Pesant seulement 2,6 onces, les lunettes de réalité augmentée (AR) Epson Moverio sont confortables à porter pendant de longues périodes et suffisamment lumineuses pour être utilisées en plein jour avec les parasols inclus.
Un grand exemple d’une variable incontrôlée était les pilotes eux-mêmes: pleinement conscients du fait qu’ils étaient étudiés et filmés, ont-ils, même inconsciemment, changé leur comportement d’une manière qu’ils croyaient que leurs pairs approuveraient?
Une fois les observations sur le terrain terminées, plusieurs juges ont été affectés à regarder chaque pilote voler, afin de s’assurer d’une mesure fiable du temps passé à regarder l’avion, le GCS et ailleurs dans l’environnement, par exemple en parlant avec un collègue.
Les résultats étaient frappants, selon Thirtyacre: lorsqu’ils volaient avec une configuration GCS conventionnelle, même ces pilotes expérimentés passaient plus des deux tiers de leur temps à regarder l’écran plutôt que leur avion.
Thirtyacre a conclu: « En tant que RPIC, nous passons beaucoup plus de temps à regarder le GCS qu’à l’avion — beaucoup plus que ce que personne ne pensait. Le montant m’a vraiment surpris. Nous apprenons aux gens à maintenir les VLO pendant qu’ils positionnent leur avion dans le ciel à proximité de l’endroit où ils le souhaitent, puis à regarder l’écran — mais ce n’est pas ce qu’ils font, du moins selon cette étude.”
Cette image simulée donne un aperçu de ce que c’est que d’utiliser un drone à l’aide des lunettes intelligentes Moverio d’Epson. Comme les pilotes de cette étude ont acquis de l’expérience en utilisant la technologie de réalité augmentée (RA), ils ont jugé préférable de garder l’avion dans un coin de leur champ de vision, où il était moins susceptible d’être perdu dans l’encombrement de l’affichage vidéo et de la télémétrie.
David Thirtyacre essaie les lunettes de réalité augmentée (AR) Moverio d’Epson en complément de l’affichage conventionnel de la station de contrôle au sol utilisé par l’écrasante majorité des pilotes à distance. (Photo gracieuseté de l’Université aéronautique Embry-Riddle)
Avantage : Réalité Augmentée
Lorsque les pilotes ont effectué une mission comparable en utilisant la technologie AR, les résultats ont été spectaculaires: presque l’inverse du test précédent. Portant les Moverios, les pilotes ont passé plus de la moitié du temps à regarder l’avion. Pour Thirtyacre, il s’agissait d’un aperçu important — qui nécessitera des recherches supplémentaires pour le confirmer, mais qui laissait également entendre que la RA pourrait avoir un rôle important à jouer dans l’avenir des opérations de SAMU.
“Conformément à la partie 107, nous devons maintenir des VLOS avec l’avion. Entendre l’avion derrière moi en regardant le GCS constitue-t-il un VLOS? Je ne le pense pas ”, a-t-il déclaré. « Je pense qu’il est très important que nous comprenions où se trouve l’avion et l’environnement qui l’entoure. Si vous ne regardez pas votre avion, comment savez-vous que vous ne survolez pas les gens? Comment savez-vous où ou non il y a des lignes électriques à proximité?”
Une question que Thirtyacre aimerait voir traitée dans une étude future est la question du « temps de séjour. » C’est-à-dire combien de temps le pilote passe-t-il à regarder l’écran GCS avant de s’enregistrer visuellement avec l’avion.
» Les pilotes habités scrutent constamment l’environnement pendant qu’ils volent. Ils regardent périodiquement leurs instruments, mais cet intervalle est mesuré en secondes ”, a-t-il déclaré. « Je suppose que nous trouverons que les gens regardent l’écran pendant deux, trois ou quatre minutes à la fois. Nous devons adopter une approche qui ressemble davantage à ce qui se passe dans l’aviation habitée.”
Le Dr Scott Burgess du campus mondial de l’Université aéronautique Embry-Riddle Depart of flight regarde son avion à travers une paire de lunettes de réalité augmentée (AR) Epson Moverio. (Photo gracieuseté de l’Université aéronautique Embry-Riddle)
Les utilisateurs de réalité virtuelle (VR) plongent complètement leur vision et leur audition dans un monde synthétique au moyen d’un écran monté sur la tête (HMD).
Choisissez Votre Propre Réalité
Qu’on le veuille ou non, nous vivons tous dans la même réalité: nous existons tous sous les effets du champ gravitationnel terrestre, de la chimie atmosphérique, du cycle diurne et de notre propre biologie innée. Le monde roule, et le fera jusqu’à la mort de chaleur de notre soleil dans environ cinq milliards d’années, en pleine conformité avec les lois de la physique. Aucun d’entre nous ne peut changer cela — cependant, nous pouvons changer son apparence. Voici quelques options:
Réalité augmentée (RA)
En superposant des informations visuelles entre nous et le monde réel, la réalité augmentée nous permet de percevoir simultanément le monde qui nous entoure, augmenté d’un contenu pertinent affiché par un système informatique. La première utilisation pratique et généralisée de la RA a pris la forme d’affichages tête haute (HUD) dans les avions militaires, qui affichent l’état des armes de l’avion, son assiette, son altitude, son cap, le carburant restant, le verrouillage de la cible radar et d’autres informations de vol cruciales sur un écran transparent situé directement dans la ligne de visée du pilote.
La technologie a été mise au point au cours de la Royal Air Force pendant la Seconde Guerre mondiale et est depuis devenue un appareil universel sur tous les avions militaires et même certains avions commerciaux.
Les moteurs Epson utilisés par les chercheurs d’Embry-Riddle dans cette étude fournissent une capacité de type HUD aux pilotes de drones, en projetant la liaison vidéo et la télémétrie de leur avion dans leur champ de vision, tout en gardant l’avion en vue.
Réalité virtuelle (VR)
Une personne utilisant un système de réalité virtuelle bloque le monde réel, au profit d’une simulation générée par ordinateur. La réalité virtuelle est un secteur en plein essor de l’industrie du jeu sur ordinateur, permettant aux joueurs de s’immerger dans des mondes fantastiques et d’utiliser le mouvement de tout leur corps comme contrôleur de jeu. Cette technologie a également trouvé des applications dans des domaines aussi divers que l’architecture et le design urbain, la santé, la santé et la sécurité au travail, l’éducation et bien d’autres.
La réalité virtuelle a été utilisée pour créer des visites d’endroits inaccessibles, tels que la Station spatiale internationale ou des villes anciennes tombées en ruine depuis longtemps, offrant une expérience réaliste aux visiteurs virtuels qui ne pourraient autrement jamais les voir.
Les premières expériences de réalité virtuelle ont été créées par des artistes dans les années 1970, à l’aide d’ordinateurs puissants mis à disposition par le Jet Propulsion Laboratory et le California Institute of Technology à Pasadena. L’un des défis que l’industrie doit encore relever est de savoir comment empêcher les utilisateurs de VR de ressembler à des nerds de classe mondiale.
Réalité Mixte
Partageant des éléments de réalité augmentée et de réalité virtuelle, la réalité mixte permet à ses utilisateurs de percevoir leur environnement réel à travers un écran transparent. Cependant, le système de réalité mixte utilise cet écran pour afficher un objet virtuel ancré à un endroit spécifique du monde réel. Combinée à la technologie de localisation et de cartographie simultanées (SLAM), la réalité mixte permet à plusieurs individus dans le même espace physique de voir le même objet virtuel, chacun de leur propre point de vue.
Un cas d’utilisation peut impliquer un groupe d’architectes travaillant ensemble sur une nouvelle conception de bâtiment. Le design n’existe que sous la forme d’un objet 3D virtuel, perçu comme affiché sur une véritable table de conférence qu’ils ont tous réunis autour. Les participants peuvent parcourir le modèle, l’examiner de différents côtés et échanger des commentaires et des idées avec leurs pairs.
Le système de réalité mixte le plus connu actuellement disponible est le Microsoft HoloLens, sorti pour la première fois en 2016. Il a emprunté sa technologie de suivi au module Kinect produit pour le système de jeu Xbox.
Les systèmes de réalité mixte permettent d’intégrer des objets virtuels dans le monde réel, chaque utilisateur percevant l’objet de son propre point de vue, créant ainsi un outil puissant de collaboration. (Photo gracieuseté de Hoshinim)
Texte et photos de Patrick Sherman
Patrick Sherman est instructeur UAS à temps plein au Département de vol du Campus mondial de l’Université aéronautique Embry-Riddle.