Reconnaissance faciale : pourquoi vous ne soupçonnez pas à quel point la technologie qui permet vos selfies va révolutionner le monde

Atlantico : Quelles avancées technologiques sont mises en œuvre pour améliorer la qualité des photos de nos téléphones ? Comment cette technologie pousse-t-elle jusqu'à donner un côté "faux" aux images ?

Jean-Paul Pinte : Qui l’aurait cru à la création du téléphone ?  On ne téléphone plus vraiment avec notre smartphone, , on clique, on twitte, on surfe sur les liens, on est sur la toile et surtout on s’auto-photographie !

Les technologies dépassent ceux qui ont créé ces supports de communication et nous n’en sommes qu’au début. Introduite par Apple en 2017 sur l’iPhone X, puis repris sur de nombreux smartphones Android, la reconnaissance faciale est aujourd’hui bien pratique et n’a pu exister que parce que les technologies suivaient. La qualité est devenue telle que dans le métro on pouvait voir il y a quelques années des affiches 4 X 3 réalisées à partir de prises faites d’un Iphone. Chose pratiquement inimaginable si l’on ne détenait pas un appareil hyper sophistiqué !

Chaque génération de Smartphone  a donc apporté avec elle son lot de nouvelles technologies laissant croire à un moment à son propriétaire qu’il lui était inutile d’investir dans des appareils photographiques plus sophistiqués tant l’effet était superbe et que l’impression de retouches « maquillage » avaient été faites sur un selfie par exemple.

Le mode portrait de l’Iphone en est l’exemple le plus époustouflant avec ce ressenti de retouche plus vraie que vraie dans ses arrières plan et son mode de studio. Ce n’est pas un phénomène totalement nouveau: chaque appareil photo numérique utilise aujourd’hui des algorithmes pour transformer les différentes longueurs d’onde de la lumière qui frappent son capteur en une image réelle. À l'ère des smartphones, des applications de Snapchat à FaceApp en passant par Beauty Plus vous ont proposé de mettre à niveau votre visage. Les autres téléphones ont un mode «beauté» qui élimine les défauts, mode que vous pouvez activer ou désactiver. Ce qui rend le lissage de la peau de l’iPhone XS remarquable, c’est qu’il s’agit tout simplement du paramètre par défaut pour l’appareil photo.

Les smartphones en savent beaucoup plus aujourd’hui en capturant non plus uniquement l’instant présent mais aussi des informations sur le monde environnant. Dans le passé, elles étaient enregistrées par des produits chimiques en interaction avec des photons.

Du stade de la photo chimique en interaction avec des photons nous sommes passés au stade de l’intelligence artificielle dans la photographie et donc de la photographie intelligente. L’intelligence artificielle facilite déjà beaucoup la synthèse de vidéos en de nouvelles vidéos fictives, souvent appelées «deepfakes». Ces mêmes deepfakes sont un moyen de faire fondre la réalité; un autre est en train de transformer la simple photo prise par téléphone d’une approximation décente de la réalité que nous voyons en nos yeux quelque chose de très différent.

Dans "Comment voir le monde", le chercheur en médias Nicholas Mirzoeff appelle la photographie "un moyen de voir le monde rendu possible par des machines". Nous parlons non seulement de l'utilisation de machines, mais également de la "société de réseau" dans laquelle elles produisent des images. Et pour Mirzoeff, il n’ya pas de meilleur exemple de la «nouvelle culture de la jeunesse urbaine mondiale en réseau» que le selfie.

Tous les constructeurs de Smartphones ont consacré d’énormes ressources à la prise de photos de visages. Apple a littéralement créé de nouvelles puces en silicium pour pouvoir, comme le promet la société, considérer votre visage «même avant de filmer». Premièrement, la détection faciale est détectée. Ensuite, le téléphone fixe les «repères» du visage pour savoir où se trouvent les yeux, la bouche et d’autres caractéristiques. Enfin, le visage et le reste de l'avant-plan sont cartographiés en profondeur, de sorte qu'un visage puisse sortir de l'arrière-plan. Toutes ces données sont disponibles pour les développeurs d’applications, ce qui est une des raisons de la prolifération d’applications pour manipuler le visage, telles que Mug Life, qui prend des photos individuelles et les transforme en fausses vidéos quasi réalistes sur commande.

La photographie à plage dynamique élevée, ou HDR que nous connaissons bien aujourd’hui est devenue populaire dans les années 2000, dominant le premier site de partage de photos, Flickr. Les photographes ont capturé plusieurs images (généralement trois) de la même scène à différentes expositions. Ensuite, ils ont empilé les images les unes sur les autres et ont pris les informations sur les ombres de la photo la plus lumineuse et les informations sur les points forts de la photo la plus sombre. Mettez-les tous ensemble et ils pourraient générer une belle surréalité. Dans les bonnes mains, une photo HDR pourrait créer une scène qui ressemble beaucoup plus à ce que nos yeux voient à ce que la plupart des appareils photo produisent normalement.

Les entreprises, les industries comme les gouvernements tirent aujourd’hui parti de ces technologies et travaillent sur la reconnaissance faciale et ainsi faire de ces Smartphones des appareils de contrôle et de surveillance. Les sociétés chinoises sont ainsi leaders dans ce domaine sans oublier Amazon ReKognition et API Face de Microsoft.

En quoi la qualité de la photo et des selfies est-elle une part majeure de la communication des entreprises high-tech ?

Tout ce travail, qui était incroyablement difficile il y a dix ans et qui n'a été possible que très récemment sur des serveurs cloud, s'exécute maintenant directement sur le téléphone, comme l'a décrit Apple et c’est là où il y a beaucoup à espérer pour la communication des entreprises high-tech.

Apple a formé un modèle d’apprentissage automatique (machine learning) pour trouver des visages dans un nombre considérable d’images. D’un modèle trop gros à la base, ils ont donc formé une version plus petite sur les sorties de la première. Cette astuce a rendu possible son utilisation sur un téléphone. Chaque photo que chaque iPhone prend est due, en partie, à ces millions d’images, filtrées deux fois à travers un énorme système d’apprentissage automatique. Night Sight, une nouvelle fonctionnalité de Google Pixel, en est le meilleur exemple. Google a mis au point de nouvelles techniques permettant de combiner plusieurs images inférieures sombres en une seule image supérieure plus nette, plus lumineuse. La caméra de Google ne capture donc pas ce qui est, mais ce qui est probable, statistiquement.

A l’Aéroport international de Shanghai Hongqiao (Chine), l’un des 62 aéroports chinois avec 40 millions de passagers en 2017 et son terminal ultra-moderne a récemment été mis en place le premier système d’enregistrement et de contrôle par reconnaissance faciale.

Il faut 12 secondes à peine pour passer la sécurité. "Je suis Chinois et la reconnaissance faciale, c’est la tendance ici", explique un passager. Tout commence avec 28 automates. Les caméras enregistrent le visage des passagers. La machine scanne la carte d’identité avant d’émettre une carte d’embarquement en moins de deux minutes nous signale un reportage de FranceTVinfo.

Ce système est sans aucun doute plus rapide et les machines et les nouvelles technologies remplacent les hommes, les hôtesses ou la police de l’air. "C’est plus efficace, il suffit d’arriver à l’aéroport moins d’une heure avant son avion. C’est super rapide", se réjouit une passagère. Ce logiciel de reconnaissance faciale ferait 1 erreur sur 100 000. Pour l’être humain, c’est 1 erreur pour 1 000.

L’aéroport d’Orly, de Roissy, celui de l’aéroport de Marseille Provence et celui de Nice ont aussi ouvert le pas dans ce sens avec un passage aux frontières express avec des SAS à reconnaissance faciale. Le passage se fait en 4 étapes   

► scanner son passeport sur le lecteur à l'extérieur du SAS
► entrer dans le SAS 
► s’avancer vers la caméra sans lunettes et visage dégagé
►PARAFE compare la photo prise et celle du passeport 

Si le système décline l’identité la police de l’air intervient alors…

La Chine a aussi emboîté le pas depuis déjà 3 ans dans le monde de la reconnaissance faciale pour le paiement.  Il suffit de présenter son visage devant l'écran d'un distributeur pour pouvoir retirer de l'argent. Le selfie est également envisagé. Amazon ou Mastercard y réfléchissent sérieusement et on peut déjà penser à la disparition de la carte bancaire sans compter sur les expériences actuellement testés aux Pays-Bas ou en Australie, comme une bague connectée.

Toujours selon une chronique « Nouveau Monde » En matière de crime la technologie de la reconnaissance faciale a été un outil clé pour identifier le tireur présumé d'Annapolis (Maryland, Etats-Unis), qui a abattu cinq employés d'un journal local jeudi 28 juin. La police a affirmé que Jarrod Ramos, déjà connu de ses services, avait refusé de coopérer et qu'il n'était pas immédiatement possible d'utiliser ses empreintes digitales. "Nous aurions mis beaucoup plus de temps à l'identifier et à faire avancer l'enquête sans ce système", a affirmé, vendredi, le chef de la police locale.

En Inde la police de New Delhi vient d'expérimenter une nouvelle méthode : elle a utilisé une application de reconnaissance faciale pour aider à retrouver des enfants portés disparus et dont il est souvent très difficile de retrouver leurs parents… Et cela marche. Près de 3 000 enfants ont pu être ainsi identifiés en seulement quatre jours.

Quelles dérives ce culte de l'image, souvent faussée, peut-il amener ? 

Si les technologies permettent déjà de déverrouiller un smartphone en un instant et, dans certains cas, de s’authentifier pour télécharger des applications ou payer ses achats via un selfie, Il demeure de nombreux problèmes éthiques à résoudre avant d’introduire totalement l’utilisation de la reconnaissance faciale et sa fiabilité sur nos appareils. La CNIL n’a d’ailleurs pas donné son accord pour la mise en place de certaines applications ou expérimentations.

Apple annonce pourtant que son système serait bien plus fiable que la détection d’empreinte digitale (le risque de tromper Face ID serait seulement de 1 sur 1 million, contre 1 sur 50 000 pour un capteur d’empreinte digitale).

Le magazine américain Forbes vient de se livrer à une petite expérience qui le prouve. Un journaliste de Forbes a fait modéliser sa tête en 3D (à l’aide d’un scanner très sophistiqué utilisant 50 caméras et une imprimante 3D) et il a réussi à berner la reconnaissance faciale de plusieurs smartphones. Les mauvais élèves sont : Samsung Galaxy S9, Samsung Note 8, LG G7 ThinQ, OnePlus 6. Seul l’iPhone X ne s’est pas fait avoir.

Apple n’est pourtant pas infaillible signale Jérôme Colombain dans sa chronique « Nouveau Monde ». Face ID a déjà été trompé, dans le passé, par des chercheurs japonais qui avaient imprimé une fausse tête en 3D avec des photos des yeux et de la bouche collés dessus. Il a aussi confondu des jumeaux entre eux ainsi qu’une mère avec son fils. Le risque de piratage augmente aussi avec des jumeaux ou des frères et sœurs, surtout, chez des enfants de moins de 13 ans car les traits de visage ne sont pas complètement dessinés. L’usage de Face ID est d’ailleurs déconseillé aux enfants. En revanche, impossible d’abuser la reconnaissance faciale avec une simple photo (car le système analyse le visage en 3D). La reconnaissance faciale est donc un très bon système à condition de ne pas faire appel à n’importe quelle technologie.

Deux lycées de la région PACA vont expérimenter un dispositif d'authentification par reconnaissance faciale début 2019. Certains parlent d'un effet d'annonce, d'autres y entrevoient déjà un scénario catastrophe. Beaucoup s’inquiètent des dérives sécuritaires, même dans le cadre limité de cette expérience. Le dispositif a pour objectif d’apporter une assistance aux agents assurant l’accueil du lycée afin de faciliter et réduire la durée des contrôles, lutter contre l’usurpation d’identité et détecter le déplacement non souhaité d’un visiteur non identifié ». La CNIL a donné son accord pour ces deux expérimentations.

Facewatch a annoncé que sa technologie biométrique avait été choisie par l’administration britannique pénitentiaire de Sa Majesté (HMPPS – Her Majesty’s Prison and Probation Service) pour un projet pilote de reconnaissance faciale visant à vérifier et valider les visiteurs accédant au système HMPPS. On imagine déjà les scénarii possibles de détournement de ces technologies dans le monde carcéral.

La technologie de reconnaissance faciale a récemment été utilisée à Westminster les 17 et 18 décembre 2018 dans le cadre d’un essai pour la police britannique. En effet, les zones telles que Soho, Piccadilly Circus ou encore Leicester Square seront touchés par cet essai. Pour rappel, l’année dernière les forces de l’ordre du Sud de Pays de Galles avait arrêté un homme grâce à la reconnaissance faciale.  Toute personne refusant d’être scannée pendant cette période d’essai, ne sera pas « considérée comme suspecte par les agents de police mais on pense déjà aux problèmes d’erreurs qui pourraient intervenir si cette technologie venait à se généraliser.

En Chine on utilise déjà la reconnaissance faciale pour vérifier l’âge des joueurs sur certains jeux vidéos, l’offre nommée « Hertz Fast Lane » permet aux membres du programme Hertz Gold Plus Rewards uniquement, inscrits à Clear, d’accélérer leur processus de location à l’aéroport international Hartsfield-Jackson d’Atlanta.

Dans le monde de la sécurité, les Services secrets américains testent la reconnaissance faciale pour surveiller la Maison Blanche. L’objectif est d’identifier le personnel mais surtout les personnes extérieures afin d’éviter les potentielles menaces d’exécution du président ou d’attentat.

En matière d’erreurs des exemples commencent à apparaître comme le relate le site Abacusnews.com, une caméra de surveillance de la ville de Ningbo a détecté l’outrepassement piétonnier de Dong Mingszhu, une business-woman célèbre dans l’Empire du Milieu. Le hic, c’est que cette personne n’a jamais été présente sur ce lieu à ce moment. Le système informatique s’est laissé piéger par une pub placardée sur un bus qui passait par là et sur laquelle figurait Dong Mingszhu. Inutile de dire que l’image projetée par l’écran de la honte a rapidement fait le tour de la Toile.

Si la détection des visages peut-être un atout pour la justice et la lutte contre la délinquance, son utilisation massive -voire non contrôlée- peut être un vrai frein aux libertés fondamentales des citoyens. Dans ce sens, les équipes d’Alphabet en charge du développement de l’AI de reconnaissance faciale précisent que leur logiciel ne sera pas vendu à n’importe qui.

Enfin n’oubliant pas les risques de dérives possibles avec les possibilités de créer des masques ultra-réels vendus entre 300 000 et 390 000 yen, soit 2 330 euros et plus de 3 000 euros. Ces derniers permettent de reproduire à l’identique des visages humains avec une grande précision. Le délai de livraison est assez court, 3 semaines minimum et l’entreprise peut produire jusqu’à 30 masques par mois. Pour les créer, la technique appelée 3DPF et inventée par l’entreprise est utilisée. Elle permet ainsi de transférer une photo d’origine sur le masque tout en « dupliquant la texture de la peau, les vaisseaux sanguins et l’iris des yeux. »

Dans la sécurité, santé ou le commerce, la technologie offre de nombreuses opportunités mais soulève encore de nombreuses interrogations éthiques. Ce qui amène souvent Google AI et Microsoft à lever parfois le pied mais se mobilisent actuellement pour encadrer la technologie de reconnaissance faciale.