Surveillance à tous les étages : un maquillage camouflage pour échapper à la reconnaissance faciale

Atlantico : Adam Harvey, directeur artistique chez Undisclosed.cc, a mis au point un maquillage surprenant, le CV Dazzle, qui permet de tromper les algorithmes de reconnaissance faciale. Comment ce procédé "primitif" parvient-il à se jouer de technologies aussi avancées ?

Jean-Gabriel Ganascia  : Pour comprendre comment les algorithmes de reconnaissance faciale sont mis en échec par des maquillages aussi rudimentaires, il faut revenir sur les principes à l’aide desquels ces algorithmes fonctionnent : un visage est réduit à quelques points d’intérêt, par exemple des yeux, un nez avec deux narines, une bouche, des oreilles et, éventuellement des cheveux. Un premier module logiciel essaie de les repérer automatiquement sur chaque image, ce qui est relativement facile car ce sont des orifices et qu’ils sont naturellement plutôt sombres. Notez que ce type de logiciels sert à la mise au point des appareils de photo numériques qui nous indiquent parfois, au moyen d’un carré coloré, qu’ils cadrent un visage. Cela sert aussi à maintenir certaines tablettes en activité tant qu’un visage est présent, et à les mettre en veille lorsqu’elles ne localisent aucun regard.

Ensuite, un second logiciel faisant appel à des techniques d’apprentissage machine sur de grandes masses de données, identifie les caractéristiques singulières de chaque individu en repérant les distances relatives des différents points d’intérêt repérés par le premier algorithme. Pour tromper ces techniques de reconnaissance, il suffit de brouiller l’identification des points d’intérêt, ce que l’on fait aisément en ajoutant, avec un maquillage, des faux yeux ou de fausses narines, c’est-à-dire de faux points d’intérêt plus saillant que les vrais.

Dans le monde, plusieurs individus ont voulu tester le CV Dazzle. Ainsi, un reporter de The Atlantic a porté un pareil maquillage plusieurs jours durant et s'est aperçu que les couleurs sombres trompaient mieux les logiciels (voir ici). Comment l'expliquer ?

Pour mettre les algorithmes de reconnaissance de visage en échec, on peut forcer le premier module de reconnaissance à confondre des tâches de maquillage avec des points d’intérêt notables, comme des yeux ou une bouche. Comme ceux ci correspondent à des orifices ils apparaissent plus sombres que le reste du visage, du moins sur des peaux claires. Il suffit donc d’ajouter des taches sombres sur les peaux blanches ou sur les peaux jaunes, ou, symétriquement, des tâches claires sur peaux noires. Pour améliorer encore le camouflage, on juxtapose du noir et du blanc, ce qui se repère comme un œil, quelle que soit la couleur de la peau…

Si le logiciel de reconnaissance faciale se base sur des traits génériques pour identifier un visage avant de poursuivre sa recherche plus dans le détail, qu'advient-il des gens victimes de défigurations ?  Existe-t-il d'autres moyens de contourner la surveillance des algorithmes ?

Bien évidemment, des personnes qui auraient été défigurées à la suite d’accidents ne pourraient être reconnues par le logiciel qui les identifiait avant leur accident. Il en  va de même pour une personne qui s’ajouterait une moustache, une barbe ou des lunettes, ou qui se raserait alors qu’il portait une moustache… Mais, nous-mêmes, ne sommes nous pas déroutés pas de tels changements ? Si tel est le cas, comment demander plus à un logiciel plus qu’à un homme ? Notons, à ce propos, que les facultés humaines de reconnaissance des visages ou des voix sont extrêmement performantes. Nous reconnaissons un ami ou un être familier des années après l’avoir quitté. Or, on ne sait pas exactement comment nous procédons. Il paraît bien évident que les méthodes mises en œuvre sont bien plus fines que celles des logiciels actuels. L’équivalent des points d’intérêt au moyen desquels nous reconnaissons les visages de nos semblables sont certainement beaucoup plus nombreux que ceux que les logiciels identifient. A cela s’ajoutent des facteurs contextuels qui font que l’on identifie plus facilement une personne lorsque l’on s’attend à la voir ou, au moins, lorsque l’environnement nous y prépare. 

Concrètement, quelles sont les technologies à employer ce genre de procédés aujourd'hui ?

Plusieurs appareils de notre quotidien utilisent la reconnaissance faciale. C'est le cas, notamment, des appareils photos capables de localiser un visage (et donc des smartphones qui le font également), des tablettes, des caméras dites intelligentes, etc.