Intelligence artificielle : un nouveau type de cybercriminalité utilise la voix de ceux à qui elle s’attaque | Atlantico.fr
Atlantico, c'est qui, c'est quoi ?
Newsletter
Décryptages
Pépites
Dossiers
Rendez-vous
Atlantico-Light
Vidéos
Podcasts
High-tech
Intelligence artificielle : un nouveau type de cybercriminalité utilise la voix de ceux à qui elle s’attaque
©Thomas SAMSON / AFP

Escroqueries

Intelligence artificielle : un nouveau type de cybercriminalité utilise la voix de ceux à qui elle s’attaque

En mars dernier, l'un des directeurs de service d'une compagnie anglaise a été la victime d'un hacking nouvelle génération. Des hackers sont parvenus à lui faire faire de large transferts d'argent en imitant l'un de ses supérieurs à l'aide de la technologie vocale.

Jean-Paul Pinte

Jean-Paul Pinte

Jean-Paul Pinte est docteur en information scientifique et technique. Maître de conférences à l'Université Catholique de Lille et expert  en cybercriminalité, il intervient en tant qu'expert au Collège Européen de la Police (CEPOL) et dans de nombreux colloques en France et à l'International.

Titulaire d'un DEA en Veille et Intelligence Compétitive, il enseigne la veille stratégique dans plusieurs Masters depuis 2003 et est spécialiste de l'Intelligence économique.

Certifié par l'Edhec et l'Inhesj  en management des risques criminels et terroristes des entreprises en 2010, il a écrit de nombreux articles et ouvrages dans ces domaines.

Il est enfin l'auteur du blog Cybercriminalite.blog créé en 2005, Lieutenant colonel de la réserve citoyenne de la Gendarmerie Nationale et réserviste citoyen de l'Education Nationale.

Voir la bio »

Atlantico : Au fur et à mesure que les technologies en matière d'Intelligence Artificielle et de technologie vocale progressent la cybercriminalité est appelée à changer et à se perfectionner. Avec l'usage de ces nouvelles technologies, à quoi pourrait ressembler la cybercriminalité de demain ? Et jusqu'où les hackers pourraient-ils aller ? Quelles pourraient en être les conséquences ? 

Jean-Paul Pinte : Nous le savons pertinemment depuis les débuts de la cybercriminalité les cyber-délinquants ont toujours un pas d’avance dans leurs modes opératoires et l’avènement de l’intelligence artificielle, devenu un sujet contemporain ne risque pas d’améliorer les choses.

Quel que soit le domaine, le Deep Learning est en train de bouleverser tous les secteurs d’activité de nos sociétés. Au quotidien, tous les systèmes de dialogue avec les assistants personnels, les enceintes connectés, etc.

Le traitement de la parole, la synthèse de texte, c’est de l’IA dont on se sert tous les jours avec nos smartphones. Il en va de même pour les systèmes de traduction automatique qui ont beaucoup évolué ainsi que nos véhicules avec l’annonce de véhicules autonomes.

Au cœur de ces innovations sont appelées à se développer de nouvelles formes de cybercriminalité. Des hackers sont ainsi parvenus dernièrement à faire faire des transferts d’argent en imitant l’un de ses supérieurs à l’aide de la technologie vocale ! 

Selon la chronique de Jérôme Colombain sur France Info, ils ont même réussi à imiter la voix d’un PDG en  partant tout d’abord d’enregistrements audio réels, issus de conférences ou de vidéos sur Internet. Ensuite, ils utilisent des logiciels qui permettent de recréer des phrases sur mesure. On ne sait pas bien comment les pirates gèrent le mode conversationnel : est-ce qu’ils enregistrent des phrases à l’avance ou bien est-ce qu’ils utilisent des outils puissants qui permettent de parler et de fabriquer la fausse voix à la volée ? 

Dans l’affaire révélée par le WSJ, la victime déclare avoir reconnu au téléphone l’accent allemand de son chef. Mais au troisième appel, l'employé a commencé à avoir des doutes. La qualité audio dépend beaucoup de la puissance informatique disponible. Il faut des ordinateurs puissants, donc très chers, pour créer des deepfakes de qualité. C’est ce qui limite encore pour l'instant l’ampleur des attaques, mais on peut parier que la technologie va encore s’améliorer.   

Nous sommes ici en plein dans le jeu de l’imitation inventé par Turing qui consistait à mettre au point une machine impossible à distinguer de l’être humain.

Dans un autre genre et dans un article récent du hors-série de Science et Vie (N°190) on apprend qu’il serait aisé de berner un système de reconnaissance d’image. On pourrait donc leurrer les réseaux de neurones ! Le japonais Osamu Kitagawa commercialise ainsi des masques ultra-réalistes, parfois utilisés pour tester des systèmes de reconnaissance faciale.

En 2014, Ian Goodfellow  de Google Brain, publie l’image d’un panda imperceptiblement modifiée que GoogleLeNet, l’outil de classification d’images de Google, prend pour un gibbon. Les chercheurs ont conçu un algorithme qui introduit progressivement de minuscules modifications sur l’image initiale, en sélectionnant celles qui maximisent l’erreur de classification de GoogleLeNet.

Autant d’exemples dont pourraient s’emparer les hackers …

Il y a aussi de quoi s’inquiéter à la vue dont la reconnaissance faciale est utilisée en Chine pour surveiller sa population. Et c’est à ce niveau que la technologie du Deepfake pourrait bien décoller. Il s’agit de réaliser des vidéos truquées imitant l’apparence et la voix d’une personne. On peut faire dire ce que l’on veut à une personne comme le hameçonnage, la décrédibilisation d’une personne ou encore une atteinte à sa réputation.

Récemment le chatbot de Microsoft Tay s’est mis à débiter des propose vulgaires, etc.

Une étude prospective de Darktrace menée par Max Heinemeyer, son Director of « Threat Hunting », explore la façon dont l’Intelligence Artificielle pourrait être exploitée par les hackers dont le nombre de compétents est encore limité.

Premier cas de figure évoquée par le rapport, une attaque par un malware se propageant de manière extrêmement rapide dans le réseau d’un cabinet d’avocats. Le malware avait été envoyé via une campagne de phishing et téléchargé malencontreusement par un employé. Avec l’utilisation de l’IA, à l’avenir « les logiciels malveillants se propageront automatiquement via une série de décisions autonomes, intelligemment adaptées aux paramètres du système infecté », indique Max Heinemeyer.

Deuxième attaque : des communications imitées par les attaquants afin d’obtenir la confiance des points de contact et de passer inaperçus dans l’environnement d’une société de gestion de l’eau et de l’électricité. Avec l’IA, le malware pourra s’adapter à l’environnement qu’il infecte. « En apprenant à partir d’informations contextuelles, il saura cibler spécifiquement les points faibles qu’il découvre ou imiter les personnes de confiance », explique l’expert.

Enfin, l’étude rapporte un cas d’exfiltrations des données au sein d’une société de technologie médicale. Les données étaient exfiltrées très lentement avec des volumes très faibles, permettant aux hackers d’agir discrètement. Dans l’avenir, avec l’IA, le malware pourra adapter dynamiquement le volume de données exfiltrées, « en fonction de la bande passante totale utilisée par la machine infectée », devenant bien plus efficace.

Pour se fondre dans leur environnement cible autant que possible, les attaquants humains ajustent leurs techniques pour se normaliser, mais « il est tout à fait possible que les logiciels malveillants se lancent de manière autonome pour acquérir cette compréhension contextuelle en utilisant l’IA, puis adaptent leur comportement à la volée pour se fondre dans un environnement cible », prévient Max Heinemeyer.

Dans une étude baptisée "The Rise of Artificial Intelligence: Future Outlook and Emerging Risks", le groupe d'assurance Allianz passe en revue les différents bienfaits et risques qui pourraient émerger avec le développement de l'IA.

Selon cette étude, voici comment l'intelligence artificielle pourrait être utilisée par des personnes mal-intentionnées:

Les hackers pourront utiliser l'IA pour lancer des cyberattaques sophistiquées:

"La mauvaise utilisation d'une IA forte peut également augmenter le risque de cyber-attaques si des hackers mal intentionnés entraînent cette IA pour attaquer."

Les nouvelles machines qui viennent peupler sol et air peuvent être détournées et devenir des armes connectées:

"Les armes autonomes, telles que les drones, pourraient également être utilisées. Ce type de risques est souvent sous-estimé."

Les hackers pourront aussi développer ces outils plus rapidement grâce à l'IA, estime Allianz: 

"L'IA pourrait faciliter des incidents plus graves en abaissant le coût des nouveaux outils et des nouvelles armes qui permettraient de lancer des attaques."

Et l'ampleur des problèmes sera amplifiée.

"Une inter-connectivité accrue signifie que la vulnérabilité des machines automatiques, autonomes ou qui apprennent par elles-même aux bugs et aux cyber-attaques ne fera qu'augmenter", observe Allianz. 

Si une infrastructure informatique ou électrique est touchée — par un bug ou une cyberattaque —, d'autres équipements qui y sont connectés pourront aussi être atteints.

Par ailleurs, puisqu'avec le machine learning, les IA ont la capacité d'apprendre entre elles, "une erreur de programmation ou une attaque d'un hacker pourrait être répliquée sur de nombreuses machines". Une machine touchée pourra alors "répéter la même erreur plusieurs fois, ce qui provoquera une accumulation de pertes inattendue et une difficulté à identifier la source du problème", alerte Allianz. Avec à la clé, des pertes économiques majeures: 

"Quelle qu'en soit la cause, une erreur non-intentionnelle causée par l'IA pourrait se transformer en un accident majeur, qui pourrait endommager une réputation et donc des résultats financiers", estime l'étude.

En parlant justement de finances, les utilisations de l’IA cette technologie restent prudentes. Il s’agit généralement de chatbots (robot logiciel pouvant dialoguer avec un individu) ou d’assistants virtuels qui n’utilisent pas le deep learning, technologie d’apprentissage basée sur des réseaux de neurones artificiels. C’est le stade le plus avancé de l’intelligence artificielle (IA), mais aussi le plus risqué, d’où l’approche progressive des acteurs financiers et toute la surveillance à mener contre ceux qui voudraient nuire à une banque par exemple…

L’intelligence artificielle fait aussi apparaître de nouveaux risques : « Il est possible de modifier la perception d’un algorithme », souligne Edouard d’Archimbaud, CTO de Kili Technology et auparavant responsable du Lab data science and artificial intelligence chez BNP Paribas CIB. Les médias ont beaucoup parlé des algorithmes de reconnaissance d’image (dont on parlait en première partie de cet article) prenant un éléphant pour une chaise en modifiant seulement quelques pixels. Cela pourrait être problématique pour des solutions comme celle d’Alipay, Smile to Pay, qui permet de payer en un sourire grâce justement à une IA de reconnaissance d’image.

Des données falsifiées pourraient aussi toucher des algorithmes intervenant dans les décisions d’investissement. « Des ‘fake news’ pourraient perturber l’algorithme et provoquer un effet domino sur les marchés », pense Fabien Lortal (Alpha FMC). Edouard d’Archimbaud révèle une des pistes de recherche : « l’adversial machine learning », qui consiste à entraîner deux algorithmes ensemble. « Le travail du premier est de tromper le second qui apprend ainsi à ne pas être trompé », précise-t-il.

On peut enfin aussi envisager le risque d’une IA manipulée qui pourrait même paradoxalement renforcer la cybercriminalité en devenant la cible de nouvelles formes d’attaques destinées à tromper ou influencer le comportement des systèmes intelligents. Ce serait en effet oublier que les hackers peuvent, eux aussi, utiliser des algorithmes complexes pour automatiser certaines tâches, passer sous les radars d’une IA et laisser derrière eux les « bonnes » traces informatiques. Avec un tel outil, il devient possible de cartographier les points faibles d’un réseau et de répandre un virus. Dans ce contexte, où se situe la confiance numérique ? En matière de sécurité digitale et face aux cyberattaques croissantes, l’homme peut-il tout « déléguer » à l’IA… dans la mesure où, dans ce domaine, il reste le premier facteur de risque ?

Comment s'armer face aux deep face et aux technologies vocales ? Comment, alors que les voix récréées, par exemple, sont aujourd'hui presque évidentes à celles qu'elles imitent, distinguer le vrai du faux ?

Jean-Paul Pinte : Vincent Nozick, enseignant chercheur au laboratoire d’informatique Gaspard Monge (LIGM) qui travaille sur un programme de détection des Deepfake baptisé Mesonet nous indique qu’il est assez aisé de créer des Deepfake : “Il suffit d’avoir des bases d’informatique pour créer ce type de vidéos. L’algorithme est disponible sur Internet.”

Face à ces vidéos manipulées à l’aide d’outils d’intelligence artificielle qui se multiplient des logiciels existent pour tenter de les débusquer.

Certains chercheurs étudient désormais les incohérences au niveau des couleurs du visage ou le repérage de warping. Cocréateur d’un de ces outil de détection de deepfake baptisé MesoNet*, Vincent Nozick confie : “Les zones les plus stratégiques avec notre approche sont le nez, les yeux et la bouche de la personne filmée. C’est là que se situe la majorité des irrégularités détectées par notre outil”. Une technique qui marche. MesoNet affiche un taux de réussite de 98%. “Il faut cependant l’entraîner continuellement pour que ce taux ne baisse pas car les techniques évoluent en permanence”, précise le chercheur.

Une autre application Amber Authentificate s’appuie elle, par exemple, sur la blockchain pour confirmer qu’une vidéo n’a pas été modifiée. Lorsqu’une personne tourne une séquence, l’appli génère à intervalles réguliers des codes qui permettront a posteriori de confirmer qu’il s’agit de la séquence originale. Auquel cas Aber accolera un cadre vert à la vidéo. A l’inverse, si une partie de la vidéo est modifiée, l’appli pourra le détecter et passera la couleur du cadre en rouge à ce moment-précis (voir les exemples vidéos ici).

 Benoît Raphaël sur son blog nous rappelle qu’aux Etats-Unis, l'agence de recherche pour la défense (la DARPA) a lancé un appel à projets. Des chercheurs ont répondu, comme Robert Bolles (SRI), qui travaille en ce moment sur des algorithmes capables de détecter des faux visages au milieu des vrais à partir des vidéos originales.

En Hollande, deux chercheurs italiens ont lancé Deeptrace pour donner aux journalistes les bons outils de vérification. Chez Symantec, on s'intéresse notamment au clignement de l'oeil pour détecter les faux humains (merci Blade Runner). Une autre piste, étudiée par Amber Video ou Factom est celle de l'authentification des sources vidéo par la blockchain.

Pour détecter les manipulations, plusieurs pistes sont possibles. La première, qui ne s'applique qu'aux personnalités déjà largement filmées et photographiées, consiste à retrouver les images originales antérieures à la manipulation, voire à comparer la vidéo suspecte avec la "signature gestuelle" habituelle de la personne visée.

Une seconde se concentre sur les défauts générés par le trucage : une incohérence dans le clignement des yeux, la disposition des cheveux ou l'enchaînement des images… Mais les technologies s'adaptent et les "gomment" progressivement.

La troisième piste consiste à entraîner des modèles d'intelligence artificielle à détecter seuls les vidéos trafiquées. Les taux de réussite sont très bons, mais dépendent des exemples disponibles. "Un détecteur de deepfake qui marchait bien il y a un an ne marchera pas forcément sur ceux de cette année", explique Vincent Nozick.

Toujours selon le site de RTBF.be, les géants Facebook et Google, dont les plates-formes sont régulièrement critiquées pour leur rôle dans la désinformation, ont annoncé vouloir apporter leur aide en mettant à disposition des bases de contenus contrefaits. Mais la bataille ne fait que commencer: de nouveaux "deepfakes" utilisent la technologie des "réseaux génératifs adverses" (GANs) pour évaluer leur détectabilité avant même d'être publiés. En clair, ils s'auto-testent.

Plus bluffant, ou plus inquiétant : une équipe d'universitaires allemands travaille depuis 2016 à un logiciel de "marionettisation". Il ne s'agit plus de coller son visage sur celui d'une star dans un blockbuster hollywoodien, mais d'"animer" le visage d'une personnalité avec des mimiques et des paroles inventées, ce qui pourrait par exemple permettre de produire une fausse conférence de presse d'un chef d'Etat, le tout en direct.

Les Deepfake s’amélioreront constamment et seront donc plus difficiles à repérer nous rappelle ce site. Toutefois, si vous souhaitez vous entraîner les yeux, voici quelques pistes.

  • Battement des paupières étrange. Les faux visages n’ont pas de vrais yeux ni de conduits lacrymaux. Donc, même s’ils clignent des yeux, il y aura quelque chose de louche...
  • Mouvements du visage et la musculature. Ils peuvent être saccadés, ou bouger de manière robotique, surtout la bouche.
  • Changement de teint et d'éclairage. Lorsque la tête tourne, la vidéo peut s’agiter et rappeler de mauvais graphismes de jeux vidéo.
  • Mélange bizarre de deux visages. Les vidéos peuvent se trahir lors de mouvements complexes car plus il y a de mouvement, plus il faut de métrage et d'angles originaux pour fabriquer un faux convaincant.

Enfin, la police ne risque-t-elle pas d'être rapidement dépassée par ces technologies rendant l'aboutissement des enquêtes impossible ? De quels outils disposent-elles ? 

Jean-Paul Pinte : En matière de cybercriminalité rien n’est impossible et les menaces et les modes d’ingénierie sociale sont aujourd’hui supérieures à ce que tout être pourrait imaginer !

L’idéal serait que la Police comme la Gendarmerie se joignent au développement de travaux que sont en train de faire certains grands de l’Internet comme Apple, Facebook et Microsoft. Les Deepfake n’en sont en effet qu’à leur début et risquent de toucher assez rapidement d’autres domaines auxquels sont confrontés nos services d’ordre aujourd’hui comme les élections, la pédophilie.  Il n’existe pas d’outils fiables à ce jour pour contrer ces actes cybercriminels. Et Philip Torr, professeur à Oxford et participant au projet, de signaler que de nouveaux outils sont "nécessaires aussi vite que possible pour détecter ces contenus médiatiques manipulés.”

"L'objectif de cette initiative est de créer une technologie que tout le monde pourra utiliser pour détecter les vidéos modifiées par des outils d'intelligence artificielle et dont le but est d'induire en erreur les usagers", a expliqué le directeur technique de Facebook Mike Schroepfer.

M. Schroepfer a ajouté que les techniques de "deepfake" - vidéo ou audio, dont les trucages hyper-réalistes font dire à des personnalités des propos qu'elles n'ont jamais tenus, "posent un défi majeur à la légitimité de l'information en ligne". "Pourtant, le secteur ne possède pas de base de données ou d'outil de référence pour les détecter", a-t-il ajouté.

Ces trucages peuvent aussi reproduire une voix (Deep Fake audio) .C’est ce qu’explique Hugh Thompson, chef de la technologie chez Symantec, une entreprise de cybersécurité, à la BCC. « Le système d’intelligence artificielle (IA) peut être entrainé en utilisant la grande quantité d’enregistrements audio disponibles sur un dirigeant. C’est à dire les vidéos d’entreprise, les appels reçus, les apparitions dans les médias, sur les réseaux sociaux ou même les conférences auxquelles il a participé. » Et lorsque certaines syllabes ou certains mots ne sont pas assez bien reproduits pour paraître réels, il suffit d’ajouter un bruit de fond pour dissimuler cela.

Certains Etats d'outre-Atlantique ont commencé à construire un arsenal législatif autour de cette problématique. Le 2 juin 2018, la Virginie a interdit les deepfakes, estimant qu'ils faisaient partie du "revenge porn", rentrant ainsi dans le cercle très fermé des territoires ayant adopté une telle loi. Selon le site américain The Verge, le Texas se serait dotée d'une législation "anti-deepfakes" spécialement pour les prochaines élections. Cette dernière est entrée en vigueur le 1e septembre 2019.

De son côté, l'Hexagone ne s'est pas encore doté d'une législation spécifiquement relative aux deepfakes. Un premier pas a tout de même été franchi avec la loi du 22 décembre 2018 relative à la lutte contre la manipulation de l'information. Concrètement, ce texte a créé une nouvelle voie de référé visant à faire cesser la diffusion de fausses informations dans les trois mois précédant un scrutin national. Une fois saisi, le juge doit apprécier, sous 48 heures, si ces données sont diffusées "de manière artificielle ou automatisée" et "massive".

En raison de débordements, nous avons fait le choix de suspendre les commentaires des articles d'Atlantico.fr.

Mais n'hésitez pas à partager cet article avec vos proches par mail, messagerie, SMS ou sur les réseaux sociaux afin de continuer le débat !