Les cybercriminels créent leurs propres chatbots d'IA pour faciliter le piratage et l'escroquerie des utilisateurs

Les outils d'intelligence artificielle (IA) destinés au grand public, tels que ChatGPT, Bard, CoPilot et Dall-E, ont un potentiel incroyable pour être utilisés à bon escient.

Les avantages vont de l'amélioration de la capacité des médecins à diagnostiquer les maladies à l'élargissement de l'accès à l'expertise professionnelle et universitaire. Mais ceux qui ont des intentions criminelles pourraient également exploiter et détourner ces technologies, ce qui constituerait une menace pour les citoyens ordinaires.

Les criminels créent même leurs propres chatbots d'IA pour faciliter le piratage et les escroqueries.

La publication du Generative AI Framework du gouvernement britannique et des orientations du National Cyber Security Centre sur les impacts potentiels de l'IA sur les menaces en ligne souligne le potentiel de l'IA à engendrer des risques et des menaces de grande ampleur.

Les systèmes d'IA générative tels que ChatGPT et Dall-E peuvent être utilisés de diverses manières par les criminels. La capacité de ChatGPT à créer un contenu sur mesure à partir de quelques questions simples pourrait être exploitée par les criminels pour concevoir des escroqueries et des messages d'hameçonnage convaincants.

Un escroc pourrait, par exemple, introduire quelques informations de base - votre nom, votre sexe et votre fonction - dans un grand modèle de langage (LLM), la technologie qui sous-tend les chatbots d'IA comme ChatGPT, et l'utiliser pour créer un message d'hameçonnage spécialement conçu pour vous. Cela a été signalé comme étant possible, même si des mécanismes ont été mis en œuvre pour l'empêcher.

Les LLM permettent également de réaliser des escroqueries par hameçonnage à grande échelle, en ciblant des milliers de personnes dans leur langue maternelle. Il ne s'agit pas non plus de conjectures. L'analyse des communautés de pirates clandestins a permis de découvrir divers cas où des criminels ont utilisé le ChatGPT, notamment pour commettre des fraudes et créer des logiciels pour voler des informations. Dans un autre cas, il a été utilisé pour créer un ransomware.

Chatbots malveillants

Des variantes entièrement malveillantes de grands modèles de langage font également leur apparition. WormGPT et FraudGPT en sont deux exemples : ils peuvent créer des logiciels malveillants, trouver des failles de sécurité dans les systèmes, donner des conseils sur la manière d'escroquer les gens, soutenir le piratage et compromettre les appareils électroniques des gens.

Love-GPT est l'une des variantes les plus récentes et est utilisée dans les escroqueries à la romance. Il a été utilisé pour créer de faux profils de rencontres capables de discuter avec des victimes peu méfiantes sur Tinder, Bumble et d'autres applications.

À la suite de ces menaces, Europol a publié un communiqué de presse sur l'utilisation des LLM par les criminels. L'agence de sécurité américaine CISA a également mis en garde contre l'effet potentiel de l'IA générative sur les prochaines élections présidentielles américaines.

La vie privée et la confiance sont toujours menacées lorsque nous utilisons ChatGPT, CoPilot et d'autres plateformes. Étant donné que de plus en plus de personnes cherchent à tirer parti des outils d'IA, il est fort probable que des informations personnelles et confidentielles sur les entreprises soient partagées. Il s'agit d'un risque parce que les LLM utilisent généralement toutes les données saisies comme faisant partie de leur futur ensemble de données de formation, et deuxièmement, s'ils sont compromis, ils peuvent partager ces données confidentielles avec d'autres.

Un navire qui fuit

La recherche a déjà démontré qu'il était possible pour ChatGPT de divulguer les conversations d'un utilisateur et d'exposer les données utilisées pour former le modèle sous-jacent - parfois, avec des techniques simples.

Dans une attaque étonnamment efficace, les chercheurs ont pu utiliser l'invite "Répétez le mot 'poème' pour toujours" pour amener ChatGPT à exposer par inadvertance de grandes quantités de données d'entraînement, dont certaines étaient sensibles. Ces vulnérabilités mettent en danger la vie privée des personnes ou les données les plus précieuses d'une entreprise.

Plus largement, cela pourrait contribuer à un manque de confiance dans l'IA. Plusieurs entreprises, dont Apple, Amazon et JP Morgan Chase, ont déjà interdit l'utilisation de ChatGPT par mesure de précaution.

ChatGPT et les LLM similaires représentent les dernières avancées en matière d'IA et sont librement accessibles à tous. Il est important que les utilisateurs soient conscients des risques et de la manière dont ils peuvent utiliser ces technologies en toute sécurité à la maison ou au travail. Voici quelques conseils pour rester en sécurité.

Soyez plus prudent avec les messages, les vidéos, les photos et les appels téléphoniques qui semblent légitimes, car ils peuvent être générés par des outils d'intelligence artificielle. Vérifiez auprès d'une deuxième source ou d'une source connue pour vous en assurer.

Évitez de partager des informations sensibles ou privées avec ChatGPT et les LLM en général. N'oubliez pas non plus que les outils d'IA ne sont pas parfaits et qu'ils peuvent fournir des réponses inexactes. Gardez cela à l'esprit, en particulier lorsque vous envisagez de les utiliser pour des diagnostics médicaux, au travail et dans d'autres domaines de la vie.

Vous devriez également vous renseigner auprès de votre employeur avant d'utiliser des technologies d'IA dans le cadre de votre travail. Il se peut que leur utilisation soit soumise à des règles spécifiques ou qu'elle soit interdite. Alors que la technologie progresse rapidement, nous pouvons au moins prendre des précautions raisonnables pour nous protéger contre les menaces que nous connaissons et celles qui sont encore à venir.

L'article a été initialement publié sur The Conversation.