Ces nouveaux outils qui permettent de lutter contre la diffusion de contenus terroristes sur Internet

Atlantico : De plus en plus de terroristes utilisent les plateformes internet pour diffuser leurs contenus et leurs idées. Récemment, un nouvel outil intitulé Altitude vient d’être mis en place pour permettre aux sites de se préserver contre de tels assauts. Comment fonctionne-t-il exactement ?

Thierry Berthier : La plateforme ALTITUDE est un outil gratuit créé par JIGSAW, un département de Google qui traque l'extrémisme violent en ligne, la désinformation et la censure répressive, et TECH AGAINST TERRORISM, une association qui cherche à perturber l'activité en ligne des terroristes. L’outil est développé en partenariat avec le Forum Internet Mondial de lutte contre le terrorisme. Lancé le vendredi 17 novembre à Paris, ALTITUDE doit fournir une assistance technique aux petits et moyens réseaux sociaux et aux plateformes de dépôts de contenus, pour la modération des contenus à caractère terroriste. L’outil donne la possibilité de détecter facilement et efficacement les contenus terroristes sur les réseaux et de les supprimer rapidement. L’outil est gratuit, simple et open source. 

Depuis une dizaine d’année, les groupes terroristes et leurs mouvances ont déplacé leurs activités de propagande et de recrutement sur des réseaux de seconde importance, moins fréquentés et offrant peu de fonctions de modération disponibles. La stratégie de migration des organes de propagandes terroristes a été théorisée et « industrialisée » par L’Etat Islamique en 2015 lorsque cette organisation s’est territorialisée en Syrie et en Irak. Elle utilisait abondamment Twitter, Youtube, Facebook mais également des plateformes plus confidentielles pour assurer la permanence de son discours et de son infrastructure informationnelle. Les comptes Twitter de l’EI étaient hiérarchisés à partir de comptes sources émetteurs dupliqués sur des comptes secondaires dans un réseau très résilients face aux outils de modération des grandes plateformes. La stratégie a été pensée par l’EI avec intelligence et efficacité en privilégiant la persistance de la propagande. Ainsi, le fil informationnel n’a jamais été rompu. Les comptes principaux étaient supprimés plus ou moins rapidement par les modérateurs mais des comptes secondaires assuraient « l’intérim » avant la réouverture de nouveaux comptes. Les grandes plateformes de réseaux sociaux ont eu beaucoup de mal à supprimer sans délai les contenus terroristes, notamment les vidéos de massacres et de tortures. A partir d’une architecture hyper redondante et fortement répartie sur des supports de second ordre, le service de communication de l’Etat Islamique a maintenu ses capacités de diffusion bien au-delà de sa défaite territoriale. Les vidéos de décapitations et de tortures, les communiqués officiels et les revendications d’attentats ont continué à être diffusés en contexte de clandestinité. Qu’il s’agisse d’Al-Qaïda, de l’Etat Islamique, de Boko Haram ou du Hamas, groupes territorialisés ou non, ces organisations terroristes savent parfaitement exploiter la complexité de la modération face aux contenus terroristes. La lutte entre le créateur de contenus terroristes et le modérateur demeure très inégale en termes de complexité puisqu’il est bien plus simple de produire et de diffuser ce contenu que de le détecter dans l’océan des données puis de le supprimer. L’avantage se situe jusqu’à présent du côté de l’attaquant. C’est un principe systémique que l’on retrouve notamment dans le champ de la lutte informationnelle. Plus la plateforme numérique est petite, moins elle dispose de moyens financiers et techniques pour assurer ses fonctions de modération et plus il est simple pour le groupe terroriste de s’en servir pour diffuser son message. Les structures internationales comme le GIFCT et des entités comme JIGSAW ont été mises en place pour tenter d’apporter des réponses efficaces à ce problème complexe. En collaboration avec des laboratoires universitaires, des groupes de travail ont produit des rapports, des préconisations et des métriques pour aider les petites plateformes. ALTITUDE - Google concrétise et amplifie la collaboration d’expertises de confiance en fournissant un outil qui donne aux plateformes (petites et moyennes) une meilleure « acuité visuelle » sur les potentiels contenus terroristes déposés sur leurs serveurs. En citant la page d’accueil d’ALTITUDE : « C'est gratuit, simple et open source. En quelques clics, les modérateurs peuvent consulter, réviser et supprimer le contenu identifié par des sources fiables. Notre objectif est d'aider les petites et moyennes plateformes à prendre des décisions plus claires et plus sûres sur leurs propres sites ». Dans les faits, Google s’appuie sur ses outils automatisés de détection de contenus violents dans les textes, dans les audios, dans les images et dans les vidéos mises en ligne. L’Intelligence artificielle offre aujourd’hui des fonctions de détection et de classification de haute performance. Les algorithmes de reconnaissance et de suivi d’objets dans une vidéo permettent de détecter un individu brandissant un couteau et de catégoriser un cri ou une détonation. Concernant les textes publiés les progrès du NLP (Natural Language Processing) et des LLM (Large Language Models) fournissent des capacités d’analyse de haut niveau. La composante NLP est en mesure de détecter un texte menaçant, violent ou terroriste.  

Altitudes n’est pas l’unique outil disponible pour limiter la diffusion des idées terroristes sur internet. Quelles sont les autres applications qu’il est possible d’utiliser ? Quid de l’IA, par exemple, ou des algorithmes ?

Altitude-Google s’appuie sur des outils de détections développés par Google et par d’autres acteurs des réseaux sociaux. Ces outils analysent les contenus en temps réel, détectent des caractéristiques spécifiques aux contenus terroriste puis produisent une alerte en direction de l’équipe de modération. Avec certains outils, quand la détection présente un score de certitude suffisamment élevé, le contenu analysé est automatiquement mis hors ligne ou supprimé sans intervention d’un opérateur humain. On parle dans ce cas de modération automatique. Les suppressions de contenus s’effectuent toujours en conformité avec le règlement d’utilisation de la plateforme et le respect des données personnelles. Les scores de performance de détection d’armes dans une vidéo sont très élevés. Les modèles de détection savent reconnaitre des drapeaux, des tenues militaires, des chants spécifiques. Si les vidéos sont déjà en ligne, certains commentaires postés sous les vidéos permettent aussi de renforcer et de confirmer la détection d’un contenu violent, malveillant ou de nature terroriste. 

En dehors d’ALTITUDE-Google, il existe d’autres outils d’aide à la modération, comme la plateforme TCAP (Terrorist Content Analytics Platform) [6] qui totalise près de 25 000 alertes et 43 000 URL (adresses web) identifiées comme terroriste. Depuis la création de TCAP par l’ONU en 2016, la plateforme a contribué à la prise en compte du niveau des menaces et de la réponse de modération à mettre en place. TCAP est soutenue par des organismes internationaux, notamment les gouvernements du Royaume-Uni, de l'Espagne, de la Suisse, des Pays-Bas, de la République de Corée et du Canada. TCAP est animé par une équipe interdisciplinaire de spécialistes de la politique antiterroriste et des droits de l'homme, d'analystes du renseignement open source, de développeurs et de scientifiques des données

Récemment, TikTok a dû bannir un grand nombre de vidéos dont il a été jugé qu’elles faisaient l’apologie du terrorisme parce qu’elles justifiaient les attentats du 11 septembre 2001 commis par Ben Laden. Quelles sont les limites des outils dont nous disposons aujourd’hui, au juste ?

Tout dépend du type de contenu à modérer (textes, audios, images, vidéos) et du type de plateforme. Il existe de grandes différences notamment dans la vitesse de réaction d’un réseau social pour supprimer un contenu. Certaines plateformes disposent d’un département de modération dédié avec des moyens importants, des équipes d’opérateurs humains agissant en permanence. D’autres plateformes au contraire, ont fait le choix de la modération automatisée ou ont externalisé la modération en s’appuyant sur un prestataire étranger. Les limites de la modération sont liées aux performances des composantes d’apprentissage automatique. Certaines plateformes de seconde importance ne disposent tout simplement d’aucune équipe de modération. Les groupes terroristes savent détecter et exploiter ces espaces ouverts pour diffuser leurs propagandes. Lorsque les serveurs de ces plateformes sont situés dans des pays peu concernés par la sécurité numérique ou des pays en guerre, il devient très compliqué d’envisager une modération pour supprimer une vidéo terroriste. Lorsque les contenus sont chiffrés, là aussi, la modération devient bien plus complexe à mettre en place. Les limitations dépendent donc très directement de la plateforme, de son architecture et de sa gouvernance. 

En tant que propriétaire de site, ou administrateur de ce dernier, que faire quand sa plateforme est ainsi attaquée ? Quels sont les premiers réflexes à avoir ?

Il faut réaliser systématiquement le signalement des contenus ou commentaires à caractères terroristes auprès de autorités compétentes, police, gendarmerie, plateforme PHAROS. En fonction des contenus terroristes détectés, une enquête sera réalisée par un service spécialisé pour tenter d’identifier les auteurs des contenus, leurs motivations et leur structuration. Dans tous les cas, un contenu terroriste mis en ligne n’est jamais anodin et le signalement doit être systématique. 

[1]  Ressources et rapports du GIFCT :

https://gifct.org/gifct-resources-and-publications/

https://gifct.org/wp-content/uploads/2021/07/GIFCT-TAWG-2021.pdf

https://gifct.org/wp-content/uploads/2021/07/GIFCT-TAWG21-ExecSummary.pdf

https://gifct.org/wp-content/uploads/2021/07/GIFCT-WorkingGroup21-OneYearReview.pdf