Quelques minutes en ligne suffisent à TikTok pour pousser des contenus prônant le suicide ou les drogues à des adolescents

Atlantico : Vous venez de publier une étude "Suicide, Incels et drogues : comment l'algorithme mortel de TikTok nuit aux enfants". Comment avez-vous étudié le mécanisme de l'algorithme de TikTok ?

Andrea Desky : Notre méthodologie de recherche se trouve à la page 6 du rapport. Nos travaux montrent que juste après 10 minutes sur TikTok, avec un engagement de faible niveau avec un contenu préjudiciable, a effectivement déclenché l’algorithme de TikTok pour cibler les comptes de notre chercheur de 13 ans avec un contenu faisant explicitement la promotion du suicide et de la violence. De quel type de contenu parle-t-on ?

Le contenu spécifique est référencé tout au long du rapport.

Comment ce glissement rapide vers des contenus problématiques s'opère-t-il grâce à l'algorithme ? A quel point ce phénomène est-il dangereux ?

Les algorithmes toxiques forcent les utilisateurs dans une spirale mortelle et les y maintiennent en les nourrissant de contenus préjudiciables. Cela est particulièrement préoccupant lorsque nous pensons aux enfants, qui ont besoin de protections importantes lorsqu'ils naviguent dans une vie en ligne. Encore plus alarmant est la facilité avec laquelle les enfants tombent dans cette spirale. Tiktok a un écosystème de contenus sombres et déprimants autour des thèmes de la mort, des relations toxiques, des abus sexuels, de la santé mentale et de la misogynie. Ce que nos recherches ont montré, c'est que l'algorithme de la plateforme ne fait pas la différence entre une vidéo de chat mignon ou une vidéo proposant des concoctions de suicide à domicile. Ainsi, si un jeune utilisateur a un engagement même minime avec une vidéo potentiellement dangereuse, l'algorithme sera déclenché pour diffuser davantage de ce contenu, aussi dangereux soit-il.

Pourquoi TikTok ne veut-il pas, ou est-il incapable, de changer son algorithme pour empêcher de telles choses ?

Les contenus dangereux et extrémistes, tels que les vidéos faisant la promotion du suicide, de la drogue, des troubles de l'alimentation ou de la communauté incel, sont amplifiés par l'algorithme ultra-précis de TikTok. Bien que la plate-forme suggère qu'elle supprime le contenu qui enfreint les directives de sa communauté, nos recherches, ainsi que d'innombrables autres, ont prouvé que les modérateurs de contenu automatisés et humains de la plate-forme ne peuvent tout simplement pas suivre l'offre écrasante de contenu mortel sur la plate-forme.

Comme l'a prouvé notre chercheur, il ne faut pas plus de 10 minutes pour qu'un nouvel utilisateur de 13 ans soit bombardé de contenus faisant la promotion du suicide. Tout ce qu'ils ont à faire est de s'engager légèrement dans une poignée de vidéos et la plate-forme les poursuivra directement dans le terrier du lapin.

Au cours de nos recherches, plus de 25 vidéos et comptes ont été supprimés de la plateforme après que nous les ayons signalés pour avoir enfreint les directives de la communauté. Certaines de ces vidéos étaient en ligne depuis plus de mois et ont accumulé des millions de vues, mettant en évidence de véritables échecs pour protéger les utilisateurs de TikTok. Seul TikTok sait combien d'enfants ont vu ce contenu préjudiciable directement sur leur page For You.

Que doivent faire les régulateurs ? 

Ce n'est pas un problème TikTok mais un problème Big Tech. Des conclusions et des recommandations similaires ont été faites d'innombrables fois sur d'autres plateformes de médias sociaux, telles qu'Instagram, YouTube et Facebook. Interdire l'application ne changera rien, mais une législation complète pour rendre toutes les plateformes plus sûres le fera. Par exemple:

Les législateurs des États américains doivent adopter les multiples projets de loi sur le code de conception adapté à l'âge introduits pour assurer la sécurité des jeunes.

Le Congrès américain doit adopter des lois complètes pour freiner les Big Tech en utilisant la loi sur les services numériques de l'Union européenne comme modèle.