Atlantico, c'est qui, c'est quoi ?
Newsletter
Décryptages
Pépites
Dossiers
Rendez-vous
Atlantico-Light
Vidéos
Podcasts
High-tech
Le scénario du prochain blockbuster hollywoodien met en scène une intelligence artificielle.

I, Robot

Intelligence artificielle (mais réelle absurdité ?) : Roko’s Basilisk, la légende urbaine qui affole les cerveaux du net

Une intelligence artificielle surpuissante qui voudrait le bien de l'humanité mais punirait tous ceux qui n'auraient pas aidé à son émergence : ce n'est pas le scénario du prochain blockbuster hollywoodien, mais la théorie avancée par un anonyme sur un site internet principalement fréquenté par des scientifiques, et qui a semble-t-il effrayé une bonne partie de ces derniers.

Jean-Gabriel Ganascia

Jean-Gabriel Ganascia

Jean-Gabriel Ganascia est professeur à l'université Pierre et Marie Curie (Paris VI) où il enseigne principalement l'informatique, l'intelligence artificielle et les sciences cognitives. Il poursuit des recherches au sein du LIP6, dans le thème APA du pôle IA où il anime l'équipe ACASA .
 

Voir la bio »

Partant du postulat selon lequel l'intelligence artificielle parviendra un jour à un niveau de puissance bien supérieur à celui de l'homme, un membre de la communauté "LessWrong" connu sous le pseudonyme de "Roko" a émis l'hypothèse selon laquelle toute personne n'ayant pas contribué au développement de ladite intelligence, et n'ayant donc ainsi pas œuvré au bien commun, pourrait devoir en subir les conséquences au travers de "punitions" décidées par cette "IA". Cette théorie a provoqué de vives réactions au sein de la communauté LessWrong, au point que son fondateur Eliezer Yudkowsky l'a lui-même commentée, puis a supprimé le fil de conversation, qui reste tout de même consultable sur le site Reddit.com.

Atlantico : Par quel cheminement intellectuel en arrive-t-on à penser qu'une intelligence artificielle pourrait décider de "punir" de manière rétroactive toute personne qui n'aurait pas participé à son développement ?

Jean-Gabriel Ganascia :  Indubitablement, le cheminement intellectuel à l’issu duquel on envisage que l’intelligence artificielle viendrait "punir" certains hommes et en récompenser d’autres apparaît tortueux au premier abord. Pourtant, si l’on parvient à comprendre l’imaginaire des tenants de la singularité technologique qui professent ce genre de théorie, cela peut se concevoir (même si l’on n’y adhère pas). Pour essayer de le faire, retraçons les étapes essentielles de ce raisonnement. En premier lieu, on se place après l’advenue de cette rupture technologique majeure. A l’issue de celle-ci les machines deviendront non seulement plus puissantes que l’intellect humain mais aussi le support de nos propres consciences qui seront téléchargées à l’instar de programmes informatiques. En second lieu, on pense que l’humanité se divise en deux : ceux qui aspirent au progrès de l’esprit et ceux qui s’attachent aux formes anciennes, en particulier à l’humanité telle que nous la connaissons aujourd’hui. Les premiers vont dans le sens de l’histoire. Les seconds sont rétrogrades. Dès lors, il apparaît "naturel", dès que l’intelligence artificielle sera parvenue à accomplir son programme, à savoir dès qu’elle sera en mesure de télécharger la conscience des hommes sur des machines, que l’on récompense ceux qui y auront contribué et que l’on pénalise les autres…

Apparemment le fait que ces personnes susceptibles d'être punies soient décédées ne pose pas de problème à l'établissement de cette théorie, grâce à un système de "doubles". Qu'en est-il plus précisément ?

Comme nous venons de le voir, nous nous plaçons après l’advenue de la Singularité technologique, ce qui veut dire que nous nous situons dans un monde où il serait possible de télécharger la conscience sur une machine après la mort physique des individus. Dès lors, la disparition du corps n’aurait pas d’importance : il y aurait une vie de l’esprit après la fin de la vie biologique. Bien évidemment, tout ceci reste très spéculatif… Cependant, on conçoit aisément  que, sous ces hypothèses, on imagine porter atteinte à une femme ou un homme après sa mort, en s’en prenant à son esprit. Bref, il s’agit d’une espèce de purgatoire des âmes, ou d’enfer promis à ceux qui ne se comporteraient pas correctement…

Eliezer Yudkowsky a tenu des propos particulièrement agressifs à l'encontre de ce Roko, qualifiant son attitude d'irresponsable. Pourquoi ce type de théorie déclenche-t-il des réactions aussi violentes ou effrayées ? Quelles peurs sont agitées en sous-main ?

De même qu’il existe une magie blanche, altruiste et préventive, et une magie noire égoïste recourant à des démons maléfiques, de même il y a une singularité "amicale" (ce que Eliezer Yudkowsky appelle "friendlyAI") qui vise à l’épanouissement des individus et une singularité "gnostique" qui promet l’immortalité à une caste d’initiés. L’opposition entre Eliezer Yudkowsky et Roko recouvre exactement cette division : Eliezer Yudkowsky aspire à une technologie qui se mettrait au service de la société et qui aiderait le plus grand nombre, tandis que Roko souhaite une technologie puissante qui permette à quelques uns d’accéder à l’immortalité. Pour que cette puissance technologique parvienne à réaliser ses objectifs, il faut mobiliser tous les talents et donc les motiver en les récompensant, s’ils ont bien agi, et en les punissant, sinon. On conçoit aisément que certains, comme Eliezer Yudkowsky, soient très mécontents de discours comme ceux de Roko, puisque de telles perspectives contreviennent totalement à leurs conceptions généreuses.

Cette théorie est-elle loufoque de bout en bout, ou est-elle tout de même en phase avec certains enjeux de l'intelligence artificielle ? Celle-ci notamment est-elle nécessairement liée à la notion de bien commun ?

Ces théories se trouvent en phase avec l’imaginaire d’un certain nombre de chercheurs et d’ingénieurs en intelligence artificielle ou en robotique. Cela recouvre un courant de pensée extrêmement puissant, surtout aux Etats-Unis, dans les industries de haute technologie. Ainsi, la société Google finance l’université de la singularité depuis quelques années. Pour autant, on peut douter du sérieux de ces allégations. En effet, elles reposent sur deux idées très discutables. Selon la première, le progrès technologique se déploierait de façon autonome et il obéirait à une loi de croissance exponentielle. Selon la seconde, l’intelligence des machines serait en rapport immédiat avec la puissance de calcul et la capacité des dispositifs de stockage d’information. Or, on peut réfuter très facilement ces deux hypothèses. Plus exactement, rien ne permet d’affirmer qu’elles sont vraies. Enfin, pour essayer d’anticiper l’avenir, il faut confronter différents scénarios. C’est par exemple ce que font les chercheurs en climatologie lorsqu’ils élaborent différents modèles, sous différentes hypothèses, puis qu’ils les font "fonctionner" pour les confronter. Or, les scénarios évoquant la singularité technologique ne reposent sur aucun modèle ni aucune confrontation. En cela, ils n’ont rien de scientifique, quand bien même ils se fonderaient sur des scénarios recourant au progrès des sciences et des technologies. Ce sont donc des fictions scientifiques qui s’inspirent plus de science fiction que de science.

Propos recueillis par Gilles Boutin

En raison de débordements, nous avons fait le choix de suspendre les commentaires des articles d'Atlantico.fr.

Mais n'hésitez pas à partager cet article avec vos proches par mail, messagerie, SMS ou sur les réseaux sociaux afin de continuer le débat !