Le logo de ChatGPT, le chatbot d'intelligence artificielle d'OpenAI (image d'illustration).
See image caption
See copyright

AUCUNE LIMITE ?

Un outil open source promet de supprimer les garde-fous des modèles d’intelligence artificielle

Un outil open source baptisé Heretic affirme pouvoir désactiver en quelques minutes les mécanismes de refus intégrés dans certains modèles d’intelligence artificielle. Cette approche met en lumière la fragilité potentielle des garde-fous techniques censés encadrer l’usage de ces systèmes. Décryptage.

4 min de lecture

0:00min
100%

Atlantico - Un outil open source baptisé Heretic prétend pouvoir supprimer en quelques minutes la capacité d’un modèle de langage à refuser certaines requêtes, en modifiant directement certaines matrices internes. Cette approche remet-elle en cause l’idée selon laquelle les garde-fous des modèles d’IA constituent une protection robuste, ou montre-t-elle au contraire que ces mécanismes restent relativement fragiles et contournables ?

Benoit Grunemwald : Elle montre surtout que ces mécanismes restent relativement fragiles et, surtout, contournables dans certaines conditions.

La suite de cet article est réservée aux abonnés.

A PROPOS DES AUTEURS

Benoît Grunenwald est expert en cybersécurité chez ESET. Pour retrouver son compte sur LinkedIn voici