Intelligence artificielle : tuteur de Chatbot, LA profession qui va recruter à tour de bras

Atlantico : Les entreprises des nouvelles technologies dans le domaine de l’IA ont besoin de personnes qui interagissent et qui occupent le rôle de tuteur vis-à-vis de l’intelligence artificielle. Les missions de ces formateurs concernent l'apprentissage supervisé, où l'IA apprend à partir de l'écriture générée par l'homme, et l'apprentissage par renforcement à partir des commentaires humains, où le chatbot apprend à partir de la façon dont les humains évaluent ses réponses. Pourquoi les entreprises dans le domaine des nouvelles technologies ont besoin de ces spécialistes qui vont apprendre à l'IA à s'améliorer ?

Laurent Alexandre : Il y a beaucoup de niveaux d’interventions humaines dans la construction d'un réseau de neurones de type LLM comme ChatGPT. Les humains déterminent l'architecture qui va être utilisée dans le réseau de neurones, le nombre de neurones artificielles, le nombre de couches, le dataset qui va être utilisé pour l’entraînement et l’apprentissage de l'intelligence artificielle ou bien encore la capacité du réseau de neurones à ne pas choisir le mot le plus probable au moment de la prédiction du prochain mot qui est une étape cruciale dans les réponses des LLM.

L'une des interventions humaines les plus méconnues du grand public et qui est probablement la moins technique concerne le rôle des humains qui vont intervenir dans ce qu'on appelle la boucle RLHF. Des humains, au départ dans des pays à bas salaires comme le Kenya et aujourd'hui davantage dans les pays développés, apportent des réponses et un retour d’expérience pour les réseaux de neurones sur le ressenti des humains par rapport aux éléments transmis et communiqués par le réseau de neurones. Ces personnes vont apporter un feedback à l'IA pour rendre les réponses plus proches des attentes des humains. 

Le RLHF (Reinforcement Learning Human Feedback) est un apprentissage par renforcement de l'intelligence artificielle. Cela est rendu possible grâce aux messages transmis par les humains sur les réponses apportées par l’intelligence artificielle. 

Ces postes de tuteurs de chatbot doivent permettre d'enrichir les connaissances de l’IA et de participer à son développement. Pourquoi ce poste pourrait-il devenir le métier de demain ? Quels seront les prérequis en termes de formation ? Les salaires sont-ils intéressants ? Est-ce une bonne expérience dans le domaine des technologies ?

Le métier en question est très peu payé. Les rémunérations ne sont pas du tout les mêmes que celles des personnes qui paramètrent et qui conçoivent les réseaux de neurones et qui sont surpayés. Si l'on étudie l'ensemble des métiers humains qui interviennent dans la chaîne pour l’IA, il y a des variations très importantes en termes de salaires. Les travailleurs qui étaient situés en Afrique et qui participaient au RLHF étaient payés nettement moins que le SMIC européen ou que le niveau de rémunération des ouvriers en Amérique du Nord. A l'inverse, les ingénieurs qui conçoivent les réseaux de neurones ont des rémunérations très importantes. Chez OpenAI, les concepteurs de ChatGPT-4 et chez Google pour les fabricants de Gemini 1.5, les meilleurs développeurs sont embauchés à plus de 10 millions de dollars par an.

En quoi ce poste de tuteur de l'IA permet-il d'améliorer drastiquement cette technologie d’un point de vue technique ?

Ce poste, basé sur le retour d’information humain, permet de mieux organiser la récompense informatique du réseau de neurones en fonction de la qualité des réponses pour guider un réseau de neurones. Il y a des systèmes de récompenses mathématiques qui permettent aux réseaux de neurones de savoir s'ils s'approchent des attentes en matière de réponse ou pas. Les humains, qui organisent ce renforcement de l'apprentissage par le retour d’expérience, aident donc le réseau de neurones une fois que les réglages informatiques ont été effectués. Cela permet au réseau de neurones de s'améliorer et de mieux réaliser dans quel cas il répond concrètement aux attentes et dans quels cas il s’éloigne des attentes en matière de réponses.

Certains chercheurs s'inquiètent du manque de normes de sécurité en matière d'étiquetage des données. Faut-il s'inquiéter parfois des réponses de l’IA sur des sujets sensibles ?

Des humains vont labelliser les images qui vont permettre d'éduquer les réseaux de neurones multimodaux. Ils vont analyser à la fois du texte et des images. Des individus vont définir les paramètres du réseau de neurones et vont injecter dans le réseau de neurones des paramètres et des filtres de manière à orienter la réponse du réseau de neurones, voire à censurer certains types d'informations. 

Cette intervention humaine est au coeur de la polémique sur la version image de Gemini 1.5 qui a conduit à sa fermeture par Google. Des images générées par l’IA de Google représentaient Louis XV comme une personne noire, les dirigeants de Google étaient asiatiques et les plus grands physiciens du XVIIᵉ siècle étaient systématiquement représentés comme des personnes de couleur. Cela a révélé que des filtres moraux et éthiques ont été incorporés au sein de l’IA et ils ont servi de guide au réseau de neurones. Dans le cas de Gemini, les employés injectaient des directives d'inclusion et de diversité. Les instructions de l'utilisateur étaient réécrites de manière à rendre les propos inclusifs. Lorsque des représentations étaient demandées pour les physiciens du XVIIe siècle, les propos et les contenus étaient alors modifiés. Cela conduisait la fonction de création d’images à produire des représentations d’individus avec une diversité de genres, de couleurs et de communautés. 

Ces instructions, qui s’inscrivent dans le sillage du wokisme, ont conduit à des anachronismes et à un révisionnisme historique qui a été insupportable pour une partie des clients de Google. Cela a poussé les fondateurs de Google, Sergey Brin et Larry Page, à demander l'interruption de la fonction image de Gemini 1.5.

Les personnes qui interviennent et qui vont aider le réseau de neurones à se construire, qui vont lui donner des instructions, qui vont lui donner un retour d’information humain sur la bonne qualité de ses réponses concernent des interventions à différents niveaux et font l'objet de plusieurs métiers différents qui vont des travailleurs sous payés à des ingénieurs qui sont les mieux payés au monde.

Avec le développement de l'IA, est-ce que ce type de métier de tuteur et de formateur pour chatbot afin d’améliorer les modèles d'intelligence artificielle ne va-t-il pas devenir de plus en plus important au regard de l'essor de l'IA ? Est-ce que cela pourrait devenir le métier le plus prisé de demain ?

L'idée selon laquelle chaque entreprise va paramétrer elle-même les grands systèmes d'intelligence artificielle avec différentes techniques ne devrait pas se concrétiser car cela est incompatible avec la phase de développement technologique très rapide des chatbots et de l’IA.

Le temps de paramétrer un système d'intelligence artificielle en fonction des besoins de sa propre entreprise, le modèle qui aura été utilisé sera déjà très rapidement dépassé avec l’apparition de nouveaux modèles développés par les géants de la Tech. 

Une version corporate, conçue et dédiée pour une entreprise, risque d’être rapidement dépassée. 

Pour suivre les évolutions technologiques, il est important de travailler avec les versions des grands modèles d'intelligence artificielle et des principaux chatbots très performants qui sont déjà présents sur le marché.

Dans le cadre de ce métier d’avenir pour les tuteurs, il y a plusieurs niveaux d'intervention entre les personnes qui font du RLHF, qui est une étape quasi finale dans le paramétrage, et puis les individus qui déterminent la structure du réseau de neurones et la façon dont il va être entraîné tout au tout début. Il y a vraiment des différences majeures dans leurs missions et dans les conséquences que cela aura pour l’IA de demain.