Les smartphones pourront bientôt reconnaître les visages et les choses

Atlantico : En quoi cette particularité pourrait-elle servir à ses utilisateurs ?

Joël Gaget : La solution Zeroth que Qualcomm a présentée à Barcelone au début de ce mois permettra aux smartphones qui en sont équipés de s’adapter automatiquement et d’ajuster les réglages, inhiber certaines fonctions ou activer des services en fonction des habitudes des utilisateurs.

Qualcomm a montré comment les paramètres de votre caméra pourront s’ajuster automatiquement selon que vous photographierez un paysage ou un portrait, comment votre téléphone pourra vous rappeler, grâce à la reconnaissance faciale, le nom et le titre d’interlocuteurs que vous avez rencontrés à de rares occasions. De manière similaire, d’autres fonctions et services devraient permettre d’optimiser la consommation électrique de votre mobile ou encore trouver les meilleures connexions à Internet, sans que vous vous en aperceviez, de manière transparente, grâce à l’acquisition de connaissances sur votre mode de vie.

D’après le concepteur de Zeroth, vos textes manuscrits pourront être scannés et convertis automatiquement au format de votre traitement de texte favori. C’est une grande nouveauté car jusque-là les logiciels de reconnaissance de caractères embarqués sur les smartphones ne savaient reconnaitre que les caractères d’imprimerie. Vous pourrez prendre des notes sur un calepin et les intégrer directement dans le compte-rendu de la réunion pendant votre voyage de retour simplement en les scannant avec votre smartphone.

On peut imaginer beaucoup d’autres services qui utiliseront les multiples capteurs présents sur votre équipement et qui révèlent vos habitudes : l’horloge, les caméras, le réglage de volume, l’écran et le clavier tactiles, le GPS, l’accéléromètre, le gyroscope… ainsi que tous les périphériques Bluetooth qu’il est possible d’y connecter.

Ainsi des applications pour les malvoyants permettront de les guider plus efficacement, de lire les panneaux et tous les documents qui leurs seront présentés. Elles pourront décrire des formes, des couleurs, des situations.

Si vous voyagez dans un pays dont vous ne maitrisez pas la langue, les textes en français s’afficheront sur votre écran en substitution des textes d’origine sur les panneaux, les enseignes, les menus. Dans ce dernier cas, il pourrait même vous être proposé d’aller voir le restaurant qui est 200 mètres plus loin car il est mieux coté par ses clients…

Votre téléphone s’adaptera à vos habitudes et pourra prendre des décisions selon les circonstances : il enverra un SMS à votre conjoint qui vous appelle pendant que vous êtes dans votre traditionnelle réunion de 5 à 7 avec votre responsable marketing et pourra même lui écrire, si c’est un des jours ouvrés de ce restaurant, que vous aimeriez bien aller dîner tranquillement en amoureux chez le japonais d’à côté pour vous détendre après cette difficile réunion.

Et nous pouvons d’ores et déjà penser que l’analyse des données fournies par un ou plusieurs capteurs biométriques permettra de déclencher des alertes vers un médecin ou un service d’urgence avant même que les symptômes soient visibles, tout simplement parce que l’évolution des données relevées annonce le risque d’un problème de santé.

Les applications seront multiples, la seule limite sera l’imagination des marketeurs et des développeurs et bien sûr la capacité des smartphones à traiter toutes ces informations.

Comment cette technologie fonctionnera-t-elle ?

Le « machine learning » est une technologie qui permet à une machine, par exemple un smartphone, de construire des modèles d’actions ou de décisions qui s’améliorent  au fur et à mesure qu’ils acquièrent de l’expérience. Pour y parvenir, on utilise des réseaux neuronaux et des outils de deep learning, appelés ainsi car ils utilisent des composants électroniques et des outils de programmation qui simulent le modèle mathématique de fonctionnement des neurones, des synapses et le mode d’apprentissage du cerveau.

Cela ressemble à l’apprentissage chez l’être humain, qui permet d’adapter progressivement son comportement et d’agir en fonction du contexte, même si les situations ne sont jamais strictement identiques les unes aux autres, d’où l’appellation d’intelligence artificielle.

La grande nouveauté apportée par Qualcomm est d’avoir réussi à embarquer tout cela sur un smartphone alors qu’habituellement le deep learning va chercher sur Internet les ressources en mémoire et en calcul nécessaires pour effectuer ce travail.

Qu’est-ce que l’expérience pour un smartphone ? Ce sont les données que ses capteurs sont capables de relever et qui sont mémorisées sur l’appareil. Lorsqu’il recevra de nouvelles données, le processeur les analysera et pourra faire des prédictions dont la fiabilité s’améliorera au fur et à mesure que le nombre d’informations, l’expérience, croît.

Ainsi pour la transformation de votre écriture en fichiers texte, le logiciel va apprendre progressivement, grâce aux corrections que vous apporterez aux propositions de lettres ou de mots qu’il vous a faites, à reconnaitre les caractères que vous écrivez. Ces corrections sont intégrées dans l’apprentissage et feront que lors de l’écriture future d’une lettre ou d’un mot avec une forme similaire, la traduction sera correcte.

Combien de temps faudra-t-il attendre pour pouvoir l'utiliser ?

La solution Zeroth de Qualcomm sera intégrée sur le composant Snapdragon 820 dont les premiers échantillons seront diffusés au deuxième semestre 2015, ce qui signifie une présence sur le marché à partir de la fin de l’année ou début 2016.

Disposera-t-on pour autant d’une véritable intelligence artificielle embarquée dans notre smartphone ? Certains parmi les plus grands spécialistes mondiaux, comme Yann Lecun, informaticien français, un des cerveaux du deep learning qui vient d’être embauché par Facebook pour être son directeur de recherche en intelligence artificielle, considèrent que si l’on peut implanter la partie traitement des informations sur un processeur embarqué sur un téléphone, l’apprentissage qui est gourmand en puissance de calcul et en énergie devra être hébergé ailleurs. En toute logique, Qualcomm devrait y pourvoir en déployant des serveurs spécialisés mais n’a pas fait d’annonce dans ce sens.

De plus, et même si Qualcomm annonce déjà travailler avec des développeurs dans ce sens, il faudra probablement attendre plusieurs années avant que le nombre d’applications dites d’intelligence artificielle n’explose.

La raison ? Tout simplement parce que le fonctionnement des processeurs neuronaux n’a rien à voir avec la programmation traditionnelle et qu’il va falloir attendre quelques années avant que cette nouvelle culture informatique se diffuse au point d’être en mesure de créer en nombre suffisant des applications utilisables au quotidien.

Alors cela laisse encore quelques années pour que la technologie progresse, et elle va progresser vite, au vu de tous les efforts qui sont déployés par les leaders technologiques mondiaux, IBM (en tête avec True North processeur composé de 4096 cœurs, 1million de neurones – à comparer aux 100 milliards, estimés, pour notre cerveau – et 256 millions de synapses), Google, Facebook, Microsoft et les autres…