Une étude, dont les résultats intitulés «Reconstructing faces from fMRI patterns using deep generative neural networks» ont été publiés dans la revue Communications Biology, a permis, en utilisant une nouvelle technique d’intelligence artificielle (le 'deep learning') pour décoder l’activité cérébrale enregistrée en imagerie fonctionnelle, de reconstruire les images vues (ou imaginées) par des sujets.

Notons tout d'abord que si «au cours de ces 15 dernières années, les modèles classiques ont pu décoder de manière fiable des objets appartenant à différentes catégories (visages vs maison par exemple)», ils n'ont pas permis «de différentier des objets d’une même catégorie (visage souriant vs visage triste par exemple)». Dans ce contexte, «en utilisant une technique d’intelligence artificielle récemment développée, le 'deep learning'», un réseau de neurones artificiels a été «entrainé de façon non supervisée» à «représenter plus de 200 000 visages tirés d’une base de données de célébrités».

Concrètement, «chaque visage est projeté dans un espace 'latent' en 1024 dimensions (certaines correspondant à des graduations de sourires, genres, sourcils, couleurs de peau etc.) qui peuvent être combinées de façon linéaire pour générer de nouveaux visages réalistes». Soulignons que «ce type de réseau neuronal génératif (ou GAN) est à la pointe des progrès récents en 'deep learning'».

Ensuite, il a été possible avec ce système «d’apprendre la correspondance entre l’activité cérébrale enregistrée en IRMf à la vue de plus de 8000 visages et la représentation dans l’espace latent de ces mêmes visages». Au cours de la phase de test, «de nouveaux visages étaient présentés, et l’activité cérébrale correspondante était utilisée par le réseau pour reconstruire l’image via cet espace latent».

Comme «la fiabilité du système peut être estimée par la comparaison des visages en entrée et en sortie», il est apparu que «les visages étaient reconnaissables dans plus de 95% des cas», alors que «les modèles précédents ne permettant pas de dépasser une fiabilité de plus de 85%».

D'autre part, en plus de la «très grande résolution obtenue par ces réseaux issus du 'deep learning'», ces travaux «ont permis de préciser les zones cérébrales impliquées dans le traitement des visages et notamment le traitement du genre (zones occipitale et temporale principalement)».

Précisons enfin que «la fiabilité du réseau a également été testée en demandant aux sujets non pas de regarder un visage mais de se l’imaginer» de sorte que «l’activité enregistrée dans la zone temporale du cortex» a permis «au réseau neuronal de 'deviner' le visage choisi avec une précision de plus de 80%».

Ainsi, «en lisant et en comprenant les informations sensorielles présentes dans le cerveau, cette nouvelle méthode de décodage va permettre de répondre à un grand nombre de questions fondamentales concernant le traitement des visages, et plus généralement le fonctionnement cérébral» de la pensée, compte tenu du fait que «les auteurs font l’hypothèse que l’espace latent des modèles de 'deep learning' en IA pourrait être comparable aux représentations du cerveau humain».