Graphiques inverses : Comment votre cerveau transforme le 2D en 3D

 

Résumé : 

Des chercheurs ont découvert comment les cerveaux des primates transforment des entrées visuelles planes et bidimensionnelles en riches représentations mentales tridimensionnelles d'objets. Ce processus, appelé "graphique inverse", fonctionne en inversant les principes de la graphisme informatique - en partant d'une représentation 2D à travers une étape intermédiaire jusqu'à un modèle 3D.

En utilisant un réseau neural appelé Body Inference Network, les scientifiques ont cartographié ce processus et ont montré qu'il correspond étroitement à l'activité dans les régions cérébrales des primates responsables de la reconnaissance de la forme du corps. Les résultats éclairent la façon dont les humains perçoivent la profondeur et pourraient inspirer des avancées en IA ainsi que des traitements pour les troubles visuels.

 

Faits clés : 

Le cortex inferotemporal primate crée des modèles de données 3D à partir d'images 2D par un processus de « graphisme inverse ». Des chercheurs ont utilisé un réseau neuronal pour reproduire ce processus et l'appliquer à l'activité cérébrale des macaques. Ce travail pourrait influencer la conception de visions artificielles et aider à comprendre les troubles de la perception visuelle.

Source : 

Yale Des chercheurs de Yale ont découvert un processus dans le cerveau des primates qui éclaire d'un nouveau jour le fonctionnement des systèmes visuels et pourrait conduire à des progrès tant en neurosciences humaines qu'en intelligence artificielle. 

Grâce à un nouveau modèle basé sur un ordinateur, les chercheurs ont découvert un algorithme qui démontre comment le cerveau des primates crée des représentations internes tridimensionnelles (3D) d'un objet lorsqu'il observe une image bidimensionnelle (2D) de cet objet.

« Cela nous donne des indices sur le fait que l'objectif de la vision est d'établir une compréhension 3D d'un objet », a déclaré l'auteur principal de l'étude, Ilker Yildirim, professeur adjoint de psychologie à l'université de Yale dans la faculté des arts et des sciences. « Lorsque vous ouvrez les yeux, vous voyez des scènes 3D – le système visuel du cerveau est capable de construire une compréhension 3D à partir d'une vue 2D simplifiée. » Les chercheurs ont appelé ce processus « graphismes inverses » et ont décrit comment le système de traitement visuel du cerveau fonctionne comme un processus de graphisme par ordinateur, mais à l'envers, passant d'une image 2D par une « représentation intermédiaire en 2,5D » moins dépendante du point de vue, jusqu'à un objet 3D beaucoup plus résistant aux vues. Les résultats ont été publiés dans les Proceedings of the National Academy of Sciences.

Un cerveau humain transforme essentiellement des images 2D que nous voyons – peut-être sur du papier ou sur un écran – en modèles mentaux 3D. La graphie informatique fait cependant l'inverse, en convertissant des scènes 3D en images 2D. "C'est une avancée significative dans la compréhension de la vision assistée par ordinateur", a déclaré Yildirim. "Votre cerveau fait cela automatiquement, et c'est un travail difficile sur le plan computationnel. Développer des systèmes de vision pour machines qui se rapprochent de ce que nous expérimentons dans des scènes quotidiennes reste un défi." Cette réalisation pourrait stimuler la recherche en neurosciences humaines et troubles de la vision, ainsi que faire progresser la création de systèmes de vision pour machines avec des capacités de vision semblables à celles des primates, affirment les chercheurs.

Dans leur travail, les chercheurs ont découvert qu'une partie du lobe temporal du cerveau des primates – en particulier le cortex inferotemporale, une région essentielle pour le traitement visuel – transforme des images en modèles mentaux 3D d'objets. Ils ont fait cela en utilisant un modèle connu sous le nom de Body Inference Network (BIN), un modèle basé sur des réseaux neuronaux capable de créer une représentation 2D d'un objet basée sur des caractéristiques telles que la forme, la posture et l'orientation. Dans ce cas, les chercheurs ont néanmoins entraîné le BIN pour inverser ce processus et l'entraîner à construire des corps humains et de singes en 3D directement à partir d'images (étiquetées avec des données 3D). Avec cette entrée, il a été démontré que le BIN inverse le processus habituel de graphisme assisté par ordinateur en obtenant des caractéristiques 3D dérivées des images 2D.

Après que les chercheurs ont comparé ces données BIN avec des données cérébrales enregistrées chez des macaques, alors qu'on leur montrait des images de corps de macaques, ils ont découvert que les étapes de traitement de la BIN correspondaient à l'activité dans les deux régions du cerveau du macaque (MSB et ASB) impliquées dans le traitement des formes corporelles. "Notre modèle a expliqué le traitement visuel dans le cerveau beaucoup plus précisément que d'autres modèles d'IA ne le font généralement", a déclaré Yildirim. "Nous nous intéressons avant tout aux aspects neuroscientifiques et cognitifs de cela, mais aussi dans l'espoir que cela puisse inspirer de nouveaux systèmes de vision par machine et faciliter d'éventuelles interventions médicales à l'avenir."

D'autres auteurs de l'étude sont le premier auteur Hakan Yilmaz et Aalap Shah, qui sont tous deux doctorants à la Graduate School of Arts and Sciences de l'Université de Yale, ainsi que des chercheurs de l'Université de Princeton et de la KU Leuven en Belgique.