Création d'objets et catégories d'objets pour l'étude de la perception et de l'apprentissage perceptif

Cette procédure vise à créer des objets et des catégories d'objets permettant d'étudier la manière dont nous percevons les objets et apprenons à les percevoir par la vue ou le toucher. Premièrement, la morphogenèse virtuelle, ou VM, est utilisée pour simuler les processus du développement embryonnaire précoce et créer de nouveaux objets 3D virtuels au caractère naturel, appelés embryons numériques. Ensuite, à l’aide de la phylogenèse virtuelle, ou VP, des catégories d’objets sont générées avec des propriétés statistiques précisément définies à partir de l’embryon numérique d’entrée.

Si désiré, une analyse en composantes principales peut être utilisée pour créer des variations de forme supplémentaires parmi les objets virtuels générés par la morphogenèse virtuelle et la phylogenèse virtuelle. La probabilité qu'un objet donné appartienne à une catégorie donnée peut être calculée avec précision à l'aide d'une inférence bayésienne fondée sur des caractéristiques. Si nécessaire, des impressions haptiques des objets virtuels obtenus peuvent être générées à l'aide d'une imprimante 3D.

Chacune de ces méthodes sera illustrée plus en détail ultérieurement par rapport aux méthodes existantes. Ces nouvelles approches génèrent des variations de forme réalistes mais précisément mesurables, apparaissant sans nécessiter de contraintes imposées par l'expérimentateur. Elles offrent des outils innovants dans les domaines de la perception visuelle et haptique, de l'apprentissage perceptuel et de la vision artificielle, et présentent des applications potentielles dans la rééducation de nombreux types de troubles visuels grâce à un entraînement croisé visuo-haptique.

De manière intéressante, cette méthode peut également être appliquée à l'étude des processus de morphogenèse et d'évolution eux-mêmes, et nous avons eu pour la première fois l'idée de cette méthode en cherchant des moyens de générer des stimuli visuels réalistes mais précisément définissables pour des études en vision computationnelle. Initialement, les personnes confrontées à cette méthode pourraient éprouver des difficultés avec ses aspects intensifs en mathématiques et en programmation, aussi cette démonstration visuelle illustrera-t-elle comment mettre en œuvre et utiliser correctement cette méthode. Dans l'atelier de l'embryon numérique, spécifiez un ensemble de paramètres ou de génotype afin de générer un embryon unique ou plusieurs embryons.

Répétez ce processus plusieurs fois pour générer des formes plus complexes par morphogenèse virtuelle. Augmentez le nombre de cycles de croissance afin de préciser combien de fois les cellules de l'embryon se diviseront. L'atelier d'embryons numériques enregistre automatiquement chaque embryon sous forme de fichier OBJ, ce qui vous permet de l'utiliser ultérieurement avec des outils de modélisation 3D commerciaux.

Générez les stimuli visuels en réglant divers paramètres graphiques standards tels que l'orientation, la taille, l'éclairage, la texture de surface et l'arrière-plan afin de produire des catégories d'objets. Créez des objets descendants à partir d'un objet ancêtre de manière hiérarchique. Vous pouvez également faire varier en douceur la forme à l'aide d'un morphing tout en préservant la correspondance biunivoque des sommets entre les objets.

De manière intéressante, des objets virtuels autres que les embryons numériques peuvent également être utilisés comme entrées pour la phylogenèse virtuelle. Sélectionnez des objets au sein d'une catégorie donnée afin d'obtenir une distribution spécifique de caractéristiques. Par exemple, si vous souhaitez créer deux catégories différant par la taille, éliminez sélectivement les objets de taille intermédiaire pour générer une distribution bimodale des tailles d'objets.

Maintenant, mesurer objectivement la similarité entre une paire donnée de catégories à l’aide de méthodes phylogénétiques disponibles, telles que la corrélation cofonétique. Ces calculs peuvent être réalisés à l’aide de boîtes à outils analytiques couramment disponibles, comme MATLAB ou R, pour toute paire donnée d’objets où chaque sommet de l’un correspond exactement à un sommet de l’autre. L’interpolation morphique est alors simple. Sélectionner les points d’interpolation et utiliser un morphage linéaire entre les deux objets afin d’interpoler régulièrement entre les sommets correspondants.

Tout d'abord, déterminez les composantes principales comme descripteurs spécifiques d'un ensemble donné d'objets. Les composantes principales peuvent être calculées à l'aide de MATLAB ou de R en faisant la moyenne, pour chaque sommet, des coordonnées sur l'ensemble des N objets d'entrée afin de générer un objet moyen, puis en multipliant chaque composante P par la valeur propre correspondante lambda et un poids souhaité wj, et en ajoutant le résultat à l'objet moyen pour générer un nouvel objet. Continuez ensuite à faire varier en douceur wj afin de créer des variations de forme progressives le long d'une composante principale donnée.

Pour créer une grille multidimensionnelle de formes, utilisez un ensemble de poids pour chacune des plusieurs composantes principales. Imprimez des objets en 3D à l'aide d'un prototypeur 3D. Si nécessaire, ajustez la taille de l'objet et lissez sa surface pour optimiser l'impression.

Une tâche importante dans le traitement visuel consiste à déduire la catégorie à laquelle appartient un objet observé donné. En partie grâce aux informations sur les caractéristiques connues de l'objet, les embryons numériques sont utiles. Lorsqu'on étudie ce processus déductif, supposons que la tâche de catégorisation soit binaire.

Il s'agit donc de deux catégories possibles uniquement, et notre tâche consiste à distinguer la catégorie K de la catégorie L ; soit C la variable de catégorie, C est égale à K ou C est égale à L selon que l'image observée I appartient respectivement à la catégorie K ou à la catégorie L. En supposant qu'il existe exactement une caractéristique binaire F, calculez la probabilité que la catégorie soit K étant donné l'information contenue dans l'image. De même, pour la probabilité que la catégorie soit L, choisissez la catégorie ayant la probabilité la plus élevée.

Par exemple, commencez avec cette caractéristique informative constituée de fragments et une valeur seuil de 0,69. La tâche consiste à déterminer si cette caractéristique est présente dans une image donnée, comme l'image la plus à droite dans la route G trois. Faites d'abord glisser le modèle sur toutes les positions possibles de l'image et calculez, à chaque position, la valeur absolue de la corrélation croisée normalisée entre le modèle et la sous-image sous-jacente.

Ensuite, sélectionnez l'emplacement de l'image ayant la valeur la plus élevée. Si cette valeur est supérieure au seuil, concluez que la caractéristique est présente ; sinon, concluez qu'elle est absente. Dans le cadre de l'inférence fondée sur les caractéristiques, nous supposons que toute l'information que l'observateur extrait de l'image est contenue dans la valeur de cette caractéristique.

Par conséquent, la tâche consiste à déterminer la valeur de F dans l'image donnée en calculant les probabilités pour cette valeur F, puis à choisir la catégorie ayant la probabilité la plus élevée. Il s'agit du cadre bayésien permettant de combiner l'ensemble des probabilités pertinentes. Notez que le dénominateur dans les deux équations est identique ; concentrez-vous donc sur le numérateur.

Supposons une probabilité a priori uniforme, selon laquelle les deux catégories sont a priori également probables. La tâche consiste désormais à calculer la vraisemblance, c’est-à-dire la probabilité d’une valeur donnée d’un attribut dans une image appartenant à une catégorie C donnée. Par exemple, utilisons les six images de la catégorie L comme exemples pour calculer la probabilité que l’attribut soit présent dans une image de la catégorie L. Tout d’abord, prenons toutes les images d’apprentissage appartenant à L ; pour chaque image, déterminons si la valeur de l’attribut est égale à un (c’est-à-dire que l’attribut est présent dans l’image) ou zéro (c’est-à-dire que l’attribut est absent). Ensuite, calculons la fraction d’images dans lesquelles la valeur de l’attribut est égale à un.

Par conséquent, la probabilité que la caractéristique soit présente dans une image de la catégorie L est de 0,33 ; pour des estimations précises, utilisez au moins 30 images par catégorie. Dans une expérience typique, nous devrions connaître l'estimation interne du sujet concernant cette probabilité. Remarquez comment l'utilisation d'embryons numériques rend cela particulièrement facile.

Étant donné que nous avons un contrôle total sur l'exposition du sujet aux embryons numériques, nous pouvons être certains que la valeur calculée mentalement par le sujet est cohérente avec notre estimation et n'est pas influencée par une expérience antérieure inconnue ou non contrôlée. De manière analogue, calculez les probabilités d'absence et de présence de l'image dans les catégories K et L. À partir de ces valeurs, une inférence peut être effectuée afin d'identifier l'étiquette de catégorie de cette nouvelle image. Déterminez d'abord si la caractéristique F est présente dans l'image en utilisant les formules précédentes établies pour les probabilités non normalisées et les valeurs venant d'être calculées, puis calculez les probabilités de présence dans l'image des catégories K et L. Ces données indiquent que l'image appartient à la catégorie K. Bien que la confiance soit relativement faible, la morphogenèse virtuelle offre un approvisionnement illimité en formes 3D nouvelles.

Ici, des embryons numériques sont générés en simulant des processus clés de l'embryogenèse biologique. Chaque exécution commence avec un icosaèdre et produit un embryon unique. Selon les paramètres des morphogènes, les embryons numériques peuvent être manipulés graphiquement pour créer des scènes visuelles d'une complexité arbitraire à l'aide de n'importe quel outil graphique standard.

Par exemple, le même embryon numérique peut être texturé différemment et éclairé selon les besoins. De plus, des scènes visuelles d'une complexité arbitraire, comme cette scène où un embryon numérique est camouflé sur un fond à texture similaire, peuvent être créées à l'aide d'un environnement de modélisation et de rendu 3D disponible commercialement. L'algorithme de phylogenèse virtuelle imite l'évolution biologique.

L'algorithme virtuel de phylogenèse imite l'évolution biologique. De nouveaux objets et catégories d'objets apparaissent comme des variations héréditaires qui s'accumulent de façon sélective, tout en développant leurs propres variations de forme au fur et à mesure de leur évolution. Dans cet exemple particulier, un ancêtre commun unique, l'icosaèdre, donne naissance à trois générations de descendants.

La complexité de la forme augmente de l'icosaèdre à la génération G1 car nous permettons une augmentation du nombre de cellules, mais la complexité globale de la forme reste constante à partir de la génération G1. Cet arbre phylogénétique est comparable à d'autres égards, mais utilise des objets non embryonnaires téléchargés auprès de fournisseurs d'objets virtuels. Remarquez que les objets partageant un ancêtre commun constituent directement une catégorie.

Étant donné qu'aucune division cellulaire n'était autorisée à aucune génération, toutes les variations de forme résultent uniquement du déplacement et/ou de la croissance des cellules individuelles de l'objet donné. Dans ce scénario, le morphing crée des variations de forme progressives en interpolant entre les sommets correspondants des deux objets désignés, celui le plus à gauche et celui le plus à droite.

Les composantes principales de l'embryon créent également des variations régulières de la forme. Cet embryon représente la moyenne arithmétique de 400 embryons. Dans ce cas particulier, les deux premières composantes principales représentaient respectivement 73 % et 19 % de l'information de forme.

Les embryons ont été obtenus en faisant varier les valeurs propres pondérées. Ces embryons numériques peuvent être rendus sous forme d'objets 3D virtuels, puis imprimés comme objets tactiles à l'aide d'une imprimante 3D ou d'un prototypeur standard disponible dans le commerce, afin d'étudier la perception visuelle en tant qu'inférence, en particulier l'inférence bayésienne. Les embryons numériques constituent un outil indispensable pour créer des catégories nouvelles aux paramètres contrôlés, tels que les a priori et les vraisemblances.

Après avoir visionné cette vidéo, vous devriez avoir une bonne compréhension de la manière de créer un ensemble d'embryons numériques adaptés à votre expérience particulière. Des objets individuels ou des catégories entières, avec différents degrés de variabilité et de complexité, peuvent tous être créés facilement. Les images obtenues peuvent être utilisées pour des expériences en reconnaissance d'objets, en catégorisation, en apprentissage de catégories et bien d'autres encore.