Cartographie tridimensionnelle de la rotation d’objets virtuels interactifs avec des données de suivi oculaire

Summary

Nous avons développé une méthode simple, personnalisable et efficace pour enregistrer des données processuelles quantitatives à partir de tâches spatiales interactives et cartographier ces données de rotation avec des données de suivi oculaire.

Abstract

Nous présentons une méthode d’enregistrement en temps réel de l’interaction humaine avec des objets virtuels tridimensionnels (3D). L’approche consiste à associer les données de rotation de l’objet manipulé à des mesures comportementales, telles que l’eye tracking, afin de mieux inférence sur les processus cognitifs sous-jacents.

La tâche consiste à afficher deux modèles identiques d’un même objet 3D (une molécule), présentés sur un écran d’ordinateur : un objet interactif en rotation (iObj) et un objet cible statique (tObj). Les participants doivent faire pivoter iObj à l’aide de la souris jusqu’à ce qu’ils considèrent que son orientation est identique à celle de tObj. L’ordinateur suit toutes les données d’interaction en temps réel. Les données du regard du participant sont également enregistrées à l’aide d’un oculomètre. La fréquence de mesure est de 10 Hz sur l’ordinateur et de 60 Hz sur l’eye tracker.

Les données d’orientation de iObj par rapport à tObj sont enregistrées en quaternions de rotation. Les données du regard sont synchronisées avec l’orientation d’iObj et référencées à l’aide de ce même système. Cette méthode nous permet d’obtenir les visualisations suivantes du processus d’interaction humaine avec iObj et tObj : (1) disparité angulaire synchronisée avec d’autres données dépendantes du temps ; (2) trajectoire de rotation 3D à l’intérieur de ce que nous avons décidé d’appeler une « boule de rotations » ; (3) Carte thermique de fixation 3D. Toutes les étapes du protocole ont utilisé des logiciels libres, tels que GNU Octave et Jmol, et tous les scripts sont disponibles en tant que matériel supplémentaire.

Avec cette approche, nous pouvons mener des études quantitatives détaillées du processus de résolution de tâches impliquant des rotations mentales ou physiques, plutôt que seulement le résultat obtenu. Il est possible de mesurer précisément l’importance de chaque partie des modèles 3D pour le participant à la résolution des tâches, et ainsi de relier les modèles à des variables pertinentes telles que les caractéristiques des objets, les capacités cognitives des individus et les caractéristiques de l’interface homme-machine.

Introduction

La rotation mentale (RM) est une capacité cognitive qui permet aux individus de manipuler et de faire pivoter mentalement des objets, facilitant ainsi une meilleure compréhension de leurs caractéristiques et de leurs relations spatiales. C’est l’une des capacités visuospatiales, un groupe cognitif fondamental qui a été étudié dès 1890¹. Les capacités visuospatiales sont une composante importante du répertoire cognitif d’un individu qui est influencée à la fois par des facteurs héréditaires et environnementaux 2,3,4,5. L’intérêt pour les capacités visuospatiales s’est accru tout au long du XXe siècle en raison des preuves de plus en plus nombreuses de leur importance dans des sujets clés tels que le vieillissement⁶ et le développement⁷, les performances en sciences, technologie, ingénierie et mathématiques (STIM)^8,9, la créativité¹⁰ et les traits évolutifs¹¹.

L’idée contemporaine de la RM dérive des travaux pionniers publiés par Shepard et Metzler (SM) en 1971¹². Ils ont mis au point une méthode chronométrique à l’aide d’une série de tâches « identiques ou différentes », présentant deux projections d’objets 3D abstraits présentés côte à côte. Les participants devaient faire pivoter mentalement les objets sur un certain axe et décider si ces projections représentaient le même objet, tournaient différemment ou des objets distincts. L’étude a révélé une corrélation linéaire positive entre le temps de réponse (RT) et la disparité angulaire (DA) entre les représentations d’un même objet. Cette corrélation est connue sous le nom d’effet de disparité d’angle (ADE). L’ADE est considérée comme une manifestation comportementale de la RM et est devenue omniprésente dans plusieurs études ultérieures influentes dans le domaine 13,14,15,16,17,18,19,20,21,22,23,24,25. Les objets 3D utilisés dans l’étude SM étaient composés de 10 cubes contigus générés par le pionnier des graphes informatiques Michael Noll aux Laboratoires Bell²⁶. Ils sont appelés figures SM et sont largement utilisés dans les études RM.

Deux avancées ont été d’une grande importance dans l’œuvre fondamentale de Shepard et Metzler ; tout d’abord, considérer les contributions dans le domaine des évaluations RM. En 1978, Vanderberg et Kuze²⁷ ont développé un test psychométrique de 20 éléments basé sur des figures SM « identiques ou différentes » qui est devenu connu sous le nom de test de rotation mentale (VKMRT). Chaque élément de test présente un stimulus cible. Les participants doivent choisir parmi quatre stimuli, ceux qui représentent le même objet que celui représenté dans le stimulus cible, et ceux qui ne le représentent pas. VKMRT a été utilisé pour étudier la corrélation entre la capacité RM et divers autres facteurs, tels que les différences liées au sexe 6,21,24,28,29,30, le vieillissement et le développement ^6,31,32, les performances scolaires^8,33, et compétences en musique et sports³⁴. En 1995, Peters et al. ont publié une étude avec des chiffres redessinés pour le VKMRT^35,36. De même, à la suite de la conception de tâches « identiques ou différentes », une variété d’autres bibliothèques de stimuli générés par ordinateur ont été utilisées pour étudier les processus RM et pour évaluer les capacités RM (versions 3D des stimuli SM originaux 19,22,23,37,38, corps humain imitant les figures SM 25,39,40, polygones plats pour la rotation ^{2D 41, 42}, l’anatomie et les organes⁴³, les formes organiques⁴⁴, les molécules^45,46, entre autres²¹). Le Purdue Spatial Visualization Test (PSVT) proposé par Guay en 1976⁴⁷ est également pertinent. Il implique une batterie de tests, y compris MR (PSVT :R). Utilisant des stimuli différents de ceux de VKMRT, PSVT :R demande aux participants d’identifier une opération de rotation dans un stimulus modèle et de l’appliquer mentalement à un autre. PSVT :R est également largement utilisé, en particulier dans les études portant sur le rôle de la RM dans la réalisation des STEM 48,49,50.

La deuxième avancée de grande importance dans les travaux fondamentaux de Shepard et Metzler comprend les contributions à la compréhension du processus MR, en particulier, avec l’utilisation de dispositifs de suivi oculaire. En 1976, Just et Carpenter¹⁴ ont utilisé un équipement de suivi oculaire basé sur la vidéo analogique pour mener une étude basée sur l’expérience ADE de Shepard et Metzler. À partir de leurs résultats sur les mouvements oculaires saccadiques et les RT, ils ont proposé un modèle de processus RM composé de trois phases : 1) la phase de recherche, au cours de laquelle des parties similaires des figures sont reconnues ; 2) la phase de transformation et de comparaison, au cours de laquelle l’une des pièces identifiées fait l’objet d’une rotation mentale ; 3) la phase de confirmation, au cours de laquelle il est décidé si les chiffres sont identiques ou non. Les phases sont répétées de manière récursive jusqu’à ce qu’une décision puisse être prise. Chaque pas correspond à des mouvements oculaires saccadiques et fixationnels spécifiques en relation étroite avec les ADE observés. Ainsi, en corrélant l’activité oculaire aux données chronométriques, Just et Carpenter ont fourni une signature cognitive pour l’étude des processus RM. À ce jour, ce modèle, bien qu’avec des adaptations, a été adopté dans plusieurs études 15,42,46,51,52,53.

Suivant cette piste, plusieurs études ont suivi l’activité comportementale 18,19,22,23,25,34,40,54,55 et l’activité cérébrale 20,22,56,57 fonctions pendant la rotation des stimuli ont été effectuées. Leurs résultats mettent en évidence un rôle coopératif entre l’IRM et les processus moteurs. De plus, il y a un intérêt croissant pour l’étude de stratégies de résolution de problèmes impliquant la RM en relation avec les différences individuelles 15,41,46,51,58.

Dans l’ensemble, on peut considérer que la conception d’études visant à comprendre les processus RM est basée sur la présentation d’une tâche avec des stimuli visuels qui demandent aux participants d’effectuer une opération MR qui, à son tour, implique une réaction motrice. Si cette réaction permet la rotation des stimuli, on parle souvent de rotation physique (RP). En fonction des objectifs spécifiques de chaque étude, différentes stratégies et dispositifs ont été utilisés pour l’acquisition de données et l’analyse de la RM et de la RP. Dans l’étape de présentation du stimulus de la tâche, il est possible de changer les types de stimuli (c’est-à-dire les exemples précédemment cités) ; la projection (images de synthèse dans des écrans traditionnels 22,23,25,29,40,41,59, ainsi que dans des environnements de stéréoscopes¹⁹ et de réalité virtuelle ⁶⁰ et mixte ⁴³) ; et l’interactivité des stimuli (images statiques 12,27,36, animations⁶¹ et objets virtuels interactifs 19,22,23,43,53,59).

L’IRM est généralement déduite des mesures des RT (ADE), ainsi que de l’activité oculaire et cérébrale 25,46,62. L’activité oculaire est mesurée à l’aide de données de suivi oculaire composées de mouvements saccadiques et de fixations 14,15,42,51,52,54,58,60, ainsi que de la pupillométrie ⁴⁰. Les données RT proviennent généralement des données de réponse du moteur enregistrées lors de l’utilisation de divers appareils tels que les leviers¹³, les boutons et interrupteurs^14,53, les pédales⁵³, les boutons rotatifs¹⁹, les joysticks³⁷, le clavier⁶¹ et la souris^29,58,60, les roues motrices⁵³, les capteurs inertiels^22,23, les écrans tactiles^52,59et microphones²². Pour mesurer la RP, en plus des RT, la conception de l’étude comprendra également l’enregistrement des rotations manuelles de stimuli interactifs pendant que les participants effectuent la tâche MR 22,23,52,53.

En 1998, Wohlschläger et Wohlschläger¹⁹ ont utilisé des tâches « identiques ou différentes » avec des stimuli SM virtuels interactifs manipulés à l’aide d’un bouton, avec des rotations limitées à un axe par tâche. Ils ont mesuré la RT et l’enregistrement cumulatif des rotations physiques effectuées pendant les tâches. En comparant des situations avec et sans rotation réelle des stimuli interactifs, ils ont conclu que la RM et la RP partagent un processus commun pour les rotations imaginées et réellement effectuées.

En 2014, deux études ont été menées en utilisant le même type de tâches avec des stimuli interactifs virtuels^22,23. Cependant, les objets ont été manipulés avec des capteurs inertiels qui capturaient le mouvement dans l’espace 3D. Dans les deux cas, en plus des RT, les trajectoires de rotation ont été enregistrées - l’évolution des différences de rotation entre les stimuli de référence et interactifs au cours des tâches. À partir de ces trajectoires, il a été possible d’extraire à la fois des informations cumulatives (c’est-à-dire le nombre total de rotations, en unités quaternioniques) et des informations détaillées sur les stratégies de solution. Adams et ^al.23 ont étudié l’effet coopératif entre la RM et la RP. En plus des RT, ils ont utilisé l’intégrale des trajectoires de rotation comme paramètre de précision et d’objectivité de la résolution. Les profils de courbes ont été interprétés selon un modèle en trois étapes⁶³ (planification, rotation majeure, réglage fin). Les résultats indiquent que la RM et la RP n’ont pas nécessairement un seul facteur commun. Gardony et ^coll.22 ont recueilli des données sur la RT, la précision et la rotation en temps réel. En plus de confirmer la relation entre la RM et la RP, l’analyse des trajectoires de rotation a révélé que les participants manipulaient les figures jusqu’à ce qu’ils puissent identifier si elles étaient différentes ou non. S’ils étaient identiques, les participants les faisaient pivoter jusqu’à ce qu’ils se ressemblent.

Poursuivant cette stratégie, en 2018, Wetzel et Bertel⁵² ont également utilisé des figures SM interactives dans des tâches « identiques ou différentes » en utilisant des tablettes à écran tactile comme interface. De plus, ils ont utilisé un dispositif de suivi oculaire pour obtenir des données cumulatives sur le temps de fixation et l’amplitude saccadique comme paramètres de la charge cognitive impliquée dans la résolution des tâches d’IRM. Les auteurs ont confirmé les études précédentes discutées ci-dessus concernant les relations entre la RM et la RP et les processus de résolution de tâches. Cependant, dans cette étude, ils n’ont pas utilisé de données de cartographie de fixation et de saccades pour les stimuli.

Des approches méthodologiques pour cartographier les données de suivi oculaire sur des objets 3D virtuels ont été proposées et constamment améliorées, généralement par des chercheurs intéressés par l’étude des facteurs liés à l’attention visuelle dans les environnements virtuels⁶⁴. Bien qu’elles soient abordables et qu’elles utilisent des dispositifs de suivi oculaire similaires, ces méthodes n’ont apparemment pas été intégrées efficacement dans le répertoire expérimental utilisé dans les études de rotation mentale avec des objets 3D interactifs tels que ceux mentionnés précédemment. À l’inverse, nous n’avons pas trouvé d’études dans la littérature rapportant la cartographie en temps réel des données de mouvement de fixation et de saccade sur des objets 3D interactifs. Il ne semble pas y avoir de méthode pratique pour intégrer facilement les données d’activité oculaire aux trajectoires de rotation. Dans cette recherche, nous visons à contribuer à combler cette lacune. La procédure est présentée en détail, de l’acquisition des données à la génération de sorties graphiques.

Dans cet article, nous décrivons en détail une méthode d’étude des processus de rotation mentale avec des objets 3D interactifs virtuels. Les avancées suivantes sont soulignées. Tout d’abord, il intègre la collecte de données comportementales quantitatives (rotation d’objets pilotée à la main via une interface informatique) et oculaires (eye-tracking) lors de sessions d’interaction avec des modèles virtuels 3D. Deuxièmement, il ne nécessite que du matériel informatique conventionnel et des dispositifs de suivi oculaire pour la conception visuelle des tâches, l’acquisition de données, l’enregistrement et le traitement. Troisièmement, il génère facilement une sortie graphique pour faciliter l’analyse des données - disparité angulaire, rotation physique, trajectoires de rotation quaternionique et cartographie des données de suivi oculaire sur des objets virtuels 3D. Enfin, la méthode ne nécessite que des logiciels libres. Tout le code et les scripts développés sont disponibles gratuitement (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. Préparation des outils de collecte de données

1. Configurez la collecte de données en ligne (facultatif).
   REMARQUE : Cette étape décrit comment configurer un clone personnalisable du code du projet et de la page Web de travail (reportez-vous à Dossier supplémentaire 1). Cette étape a été adaptée des tutoriels disponibles sur https://pages.github.com/ et https://github.com/jamiewilson/form-to-google-sheets. Si les utilisateurs ne s’intéressent qu’à la méthode de traitement des données et non à l’enregistrement des données, ils peuvent utiliser le https://rodrigocnstest.github.io/iRT_JoVE.html de la page web, ainsi queTableau supplémentaire S1 et les fichiers du référentiel à https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, et ignorez les étapes 1.1, 1.2 et ses sous-étapes.
   1. Connectez-vous à GitHub (https://github.com/).
   2. Créez un clone public du dépôt GitHub pages d’origine.
      1. Cliquez sur Importer le référentiel à partir de https://github.com lorsque vous êtes connecté au compte.
      2. Dans le champ URL de clonage de votre ancien dépôt, collez l’URL https://github.com/rodrigocns/rodrigocns_JoVE dans le champ Nom du dépôt , tapez username.github.io, où nom d’utilisateur est le nom d’utilisateur utilisé dans le compte, et assurez-vous que l’option Public est activée. Ensuite, cliquez sur le bouton vert Commencer l’importation.
         REMARQUE : Le dépôt contient maintenant la plupart des fichiers nécessaires pour le reste de cette configuration, et toutes les modifications apportées au dépôt seront mises à jour sur le site Web après quelques minutes. À titre d’exemple, l’utilisateur nommé rodrigocnstest accède à sa propre page à l’https://rodrigocnstest.github.io et à son dépôt GitHub à l’https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Configurez une feuille de calcul cloud pour stocker les données de l’expérience en ligne.
      1. Inscrivez-vous ou connectez-vous à un compte Google.
      2. Une fois connecté au compte, rendez-vous dans le fichier propre des feuilles de calcul iRT disponible à l’adresse https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit ?usp=partage.
      3. Dans cette feuille de calcul, cliquez sur Fichier | Faites une copie. Une petite fenêtre de confirmation apparaîtra.
      4. À l’intérieur de la petite fenêtre, donnez un nom au fichier et cliquez sur le bouton Faire une copie .
   4. Configurez un script Google Apps pour automatiser le stockage des données dans la feuille de calcul que vous avez créée.
      1. À l’intérieur du fichier de la feuille de calcul, cliquez sur l’option Extension | Script d’applications.
         REMARQUE : Ce script doit être créé ou accessible à partir de la feuille de calcul afin d’y être associé. La tentative de création d’un script externe peut ne pas fonctionner.
      2. Cliquez sur le bouton Exécuter pour exécuter le script pour la première fois.
      3. Cliquez sur le bouton Vérifier les autorisations . Une nouvelle fenêtre apparaîtra. Cliquez sur le même compte que celui utilisé lors de la création de la feuille de calcul.
         REMARQUE : Si c’est la première fois que cette étape est effectuée, une alerte de sécurité peut s’afficher pour avertir l’utilisateur que l’application demande l’accès aux informations du compte. Il est sûr car l’application essaie d’atteindre le contenu de la feuille de calcul et demande l’autorisation de la remplir de données. Si aucun avertissement ne s’affiche, l’étape 1.1.4.4 peut être ignorée.
      4. Cliquez sur Avancé | Aller à De l’iRT aux feuilles (non sécurisé) | Autoriser .
         REMARQUE : Après l’exécution, un avis indiquant que l’exécution est terminée doit apparaître dans le journal d’exécution.
      5. Dans le panneau coulissant de gauche, cliquez sur le bouton Déclencheurs (la quatrième icône de haut en bas) | + Ajouter un déclencheur .
      6. Sous Choisir la fonction à exécuter, choisissez doPost ; sous Sélectionner la source de l’événement, sélectionnez À partir de la feuille de calcul ; sous Sélectionner le type d’événement, choisissez Lors de l’envoi du formulaire. Cliquez ensuite sur Enregistrer. Si des fenêtres contextuelles d’autorisation apparaissent, suivez les étapes 1.1.4.3-1.1.4.4. Si le navigateur finit par bloquer la fenêtre contextuelle, débloquez-la.
      7. Cliquez sur le bouton déroulant Déployer | Nouveau déploiement.
      8. Passez la souris sur l’icône d’engrenage et assurez-vous que l’option Application Web est sélectionnée.
      9. Écrivez une description dans le champ Nouvelle description , par exemple Déploiement 1 ; dans le champ Qui a accès , sélectionnez Tout le monde , puis cliquez sur le bouton Déployer .
         REMARQUE : Le but du champ Nouvelle description est d’organiser les déploiements de scripts. Il peut être nommé selon les souhaits du lecteur, par exemple Premier déploiement. Le champ Exécuter en tant que doit déjà apparaître sous la forme Moi(email), où email est l’email utilisé jusqu’à présent.
      10. Dans la nouvelle fenêtre contextuelle, copiez l’URL de l’application Web du déploiement du script.
          REMARQUE : Si, pour une raison quelconque, vous finissez par perdre l’URL de l’application Web copiée, récupérez-la en cliquant sur le menu déroulant Déployer | Gérez les déploiements. L’URL de l’application Web doit s’y trouver.
      11. Accédez à la page de https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js où rodrigocnstest est le nom d’utilisateur utilisé sur GitHub. Remplacez l’URL existante à la ligne 5 par l’URL de l’application Web copiée à l’étape 1.1.4.10, puis cliquez sur le bouton vert Valider les modifications....
          REMARQUE : La valeur de l’URL copiée doit rester entre guillemets simples ' ' ou doubles '''. Vérifiez que l’URL copiée est la bonne à partir de l’application Web.
      12. Enfin, cliquez sur le bouton de confirmation Valider les modifications au milieu de l’écran.
   5. Assurez-vous que le processus a été effectué correctement et que la page fonctionne.
      1. Accédez au référentiel à l’https://github.com/username/username.github.io/, où le nom d’utilisateur est le nom d’utilisateur utilisé sur GitHub, et vérifiez si le déploiement a été mis à jour après les modifications apportées à l’étape 1.4.14.
      2. Accédez à la page web à l’https://username.github.io/iRT_JoVE, remplacez le nom d’utilisateur par le nom d’utilisateur utilisé dans GitHub, puis cliquez sur Suivant.
      3. Cliquez sur Aller, effectuez n’importe quelle interaction en cliquant et en faisant glisser l’objet sur la droite avec la souris, puis cliquez sur le bouton TERMINÉ ! .
      4. Revenez au fichier de feuille de calcul configuré aux étapes 1.1.3 et 1.1.4 et vérifiez la présence d’une nouvelle ligne de données ajoutée à chaque fois que vous appuyez sur le bouton DONE .
2. Configurer l’acquisition de données hors ligne (facultatif).
   REMARQUE : La méthode destinée à l’exécution et à l’acquisition des données de la tâche de rotation interactive (iRT) est en ligne via les services cloud configurés dans les étapes décrites ci-dessus. Si vous le souhaitez (puisque la connexion Internet peut être un problème ou pour avoir une autre façon de l’exécuter), il est également possible d’exécuter le test localement avec ou sans connexion Internet à l’endroit où le test sera exécuté. Les étapes suivantes sont facultatives et décrivent comment y parvenir. Sinon, passez à l’étape 1.3.
   1. Accédez au référentiel GitHub à l’adresse suivante : https://github.com/rodrigocnstest/rodrigocnstest.github.io. Cliquez sur le bouton vert < > Code | Téléchargez ZIP, puis décompressez les fichiers téléchargés.
      REMARQUE : Les modifications apportées aux fichiers stockés localement ne modifieront pas les fichiers du référentiel et vice versa. Toutes les modifications destinées aux deux versions doivent être appliquées aux deux emplacements, soit en copiant manuellement les fichiers mis à jour, soit en utilisant git/GitHub desktop.
   2. Obtenez la dernière version de Mozilla Firefox via le lien : https://www.mozilla.org/en-US/firefox/new/.
   3. Ouvrez le navigateur Mozilla Firefox, entrez « about :config » dans l’emplacement de l’URL, entrez « security.fileuri.strict_origin_policy » dans le champ de recherche et changez sa valeur en false. REMARQUE : Maintenant, Mozilla Firefox dans le système d’exploitation Windows devrait être en mesure d’accéder localement aux fichiers de la page Web téléchargée sur votre ordinateur. D’autres navigateurs et systèmes d’exploitation peuvent être configurés pour fonctionner localement, chacun avec sa configuration décrite sur le lien http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Configurez l’outil de traitement des données.
   1. Téléchargez et installez la dernière version de GNU Octave à https://octave.org/download.
4. Configurez le dispositif de suivi oculaire.
   1. Assurez-vous que le logiciel du système d’enregistrement est installé sur l’ordinateur portable.
   2. Assurez-vous que la salle de recherche est propre et bien organisée pour éviter les distractions.
   3. Utilisez un éclairage artificiel dans la pièce pour maintenir un éclairage constant tout au long de la journée.
   4. Installez l’ordinateur sur une table et assurez-vous que le participant peut déplacer la souris confortablement.
   5. Fournissez au participant une chaise confortable, de préférence une chaise fixe, afin de minimiser les mouvements pendant le test.
   6. Connectez un câble USB pour alimenter l’éclairage infrarouge et un autre câble USB entre l’ordinateur portable/ordinateur et l’oculomètre de l’appareil photo.
   7. Placez l’eye tracker sous l’écran.

2. Collecte des données

1. Initialisez le logiciel de collecte de données.
   1. Exécutez le logiciel de suivi oculaire sur l’ordinateur pour recevoir des données de l’ocumètre.
   2. Sélectionnez l’option Capture d’écran dans la fenêtre principale du logiciel pour capturer le regard pendant l’expérience (il est également possible d’utiliser ce logiciel pour la visualisation de cartes thermiques et l’exportation de données brutes).
   3. Cliquez sur Nouveau projet pour créer un nouveau projet et un dossier de projet où les données doivent être enregistrées.
   4. Ouvrez la page de test à l’https://rodrigocnstest.github.io/iRT_JoVE.html si vous utilisez celle proposée à titre d’exemple ou la page créée à l’étape 1.1. Vous pouvez également ouvrir le fichier iRT_JoVE.html localement à partir du navigateur précédemment configuré à l’étape 1.2.
   5. Si nécessaire, remplissez les champs Nom et E-mail pour faciliter l’identification des données, et cochez la case pour télécharger une copie de sauvegarde des données produites.
      REMARQUE : Si vous utilisez la méthode hors ligne (étape 1.2), il est conseillé de télécharger les copies de sauvegarde.
   6. Essayez d’exécuter l’expérience une fois pour vous assurer que le navigateur chargera correctement les éléments et qu’il n’y a aucun problème avec les tâches présentées ou l’acquisition de données.
2. Exécutez l’expérience.
   1. Expliquez au participant le but de l’expérience, la technologie utilisée et les critères d’inclusion ou d’exclusion. Assurez-vous que le participant a tout compris. Demandez au participant de remplir le formulaire de consentement.
   2. Demandez au participant de s’asseoir devant le système de suivi oculaire et de se mettre aussi à l’aise que possible.
   3. Déplacez la chaise pour assurer une distance optimale entre le participant et la caméra (la longueur idéale est de 65 cm entre l’eye-tracker et les yeux du participant).
   4. Demandez au participant de rester aussi immobile que possible pendant l’expérience. Ajustez la hauteur de la caméra pour capturer correctement les pupilles du participant (certains logiciels mettent en évidence la pupille pour montrer la réflexion cornéenne).
   5. Cliquez sur Activer le gain automatique pour optimiser le suivi des pupilles en modifiant le gain de la caméra jusqu’à ce que les pupilles soient trouvées (certains logiciels n’ont pas cette option).
   6. Demandez au participant de regarder une série de points à l’écran et de suivre le mouvement du point sans bouger la tête.
   7. Cliquez sur Calibrer pour commencer l’étalonnage (cela garantira que l’eye-tracker peut suivre l’endroit où le participant regarde l’écran).
      REMARQUE : L’écran deviendra vide et un marqueur d’étalonnage (point) se déplacera sur cinq positions sur l’écran.
   8. Après l’étalonnage, une estimation visuelle du point de vue sera dessinée à l’écran pour vérifier la précision de l’étalonnage. Demandez au participant de regarder un point spécifique sur l’écran pour voir si le regard s’affichera correctement.
   9. Si l’étalonnage n’est pas satisfaisant, ajustez l’appareil photo et réessayez l’étalonnage jusqu’à ce que le système suive le regard de manière appropriée.
   10. Cliquez sur le bouton Collecter des données sur le côté droit du logiciel de suivi oculaire (menu principal) pour activer le mode de collecte de données. L’affichage en temps réel de l’écran capturé sera présenté avec les données de regard affichées dans la fenêtre d’affichage principale.
   11. Cliquez sur le bouton Vidéo du regard dans le menu principal pour afficher le visage de l’utilisateur capturé par l’eye tracker. Ensuite, cliquez sur Démarrer l’enregistrement pour commencer l’expérience.
       REMARQUE : Pendant l’expérience, la pupille du participant est mise en évidence et son œil est affiché sous la forme d’un point se déplaçant sur l’écran de l’ordinateur portable. Assurez-vous que l’oculomètre suit la pupille et l’œil sur l’écran.
   12. Si le point disparaît ou scintille fréquemment, arrêtez l’expérience et essayez à nouveau de calibrer.
   13. Ouvrez la fenêtre d’iRT précédemment ouverte et demandez au participant de cliquer sur Suivant.
   14. Donnez les instructions suivantes au participant : « Dans cette section, vous effectuerez trois tâches de rotation. Lorsque vous cliquez sur le bouton GO ! , deux objets apparaîtront sur les côtés opposés de l’écran. Votre objectif est de faire pivoter l’objet sur la droite jusqu’à ce qu’il corresponde étroitement à l’objet sur la gauche du mieux que vous le pouvez. Pour faire pivoter l’objet, cliquez et faites glisser votre souris dessus. Lorsque vous avez terminé chacune des trois tâches, cliquez sur le bouton TERMINÉ ! pour conclure.
       REMARQUE : Pour chaque tâche, toutes les données iRT au-delà de la marque des 5 minutes (327^e seconde exactement) peuvent être perdues. Au fur et à mesure que nous développons la méthode, cette limite devrait être élargie.
   15. À la fin de l’expérience, assurez-vous que l’eye tracker est éteint à partir du câble d’extension et remettez le capuchon d’objectif sur l’appareil photo.
3. Extrayez les données.
   1. Une fois la collecte des données de l’eye-tracker terminée, cliquez sur Analyser les données pour accéder aux données collectées.
   2. Exportez un fichier .csv avec toutes les données enregistrées pour l’utilisateur.
      REMARQUE : La première colonne de données de suivi oculaire doit correspondre à l’époque UNIX des données, car c’est le seul moyen de faire correspondre correctement différents ensembles de données dans le temps. Si le fichier n’en contient pas, il doit être converti à partir de toute autre norme de temps utilisée. Le fichier peut être au format « .csv » ou « .xlsx ».
   3. Si vous utilisez la version en ligne de la page interactive des tâches de rotation (étape 1.1), ouvrez le fichier Google Sheets utilisé pour recevoir les données en ligne (créé à l’étape 1.1.3) et téléchargez-le en cliquant sur Fichier | Télécharger | Microsoft Excel (.xlsx).
      REMARQUE : Ces données sont packagées pour faciliter le transfert des données (chaque tâche correspond à une ligne remplie de données). Pour traiter les données à l’intérieur, chaque ligne de données empaquetées doit d’abord être « décompressée ».

3. Traitement et analyse des données

1. Dépackagez, fusionnez et traitez les données.
   REMARQUE : Les étapes suivantes décrivent comment traiter les données à l’aide des scripts fournis (reportez-vous au fichier supplémentaire 2). Les scripts GNU Octave inviteront l’utilisateur à entrer ses fichiers. Si les entrées sont envoyées vides, les valeurs par défaut, référençant les exemples de données fournis si aucune donnée utilisateur ne les a remplacées, seront utilisées à la place. Une fois l’exécution du script terminée, il peut être fermé.
   1. Téléchargez et décompressez le dépôt utilisé (le sien ou l’original à https://github.com/rodrigocns/rodrigocns_JoVE) s’il n’a pas encore été téléchargé.
   2. Assurez-vous que les scripts 1.unpacking_sheets.m, 2.data_merge_and_process.m 3.3D rotational trajectory.m et les modèles de dossier se trouvent à l’intérieur du référentiel téléchargé dans le dossier Octave, puis déplacez les fichiers de données téléchargés à partir des étapes 2.3.2 et 2.3.3 vers ce même dossier où se trouvent les scripts d’octave.
      REMARQUE : Tous les fichiers existants déjà dans le dossier portant les mêmes noms que les fichiers nouvellement écrits peuvent être écrasés. Renommez ou déplacez les fichiers vers un autre dossier en conséquence.
   3. Ouvrez le script 1.unpacking_sheets.m avec le lanceur GNU Octave. Dans l’onglet Éditeur , exécutez le script en cliquant sur le bouton vert Enregistrer le fichier et exécuter , pour décompresser les données dans une structure plus lisible.
      REMARQUE : Si l’un des fichiers de données demandés est ouvert localement, n’oubliez pas de le fermer avant d’exécuter le script. Tous les fichiers de script .m ont été exécutés à l’aide du lanceur GNU Octave.
   4. Deux invites apparaîtront, l’une après l’autre. Entrez le nom du fichier téléchargé dans la première invite et le nom du fichier non empaqueté dans le deuxième champ. Vous pouvez également laisser les deux champs d’invite vides pour utiliser les noms par défaut destinés aux fichiers d’exemple inclus. Attendez quelques minutes (en fonction du volume de données) pour qu’une fenêtre contextuelle informe l’utilisateur que le processus est terminé et que le nouveau fichier a été écrit.
   5. Ouvrez et exécutez le script 2.data_merge_and_process.m pour fusionner les données de l’eye tracker et de l’iRT.
      REMARQUE : Bien que ce script soit complexe et qu’il englobe des centaines de lignes de code, il est divisé en trois sections principales : les paramètres, les fonctions et les scripts. Tous sont commentés et expliqués en détail, ce qui facilite les modifications futures, si nécessaire.
   6. Quatre invites apparaîtront. Entrez la valeur sessionID, la valeur taskID (toutes deux à partir de la table de données iRT), le nom de fichier de données iRT non empaquetées (écrit à l’étape 3.1.5) et le nom de fichier de données de suivi oculaire (exporté à l’étape 2.3.2) ou laissez-les vides pour utiliser les valeurs par défaut.
      REMARQUE : Après quelques minutes, une fenêtre contextuelle d’aide indiquera que le script a terminé le calcul et les noms des fichiers utilisés et créés. Trois exemples de tracés de disparité angulaire apparaîtront au cours du processus de script : un graphique simple, un graphique avec des données de regard coloré et un graphique avec des données de diamètre de pupille. Les deux fichiers créés sont output merge X Y.xlsx et output jmol console X Y.xlsx, où X est la valeur sessionID et Y est la valeur taskID , tous deux écrits au début de l’étape 3.1.6.
2. Rendu d’images de trajectoire de rotation 3D.
   1. Ouvrez et exécutez le script 3.3D rotation trajectory.m.
   2. Trois invites apparaîtront. Entrez la valeur sessionID, la valeur taskID et le nom de fichier de données iRT non empaquetés, ou laissez-les vides pour utiliser les valeurs par défaut.
      REMARQUE : Un graphique 3D apparaîtra. Le graphique rendu est la trajectoire de rotation 3D de la session et de la tâche spécifiées.
3. Rejouez les animations.
   1. Pour rejouer l’interaction de la tâche du participant, accédez d’abord à la page Web interactive de la tâche, démarrez le test (montrant les deux modèles 3D), déplacez le pointeur de la souris dans le coin supérieur droit de l’écran jusqu’à ce que l’icône de la souris se transforme en texte, comme illustré dans le fichier supplémentaire 2, puis cliquez sur le texte de débogage invisible, activant le mode de débogage.
   2. À partir des boutons qui apparaissent entre les modèles, cliquez sur le bouton timerStop pour interrompre la tâche et cliquez sur le bouton de la console pour ouvrir la console JSmol du modèle à droite. Si la tâche de l’interaction qui vous intéresse n’est pas la première, cliquez sur les boutons numérotés à l’intérieur de la zone de débogage supérieure pour modifier la tâche affichée à l’écran.
      REMARQUE : JSmol est le logiciel de modélisation moléculaire utilisé sur la page Web.
   3. Ouvrez le fichier de sortie jmol console.xlsx et copiez la page entière des commandes Jmol.
      REMARQUE : Chaque page contient des commandes pour une scène ou une animation différente.
   4. Dans la console JSmol, collez la liste des commandes copiées et cliquez sur le bouton Exécuter ou appuyez sur la touche Entrée du clavier pour l’exécuter.
   5. Si vous le souhaitez, générez une animation .gif. Écrivez la commande capture « filename » SCRIPT « output » dans la console JSmol, où filename est le nom du fichier .gif à créer et output est la liste complète des commandes copiées à l’étape 3.3.3, en gardant les deux entre guillemets doubles.
      REMARQUE : Plus les commandes deviennent complexes, avec des modèles plus grands ou plus de changements dans le temps, et moins les spécifications de l’ordinateur utilisé sont puissantes, plus l’animation deviendra lente. Jmol se concentre sur la visualisation des composés chimiques et des réactions, et le type d’animations produites par nos recherches repousse les limites des capacités de rendu de Jmol. Ces points doivent être pris en compte et pris en compte lors de toute mesure quantitative dans le cadre de cette animation.

4. Personnalisation des tâches

REMARQUE : Toute cette section est facultative et uniquement recommandée pour ceux qui aiment expérimenter ou comprendre comment coder. Vous trouverez ci-dessous quelques-unes des nombreuses options personnalisables disponibles, et d’autres options seront disponibles au fur et à mesure que nous développerons les méthodes.

1. Configurez des tâches nouvelles ou existantes.
   1. Définissez le nombre de tâches interactives qui seront exécutées par le participant et nommez chacune d’entre elles dans le fichier object_configs.js à l’intérieur du tableau task_list remplaçant les noms d’éléments existants ou en ajoutant d’autres. Assurez-vous que chaque nom est unique, car il est utilisé ultérieurement comme identificateur.
   2. Choisissez des fichiers de coordonnées 3D compatibles JSmol pour effectuer les tâches interactives (http://wiki.jmol.org/index.php/File_formats). Copiez ces fichiers dans le dossier models.
      REMARQUE : Les scripts inclus dans cet article sont optimisés pour les modèles asymétriques utilisant le format de fichier .xyz. Lorsque vous choisissez des fichiers de coordonnées, évitez les symétries de rotation car elles ont des solutions ambiguës⁶⁵.
   3. Définissez les paramètres de rendu des objets 3D dans la fonction prepMolecule(num).
      NOTE : Toutes les modifications d’une tâche à l’autre effectuées par JSmol se passent ici : modification du motif de couleur, modification de la taille ou de la façon dont les éléments graphiques sont rendus, orientation, translation, masquage de parties de l’objet, chargement de nouveaux modèles 3D, etc. (pour plus d’exemples, voir https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Chaque tâche nommée dans task_list correspond à un cas. Chaque commande à exécuter par JSmol suit la structure suivante : Jmol.script( jsmol_obj , " jsmol_command1 ; jsmol_command2 ") ; où jsmol_obj fait référence à l’objet en cours de modification (jsmol_ref et jsmol_obj étant la valeur par défaut pour les objets cibles et interactifs) suivie d’une ou plusieurs commandes séparées par un « ; ».
2. Créez de nouveaux modèles.
   1. Utilisez n’importe quel modèle .xyz téléchargé en ligne ou construit par des éditeurs moléculaires tels que Avogadro (https://avogadro.cc/).

Results

Évolution de la disparité angulaire et d’autres variables
Comme illustré à l’étape 3.3.1 du fichier supplémentaire 2, deux canevas sont présentés au participant sur l’écran du moniteur vidéo, affichant des copies du même objet virtuel 3D dans des orientations différentes. Sur le canevas de gauche, l’objet cible (tObj) reste statique et sert de position cible ou de position tObj. Sur le canevas de droite, l’objet interactif (iObj) est affiché dans une position différente et permet au participant de le déplacer dans le temps autour d’un centre de rotation fixe à l’aide d’une souris (seules les rotations ; les translations sont désactivées). La tâche à accomplir consiste à ajuster iObj pour qu’il corresponde étroitement à tObj en fonction du jugement du participant. Les trois objets 3D utilisés sont visibles sur la figure 1. Le processus de résolution, bien que complexe, peut être méticuleusement enregistré pour une analyse ultérieure. Cet enregistrement va au-delà de la simple séquence vidéo, car chaque position au fil du temps est capturée à des intervalles fixes de 0,1 s sous la forme d’un quaternion, formant une série chronologique qui permet une reconstruction complète de l’ensemble du processus. À n’importe quelle position, il existe une rotation unique autour d’un axe spécifique, allant de 0° à 180°, qui transforme directement la position tObj en position iObj. Bien que cette rotation soit abstraite et sans rapport avec le RP du participant pendant la tâche, elle indique avec précision la position précise de l’iObj par rapport au tObj. AD est l’angle de cette rotation et peut être calculé à partir du quaternion respectif. Lorsque la position iObj se rapproche de la position tObj, cette valeur tend vers zéro.

Après l’étape 3.1.6 de la section Traitement et analyse des données, deux fichiers ont été créés : la fusion de sortie X Y.xlsx et la console jmol de sortie X Y.xlsx, où X est la valeur sessionID et Y est la valeur taskID . Si vous utilisez les valeurs par défaut en laissant les champs de saisie vides, les fichiers doivent être nommés output merge 1682707472090 bolaBastao_c.xlsx et output jmol console 1682707472090 bolaBastao_c.xlsx. Les fichiers Y.xlsx de fusion de sortie X contiennent les données de suivi oculaire sélectionnées fusionnées dans les données iRT, alignées par l’heure d’époque UNIX, de la même manière que la figure 2A si tout s’est déroulé correctement, ou la figure 2B si un problème s’est produit.

Les fichiers de sortie de la console jmol X Y.xlsx contiennent jusqu’à cinq onglets remplis de commandes de la console Jmol qui, une fois collées dans la console Jmol, reproduiront les mouvements du participant lors de la résolution de la tâche : rotation replay reproduit les rotations iObj effectuées par le participant ; gaze replay int reproduit les rotations iObj avec une carte thermique de fixation supplémentaire sur l’objet dans le temps en utilisant une échelle transparente/opaque ; gaze replay tgt affiche uniquement la carte thermique de fixation 3D de tObj pendant la tâche ; gaze frame int et gaze frame tgt montrent la cartographie globale de la fixation de l’ensemble du processus pour iObj et tObj. Tous sont illustrés dans la figure 3A-F. Jmol et JSmol sont essentiellement identiques, Jmol étant le plugin basé sur le langage de programmation Java, et JSmol dans le langage de programmation JavaScript, les deux ayant les mêmes fonctionnalités et étant utilisés de manière interchangeable.

La figure 4 illustre l’évolution de la disparité angulaire en fonction du temps pour six scénarios différents impliquant deux participants et trois objets. La durée du processus peut varier considérablement en fonction de la performance du participant avec l’objet de tâche interactive. Dans toute tâche accomplie correctement par le participant, AD tend à zéro à la fin. Si le même graphique ne présente pas ce comportement, soit le participant n’a pas été en mesure de terminer la tâche parce qu’il a abandonné ou atteint la limite de temps par tâche (environ 5 min), soit une erreur s’est produite dans le traitement des données.

Les résultats combinés des enregistrements de PR iObj et des données obtenues à partir des mesures de suivi oculaire sont présentés à la figure 5. La variation de la disparité angulaire entre la cible et les objets inertiels en fonction du temps indique trois étapes distinctes dans le processus de résolution de la tâche donnée : l’observation initiale des modèles ; rotation balistique du modèle interactif ; Réglage fin de la rotation de la maquette interactive. La figure 5A montre l’alternance du regard entre les modèles dans la phase initiale et, plus précisément, dans la phase de mise au point. La figure 5B montre que la pupille reste plus dilatée dans les phases initiales et de mise au point. Dans la phase de mise au point, la longue période de fixation sur le modèle interactif (40-47s sur la figure 5A) correspond à un plateau du diamètre de la pupille (40-47s, figure 5B).

Ces résultats suggèrent que les données obtenues avec la méthode proposée ici sont cohérentes avec le modèle de résolution de problèmes de rotation mentale proposé sur la base des données de fixation du regard pour les modèles statiques^14,66 et pour les modèles interactifs²³. Un tel modèle comporterait trois étapes : la recherche, la transformation et la comparaison, et la confirmation de la correspondance ou de l’inadéquation entre les modèles. De plus, l’alternance de fixations entre le modèle cible et le modèle interactif dans les étapes de comparaison observées à la figure 5A est cohérente avec les résultats obtenus dans les tests de type Sheppard et Metzler qui utilisent des images statiques^42,66. Cependant, dans le cas des modèles interactifs, il est probable que ces étapes de recherche, de transformation, de comparaison et de confirmation se produisent successivement par l’interaction et le repositionnement du modèle interactif.

Trajectoires de rotation 3D
Chaque rotation dans un espace 3D de 0° à 180° peut être traduite en un point à l’intérieur d’une boule (qui est compris comme le volume à l’intérieur d’une sphère) avec un rayon égal à 180°. La figure 6 illustre cette correspondance avec trois exemples de rotations. La distance du point au centre de la balle est la disparité de l’angle iObj par rapport à la position tObj, et le vecteur pointant du centre de la balle vers le point est le sens de rotation, la rotation étant effectuée dans le sens des aiguilles d’une montre en regardant à partir du centre. Cette traduction des rotations en points dans une boule permet à quelqu’un de visualiser directement, dans un seul dessin 3D, l’ensemble de la trajectoire des rotations effectuées par le participant à une tâche. C’est ce que nous appelons la trajectoire de rotation 3D.

De manière analogue à la mesure AD, pour toutes les tâches correctement accomplies par le participant, la trajectoire doit s’approcher, à la fin, du centre de la balle. Si la trajectoire atteint la limite de la sphère à une rotation de 180°, elle s’enroulera jusqu’au point antipodal de la sphère. La figure 7 illustre la trajectoire de rotation prise par les deux participants précédemment mentionnés qui ont effectué la troisième tâche (C1 et C2 sur la figure 4), vue à la fois en perspective et en projections sur les trois plans de coordonnées. Il ressort clairement de la figure que, malgré une DA de départ relativement faible proche de 45°, le participant 1 s’est d’abord écarté de la position cible avant de trouver un chemin définitif vers la solution, contrairement au participant 2, qui a terminé la tâche plus rapidement.

Carte thermique de fixation 3D
Au cours du processus de résolution de problèmes, le participant alterne son regard entre tObj et iObj tout en interagissant avec iObj. Avec les données de suivi oculaire, nous pouvons extraire la position du regard du participant et créer une carte thermique des régions de l’écran qui ont capté le plus et le moins d’attention du participant dans un intervalle donné. Pour aller plus loin, avec les données de suivi oculaire et de quaternion iRT synchronisées, nous pouvons cartographier simultanément dans l’espace 3D et dans le temps, la quantité d’attention que chacun des sommets de l’objet reçoit, même pour les objets qui sont tournés dans le temps.

Dans la figure 3, l’attention portée à l’objet est représentée par le niveau d’opacité de chaque sommet. Plus il est proche du regard du participant et plus il reste longtemps à proximité, plus il reçoit d’attention, ce qui entraîne une opacité plus élevée dans cette région de l’objet. La diminution spatiale de l’attention est modélisée à l’aide d’une fonction gaussienne homogène bivariée pour la position du regard et d’une fonction gaussienne homogène simple appliquée pour le temps écoulé. L’écart-type de ces gaussiennes a été choisi en supposant un angle visuel de 2 degrés⁶⁷ et une mémoire visuelle à court terme de 10 s⁶⁸. Pour éviter tout artefact visuel avec cette méthode, les données de proximité du regard sont définies à zéro lorsque le regard est en dehors du canevas de l’objet (iObj ne reçoit aucune attention résiduelle lorsque le regard est à l’intérieur du canevas du tObj ou en dehors des deux). La figure 3 montre une seule image de chaque objet d’une animation de relecture entière et les mêmes images avec la carte thermique de fixation 3D. Une comparaison possible entre tObj et iObj par le participant pendant le processus de résolution peut être observée (Figure 3C,D) alors que la tâche approche de sa conclusion (temps = 6,3 s). L’ensemble du processus peut être vu sous forme de vidéo dans la vidéo supplémentaire S1. Nous rapportons les résultats de la rotation assistée par ordinateur de modèles 3D présentés aux participants comme une tâche prise dans des conditions ordinaires.

Figure 1 : Objets cibles utilisés. Image des modèles 3D utilisés dans les tâches de la page web. (A) Une molécule avec une représentation de balle et de bâton ; (B) La même molécule avec des polygones remplis, sans hydrogènes, et représentée uniquement par des bâtonnets ; (C) un polycube similaire à l’une des figures de Shepard et Metzler¹³, dérivé de la bibliothèque de stimuli de Peters et Battista³⁶. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 2 : Comparaison des feuilles. (A,B) Les images sont extraites de la 1682707472090 bolaBastao_c.xlsx de fusion de sortie de tableur. Les colonnes A à G contiennent des valeurs de données iRT, tandis que les colonnes H à N contiennent des valeurs de données de suivi oculaire. En (A), tout est correct, tandis qu’en (B), dans les colonnes de l’eye tracker, toutes les valeurs sont constantes et ne correspondent pas aux valeurs de temps du système iRT. Si un problème se produit avec le processus de synchronisation des données, cette erreur se produira probablement. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Carte thermique de fixation 3D. Fixation de la carte thermique sur l’objet 3D à l’aide d’une échelle d’opacité, où plus d’opacité est corrélée à plus de temps passé près du regard du participant. (A,B) images tObj et iObj de la tâche résolue par le participant à la marque de 6,3 s. (C, D) Mêmes images que (A,B) au même instant avec l’échelle d’opacité ajoutée de la carte thermique. (E, F) Fixation des images de la carte thermique en tenant compte de la période entière pendant laquelle le participant a pu voir les objets. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Grille AD. Tracez une grille de disparité angulaire entre deux participants et trois tâches. Les colonnes représentent les participants 1 et 2, et les rangées représentent les tâches résolues par les participants à l’aide des trois objets illustrés à la figure 3. Notez que bien que la DA varie entre 0° et 180°, la plage horaire n’est pas fixe et varie en fonction de la performance du participant et de sa propre décision d’arrêter le processus. Au fur et à mesure que le participant tourne iObj, l’AD entre tObj et iObj varie au fil du temps, et finalement le participant choisit l’orientation actuelle de l’iObj comme la plus proche de tObj. Dans les^1ère et 2ème^tâches, les deux participants semblaient avoir progressé de la même manière, mais le participant 1 a pris deux fois moins de temps que le participant 2. Et dans la 3ème^tâche, bien que le participant 2 ait pris moins de temps pour terminer la tâche, le participant 1 avait déjà résolu la tâche avant la marque des 20 secondes et a continué à faire de petits ajustements pour mieux faire correspondre iObj à tObj. Abréviation : AD = disparité angulaire. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 5 : DA avec données de suivi oculaire. Evolution de la disparité angulaire combinée aux données de l’eye-tracker. (A) Disparité angulaire et position du regard, évolution de la disparité angulaire entre tObj et iObj, couplée à des données de fixation régionales pour chaque modèle. Le graphique montre dans quelle région se trouve le regard du participant : rouge à l’intérieur de la toile iObj, bleu à l’intérieur de la toile tObj et gris à l’extérieur des deux, en regardant un autre élément à l’écran ou en détournant le regard de celui-ci. (B) Disparité angulaire et diamètre de la pupille. Disparité angulaire, en bleu, couplée aux données de diamètre de la pupille, en orange. Le diamètre de la pupille est la valeur moyenne des pupilles gauche et droite à chaque instant dans le temps. Abréviation : AD = disparité angulaire. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 6 : Boule de rotations. Cette figure illustre comment chaque position de rotation possible d’un objet à partir d’une position de référence peut être représentée comme un point dans une boule de rayon 180°, permettant une représentation complète de la position de rotation de l’objet dans les trois axes. Ici, une balle est comprise comme le volume délimité par une sphère. (A) L’objet utilisé comme exemple est une union asymétrique de sept cubes, représentée en haut, à gauche. Trois rotations simples numérotées I, II et III sont appliquées à cet objet, comme indiqué à droite. Ils sont, respectivement, +90° sur l’axe x, -60° sur l’axe z et 180° sur un axe compris entre +x et -y, à 45° des deux axes. (B) La boule de rotation est représentée avec les points correspondant aux rotations I, II et III. La distance au centre de la balle est la disparité d’angle. Comme III atteint l’angle de rotation maximal (180°), il est également représenté à son point antipodal, car ils sont essentiellement les mêmes. La rotation II, dans le sens inverse des aiguilles d’une montre par rapport à la direction positive de l’axe z, apparaît du côté négatif. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 7 : Trajectoire de rotation 3D. La trajectoire de rotation à l’intérieur de la boule des rotations effectuées par les deux participants à la troisième tâche, vue à la fois en perspective (A) et en projections sur les plans de coordonnées (B-D). L’épaisseur des lignes diminue avec le temps. Chaque colonne correspond à un participant (v1 et v2). Au fur et à mesure que les trajectoires se rapprochent du centre de la balle, les participants se rapprochent de la résolution de la tâche. « 0 » indique la position initiale de la tâche. Les chiffres suivants indiquent les points où la trajectoire atteint le bord de la balle et continue à travers le point antipodal du côté opposé (1 à 2, 2 à 3, 3 à 4, etc.). Veuillez cliquer ici pour voir une version agrandie de cette figure.

Tableau supplémentaire S1 : En-têtes de feuilles. Liste des en-têtes dans le fichier de feuille cloné. Chaque en-tête correspond à un nom de variable et recevra des données de cette variable formant une colonne de valeurs utilisées dans le traitement et l’analyse de nos données. Veuillez cliquer ici pour télécharger ce fichier.

Fichier supplémentaire 1 : Guide de l’étape 1 du protocole. Une liste de captures d’écran guidant à travers les étapes de la méthode de protocole "1. Préparation des outils de collecte de données ». Veuillez cliquer ici pour télécharger ce fichier.

Dossier supplémentaire 2 : Guide de l’étape 3 du protocole. Une liste de captures d’écran guidant à travers les étapes de la méthode de protocole "3. Traitement et analyse des données ». Veuillez cliquer ici pour télécharger ce fichier.

Vidéo supplémentaire 1 : Relecture de la cartographie de fixation. Un exemple de replays animés de la cartographie temporelle de l’attention en 3D à partir d’iObj et de tObj simultanément. Enregistré à l’aide d’OBS Studios et rendu à l’aide d’OpenShot Video Editor. Veuillez cliquer ici pour télécharger ce fichier.

Discussion

Comme indiqué précédemment, cet article vise à présenter une procédure détaillée de cartographie en temps réel des données de mouvement de fixation et de saccade sur des objets 3D interactifs, qui est facilement personnalisable et n’utilise que des logiciels disponibles gratuitement, fournissant des instructions étape par étape pour que tout fonctionne.

Bien que cette configuration expérimentale impliquait une tâche hautement interactive, comme le déplacement d’un objet 3D pour qu’il corresponde à l’orientation d’un autre objet avec PR dans deux des trois axes possibles, nous avons veillé à ce que nos scripts soient documentés de manière approfondie en commentant correctement afin de faciliter toute personnalisation. Divers autres types d’expériences peuvent être conçus, le dispositif de suivi oculaire n’étant qu’un des nombreux autres dispositifs possibles utilisés pour l’acquisition de données temporelles.

Les en-têtes du fichier copié à partir de l’étape 1.1.3.3 définissent le contenu et l’emplacement où les données seront collectées en ligne. Le tableau supplémentaire S1 répertorie les noms de variables (tous sensibles à la casse) et leur signification. Ces variables reflètent celles qui se trouvent dans les fichiers JavaScript du référentiel GitHub. Le type et la variété des noms de données et de variables, à la fois dans cette feuille et dans les fichiers JavaScript, doivent être modifiés en fonction de la portée et des exigences de la recherche.

L’enregistrement des données de rotation en quaternions permet au chercheur de reproduire les mêmes mouvements effectués par les participants pendant les tâches, facilitant ainsi l’analyse du processus et l’utilisation de l’espace de stockage beaucoup plus efficacement par rapport à une capture d’écran. Une analyse plus détaillée, telle que la trajectoire de rotation 3D, illustrée à la figure 7 à l’aide de la boule de rotations, n’est possible qu’à partir des données internes des quaternions des objets interactifs. S’étendant à partir du tracé AD au fil du temps de Gardony²² et Adams²³, ce nouveau type de graphique fournit des informations plus détaillées, avec les coordonnées de rotation 3D réelles dans le temps.

Un autre avantage provient de l’utilisation d’une mesure de temps standard pour synchroniser toutes les sources de données. La fusion de différentes couches d’informations dépendantes du temps avec cela devient beaucoup plus facile, comme la superposition de graphiques avec plusieurs sources de données, comme dans la figure 5B avec la mesure de la dilatation de la pupille, ou dans la figure 5A avec des bandes verticales colorées, indiquant des modèles possibles dans le processus de résolution des participants, même s’il n’y avait presque pas de rotation dans iObj. La carte thermique de fixation 3D illustrée à la figure 3 n’est possible qu’à partir des données de quaternions et de la synchronisation des données.

Il est crucial d’utiliser la synchronisation par le biais d’une mesure de temps standard pour assurer toute intégration de données temporelles. La norme de temps choisie pour notre projet était l’époque UNIX, qui est utilisée dans JavaScript et la plupart des autres langages de programmation. Un certain type de norme temporelle connue doit être utilisé pour chaque ensemble de données, même si une norme différente, qui peut être convertie ultérieurement en UNIX Epoch. Les données temporelles qui n’utilisent aucune norme seront très certainement incapables de synchronisation et perdront leur utilité.

Une autre limitation est la fréquence relativement basse de 10 Hz utilisée dans les tests iRT par rapport à la fréquence de l’oculomètre de 60 Hz. Cela se produit en partie en raison des limitations de traitement et de transfert des données au sein du navigateur, car toute fréquence plus élevée utilisée réduirait proportionnellement la limite de temps maximale de chaque tâche, actuellement à 327 s. De plus, le rendu fluide d’animations complexes dans Jmol à cette fréquence d’images présentait déjà des défis. La vidéo supplémentaire S1 est un enregistrement vidéo de Jmol rendant une relecture avec le changement d’opacité dans le temps, cartographiant la quantité de focus reçue par chaque sommet. Alors que la durée de la vidéo est de près de 2 minutes, la tâche réelle a été accomplie en 63 s. Les futurs développements logiciels répondant spécifiquement à ces fonctionnalités au lieu d’adapter les fonctionnalités existantes pourraient remédier à ces limitations et améliorer les capacités de collecte et d’analyse des données.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)	Tout navigateur moderne mis à jour et compatible avec WebGL (https://caniuse.com/webgl), et à son tour avec Jmol, peut être utilisé
			https://www.google.com/sheets/about/
Ordinateur portable			Tout ordinateur capable d’exécuter le logiciel du système de suivi oculaire.
Suite logicielle Mangold	Mangold  ;		Interface logicielle utilisée pour le dispositif de suivi oculaire. Tout logiciel qui génère des données avec des valeurs de temps système peut être utilisé.
Souris			Toute souris capable de cliquer et de glisser avec des mouvements simples doit être compatible. Les interfaces humaines analogues à une souris ayant les mêmes capacités, telles qu’un écran tactile ou un pointeur, doivent être compatibles, mais peuvent se comporter différemment.
VT3mini	EyeTech Systèmes		60 Hz. Tout appareil de suivi oculaire en état de marche doit être compatible.