Une méthodologie pour capturer l'attention visuelle conjointe à l'aide de eye-trackers mobiles

Summary

L'utilisation de capteurs multimodaux est un moyen prometteur de comprendre le rôle des interactions sociales dans les milieux éducatifs. Cet article décrit une méthodologie pour capturer l'attention visuelle commune des dyades colocated es utilisant les eye-trackers mobiles.

Abstract

Avec l'avènement de nouvelles avancées technologiques, il est possible d'étudier les interactions sociales à un niveau microavec une précision sans précédent. Les capteurs à haute fréquence, tels que les eye-trackers, les bracelets d'activité électrodermique, les bandes D'EEG et les capteurs de mouvement fournissent des observations au niveau de la milliseconde. Ce niveau de précision permet aux chercheurs de collecter de grands ensembles de données sur les interactions sociales. Dans cet article, je discute de la façon dont plusieurs eye-trackers peuvent capturer une construction fondamentale dans les interactions sociales, l'attention visuelle conjointe (JVA). JVA a été étudié par des psychologues du développement pour comprendre comment les enfants acquièrent la langue, les scientifiques d'apprentissage pour comprendre comment de petits groupes d'apprenants travaillent ensemble, et les chercheurs en sciences sociales pour comprendre les interactions dans de petites équipes. Cet article décrit une méthodologie pour capturer JVA dans des paramètres colocated à l'aide de eye-trackers mobiles. Il présente quelques résultats empiriques et discute des implications de la capture des microobservations pour comprendre les interactions sociales.

Introduction

JVA a fait l'objet d'études approfondies au cours du siècle dernier, en particulier par des psychologues du développement qui étudient l'acquisition du langage. Il a été rapidement établi que l'attention commune est plus qu'un simple moyen d'apprendre les mots, mais plutôt un précurseur des théories de l'esprit des enfants¹. Ainsi, il joue un rôle important dans de nombreux processus sociaux, tels que la communication avec les autres, la collaboration et le développement de l'empathie. Les enfants autistes, par exemple, n'ont pas la capacité de coordonner leur attention visuelle avec leurs soignants, ce qui est associé à des déficiences sociales importantes². Les humains ont besoin d'une attention commune pour devenir des membres fonctionnels de la société, pour coordonner leurs actions et pour apprendre des autres. Des enfants qui acquièrent leurs premiers mots, des adolescents qui apprennent des enseignants, des élèves qui collaborent à des projets et des groupes d'adultes qui travaillent à la recherche d'objectifs communs, l'attention commune est un mécanisme fondamental pour établir un terrain d'entente entre les individus³. Dans cet article, je me concentre sur l'étude de jAV dans la recherche éducative. Comprendre comment l'attention commune se déroule au fil du temps est d'une importance primordiale pour l'étude des processus d'apprentissage collaboratif. En tant que tel, il joue un rôle prédominant dans les milieux socioconstructivistes.

La définition exacte de l'attention commune est encore débattue⁴. Ce document concerne une sous-construction de l'attention conjointe (JA), à savoir JVA. JVA se produit lorsque deux sujets regardent au même endroit en même temps. Il convient de noter que JVA ne fournit aucune information sur d'autres constructions importantes d'intérêt dans l'étude de la JA, telles que le suivi de l'attention commune, mutuelle et partagée, ou plus généralement, la conscience de la cognition d'un autre membre du groupe. Cet article opérationnalise et simplifie JVA en combinant les données de suivi oculaire de deux participants et en analysant la fréquence dans laquelle ils alignent leurs regards. Pour une discussion plus complète, le lecteur intéressé peut en apprendre davantage sur l'étude de la construction JA dans Siposovaet^{al. 4}.

Au cours de la dernière décennie, les progrès technologiques ont radicalement transformé la recherche sur la JVA. Le changement de paradigme principal était d'utiliser de multiples eye-trackers pour obtenir des mesures quantitatives des alignements attentionnels, par opposition à l'analyse qualitative des enregistrements vidéo en laboratoire ou en milieu écologique. Ce développement a permis aux chercheurs de recueillir des informations précises et détaillées sur la coordination visuelle des dyades. De plus, les eye-trackers sont de plus en plus abordables : jusqu'à récemment, leur utilisation était réservée aux milieux académiques ou aux grandes entreprises. Il est maintenant possible d'acheter des eye-trackers bon marché qui génèrent des jeux de données fiables. Enfin, l'inclusion progressive des capacités de suivi du regard dans les appareils existants comme les ordinateurs portables haut de gamme et les casques de réalité virtuelle et augmentée suggère que le suivi des yeux deviendra bientôt omniprésent.

En raison de la popularisation des dispositifs de suivi oculaire, il est important de comprendre ce qu'ils peuvent et ne peuvent pas nous dire sur les interactions sociales. La méthodologie présentée dans ce document marque un premier pas dans cette direction. Je réponds à deux défis dans la capture de JVA à partir de multiples eye-trackers: synchroniser les données sur 1) l'échelle temporelle, et 2) sur l'échelle spatiale. Plus précisément, ce protocole utilise des marqueurs fiduciaux placés dans des environnements réels pour éclairer les algorithmes de vision par ordinateur où les participants orientent leur regard. Ce nouveau type de méthodologie ouvre la voie à une analyse rigoureuse du comportement humain en petits groupes.

Ce protocole de recherche est conforme aux lignes directrices du comité d'éthique de la recherche humaine de l'Université Harvard.

Protocol

1. Dépistage des participants

1. Assurez-vous que les participants ayant une vision normale ou corrigée à la normale sont recrutés. Étant donné que les participants seront invités à porter un eye-tracker mobile, ils peuvent porter des lentilles cornéennes, mais pas des lunettes régulières.

2. Préparation à l'expérience

1. Dispositifs de suivi des yeux
   1. Utilisez n'importe quel eye-tracker mobile capable de capturer le mouvement des yeux dans des environnements réels.
      REMARQUE: Les eye-trackers mobiles utilisés ici étaient deux tobii Pro Glasses 2 (voir Tableau des Matériaux). En plus des caméras spécialisées qui peuvent suivre les mouvements oculaires, les lunettes sont également équipées d'une caméra de scène HD et d'un microphone afin que le regard puisse être visualisé dans le contexte du champ visuel de l'utilisateur. Ces lunettes capturent les données du regard 50 fois par seconde. D'autres chercheurs ont utilisé ASL Mobile Eye⁵, SMI⁶, ou Pupil-labs⁷, qui fournissent tous des flux vidéo à partir de la caméra de scène et des coordonnées de suivi oculaire à des taux d'échantillonnage variables (30-120 Hz). La procédure ci-dessous peut varier légèrement avec d'autres dispositifs de suivi oculaire.
2. Marqueurs Fiducial
   1. Les deux étapes ci-dessous (c.-à-d. les alignements temporels et spatiaux) nécessitent l'utilisation de marqueurs fiducial. Il existe plusieurs bibliothèques de vision par ordinateur qui fournissent aux chercheurs ces marqueurs et algorithmes pour les détecter sur une image ou un flux vidéo. Le protocole décrit utilise la bibliothèque Chilitag⁸.
3. Alignement temporel
   1. Étant donné que les données de suivi oculaire sont enregistrées sur deux unités distinctes, assurez-vous que les données sont correctement synchronisées (figure 1). Deux méthodes principales peuvent être utilisées. Ce manuscrit ne couvre que la première méthode, car la synchronisation des serveurs fonctionne différemment avec chaque marque de eye-tracker mobile.
      1. Afficher brièvement un marqueur fiducial sur un écran d'ordinateur pour marquer le début et la fin d'une session. Ceci est similaire à un visuel "coup de main" (Figure 2).
      2. Vous pouvez également utiliser un serveur pour synchroniser les horloges des deux unités de collecte de données. Cette méthode est légèrement plus précise et recommandée si une précision temporelle plus élevée est requise.
4. Alignement spatial
   1. Pour savoir si deux participants regardent le même endroit en même temps, tracez leurs regards vers un plan commun. Ce plan peut être une image du réglage expérimental (voir le côté gauche de la figure 3). Concevez soigneusement cette image avant l'expérience.
   2. Taille des marqueurs fiducial : La taille générale des marqueurs fiducial dépend de l'algorithme utilisé pour les détecter à partir de la vidéo de suivi oculaire. Les surfaces proches des participants peuvent avoir des marqueurs fiduciaux plus petits, tandis que les surfaces plus loin d'elles doivent être plus grandes, de sorte qu'elles ressemblent du point de vue des participants. Essayez différentes tailles à l'avance pour vous assurer qu'ils peuvent être détectés à partir de la vidéo de suivi des yeux.
   3. Nombre de marqueurs fiduciaux : Pour que le processus de cartographie des points de regard soit réussi dans un plan commun, assurez-vous d'avoir plusieurs marqueurs fiducial visibles du point de vue des participants à un moment donné.
   4. Emplacement des marqueurs fiduciaires : Encadrer les zones d'intérêt pertinentes avec des bandes de marqueurs fiduciaires (p. ex., voir l'écran de l'ordinateur portable à la figure 3).
5. Enfin, exécutez les pilotes pour tester la procédure de synchronisation et déterminer l'emplacement, la taille et le nombre optimaux de marqueurs fiducial. Les vidéos de suivi oculaire peuvent être traitées par un algorithme de vision par ordinateur pour voir si les marqueurs fiducial sont détectés de manière fiable.

3. Exécution de l'expérience

1. Instructions
   1. Demandez aux participants de mettre les lunettes de suivi des yeux comme ils le feraient une paire normale de lunettes. En fonction des traits du visage distincts des participants, des morceaux de nez de différentes hauteurs peuvent devoir être utilisés pour préserver la qualité des données.
   2. Après avoir allumé le eye-tracker, demandez aux participants de couper l'unité d'enregistrement à eux-mêmes pour permettre le mouvement naturel du corps.
2. Étalonnage
   1. Demandez aux participants de regarder le centre du marqueur d'étalonnage fourni par Tobii pendant que la fonction d'étalonnage du logiciel est activée. Une fois l'étalonnage terminé, l'enregistrement peut être commencé à partir du logiciel.
   2. Demandez aux participants de ne pas déplacer les eye-trackers mobiles après l'étalonnage. Si c'est le cas, les données sont susceptibles d'être inexactes et la procédure d'étalonnage devra être effectuée à nouveau.
3. Surveillance des données
   1. Surveillez le processus de collecte de données pendant l'étude et assurez-vous que les données de suivi oculaire sont recueillies correctement. La plupart des eye-trackers mobiles peuvent fournir un flux en direct sur un appareil séparé (par exemple, une tablette) à cette fin.
4. Exportation de données
   1. Une fois la séance d'enregistrement terminée, demandez au participant d'enlever les lunettes de suivi oculaire et l'unité de collecte de données. Éteignez l'unité.
   2. Extraire des données à l'aide d'un autre logiciel, Tobii Pro Lab, en supprimant la carte SD de l'unité de collecte de données qui importe les données de session. Tobii Pro Lab peut être utilisé pour rejouer la vidéo, créer des visualisations et exporter les données de suivi oculaire sous forme de fichiers séparés par virgule (.csv) ou séparés par onglet (.tsv).

4. Prétraitement des données de double suivi oculaire

1. Vérification des données de suivi des yeux de la santé mentale
   1. Vérifiez visuellement les données de suivi des yeux après la collecte de données. Il n'est pas rare que certains participants aient des données manquantes. Par exemple, une certaine physiologie oculaire particulière peut poser des problèmes aux algorithmes de suivi oculaire, les lunettes peuvent changer pendant l'expérience, le logiciel de collecte de données pourrait s'écraser, etc.
   2. Utilisez des statistiques descriptives pour vérifier la quantité de données perdues au cours de chaque session et exclure les sessions qui ont des quantités importantes de données manquantes ou bruyantes.
2. Alignement temporel
   1. Réduisez les données de chaque eye-tracker mobile pour inclure uniquement les interactions entre les participants. Pour ce faire, on peut utiliser la méthode décrite ci-dessus (c.-à-d. présenter deux marqueurs fiducial spéciaux aux participants au début et à la fin de la session). Ces marqueurs fiducial peuvent alors être détectés à partir de la vidéo de suivi oculaire pour couper les jeux de données.
3. Alignement spatial
   REMARQUE : Pour déterminer si deux participants regardent le même endroit en même temps, il est nécessaire de remap le regard des participants sur un plan commun (c.-à-d., une image du cadre expérimental). Une méthode de calcul pour atteindre cet objectif est une homographie (c.-à-d., une transformation de perspective d'un plan). D'un point de vue technique, deux images d'une même surface planaire dans l'espace sont relatées par une matrice d'homographie. Sur la base d'un ensemble commun de points, cette matrice peut être utilisée pour déduire l'emplacement des points supplémentaires entre deux plans. Dans la figure 3, par exemple, si un algorithme de vision par ordinateur sait où se trouvent les marqueurs fiducial s'ils se trouvent sur le document, il peut remap le regard du participant sur le plan commun sur le côté gauche. Les lignes blanches relient les deux ensembles de points partagés par le flux vidéo de chaque participant et la scène, qui sont ensuite utilisés pour la construction de l'homographie pour remap les points verts et bleus sur le côté gauche.
   1. Utilisez la version Python d'OpenCV, par exemple, pour calculer la matrice d'homographie à partir des marqueurs fiducial, puis pour remap les données de suivi oculaire à la scène du paramètre expérimental (ou toute autre bibliothèque appropriée dans votre langue de choix). OpenCV fournit deux fonctions utiles: findHomography() pour obtenir la matrice d'homographie, et perspectiveTransform() pour transformer le point d'une perspective à l'autre.
   2. Pour utiliser findHomography(), exécuter avec deux arguments: les coordonnées X,Y des points sources (c.-à-d., les marqueurs fiducial détectés à partir de la vidéo de scène des participants, montré à droite dans la figure 3) et les points de destination correspondants (c.-à-d., les mêmes marqueurs fiducials détectés sur l'image de la scène, montré sur la gauche dans la figure 3).
   3. Alimentez la matrice d'homographie résultante dans la fonction perspectiveTransform() avec un nouveau point qui doit être cartographié à partir de l'image source à l'image de destination (par exemple, les données de suivi des yeux indiquées comme un point bleu/ vert sur le côté droit de la figure 3). La fonction perspectiveTransform renvoie la nouvelle coordonnées du même point sur l'image de la scène (c.-à-d., les points bleus/verts indiqués sur le côté gauche de la figure 3).
      REMARQUE : Pour plus d'informations, la documentation officielle d'OpenCV fournit des exemples de code et des exemples pour mettre en œuvre l'homographie : docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
4. Sanity vérifier l'homographie
   1. Terminez la section 4.3 pour toute la session, et effectuez une homographie sur chaque image de la vidéo mobile de suivi oculaire pour vérifier la qualité de l'homographie. Bien qu'il n'existe aucun moyen automatisé d'estimer l'exactitude des données de suivi oculaire qui en résultent, des vidéos comme celle présentée dans la figure 4 devraient être utilisées pour vérifier manuellement la santé mentale de chaque session.
   2. Si la qualité est inférieure aux prévisions, considérez des paramètres supplémentaires pour améliorer les résultats de l'homographie :
      1. Nombre de marqueurs fiducial détectés : effectuez seulement l'homographie si suffisamment de marqueurs fiduciaux peuvent être détectés à partir du flux vidéo. Ce nombre peut être déterminé en examinant la vidéo produite ci-dessus.
      2. Emplacement des marqueurs fiducial : Si différents marqueurs sont à des profondeurs et des orientations différentes, la qualité de l'homographie augmente habituellement lorsque les marqueurs les plus proches des coordonnées du regard sont sélectionnés, étant donné qu'il y a suffisamment de marqueurs pour construire un homographie.
      3. Orientation des marqueurs fiducial : La combinaison de marqueurs fiducial s'adminant d'orientations différentes (p. ex. horizontale et verticale) produira des homographies inexactes. Il est recommandé de détecter d'abord quel plan ou zones d'intérêt (AOIs) le participant regarde (par exemple, l'écran de l'ordinateur, la feuille de triche, la table, voir la figure 3) et ensuite utiliser les marqueurs fiducial sur ce plan pour l'homographie.
      4. Qualité du flux vidéo : Les mouvements soudains de la tête peuvent brouiller les images vidéo et rendre les données inutilisables, car les marqueurs fiducial ne peuvent pas être détectés de façon fiable (Figure 4). La méthodologie de cet article n'est pas appropriée pour les expériences qui impliquent beaucoup de mouvements soudains de la tête.

5. Analyse des données de suivi oculaire double

1. Données manquantes
   1. Afin de s'assurer que les données ont été correctement répérées sur l'image de référence, de produire des graphiques de visualisation (p. ex., figure 5, figure 6) et des statistiques descriptives pour vérifier la quantité de données manquantes.
2. Graphiques de récurrence croisée
   1. Utilisez des graphiques de récurrence^{croisée 9} pour représenter la synchronisation visuelle entre deux participants (figure 6), où l'axe X représente du temps pour le premier participant, et l'axe Y représente du temps pour le deuxième participant. Les carrés noirs indiquent que les participants regardent la même zone, une ligne diagonale noire décrit deux sujets regardant la même chose exactement en même temps, et les carrés noirs au large de la ligne diagonale décrit quand deux sujets regardant la même chose avec un décalage temporel. Enfin, la différenciation entre les données manquantes (carré blanc) et les données existantes sans JVA (carrés gris) permet d'identifier les sessions problématiques. Cela permet aux chercheurs de vérifier leur santé mentale visuelle.
3. Calcul JVA
   1. Après le filtrage des données manquantes, calculez une mesure pour JVA en comptant le nombre de fois que les regards des participants sont dans le même rayon dans la scène (définie ci-dessous) dans une fenêtre de temps de -2/2. Divisez ce nombre par le nombre de points de données valides qui peuvent être utilisés pour calculer JVA. Le résultat de la division représente le pourcentage de temps que deux sujets ont examiné conjointement au même endroit. Cette dernière étape est nécessaire pour éviter de gonfler les scores des groupes avec plus de données après l'homographie.
      REMARQUE : Deux paramètres doivent être définis avant que JVA puisse être calculé, la distance minimale entre deux points de regard, et la fenêtre de temps entre eux (figure 7): 1) Fenêtre de temps : Une étude fondamentale¹⁰ tôt a employé un eye-tracker simple pour mesurer JVA entre un auditeur et un haut-parleur. Les chercheurs ont demandé à une première série de participants (« conférenciers ») de parler d'une émission de télévision dont les personnages étaient affichés devant eux. Un deuxième ensemble de participants (« auditeurs ») a ensuite regardé la même émission tout en écoutant l'enregistrement audio des haut-parleurs. Les mouvements oculaires des haut-parleurs et des auditeurs ont été comparés, et il a été constaté que les mouvements oculaires d'un auditeur correspondaient étroitement au mouvement oculaire d'un haut-parleur avec un retard de 2 s. Dans les travaux ultérieurs¹¹ chercheurs ont analysé les dialogues en direct et ont constaté qu'un retard de 3 meilleurs moments capturés de JVA. Étant donné que chaque tâche est unique et peut présenter des décalages temporels différents, il est également suggéré d'explorer comment différents décalages temporels affectent les résultats d'une expérience donnée. Dans l'ensemble, il est courant de rechercher JVA dans une fenêtre de temps de 2/3 s en fonction de la tâche expérimentale, puis d'explorer comment différents décalages temporels pourraient changer les résultats. 2) Distance entre les regards: il n'y a pas de distance empiriquement définie entre deux regards pour qu'ils comptent comme JVA. Cette distance dépend des questions de recherche définies par les chercheurs. Les questions de recherche devraient indiquer la taille des cibles d'intérêt. Dans l'exemple vu dans la figure 7, un rayon de 100 pixels sur l'image de la scène (cercles bleus/verts) a été choisi pour l'analyse car il suffit de capturer lorsque les participants regardent le robot dans le labyrinthe, ainsi que des éléments d'interface utilisateur similaires sur l'écran de l'ordinateur, qui sont les deux principaux domaines d'intérêt pour cette tâche expérimentale.

Results

La méthodologie présentée ci-dessus a été utilisée pour étudier les étudiants qui suivaient un programme de formation professionnelle en logistique (n ' 54)¹². Dans cette expérience, des paires d'étudiants ont interagi avec une interface utilisateur tangible (TUI) qui simulait un entrepôt à petite échelle. Les marqueurs fiduciaux placés sur le TUI ont permis à l'équipe de recherche de remap les regards des étudiants sur un plan commun et de calculer les niveaux de JVA. Les résultats ont indiqué qu...

Discussion

La méthodologie décrite dans ce document fournit un moyen rigoureux de capturer JVA dans les dyades colocalisées. Avec l'émergence d'une technologie de détection abordable et d'algorithmes de vision par ordinateur améliorés, il est maintenant possible d'étudier les interactions collaboratives avec une précision qui n'était pas disponible auparavant. Cette méthodologie tire parti des marqueurs fiducial diffusés dans l'environnement et utilise les homographies comme un moyen de remap les regards des participants sur un pla...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Tobii Lunettes 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Marqueurs repères	Chili lab &ndash ; EPFL, Suisse	N/A	https://github.com/chili-epfl/chilitags