Une méthodologie pour capturer l'attention visuelle conjointe à l'aide de eye-trackers mobiles

Salut, je m’appelle Bertrand Schneider et je suis professeur adjoint à la Harvard Graduate School of Education. Dans cette vidéo, je vais vous montrer comment nous pouvons utiliser mobile eye-trackers pour capturer une construction centrale dans les sciences sociales, l’attention visuelle conjointe. L’attention visuelle conjointe a été largement étudiée par les psychologues et s’est trouvée étroitement corrélée à la qualité des interactions entre les membres du groupe.

Il s’avère que lorsque les gens construisent un terrain d’entente et créent une compréhension commune d’une tâche, ils ont tendance à regarder fréquemment au même endroit en même temps. Traditionnellement, les chercheurs ont étudié l’attention visuelle conjointe qualitativement en codant manuellement des vidéos. Je vais vous montrer comment nous pouvons utiliser mobile eye-trackers pour obtenir une mesure quantitative de cette construction dans des paramètres co-localisés.

Dans cette vidéo, nous allons utiliser le Tobii Pro Glasses Two. Ces lunettes sont des eye-trackers portables qui peuvent capturer le mouvement des yeux dans des environnements réels. En plus des caméras spécialisées sur le cadre pour suivre les mouvements oculaires, l’appareil est également équipé d’une caméra de scène full HD et d’un microphone, de sorte que le comportement du regard peut être visualisé dans le contexte du champ visuel du porteur.

Pour ces lunettes, le regard est capturé 50 fois par seconde et un flux vidéo en direct à partir des lunettes peut être diffusé sur un ordinateur sans fil, ou à travers un câble ethernet. Les lunettes ont une limitation cependant, car ils ne fonctionneront pas sur les lunettes régulières. La procédure de mise en place de l’eye-tracker est relativement simple.

Tout d’abord, les participants seront invités à mettre sur les lunettes de suivi des yeux comme ils le feraient une paire normale de lunettes. En fonction des traits du visage distincts des participants, des morceaux de nez de différentes hauteurs peuvent devoir être utilisés pour préserver la qualité des données. Après avoir activé eye-tracker, les participants doivent couper l’unité de collecte de données à leurs personnes pour permettre des mouvements du corps débridés.

Le contrôleur Tobii Pro Glasses doit être ouvert et les participants doivent être invités à regarder le centre du marqueur d’étalonnage fourni par Tobii, tandis que la fonction d’étalonnage du logiciel est activée. Une fois l’étalonnage terminé, l’enregistrement peut être commencé à partir du logiciel. Une fois la session d’enregistrement terminée, terminez l’enregistrement à partir du logiciel Tobii avant d’ordonner au participant de retirer les lunettes de suivi des yeux et l’unité de collecte de données.

Et puis, éteignez l’unité. Les données peuvent être extraites par l’intermédiaire d’un autre logiciel, Tobii Pro Lab, en supprimant la carte SD de l’unité de collecte de données et en insérant la carte à l’ordinateur. Tobii Pro Lab est en mesure d’importer toutes les sessions d’enregistrement stockées dans la carte SD en même temps.

Les fichiers peuvent ensuite être traités dans Tobii Pro Lab pour générer des vidéos, des visualisations différentes ou être générés sous forme de valeurs séparées par onglets ou de fichiers TSV pour une analyse plus approfondie. Ici, vous pouvez voir les données brutes de suivi oculaire d’une étude que nous avons récemment menée, où deux participants apprenaient à programmer un robot. De chaque côté, vous pouvez voir le flux vidéo généré par chaque eye-tracker avec l’emplacement du regard du participant.

Comme vous pouvez le voir, il est impossible de dire s’ils regardent au même endroit en même temps, parce que le point de vue de chaque participant est différent. En outre, l’enregistrement des données peut commencer à des moments différents. Cela signifie que les données doivent être synchronisées temporellement et spatialement.

Je vais vous montrer comment aborder ces deux questions dans cette vidéo. Tout d’abord, je vais décrire une procédure pour synchroniser les données temporairement. Pour le premier participant, vous avez un certain nombre d’images vidéo.

Certains d’entre eux sont avant ou après la tâche expérimentale réelle. Comme le premier cadre, où l’expérimentateur étalonne le traqueur oculaire. De même, pour les autres participants, vous avez le même type de données.

Il n’est pas montré ici, mais chaque image de la vidéo est également associée à une coordonnée x et y qui représente le regard de chaque participant. Pour synchroniser les données, nous montrons brièvement un marqueur fiducial sur l’écran de l’ordinateur avant et après la tâche expérimentale. En utilisant un algorithme de vision par ordinateur, nous pouvons détecter quand ce marqueur est présenté à chaque participant, ce qui nous permet de couper et d’aligner les données.

Il s’agit donc d’une façon de traiter les problèmes de synchronisation des données. Dans les prochaines parties, nous allons examiner la deuxième question: Comment synchroniser les données spatialement. Comme mentionné précédemment, les données proviennent de chaque eye-tracker sous la forme d’un flux vidéo associé à l’emplacement du regard de chaque participant, ici en bleu et vert.

Bien que les coordonnées x et y puissent être les mêmes pour les deux participants, cela ne signifie pas qu’ils regardent au même endroit parce qu’ils regardent l’écran sous deux angles différents. Une façon de résoudre ce problème est de construire une image de la configuration expérimentale qui servira de référence, et où nous allons remapper l’emplacement du cas de chaque participant. Cela nous permet de détecter pour chaque image de la vidéo de suivi des yeux, si les participants regardent au même endroit en même temps.

Mais comment réinsepper ces coordonnées dans l’image de gauche ? Nous allons utiliser le même algorithme de vision coopérative qui nous a permis de synchroniser les données plus tôt. En l’appliquant sur chaque image des enregistrements vidéo, nous pouvons maintenant détecter l’emplacement des marqueurs fiduciaux du point de vue des participants.

Cela nous permet de connecter les mêmes marqueurs sur l’image de référence sur la gauche. En connaissant les coordonnées de cet ensemble commun de points, nous pouvons déduire l’emplacement du regard de chaque personne à l’aide d’une opération mathématique connue sous le nom d’homographie. En appliquant cette procédure sur chaque image, nous pouvons générer une vidéo pour nous assurer que l’homographie a fonctionné.

Sur le côté droit, vous pouvez voir l’enregistrement vidéo de chaque participant avec l’emplacement de leur regard en bleu et vert. Les mêmes marqueurs fiduciaux sont reliés à une ligne blanche entre l’image à gauche et le point de vue du participant sur le côté droit. Les regards remapped sont montrés sur la gauche et ils deviennent rouges quand il y a une certaine attention visuelle commune.

Générer cette vidéo est une étape importante pour s’assurer que les données sont propres et que l’homographie a été effectuée correctement. En outre, il ya deux autres visualisations qui peuvent être produites pour vérifier la santé mentale des données. La première visualisation est une carte thermique.

Pour chaque participant, nous pouvons tracer chaque point de regard sur l’image de la configuration expérimentale. Cela garantit que l’homographie a fonctionné correctement et nous permet de classer ces points de cas dans différents domaines d’intérêt. Ici, par exemple, nous pouvons voir que la plupart du temps a été consacré à regarder l’écran de l’ordinateur et très peu de temps a été consacré à regarder les feuilles de triche.

La deuxième visualisation est appelée graphique de récurrence croisée. Les graphiques de récurrence croisée nous permettent de visualiser les données de suivi oculaire pour deux participants. L’heure du premier participant est affichée sur l’axe x, le temps pour le deuxième participant est affiché sur l’axe y.

Les carrés noirs signifient que les deux participants regardent au même endroit, le carré blanc représente les données manquantes et le carré gris représente lorsque les participants regardent différents endroits. Les carrés noirs le long de la diagonale signifient qu’ils regardent au même endroit en même temps. Les carrés noirs de la diagonale signifient que les participants regardent au même endroit, mais à des moments différents.

Sur la gauche, vous pouvez voir une dyade avec des niveaux élevés d’attention visuelle commune. Au milieu, une dyade avec de faibles niveaux d’attention visuelle commune. Sur le côté droit, un groupe avec beaucoup de données manquantes.

En effectuant ces contrôles de santé mentale, vous pouvez vous assurer que vous avez correctement synchronisé et rempé vos données dans une image commune de la configuration expérimentale. Ces étapes sont essentielles et doivent être effectuées avant toute analyse. Enfin, il y a deux paramètres qui doivent être choisis avant de calculer une mesure de l’attention visuelle commune.

Le premier paramètre est la fenêtre de temps dans laquelle les participants peuvent regarder au même endroit. Les travaux antérieurs de Richardson et Dale avaient établi qu’il peut prendre jusqu’à deux secondes pour que les participants se désengagent de ce qu’ils font pour prêter attention à ce que leur partenaire fait. Ainsi, nous avons déterminé qu’il y a une attention visuelle conjointe si deux participants ont regardé au même endroit dans une fenêtre de plus et moins deux secondes.

Le deuxième paramètre est la distance minimale entre deux points de regard pour qu’ils soient considérés comme une attention visuelle commune. Cette distance dépend du contexte et doit être définie par les chercheurs en fonction de la tâche administrée et de leurs questions de recherche. Pour certaines tâches, la distance peut être courte.

Ici, par exemple, nous avons utilisé 100 pixels. Pour d’autres tâches, cette distance peut être plus grande. Ensuite, je vais présenter quelques résultats trouvés en utilisant cette méthodologie.

Après avoir reçu une estimation de la quantité d’attention visuelle conjointe dans le groupe, vous pouvez corréler cette mesure avec d’autres variables d’intérêt. Par exemple, dans le travail, nous avons corrélé cette mesure avec le système d’évaluation développé en sciences de l’apprentissage qui capture la qualité de la collaboration d’un groupe. Pour chaque groupe, nous avons attribué une note sur les neuf de dimensions présentées ici.

Par exemple, dans quelle mesure les gens ont maintenu une compréhension mutuelle ou dans quelle mesure ils sont parvenus facilement à un consensus. Ces scores doivent recevoir une fiabilité inter acceptable avec un autre quota. Enfin, nous pouvons également regrouper ces scores en une seule mesure générale qui se rapproche de la qualité de la collaboration pour chaque groupe.

Un résultat qui a été trouvé dans nos travaux ainsi que d’autres études est que l’attention visuelle conjointe est significativement corrélée avec la qualité de la collaboration, tel que mesuré par le système d’évaluation présenté précédemment. Les groupes qui sont très bien notés à l’aide de ce système de codage ont tendance à avoir plus d’attention visuelle conjointe que les groupes qui ont reçu de faibles scores. Cela montre que les interactions productives sont souvent associées à une attention visuelle plus conjointe.

Sur la diapositive suivante, je vais vous montrer un autre résultat qui s’appuie sur cette conclusion. Ainsi, un avantage d’avoir des données fines de suivi des yeux est que nous pouvons extraire d’autres mesures de l’attention visuelle commune. Par exemple, nous pouvons calculer qui a initié et répondu à une offre d’attention visuelle conjointe.

En particulier, sur l’axe x de ce graphique, le score de zéro signifie une répartition égale de ces comportements et un score d’un signifie qu’une personne répondait ou initiait toujours des moments d’joignez-vous à l’attention visuelle. Dans cette étude, nous avons trouvé une corrélation inverse avec les gains d’apprentissage montrés sur l’axe Y tels que mesurés par les pré et post-tests. Les groupes où la même personne initiait ou répondait constamment à des moments d’attention visuelle conjointe étaient moins susceptibles d’apprendre et les groupes où cette responsabilité était également partagée étaient plus susceptibles d’obtenir des scores plus élevés après les tests lorsqu’ils contrôlaient les notes au pré-test.

Dans cette vidéo, j’ai présenté la méthodologie qui aide les chercheurs à synchroniser les données mobiles de suivi oculaire à la fois temporellement et spatialement. Les résultats suggèrent que les données à double suivi oculaire peuvent fournir des indicateurs de collaboration en calculant des mesures de l’attention visuelle conjointe. En outre, j’ai présenté des résultats montrant que nous pouvons aller au-delà de simples mesures de l’attention conjointe, par exemple, en regardant qui a initié ou répondu à un épisode d’attention visuelle conjointe.

Nous avons constaté que cette mesure était liée à d’autres mesures des résultats, comme les gains d’apprentissage. L’informatique de ce type de mesure ne serait pas possible sans les données de suivi oculaire. En résumé, nous avons constaté que la méthodologie présentée dans cette vidéo peut aider les chercheurs à acquérir de nouvelles connaissances sur les processus de collaboration.

Merci beaucoup d’avoir regardé cette vidéo et n’hésitez pas à vous référer au journal pour plus d’informations.