Eine Methodik zur Erfassung der gemeinsamen visuellen Aufmerksamkeit mit mobilen Eye-Trackern

Hallo, mein Name ist Bertrand Schneider und ich bin Assistenzprofessor an der Harvard Graduate School of Education. In diesem Video werde ich Ihnen zeigen, wie wir mobile Eye-Tracker verwenden können, um ein zentrales Konstrukt in der Sozialwissenschaft, gemeinsame visuelle Aufmerksamkeit zu erfassen. Die gemeinsame visuelle Aufmerksamkeit wurde von Psychologen ausgiebig untersucht und steht in engem Zusammenhang mit der Qualität der Interaktionen zwischen Gruppenmitgliedern.

Es stellt sich heraus, dass Menschen, wenn sie eine gemeinsame Basis aufbauen und ein gemeinsames Verständnis einer Aufgabe schaffen, dazu neigen, häufig gleichzeitig an denselben Ort zu schauen. Traditionell haben Forscher die gemeinsame visuelle Aufmerksamkeit qualitativ durch manuellecodierung von Videos untersucht. Ich werde Ihnen zeigen, wie wir mobile Eye-Tracker verwenden können, um ein quantitatives Maß für dieses Konstrukt in co-located-Einstellungen zu erhalten.

In diesem Video werden wir die Tobii Pro Brille Two verwenden. Diese Brillen sind tragbare Eyetracker, die Augenbewegungen in realen Umgebungen erfassen können. Neben speziellen Kameras am Rahmen zur Verfolgung von Augenbewegungen ist das Gerät auch mit einer Full-HD-Szenenkamera und einem Mikrofon ausgestattet, so dass das Blickverhalten im Kontext des Gesichtsfeldes des Trägers visualisiert werden kann.

Für diese Brille wird der Blick 50 Mal pro Sekunde erfasst und ein Live-Video-Feed von der Brille kann entweder drahtlos oder über ein Ethernet-Kabel an einen Computer gestreamt werden. Die Brille hat jedoch eine Einschränkung, da sie nicht über normale Brillen arbeiten. Das Verfahren zum Einrichten des Eyetrackers ist relativ einfach.

Zunächst werden die Teilnehmer gebeten, die Brille wie eine normale Brille aufzuziehen. Basierend auf den unterschiedlichen Gesichtszügen der Teilnehmer müssen möglicherweise Nasenstücke mit unterschiedlichen Höhen verwendet werden, um die Datenqualität zu erhalten. Nach dem Einschalten des Eyetrackers sollten die Teilnehmer die Datenerfassungseinheit an ihre Personen anschneiden, um ungezügelte Körperbewegungen zu ermöglichen.

Der Tobii Pro Glasses Controller sollte geöffnet werden und die Teilnehmer sollten angewiesen werden, die Mitte des von Tobii bereitgestellten Kalibriermarkers zu betrachten, während die Kalibrierungsfunktion der Software aktiviert ist. Sobald die Kalibrierung abgeschlossen ist, kann die Aufzeichnung innerhalb der Software gestartet werden. Beenden Sie nach Abschluss der Aufzeichnungssitzung die Aufnahme aus der Tobii-Software, bevor Sie den Teilnehmer anweisen, die Brille und die Datenerfassungseinheit zu entfernen.

Und dann schalten Sie das Gerät aus. Daten können über eine andere Software, Tobii Pro Lab, extrahiert werden, indem die SD-Karte aus der Datenerfassungseinheit entfernt und die Karte am Computer einsteckt. Tobii Pro Lab ist in der Lage, alle auf der SD-Karte gespeicherten Aufnahmesitzungen gleichzeitig zu importieren.

Dateien können dann im Tobii Pro Lab verarbeitet werden, um Videos, verschiedene Visualisierungen zu generieren oder als tabgetrennte Werte oder TSV-Dateien zur weiteren Analyse ausgegeben werden. Hier können Sie die rohen Eye-Tracking-Daten aus einer Kürzlich durchgeführten Studie sehen, in der zwei Teilnehmer lernten, einen Roboter zu programmieren. Auf jeder Seite können Sie den Videostream sehen, der von jedem Eyetracker mit der Position des Blicks des Teilnehmers generiert wird.

Wie Sie sehen können, ist es unmöglich zu sagen, ob sie den gleichen Ort zur gleichen Zeit betrachten, weil der Standpunkt jedes Teilnehmers unterschiedlich ist. Darüber hinaus kann die Datenaufzeichnung zu unterschiedlichen Zeiten beginnen. Dies bedeutet, dass die Daten zeitlich und räumlich synchronisiert werden müssen.

Ich werde Ihnen in diesem Video zeigen, wie Sie diese beiden Probleme angehen können. Zunächst werde ich eine Prozedur beschreiben, um die Daten vorübergehend zu synchronisieren. Für den ersten Teilnehmer haben Sie eine bestimmte Anzahl von Videoframes.

Einige von ihnen sind vor oder nach der eigentlichen experimentellen Aufgabe. Wie der erste Frame, bei dem der Experimentator den Eyetracker kalibriert. Ebenso verfügen Sie für die anderen Teilnehmer über die gleiche Art von Daten.

Es wird hier nicht gezeigt, aber jeder Frame des Videos ist auch mit einer x- und y-Koordinate verknüpft, die den Blick jedes Teilnehmers darstellt. Um die Daten zu synchronisieren, zeigen wir kurz eine Fiducial-Markierung auf dem Computerbildschirm vor und nach der experimentellen Aufgabe. Mithilfe eines Computer-Vision-Algorithmus können wir erkennen, wann dieser Marker jedem Teilnehmer präsentiert wird, was es uns ermöglicht, die Daten zu trimmen und auszurichten.

Dies ist also eine Möglichkeit, mit Problemen bei der Datensynchronisierung umzugehen. In den nächsten Abschnitten werden wir uns mit der zweiten Ausgabe befassen: Wie die Daten räumlich synchronisiert werden. Wie bereits erwähnt, stammen die Daten von jedem Eyetracker in Form eines Video-Feeds, der mit der Position des Blicks jedes Teilnehmers verbunden ist, hier in Blau und Grün.

Obwohl die x- und y-Koordinaten für beide Teilnehmer gleich sein können, bedeutet dies nicht, dass sie an der gleichen Stelle suchen, weil sie den Bildschirm aus zwei verschiedenen Perspektiven betrachten. Eine Möglichkeit, dieses Problem zu lösen, besteht darin, ein Bild des experimentellen Setups zu erstellen, das als Referenz dient und wo wir den Speicherort des einzelnen Teilnehmers neu zuordnen werden. So können wir für jeden Frame des Eye-Tracking-Videos erkennen, ob die Teilnehmer gleichzeitig am selben Ort suchen.

Aber wie ordnen wir diese Koordinaten in das Bild auf der linken Seite um? Wir werden den gleichen kooperativen Visionsalgorithmus verwenden, der es uns ermöglichte, die Daten früher zu synchronisieren. Indem wir es auf jeden Frame der Videoaufzeichnungen anwenden, können wir nun die Position der Treuhandmarker aus der Perspektive der Teilnehmer erkennen.

Dadurch können wir die gleichen Markierungen auf dem Referenzbild auf der linken Seite verbinden. Indem wir die Koordinaten dieses gemeinsamen Satzes von Punkten kennen, können wir die Position des Blicks jeder Person mithilfe einer mathematischen Operation, die als Homographie bekannt ist, ableiten. Wenn wir dieses Verfahren auf jeden Frame anwenden, können wir ein Video generieren, um sicherzustellen, dass die Homographie funktioniert.

Auf der rechten Seite sehen Sie die Videoaufzeichnung jedes Teilnehmers mit der Position seines Blickes in blau und grün. Die gleichen Treuhandmarkierungen sind mit einer weißen Linie zwischen dem Bild auf der linken Seite und dem Standpunkt des Teilnehmers auf der rechten Seite verbunden. Die neu abgebildeten Blicke werden auf der linken Seite angezeigt und sie werden rot, wenn es eine gemeinsame visuelle Aufmerksamkeit gibt.

Das Generieren dieses Videos ist ein wichtiger Schritt, um sicherzustellen, dass die Daten sauber sind und die Homographie korrekt ausgeführt wurde. Darüber hinaus gibt es zwei weitere Visualisierungen, die erstellt werden können, um die Daten zu überprüfen. Die erste Visualisierung ist eine Heatmap.

Für jeden Teilnehmer können wir jeden Blickpunkt auf das Bild des Versuchsaufbaus zeichnen. Dadurch wird sichergestellt, dass die Homographie korrekt funktioniert hat und es uns ermöglicht, diese Fallpunkte in verschiedene Interessensgebiete einzuordnen. Hier können wir zum Beispiel sehen, dass die meiste Zeit damit verbracht wurde, auf den Computerbildschirm zu schauen, und sehr wenig Zeit damit verbracht wurde, sich die Spickzettel anzusehen.

Die zweite Visualisierung wird als Kreuzwiederholungsdiagramm bezeichnet. Cross-Recurrence-Diagramme ermöglichen es uns, Eye-Tracking-Daten für ein Teilnehmerpaar zu visualisieren. Die Zeit für den ersten Teilnehmer wird auf der x-Achse angezeigt, die Zeit für den zweiten Teilnehmer auf der y-Achse.

Schwarze Quadrate bedeuten, dass beide Teilnehmer an der gleichen Stelle schauen, weiße Stellquadrate fehlende Daten darstellen und graue Quadrate darstellen, wenn die Teilnehmer verschiedene Orte betrachten. Schwarze Quadrate entlang der Diagonale bedeuten, dass sie gleichzeitig an der gleichen Stelle suchen. Schwarze Quadrate abseits der Diagonale bedeuten, dass die Teilnehmer an der gleichen Stelle, aber zu unterschiedlichen Zeiten schauen.

Auf der linken Seite können Sie eine Dyade mit einem hohen Maß an gemeinsamer visueller Aufmerksamkeit sehen. In der Mitte eine Dyade mit geringem Maß an gemeinsamer visueller Aufmerksamkeit. Auf der rechten Seite eine Gruppe mit vielen fehlenden Daten.

Durch durchführen diese Integritätsprüfungen können Sie sicherstellen, dass Sie Ihre Daten korrekt synchronisiert und in ein gemeinsames Abbild des Experimentellen Setups eingefügt haben. Diese Schritte sind von entscheidender Bedeutung und müssen durchgeführt werden, bevor eine Analyse durchgeführt wird. Schließlich gibt es zwei Parameter, die ausgewählt werden müssen, bevor ein Maß für die gemeinsame visuelle Aufmerksamkeit berechnet wird.

Der erste Parameter ist das Zeitfenster, in dem Teilnehmer an der gleichen Position anzeigen können. Frühere Arbeiten von Richardson und Dale hatten festgestellt, dass es bis zu zwei Sekunden dauern kann, bis sich die Teilnehmer von dem, was sie tun, zurückziehen, um darauf zu achten, was ihr Partner tut. So haben wir festgestellt, dass es eine gemeinsame visuelle Aufmerksamkeit gibt, wenn zwei Teilnehmer innerhalb eines Plus- und minus zwei Sekunden-Fensters an der gleichen Stelle angeschaut haben.

Der zweite Parameter ist der Mindestabstand zwischen zwei Blickpunkten, damit sie als gemeinsame visuelle Aufmerksamkeit qualifiziert werden können. Diese Entfernung ist kontextabhängig und muss von den Forschern je nach der verwalteten Aufgabe und ihren Forschungsfragen definiert werden. Bei einigen Aufgaben kann die Entfernung kurz sein.

Hier haben wir zum Beispiel 100 Pixel verwendet. Bei anderen Aufgaben kann dieser Abstand größer sein. Als Nächstes werde ich einige Ergebnisse präsentieren, die mit dieser Methode gefunden wurden.

Nachdem Sie eine Schätzung für die Menge der gemeinsamen visuellen Aufmerksamkeit in der Gruppe erhalten haben, können Sie dieses Maß mit anderen Variablen von Interesse korrelieren. In der Arbeit haben wir beispielsweise diese Maßnahme mit dem zu Lernwissenschaften entwickelten Bewertungsschema korreliert, das eine Gruppenqualität der Zusammenarbeit erfasst. Für jede Gruppe haben wir eine Punktzahl auf die neunen der hier vorgestellten Dimensionen zugewiesen.

Zum Beispiel, wie gut die Menschen das gegenseitige Verständnis aufrechterhalten haben oder wie leicht sie zu einem Konsens gelangt sind. Diese Werte müssen mit einer anderen Quote eine akzeptable Interreliability erhalten. Schließlich können wir diese Ergebnisse auch in einer allgemeinen Metrik aggregieren, die die Qualität der Zusammenarbeit für jede Gruppe annähert.

Ein Ergebnis, das in unserer Arbeit sowie in anderen Studien gefunden wurde, ist, dass die gemeinsame visuelle Aufmerksamkeit signifikant mit der Qualität der Zusammenarbeit korreliert, gemessen an dem zuvor vorgestellten Bewertungsschema. Gruppen, die mit diesem Codierungsschema hoch bewertet werden, haben in der Regel mehr gemeinsame visuelle Aufmerksamkeit als die Gruppen, die niedrige Punktzahlen erhalten haben. Dies zeigt, dass produktive Interaktionen oft mit mehr gemeinsamer visueller Aufmerksamkeit verbunden sind.

Auf der nächsten Folie zeige ich Ihnen ein weiteres Ergebnis, das auf diesem Befund aufbaut. Ein Vorteil der feinen Eye-Tracking-Daten ist, dass wir andere Maßnahmen der gemeinsamen visuellen Aufmerksamkeit extrahieren können. Zum Beispiel können wir berechnen, wer ein Angebot der gemeinsamen visuellen Aufmerksamkeit initiiert und darauf reagiert hat.

Insbesondere bedeutet auf der x-Achse dieses Graphen die Punktzahl Null die gleiche Verteilung dieser Verhaltensweisen, und eine Punktzahl von eins bedeutet, dass eine Person immer reagiert oder Momente der visuellen Aufmerksamkeit einführt. In dieser Studie fanden wir eine inverse Korrelation mit Lerngewinnen, die auf der y-Achse gemessen wurden, gemessen durch Pre- und Post-Tests. Gruppen, in denen dieselbe Person ständig Momente der gemeinsamen visuellen Aufmerksamkeit einleitete oder darauf reagierte, lernten seltener, und Gruppen, in denen diese Verantwortung gleichermaßen geteilt wurde, waren eher höher bei den Nachtests, wenn sie nach Ergebnissen im Vortest kontrollierten.

In diesem Video habe ich die Methodik vorgestellt, die Forschern hilft, mobile Eye-Tracking-Daten sowohl zeitlich als auch räumlich zu synchronisieren. Die Ergebnisse deuten darauf hin, dass duale Eye-Tracking-Daten Indikatoren für die Zusammenarbeit liefern können, indem Sie Maßnahmen der gemeinsamen visuellen Aufmerksamkeit berechnen. Darüber hinaus habe ich Ergebnisse präsentiert, die zeigen, dass wir über einfache Maßnahmen der gemeinsamen Aufmerksamkeit hinausgehen können, zum Beispiel indem wir uns ansehen, wer eine Episode gemeinsamer visueller Aufmerksamkeit initiiert oder darauf reagiert hat.

Wir stellten fest, dass diese Maßnahme mit anderen Ergebnismaßnahmen zusammenhängt, wie z. B. Lerngewinne. Eine Solche Maßnahme wäre ohne Eye-Tracking-Daten nicht möglich. Zusammenfassend haben wir herausgefunden, dass die in diesem Video vorgestellte Methodik Forschern helfen kann, neue Einblicke in kollaborative Prozesse zu gewinnen.

Vielen Dank für das Ansehen dieses Videos und zögern Sie nicht, auf das Papier für weitere Informationen zu verweisen.