Een methodologie voor het vastleggen van gezamenlijke visuele aandacht met behulp van mobiele Eye-trackers

Hallo, mijn naam is Bertrand Schneider en ik ben assistent-professor aan de Harvard Graduate School of Education. In deze video ga ik jullie laten zien hoe we mobiele eye-trackers kunnen gebruiken om een centrale constructie vast te leggen in sociale wetenschap, gezamenlijke visuele aandacht. Gezamenlijke visuele aandacht is uitgebreid bestudeerd door psychologen en is nauw gecorreleerd aan de kwaliteit van de interacties tussen groepsleden.

Het blijkt dat wanneer mensen bouwen een gemeenschappelijke grond en het creëren van een gedeeld begrip van een taak, ze de neiging om vaak te kijken naar dezelfde plaats op hetzelfde moment. Traditioneel hebben onderzoekers gezamenlijke visuele aandacht kwalitatief bestudeerd door video's handmatig te coderen. Ik ga je laten zien hoe we mobiele eye-trackers kunnen gebruiken om een kwantitatieve maat van deze constructie te krijgen in co-located instellingen.

In deze video gebruiken we de Tobii Pro Glasses Two. Deze bril zijn draagbare eye-trackers die oogbewegingen kunnen vangen in real-world omgevingen. Naast gespecialiseerde camera's op het frame om oogbewegingen te volgen, is het apparaat ook uitgerust met een full-HD-scènecamera en een microfoon, zodat het blikgedrag kan worden gevisualiseerd in de context van het gezichtsveld van de drager.

Voor deze bril wordt de blik 50 keer per seconde vastgelegd en kan een live video-feed van de bril draadloos of via een ethernetkabel naar een computer worden gestreamd. De bril heeft wel een beperking, omdat ze niet zullen werken over gewone brillen. De procedure voor het opzetten van de eye-tracker is relatief eenvoudig.

Eerst wordt de deelnemers gevraagd om de eye-tracking bril op te zetten, omdat ze een normale bril zouden hebben. Op basis van de verschillende gelaatstrekken van de deelnemers, neus stukken met verschillende hoogtes kan nodig zijn om de kwaliteit van de gegevens te behouden. Na het inschakelen van eye-tracker, moeten de deelnemers de gegevensverzamelingseenheid aan hun personen vastknaten om ongebreidelde lichaamsbewegingen mogelijk te maken.

De Tobii Pro-brilregelaar moet worden geopend en de deelnemers moeten worden geïnstrueerd om te kijken naar het midden van de kalibratiemarkering van Tobii, terwijl de kalibratiefunctie van de software is ingeschakeld. Zodra de kalibratie is voltooid, kan de opname worden gestart vanuit de software. Nadat de opnamesessie is voltooid, beëindigt u de opname van de Tobii-software voordat u de deelnemer instrueert om de oogtrackingbril en de eenheid voor het verzamelen van gegevens te verwijderen.

En zet dan het apparaat uit. Gegevens kunnen worden geëxtraheerd via een andere software, Tobii Pro Lab, door de SD-kaart uit de gegevensverzamelingseenheid te verwijderen en de kaart op de computer in te voegen. Tobii Pro Lab is in staat om alle opnamesessies die in de SD-kaart zijn opgeslagen tegelijkertijd te importeren.

Bestanden kunnen vervolgens worden verwerkt binnen Tobii Pro Lab om video's, verschillende visualisaties te genereren of worden uitgevoerd als door tabbladen gescheiden waarden of TSV-bestanden voor verdere analyse. Hier ziet u de ruwe eye-tracking gegevens van een studie die we onlangs hebben uitgevoerd, waar twee deelnemers leerden om een robot te programmeren. Aan elke kant zie je de videostream gegenereerd door elke eye-tracker met de locatie van de blik van de deelnemer.

Zoals u zien, is het onmogelijk om te zeggen of ze kijken naar dezelfde plaats op hetzelfde moment, omdat het standpunt van elke deelnemer is anders. Bovendien kan het opnemen van gegevens op verschillende tijdstippen beginnen. Dit betekent dat de gegevens tijdelijk en ruimtelijk moeten worden gesynchroniseerd.

Ik ga je laten zien hoe je deze twee problemen aanpakt in deze video. Eerst ga ik een procedure beschrijven om de gegevens tijdelijk te synchroniseren. Voor de eerste deelnemer heb je een bepaald aantal videoframes.

Sommigen van hen zijn voor of na de werkelijke experimentele taak. Zoals het eerste frame, waar de experimentator de eye-tracker kalibeert. Ook voor de andere deelnemers heb je dezelfde soort gegevens.

Het wordt hier niet getoond, maar elk frame van de video is ook gekoppeld aan een x en y coördinaat dat de blik van elke deelnemer vertegenwoordigt. Om de gegevens te synchroniseren, tonen we kort een fiduciale markering op het computerscherm voor en na de experimentele taak. Door gebruik te maken van een computer vision algoritme, kunnen we detecteren wanneer deze marker wordt gepresenteerd aan elke deelnemer, die ons in staat stelt om bij te snijden en uit te lijnen van de gegevens.

Dit is een manier om problemen met gegevenssynchronisatie aan te pakken. In de volgende delen gaan we kijken naar het tweede nummer:Hoe de gegevens ruimtelijk te synchroniseren. Zoals eerder vermeld, de gegevens is afkomstig van elke eye-tracker in de vorm van een video-feed in verband met de locatie van de blik van elke deelnemer, hier in blauw en groen.

Hoewel de x- en y-coördinaten voor beide deelnemers hetzelfde kunnen zijn, betekent dit niet dat ze naar dezelfde plaats kijken omdat ze vanuit twee verschillende perspectieven naar het scherm kijken. Een manier om dit probleem op te lossen is het bouwen van een afbeelding van de experimentele setup die zal dienen als referentie, en waar we gaan om de locatie van de zaak van elke deelnemer opnieuw in kaart te brengen. Dit stelt ons in staat om te detecteren voor elk frame van de eye-tracking video, als de deelnemers kijken naar dezelfde plaats op hetzelfde moment.

Maar hoe brengen we deze coördinaten opnieuw in kaart in de afbeelding aan de linkerkant? We gaan hetzelfde coöperatieve visiealgoritme gebruiken waarmee we de gegevens eerder konden synchroniseren. Door het toe te passen op elk frame van de video-opnamen, kunnen we nu de locatie van de fiduciale markers vanuit het perspectief van de deelnemers detecteren.

Hierdoor kunnen we dezelfde markeringen op de referentieafbeelding aan de linkerkant verbinden. Door de coördinaten van deze gedeelde reeks punten te kennen, kunnen we de locatie van de blik van elke persoon afleiden met behulp van een wiskundige bewerking die bekend staat als een homografie. Door deze procedure op elk frame toe te passen, kunnen we een video genereren om ervoor te zorgen dat de homografie werkt.

Aan de rechterkant ziet u de video-opname van elke deelnemer met de locatie van hun blik in blauw en groen. Dezelfde fiduciale markeringen zijn verbonden met een witte lijn tussen de afbeelding aan de linkerkant en het standpunt van de deelnemer aan de rechterkant. De hersluipen worden links getoond en ze worden rood als er enige gezamenlijke visuele aandacht is.

Het genereren van deze video is een belangrijke stap in de richting van ervoor te zorgen dat de gegevens schoon is en dat de homografie correct werd uitgevoerd. Daarnaast zijn er twee andere visualisaties die kunnen worden geproduceerd om de gegevens te controleren. De eerste visualisatie is een heat map.

Voor elke deelnemer kunnen we elk blikpunt op het beeld van de experimentele opstelling in kaart brengen. Dit zorgt ervoor dat de homografie correct werkte en stelt ons in staat om deze case points te categoriseren in verschillende gebieden van belang. Hier, bijvoorbeeld, kunnen we zien dat de meeste van de tijd werd besteed aan het kijken naar het computerscherm en zeer weinig tijd werd besteed aan het bekijken van de cheat sheets.

De tweede visualisatie wordt een grafiek voor herhaling van kruis. Cross recurrence grafieken stelt ons in staat om eye-tracking gegevens te visualiseren voor paar deelnemers. Tijd voor de eerste deelnemer wordt weergegeven op de x-as, tijd voor de tweede deelnemer wordt weergegeven op de y-as.

Zwarte vierkanten betekenen dat beide deelnemers op dezelfde plaats kijken, wit vierkant vertegenwoordigen ontbrekende gegevens en grijs vierkant vertegenwoordigen wanneer deelnemers op verschillende locaties kijken. Zwarte vierkanten langs de diagonaal betekenen dat ze op dezelfde plaats op hetzelfde moment kijken. Zwarte vierkanten van de diagonaal betekenen dat de deelnemers kijken naar dezelfde plaats, maar op verschillende tijdstippen.

Aan de linkerkant zie je een dyad met hoge niveaus van gezamenlijke visuele aandacht. In het midden, een dyad met lage niveaus van gezamenlijke visuele aandacht. Aan de rechterkant, een groep met veel ontbrekende gegevens.

Door deze geestelijke gezondheidscontroles uit te voeren, u ervoor zorgen dat u uw gegevens correct hebt gesynchroniseerd en opnieuw hebt toegewezen in een gemeenschappelijk beeld van de experimentele installatie. Deze stappen zijn van cruciaal belang en moeten worden uitgevoerd voordat een analyse plaatsvindt. Ten slotte zijn er twee parameters die moeten worden gekozen voordat u een maat voor gezamenlijke visuele aandacht.

De eerste parameter is het tijdvenster waarin deelnemers naar dezelfde locatie kunnen kijken. Eerder werk van Richardson en Dale had vastgesteld dat het kan tot twee seconden duren voor de deelnemers los te maken van wat ze doen om aandacht te besteden aan wat hun partner doet. Zo hebben we vastgesteld dat er gezamenlijke visuele aandacht als twee deelnemers hebben gekeken naar dezelfde plaats binnen een plus en min twee tweede venster.

De tweede parameter is de minimale afstand tussen twee blikpunten voor hen te kwalificeren als gezamenlijke visuele aandacht. Deze afstand is contextafhankelijk en moet door onderzoekers worden bepaald, afhankelijk van de taak die wordt beheerd en hun onderzoeksvragen. Voor sommige taken kan de afstand kort zijn.

Hier gebruikten we bijvoorbeeld 100 pixels. Voor andere taken kan deze afstand groter zijn. Vervolgens ga ik een aantal resultaten gevonden met behulp van deze methode te presenteren.

Nadat u een schatting hebt gemaakt voor de hoeveelheid gezamenlijke visuele aandacht in de groep, u deze maatregel correleren met andere interessevariabelen. In het werk hebben we deze maatregel bijvoorbeeld gecorreleerd met het beoordelingsschema dat is ontwikkeld tot leerwetenschappen die een groep kwaliteit van samenwerking vastlegt. Voor elke groep hebben we een score toegewezen op de negens van de hier gepresenteerde dimensies.

Bijvoorbeeld hoe goed mensen wederzijds begrip hebben behouden of hoe gemakkelijk ze een consensus bereikten. Deze scores moeten aanvaardbare interbetrouwbaarheid met een ander quotum ontvangen. Ten slotte kunnen we deze scores ook samenvoegen tot één algemene statistiek die de kwaliteit van de samenwerking voor elke groep benadert.

Een resultaat dat is gevonden in ons werk en andere studies is dat gezamenlijke visuele aandacht is aanzienlijk gecorreleerd met de kwaliteit van de samenwerking, zoals gemeten door de rating regeling eerder gepresenteerd. Groepen die zeer worden beoordeeld met behulp van deze codering regeling hebben de neiging om meer gezamenlijke visuele aandacht dan de groepen die lage scores ontvangen hebben. Dit toont aan dat productieve interacties vaak geassocieerd worden met meer gezamenlijke visuele aandacht.

Op de volgende dia ga ik je een ander resultaat laten zien dat voortbouwt op deze bevinding. Een voordeel van het hebben van fijne eye-tracking data is dat we andere metingen van gezamenlijke visuele aandacht kunnen extraheren. We kunnen bijvoorbeeld berekenen wie een aanbod van gezamenlijke visuele aandacht heeft geïnitieerd en beantwoord.

In het bijzonder, op de x-as van deze grafiek de score van nul betekent gelijke verdeling van deze gedragingen en een score van een betekent dat een persoon altijd reageerde of het initiëren van momenten van join visuele aandacht. In deze studie vonden we een omgekeerde correlatie met leerwinsten getoond op de y-as zoals gemeten door pre- en post-tests. Groepen waar dezelfde persoon consequent aan het initiëren was of reageerde op momenten van gezamenlijke visuele aandacht, hadden minder kans om te leren en groepen waar deze verantwoordelijkheid gelijkelijk werd gedeeld, scoorden eerder hoger op de posttests bij het controleren van scores op de pre-test.

In deze video heb ik de methodologie gepresenteerd die onderzoekers helpt bij het synchroniseren van mobiele eye-tracking gegevens, zowel tijdelijk als ruimtelijk. De bevindingen suggereren dat dubbele eye-tracking gegevens indicatoren van samenwerking kunnen bieden door het berekenen van metingen van gezamenlijke visuele aandacht. Daarnaast heb ik resultaten gepresenteerd waaruit blijkt dat we verder kunnen gaan dan eenvoudige maatregelen van gezamenlijke aandacht, bijvoorbeeld door te kijken naar wie een episode van gezamenlijke visuele aandacht heeft geïnitieerd of gereageerd.

We stelden vast dat deze maatregel verband hield met andere uitkomstmaatregelen, zoals leerwinsten. Het berekenen van dit soort maatregelen zou niet mogelijk zijn zonder eye-tracking gegevens. Samengevat, vonden we dat de methodologie gepresenteerd in deze video kan onderzoekers helpen om nieuwe inzichten in collaboratieve processen.

Dank je wel voor het bekijken van deze video en voel je vrij om te verwijzen naar de krant voor meer informatie.