Een methodologie voor het vastleggen van gezamenlijke visuele aandacht met behulp van mobiele Eye-trackers

Summary

Het gebruik van multimodale sensoren is een veelbelovende manier om de rol van sociale interacties in educatieve instellingen te begrijpen. In dit artikel wordt een methodologie beschreven voor het vastleggen van gezamenlijke visuele aandacht van de door de co-gebaseerde dyads met mobiele Eye-trackers.

Abstract

Met de komst van nieuwe technologische ontwikkelingen, is het mogelijk om sociale interacties te bestuderen op een microniveau met ongekende nauwkeurigheid. Hoogfrequente sensoren, zoals oogtrackers, electrodermale activiteit polsbandjes, EEG-banden en bewegingssensoren zorgen voor waarnemingen op het milliseconde niveau. Dit niveau van precisie stelt onderzoekers in staat om grote datasets op sociale interacties te verzamelen. In dit artikel bespreek ik hoe meerdere Eye-trackers een fundamentele constructie kunnen vastleggen in sociale interacties, gezamenlijke visuele aandacht (JVA). JVA is bestudeerd door ontwikkelings psychologen om te begrijpen hoe kinderen taal verwerven, wetenschappers leren begrijpen hoe kleine groepen van lerenden samenwerken, en sociale wetenschappers om interacties in kleine teams te begrijpen. In dit artikel wordt een methodologie beschreven voor het vastleggen van JVA in instellingen die zijn gemaakt met Mobile Eye-trackers. Het presenteert een aantal empirische resultaten en bespreekt de implicaties van het vastleggen van micro observaties om sociale interacties te begrijpen.

Introduction

JVA is in de afgelopen eeuw uitgebreid bestudeerd, vooral door ontwikkelings psychologen die taalverwerving bestuderen. Het werd al snel vastgesteld dat gezamenlijke aandacht meer is dan alleen een manier om woorden te leren, maar eerder een voorloper van kinder theorieën van geest¹. Zo speelt het een belangrijke rol in veel sociale processen, zoals communiceren met anderen, samenwerken en empathie ontwikkelen. Autistische kinderen, bijvoorbeeld, hebben geen mogelijkheid om hun visuele aandacht te coördineren met hun verzorgers, die gepaard gaat met significante sociale beperkingen². Mensen hebben gezamenlijke aandacht nodig om functionele leden van de samenleving te worden, hun acties te coördineren en van anderen te leren. Van kinderen die hun eerste woorden verwerven, tieners die leren van school docenten, studenten die samenwerken aan projecten, en groepen volwassenen die naar gemeenschappelijke doelen werken, is gezamenlijke aandacht een fundamenteel mechanisme om gemeenschappelijke grond te creëren tussen individuen³. In dit artikel concentreer ik me op de studie van JVA in educatief onderzoek. Inzicht in hoe gezamenlijke aandacht zich in de loop van de tijd ontvouwt, is van primair belang voor de studie van collaboratieve leerprocessen. Als zodanig speelt het een overheersende rol in de socio-constructivistische instellingen.

De precieze definitie van gezamenlijke aandacht wordt nog steeds besproken⁴. Dit artikel heeft betrekking op een subconstructie van gezamenlijke aandacht (JA), namelijk JVA. JVA gebeurt wanneer twee onderwerpen op hetzelfde moment op dezelfde plaats kijken. Opgemerkt moet worden dat JVA geen informatie verstrekt over andere belangrijke constructies van belang in de studie van JA, zoals het monitoren van gemeenschappelijke, wederzijdse en gedeelde aandacht, of meer in het algemeen, bewustzijn van de cognitie van een ander groepslid. Dit papier operationaliseert en vereenvoudigt JVA door het combineren van de eye-tracking-gegevens van twee deelnemers en het analyseren van de frequentie waarin ze uitlijnen hun Gazes. Voor een uitgebreidere bespreking kan de geïnteresseerde lezer meer te weten komen over de studie van de JA construct in Siposovaet al.⁴.

De afgelopen tien jaar hebben technologische ontwikkelingen het onderzoek naar JVA radicaal getransformeerd. De belangrijkste paradigmaverschuiving was het gebruik van meerdere oogtrackers om kwantitatieve metingen van Attentional overeenstemmingen te verkrijgen, in tegenstelling tot het kwalitatief analyseren van video-opnames in een laboratorium of ecologische omgeving. Deze ontwikkeling heeft onderzoekers in de mogelijkheid gegeven om precieze, gedetailleerde informatie over de visuele coördinatie van dyads te verzamelen. Bovendien zijn Eye-trackers steeds betaalbaarder: tot voor kort was het gebruik ervan voorbehouden aan academische instellingen of grote corporaties. Het is nu mogelijk om goedkope Eye-trackers te kopen die betrouwbare datasets genereren. Tot slot suggereert de geleidelijke opname van Gaze-tracking mogelijkheden in bestaande apparaten zoals high-end laptops en virtuele en augmented reality Headsets dat oogtracering binnenkort alomtegenwoordig zal worden.

Vanwege de popularisering van Eye-tracking-apparaten, is het belangrijk om te begrijpen wat ze kunnen en kunnen we ons niet vertellen over sociale interacties. De in dit document gepresenteerde methodologie markeert een eerste stap in deze richting. Ik wil twee uitdagingen aanpakken bij het vastleggen van JVA vanuit meerdere oogtrackers: de gegevens op 1 synchroniseren) de temporele schaal, en 2) op de ruimtelijke schaal. Specifieker, dit protocol maakt gebruik van fiducial markers geplaatst in Real-World omgevingen om computer vision algoritmen waar deelnemers oriënteren hun blik te informeren. Dit nieuwe soort methodologie effent de weg naar een grondige analyse van het menselijk gedrag in kleine groepen.

Dit onderzoeksprotocol voldoet aan de richtlijnen van de ethische commissie Human Research van Harvard University.

Protocol

1. screening van deelnemers

1. Zorg ervoor dat deelnemers met een normaal of gecorrigeerd normaal zicht worden gerekruteerd. Omdat de deelnemers worden gevraagd om een mobiele Eye-Tracker te dragen, kunnen ze contactlenzen dragen, maar niet regelmatige brillen.

2. voorbereiding van het experiment

1. Eye-tracking-apparaten
   1. Gebruik elke mobiele Eye-Tracker die in Real-World omgevingen oogbewegingen kan vastleggen.
      Opmerking: de mobiele Eye-trackers die hier worden gebruikt, waren twee Tobii Pro Glasses 2 (Zie tabel met materialen). Naast gespecialiseerde camera's die oogbewegingen kunnen volgen, zijn de brillen ook uitgerust met een HD-scène camera en een microfoon, zodat de blik kan worden gevisualiseerd in de context van het gezichtsveld van de gebruiker. Deze glazen vastleggen blik gegevens 50 keer per seconde. Andere onderzoekers hebben ASL Mobile Eye⁵, SMI⁶of pupil-Labs⁷gebruikt, die allemaal videostreams van de scène camera en oogtracerings coördinaten bieden bij verschillende bemonsteringsfrequenties (30 – 120 Hz). De onderstaande procedure kan enigszins afwijken met andere eye-tracking-apparaten.
2. Fiducial markers
   1. De twee onderstaande stappen (d.w.z. temporele en ruimtelijke overeenstemmingen) vereisen het gebruik van fiducial markers. Er zijn verschillende computer vision-bibliotheken die onderzoekers voorzien van deze markers en algoritmen om ze te detecteren op een afbeelding of video-feed. Het beschreven protocol maakt gebruik van de Chilitag Library⁸.
3. Tijdelijke uitlijning
   1. Omdat de oogtracerings gegevens worden vastgelegd op twee afzonderlijke eenheden, moet u ervoor zorgen dat de gegevens correct worden gesynchroniseerd (Figuur 1). Er kunnen twee hoofdmethoden worden gebruikt. Dit manuscript behandelt alleen de eerste methode, omdat Serversynchronisatie anders werkt met elk merk van de mobiele Eye-Tracker.
      1. Toon kort een fiducial marker op een computerscherm om het begin en het einde van een sessie te markeren. Dit is vergelijkbaar met een visuele "hand-clap" (Figuur 2).
      2. U ook een server gebruiken om de klokken van de twee gegevensverzamelings eenheden te synchroniseren. Deze methode is iets nauwkeuriger en wordt aanbevolen als een hogere temporele nauwkeurigheid vereist is.
4. Ruimtelijke uitlijning
   1. Om te zien of twee deelnemers tegelijkertijd op dezelfde plaats kijken, moeten ze hun kijkt aan een gemeenschappelijk vliegtuig toewijzen. Dit vlak kan een beeld zijn van de experimentele instelling (Zie de linkerzijde van Figuur 3). Ontwerp deze afbeelding zorgvuldig voor het experiment.
   2. Grootte van de fiducial markers: de algemene grootte van de fiducial markers is afhankelijk van het algoritme dat wordt gebruikt om ze te detecteren uit de eye-tracking video. Oppervlakken in de buurt van de deelnemers kunnen kleinere fiducial markers hebben, terwijl oppervlakken die verder van hen verwijderd moeten groter zijn, zodat ze lijken op het perspectief van de deelnemers. Probeer vooraf verschillende grootten om ervoor te zorgen dat ze kunnen worden gedetecteerd van de eye-tracking video.
   3. Aantal fiducial markers: om het proces van het in kaart brengen van blik punten in een gemeenschappelijk vliegtuig succesvol te maken, zorg ervoor dat verschillende fiducial markers zichtbaar zijn vanuit het oogpunt van de deelnemers op een bepaald moment.
   4. Locatie van de fiducial markers: Kadreer relevante aandachtsgebieden met stroken fiducial markers (zie bijvoorbeeld het laptop scherm op afbeelding 3).
5. Voer ten slotte piloten uit om de synchronisatieprocedure te testen en de optimale locatie, grootte en het aantal fiducial-markeringen te bepalen. Eye-tracking Video's kunnen worden verwerkt via een computer vision-algoritme om te zien of de fiducial-markers betrouwbaar worden gedetecteerd.

3. het experiment uitvoeren

1. Instructies
   1. Instrueer de deelnemers om de eye-tracking bril op te zetten omdat ze een normale bril zouden zijn. Op basis van de verschillende gelaatstrekken van de deelnemers moeten neus stukken van verschillende hoogten worden gebruikt om de kwaliteit van de gegevens te behouden.
   2. Laat de deelnemers na het inschakelen van de Eye-Tracker de opname-eenheid aan zichzelf clippen om natuurlijke lichaamsbeweging mogelijk te maken.
2. Kalibratie
   1. Instrueer de deelnemers om te kijken naar het midden van de kalibratie marker geleverd door Tobii terwijl de kalibratiefunctie van de software is ingeschakeld. Zodra de kalibratie is voltooid, kan de opname vanuit de software worden gestart.
   2. Instrueer de deelnemers om de mobiele Eye-trackers niet te verplaatsen na kalibratie. Als ze dat doen, zullen de gegevens waarschijnlijk onnauwkeurig zijn en moet de kalibratieprocedure opnieuw worden uitgevoerd.
3. Data Monitoring
   1. Bewaak het gegevensverzamelingsproces tijdens de studie en zorg ervoor dat de oogtracerings gegevens correct worden verzameld. De meeste mobiele Eye-trackers kunnen voor dit doel een live stream op een afzonderlijk apparaat (bijvoorbeeld een Tablet) leveren.
4. Gegevens exporteren
   1. Nadat de opnamesessie is voltooid, instrueert u de deelnemer om de oogtracerings bril en de gegevensverzamelings eenheid te verwijderen. Schakel het apparaat uit.
   2. Extraheer gegevens met behulp van een andere software, Tobii Pro Lab, door de SD-kaart uit de gegevensverzamelings eenheid te verwijderen die de sessiegegevens importeert. Tobii Pro Lab kan worden gebruikt om de video opnieuw af te spelen, visualisaties te maken en de oogtracerings gegevens te exporteren als door komma's gescheiden (. CSV) of door tabs gescheiden bestanden (. tsv).

4. voor verwerking van de Dual Eye-trackinggegevens

1. Sanity-controle van oogtracering gegevens
   1. Controleer de oogtracerings gegevens visueel na het verzamelen van gegevens. Het is niet ongewoon dat sommige deelnemers ontbrekende gegevens hebben. Sommige specifieke oogfysiologie kan bijvoorbeeld problemen opleveren voor oogvolgalgoritmen, de bril kan tijdens het experiment verschuiven, de software voor het verzamelen van gegevens kan vastlopen, enz.
   2. Gebruik beschrijvende statistieken om te controleren hoeveel gegevens verloren zijn gegaan tijdens elke sessie en om sessies met aanzienlijke hoeveelheden ontbrekende of lawaaierige gegevens uit te sluiten.
2. Tijdelijke uitlijning
   1. Trim de gegevens van elke mobiele Eye-Tracker om alleen interacties tussen de deelnemers op te nemen. Dit kan worden bereikt met behulp van de hierboven beschreven methode (dat wil zeggen, het presenteren van twee speciale fiducial markers aan de deelnemers aan het begin en het einde van de sessie). Deze fiducial markers kunnen vervolgens worden gedetecteerd vanuit de eye-tracking video om de datasets te trimmen.
3. Ruimtelijke uitlijning
   Opmerking: om te detecteren of twee deelnemers tegelijkertijd op dezelfde plaats kijken, is het noodzakelijk om de blik van de deelnemers op een gemeenschappelijk vlak (d.w.z. een afbeelding van de experimentele instelling) opnieuw in kaart te brengen. Een rekenkundige methode om dit doel te bereiken is een homo grafie (d.w.z. een perspectieftransformatie van een vlak). Vanuit technisch oogpunt zijn twee beelden van hetzelfde vlakke oppervlak in de ruimte gerelateerd aan een homo grafie matrix. Op basis van een gemeenschappelijke reeks punten kan deze matrix worden gebruikt om de locatie van extra punten tussen twee vlakken af te leiden. In Figuur 3, bijvoorbeeld, als een computer vision-algoritme weet waar de fiducial markers op het hand-out zijn, kan het de blik van de deelnemer op het gemeenschappelijke vlak aan de linkerkant opnieuw toewijzen. De witte lijnen verbinden de twee sets punten die worden gedeeld door de videofeed van elke deelnemer en de scène, die vervolgens worden gebruikt voor het bouwen van de homo grafie om de groene en blauwe stippen aan de linkerkant opnieuw in kaart te brengen.
   1. Gebruik de python-versie van OpenCV, bijvoorbeeld om de homo grafie matrix van de fiducial markers te berekenen en vervolgens de oogtracerings gegevens opnieuw toe te passen op de scène van de experimentele setting (of een andere geschikte bibliotheek in uw taal naar keuze). Opencv biedt twee handige functies: findhomography () om de homo grafie matrix te krijgen, en perspectivetransform() om het punt van het ene perspectief naar het andere te transformeren.
   2. Om Findhomography ()te gebruiken, voert u twee argumenten uit: de X-, Y-coördinaten van de bron punten (d.w.z. de fiducial-markeringen die zijn gedetecteerd uit de scène video van de deelnemers, weergegeven aan de rechterkant in Figuur 3) en de corresponderende bestemmingspunten (d.w.z. dezelfde fiduciaire markeringen die zijn gedetecteerd op het scène beeld, links in Figuur 3)
   3. Voer de resulterende homografische matrix in de functie Perspectivetransform () , samen met een nieuw punt dat van de bronafbeelding moet worden toegewezen aan de doelafbeelding (bijvoorbeeld de oogtracerings gegevens die worden weergegeven als een blauwe/groene stip aan de rechterkant van Figuur 3). De functie Perspectivetransform retourneert de nieuwe coördinaat van hetzelfde punt op de scène afbeelding (d.w.z. de blauwe/groene stippen die aan de linkerzijde van Figuur 3worden weergegeven).
      Opmerking: voor meer informatie biedt de officiële documentatie van OpenCV voorbeeldcode en voorbeelden voor het implementeren van de homografie: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
4. Sanity controle van de homografie
   1. Voltooi sectie 4,3 voor de hele sessie en voer een homo grafie uit op elk frame van de mobiele eye-tracking video om de kwaliteit van de homo grafie te controleren. Hoewel er geen geautomatiseerde manieren zijn om de nauwkeurigheid van de resulterende oogtracerings gegevens te schatten, moeten Video's zoals die in Figuur 4 worden gebruikt om elke sessie handmatig te Sanity controleren.
   2. Als de kwaliteit lager is dan verwacht, overweeg dan aanvullende parameters om de resultaten van de homo grafie te verbeteren:
      1. Aantal gevonden fiducial markers: Voer alleen de homografie uit als er genoeg fiducial markers kunnen worden gedetecteerd uit de videostream. Dit nummer kan worden bepaald door de hierboven geproduceerde video te onderzoeken.
      2. Locatie van de fiducial markers: als verschillende markeringen zich op verschillende diepten en oriëntaties bevinden, neemt de kwaliteit van de homo grafie meestal toe wanneer de markeringen die het dichtst bij de blik coördinaten zijn geselecteerd, gezien het feit dat er voldoende markeringen zijn om een robuuste homografie.
      3. Oriëntatie van de fiducial markers: het combineren van fiducial markers met verschillende oriëntaties (bijv. horizontaal en verticaal) zal onjuiste homo grafieën produceren. Het wordt aanbevolen om eerst te detecteren welk vlak of gebieden van interesses (AOIs) de deelnemer naar kijkt (bijv. het computerscherm, de Cheat Sheet, de tabel, Zie Figuur 3) en gebruik vervolgens de fiducial markers op dit vlak voor de homografie.
      4. Kwaliteit van de videostream: plotselinge hoofdbewegingen kunnen videoframes vervagen en de gegevens onbruikbaar maken, omdat fiducial markers niet betrouwbaar kunnen worden gedetecteerd (Figuur 4). De methodologie van dit papier is niet geschikt voor experimenten die veel plotselinge hoofdbewegingen inhouden.

5. analyse van de Dual Eye-trackinggegevens

1. Ontbrekende gegevens
   1. Om ervoor te zorgen dat de gegevens naar behoren zijn toegewezen aan de referentieafbeelding, produceert u visualisatie grafieken (bijvoorbeeld Figuur 5, Figuur 6) en beschrijvende statistieken om te controleren hoeveel gegevens er ontbreken.
2. Grafieken voor cross-herhaling
   1. Gebruik grafieken met meerdere herhalingen⁹ om visuele synchronisatie tussen twee deelnemers weer te geven (Figuur 6), waarbij de X-as tijd voor de eerste deelnemer vertegenwoordigt en de Y-as tijd voor de tweede deelnemer vertegenwoordigt. Zwarte vierkantjes geven aan dat de deelnemers naar hetzelfde gebied kijken, een zwarte diagonale lijn beschrijft twee onderwerpen die op exact hetzelfde moment naar hetzelfde kijken en zwarte vierkantjes van de diagonale lijn worden beschreven wanneer twee onderwerpen op hetzelfde moment met een vertraging kijken. Ten slotte helpt het differentiëren tussen ontbrekende gegevens (wit vierkant) en bestaande gegevens zonder JVA (Grijze vierkantjes) om problematische sessies te identificeren. Dit biedt onderzoekers een visuele Sanity controle.
3. Computing JVA
   1. Na het filteren op ontbrekende gegevens, berekenen van een metrische waarde voor JVA door het tellen van het aantal keren dat de kijkt van deelnemers zich in dezelfde straal in de scène (hieronder gedefinieerd) in een-2/+ 2 s tijdvenster. Verdeel dit getal door het aantal geldige gegevenspunten dat kan worden gebruikt om JVA te berekenen. Het resultaat van de divisie vertegenwoordigt het percentage van de tijd dat twee onderwerpen gezamenlijk op dezelfde plaats kijken. Deze laatste stap is nodig om te voorkomen dat het opblazen van de scores van groepen met meer gegevens na de homo grafie.
      Opmerking: twee parameters moeten worden ingesteld voordat JVA kan worden berekend, de minimale afstand tussen twee blik punten en het tijdsvenster daartussen (Figuur 7): 1) tijdvenster: een vroege fundamentele studie¹⁰ gebruikte een enkele Eye-Tracker om JVA tussen een luisteraar en een spreker te meten. De onderzoekers vroegen een eerste set deelnemers ("Speakers") om te praten over een televisieshow waarvan de personages werden getoond voor hen. Een tweede reeks deelnemers ("listeners") keek vervolgens naar dezelfde show terwijl ze luisterde naar audio-opnames van de speakers. De oogbewegingen van de speakers en luister heren werden vergeleken, en er werd vastgesteld dat de oogbewegingen van een luisteraar nauw overeenkwamen met de oogbeweging van een spreker met een vertraging van 2 sec. In het daaropvolgende werk analyseerden¹¹ onderzoekers Live dialogen en ontdekten dat een vertraging van 3 s beste gevangen momenten van JVA. Omdat elke taak uniek is en mogelijk verschillende tijdvertragingen vertoont, wordt ook voorgesteld om te verkennen hoe verschillende tijdvertragingen invloed hebben op de resultaten van een bepaald experiment. Over het algemeen is het gebruikelijk om te zoeken naar JVA in een tijdvenster van ± 2/3 s, afhankelijk van de experimentele taak en vervolgens te onderzoeken hoe verschillende tijdvertragingen de resultaten kunnen wijzigen. 2) afstand tussen kijkt: er is geen empirisch gedefinieerde afstand tussen twee kijkt voor hen te tellen als JVA. Deze afstand is afhankelijk van de onderzoeksvragen die door de onderzoekers zijn gedefinieerd. De onderzoeksvragen moeten de omvang van de doelstellingen van belang stellen. In het voorbeeld in Figuur 7werd een straal van 100 pixels op het scène beeld (blauwe/groene cirkels) gekozen voor de analyse, omdat het volstaat om vast te leggen wanneer deelnemers naar de robot in het doolhof kijken, evenals op vergelijkbare gebruikersinterface-elementen op het computerscherm, die de twee belangrijkste gebieden van belang zijn voor deze experimentele taak.

Representative Results

De hierboven gepresenteerde methodologie werd gebruikt om studenten te bestuderen die een beroepsopleidingsprogramma in logistiek volgen (n = 54)¹². In dit experiment, paren van studenten interactie met een tastbare gebruikers interface (TUI) die een kleinschalige magazijn gesimuleerd. De fiducial markers geplaatst op de TUI konden het onderzoeksteam de kijkt van studenten opnieuw toewijzen aan een gemeenschappelijk vliegtuig en reken niveaus van JVA. Bevindingen gaven aan dat groepen die hogere niveaus van JVA hadden, de neiging hadden om beter te doen bij de taak die ze kregen, leerden meer en hadden een betere kwaliteit van samenwerking¹³ (Figuur 8, linker kant). Met dubbele Eye-trackinggegevens sets konden we ook bepaalde groepsdynamiek vastleggen, zoals het Free-Rider-effect. We hebben dit effect geschat door te identificeren wie waarschijnlijk elk moment van JVA zou hebben geïnitieerd (d.w.z., wiens blik er eerst was) en die daarop reageerden (d.w.z. wiens blik er een seconde was). We vonden een belangrijke correlatie tussen leer winsten en de neiging van studenten om even de verantwoordelijkheid te delen van het initiëren en reageren op aanbiedingen van JVA. Met andere woorden, groepen waarin dezelfde persoon altijd de momenten van JVA inzette, waren minder geneigd om te leren (Figuur 8, rechterkant) en groepen waar deze verantwoordelijkheid gelijkelijk werd gedeeld, hadden meer kans om te leren. Deze bevinding toont aan dat we verder kunnen gaan dan alleen het kwantificeren van JV, en eigenlijk identificeren van de groep dynamiek en productiviteit met behulp van Dual Eye-trackinggegevens.

Figuur 1: elke deelnemer genereert twee videofeeds met de X, Y-coördinaten van hun blik op elk videoframe. Deze methodologie behandelt het synchroniseren van de gegevens tijdelijk en ruimtelijk tussen de deelnemers. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 2: een methodologie voor het synchroniseren van de twee gegevenssets. Toon kort de unieke fiducial marker op een computerscherm om de start en het einde van de activiteit te taggen. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 3: gebruik van fiducial markers verspreid in de omgeving om de kijkt van de deelnemers te hertoewijzen aan een gemeenschappelijk plan (linker kant). Witte lijnen geven fiducial-markeringen aan die in beide afbeeldingen zijn gedetecteerd. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 4: voorbeelden van slechte gegevenskwaliteit. Left: een wazig beeld van de eye-tracking video veroorzaakt door een plotselinge hoofd beweging. Fiducial markers kunnen niet worden gedetecteerd in deze afbeelding. Right: een mislukte homografie waarbij de fiducial marker gegevens niet goed werden gesynchroniseerd met de videofeed. Klik hier om een grotere versie van dit cijfer te bekijken.

Afbeelding 5: Heatmaps. Left: een heatmap van de eye-tracking-gegevens die opnieuw op de experimentele scène zijn toegewezen. Deze visualisatie werd gebruikt als een Sanity-controle voor de homografie. Rechts: een groep die te veel ontbrekende gegevens had en moest worden weggegooid. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 6: Kruis herhalings grafiek gegenereerd uit drie dyads om JVA te visualiseren. P1 staat voor de tijd voor de eerste deelnemer, P2 vertegenwoordigt de tijd voor de tweede deelnemer. Zwarte vierkantjes tonen JVA; grijze pleinen tonen momenten waarop deelnemers naar verschillende plaatsen kijken; witte vierkantjes geven ontbrekende gegevens weer. Vierkant langs de hoofddiagonaal geeft momenten aan waar deelnemers tegelijkertijd op dezelfde plaats keken. Deze visualisatie werd gebruikt als een Sanity-controle voor maatregelen van JVA uit de gecombineerde eye-tracking-gegevens. Klik hier om een grotere versie van dit cijfer te bekijken.

Afbeelding 7: een videoframe waar JVA werd aangetroffen tussen twee deelnemers (rode stippen). Richardson et al.¹¹ aanbevelen kijken naar een tijdvenster van +/-2 s. bij het berekenen van JVA. Daarnaast moeten onderzoekers de minimale afstand tussen twee blik punten definiëren om als JVA te tellen. Een straal van 100 pixel werd gekozen op de middelste afbeelding hierboven. Klik hier om een grotere versie van dit cijfer te bekijken.

Figuur 8: voorbeelden van resultaten. Gegevens van Schneider et al.¹² wanneer het percentage tijd dat tegelijkertijd op dezelfde plaats kijkt, werd gecorreleerd met de kwaliteit van de samenwerking van de deelnemers: r (24) = 0,460, p = 0,018 (linkerzijde) en onevenwichtigheden bij het initiëren/reageren op aanbiedingen van JVA was gecorreleerd met hun leer winsten: r (24) = − 0,47, p = 0,02 (rechterkant). Klik hier om een grotere versie van dit cijfer te bekijken.

Discussion

De methodologie die in dit artikel wordt beschreven, biedt een rigoureuze manier om JVA te vangen in op elkaar gelegen dyads. Met de opkomst van betaalbare sensing-technologie en verbeterde computer vision-algoritmen is het nu mogelijk om collaboratieve interacties te bestuderen met een nauwkeurigheid die voorheen niet beschikbaar was. Deze methodologie maakt gebruik van fiducial markers die in de omgeving worden verspreid en gebruikt homografieën als een manier om de kijkt van de deelnemers op een gemeenschappelijk vlak te hertoewijzen. Hierdoor kunnen onderzoekers JVA grondig bestuderen in groepen die zich in een groep bevinden.

Deze methode bevat meerdere Sanity controles die moeten worden uitgevoerd op verschillende punten van het experiment. Omdat dit een ingewikkelde procedure is, moeten onderzoekers ervoor zorgen dat de resulterende gegevenssets volledig en geldig zijn. Ten slotte wordt aanbevolen om proefstudies uit te voeren vóór het eigenlijke experiment, en om de interacties van de deelnemers te reconstrueren, hoewel een video na het verzamelen van de gegevens is voltooid (Figuur 3, Figuur 4, Figuur 5, Figuur 6).

Er zijn verschillende beperkingen in verband met deze methode:

Aantal deelnemers. Hoewel deze methodologie goed werkt voor twee deelnemers, wordt de analyse ingewikkelder met grotere groepen. Fiducial markers kunnen nog steeds worden gebruikt om de kijkt op een grond waarheid te hertoewijzen, maar weten hoe JVA te identificeren wordt een meer genuanceerd proces. Moet JVA worden gedefinieerd als de tijden waarop iedereen op hetzelfde moment naar dezelfde plaats kijkt, of wanneer twee deelnemers op dezelfde plaats staren? Bovendien worden visualisaties zoals de cross-herhaling grafiek onpraktisch met meer dan 2 – 3 personen.

Instellingen te wijzigen. De in dit artikel beschreven methode is geschikt voor kleine, gecontroleerde instellingen (bijv. laboratoriumonderzoek). Open-ended instellingen, zoals buitenshuis of grote ruimtes, zijn meestal te ingewikkeld om te instrumentenmet fiducial markers en kunnen dus het nut van de oogtracerings gegevens beperken. Bovendien kunnen de fiducial markers afleiden en rommel de omgeving. In de toekomst kunnen betere computer vision-algoritmen automatisch veelvoorkomende functies tussen twee perspectieven extraheren. Er zijn al algoritmen die voor dit doel bestaan, maar we constateerden dat het niveau van nauwkeurigheid nog niet acceptabel was voor het type experiment dat hierboven is beschreven.

Aois. Met betrekking tot het bovenstaande punt, computer homografie en de cross-herhaling grafiek werken goed met een stabiel aantal gebieden van belang, maar correcties moeten worden aangebracht bij het vergelijken van verschillende taken met verschillende aantallen gebieden van belang.

Gebruik van apparatuur. Mobiele Eye-trackers kunnen opdringerig zijn, het gedrag van de deelnemers beïnvloeden of niet werken met bepaalde oogfysiologie.

Concluderend, de methodologie beschreven in dit document is een veelbelovende manier om te bestuderen van de cogelegen interacties. Het stelt onderzoekers in staat om een precieze metriek vast te leggen voor JVA, wat een kritieke constructie is in de sociale wetenschappen¹. Daarnaast is het mogelijk om meer fijnkorrelige indicatoren van Collaboratief leren te detecteren via deze methodologie¹² in vergelijking met traditionele kwalitatieve analyses. Kortom, het is een efficiëntere en nauwkeurigere manier om sociale interacties te bestuderen.

Mogelijke toepassing van deze methode omvat het ontwerpen van interventies ter ondersteuning van de samenwerking via real-time eye-tracking-gegevens. Sommige pionierswerk produceerde gedeelde blik visualisaties met behulp van Remote Eye-trackers, waarvan is aangetoond dat ze kunnen profiteren van Collaboratief leren van een afstand¹⁴. Dyads die in real time de blik van hun partner konden zien, vertoonden meer JVA, werkten beter samen en bereikten hogere leer winsten in vergelijking met een controlegroep. In de toekomst zal worden nagegaan of dit soort interventies samenwerkingsprocessen kan ondersteunen in de instellingen die zich bevinden (bijv. via virtuele headsets of augmented reality).

Materials

Name	Company	Catalog Number	Comments
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers	Chili lab – EPFL, Switzerland	N/A	https://github.com/chili-epfl/chilitags