En metod för att fånga gemensam visuell uppmärksamhet med hjälp av mobila Eye-trackers

Summary

Att använda multimodala sensorer är ett lovande sätt att förstå betydelsen av sociala interaktioner i utbildningsmiljöer. Denna uppsats beskriver en metod för att fånga gemensam visuell uppmärksamhet från coplacerade dyader med mobila Eye-trackers.

Abstract

Med tillkomsten av nya teknologiska framsteg, är det möjligt att studera sociala interaktioner på en mikronivå med oöverträffad noggrannhet. Högfrekventa sensorer, såsom ögonspårare, elektrodermala aktivitetsarmband, EEG-band och rörelsesensorer ger observationer på millisekundnivån. Denna precisionsnivå gör det möjligt för forskare att samla in stora datauppsättningar på sociala interaktioner. I detta dokument diskuterar jag hur flera ögonspårare kan fånga en fundamental konstruktion i sociala interaktioner, gemensam visuell uppmärksamhet (JVA). JVA har studerats av utvecklings psykologer för att förstå hur barn förvärvar språk, lär sig forskare för att förstå hur små grupper av elever arbetar tillsammans, och samhällsvetare för att förstå interaktioner i små grupper. Denna uppsats beskriver en metod för att fånga JVA i colokaliserat inställningar med mobila Eye-trackers. Den presenterar några empiriska resultat och diskuterar konsekvenserna av att fånga mikroobservationer för att förstå sociala interaktioner.

Introduction

JVA har studerats under det senaste århundradet, särskilt av utvecklings psykologer som studerar språkinlärning. Det fastställdes snabbt att gemensam uppmärksamhet är mer än bara ett sätt att lära sig ord utan snarare en föregångare till barns teorier om sinne¹. Således spelar den en viktig roll i många sociala processer, som att kommunicera med andra, samarbeta och utveckla empati. Autistiska barn, till exempel, saknar förmågan att samordna sin visuella uppmärksamhet med sina vårdgivare, som är förknippad med betydande sociala funktionsnedsättningar². Människor behöver gemensam uppmärksamhet för att bli funktionella medlemmar i samhället, för att samordna sina handlingar, och att lära av andra. Från barn som förvärvar sina första ord, tonåringar som lär sig av skol lärare, studenter som samarbetar om projekt, och till grupper av vuxna som arbetar mot gemensamma mål, är gemensam uppmärksamhet en grundläggande mekanism för att etablera gemensam grund mellan individer³. I denna uppsats fokuserar jag på studiet av JVA i pedagogisk forskning. Att förstå hur gemensam uppmärksamhet utvecklas med tiden är av största vikt för studiet av samverkande inlärningsprocesser. Som sådan spelar den en dominerande roll i sociokonstruktivistiska inställningar.

Den exakta definitionen av gemensam uppmärksamhet diskuteras fortfarande⁴. Detta dokument handlar om en subkonstruktion av gemensam uppmärksamhet (JA), nämligen JVA. JVA händer när två personer tittar på samma plats samtidigt. Det bör noteras att JVA inte ger någon information om andra viktiga konstruktioner av intresse i studiet av JA, såsom övervakning gemensam, ömsesidig och delad uppmärksamhet, eller mer allmänt, medvetenhet om kognition av en annan gruppmedlem. Det här papperet operationaliserar och förenklar JVA genom att kombinera ögon spårningsdata från två deltagare och analysera hur ofta de anpassar sin Gazes. För en mer omfattande diskussion kan den intresserade läsaren lära sig mer om studiet av JA-konstruktionen i Siposovaet Al.⁴.

Under det senaste decenniet har tekniska framsteg radikalt förändrat forskningen om JVA. Det viktigaste paradigmskiftet var att använda flera Eye-trackers för att få kvantitativa mått av uppmärksamhet anpassningar, i motsats till kvalitativt analysera videoinspelningar i ett laboratorium eller ekologisk miljö. Denna utveckling har gjort det möjligt för forskare att samla in exakt, detaljerad information om dyads visuell koordination. Dessutom, Eye-trackers blir mer överkomliga: tills nyligen var deras användning reserverad för akademiska inställningar eller stora företag. Det är nu möjligt att köpa billiga Eye-trackers som genererar pålitliga DataSet. Slutligen, den progressiva införandet av blick-tracking kapacitet i befintliga enheter som avancerade bärbara datorer och virtuella och Augmented Reality headset tyder på att Eye-tracking kommer snart att bli allestäda.

På grund av popularisering av öga-tracking-enheter, är det viktigt att förstå vad de kan och inte kan berätta om sociala interaktioner. Den metodik som presenteras i detta dokument markerar ett första steg i denna riktning. Jag itu två utmaningar i att fånga JVA från flera Eye-trackers: synkronisera data på 1) den temporala skalan, och 2) på den rumsliga skalan. Mer specifikt, detta protokoll utnyttjar relaterat markörer placerade i verkliga miljöer för att informera algoritmer datorseende där deltagarna orienterar sin blick. Denna nya typ av metodik banar väg för rigorös analys av mänskligt beteende i små grupper.

Detta forskningsprotokoll överensstämmer med riktlinjerna från Harvard Universitys etikkommitté för mänskliga forskningsfrågor.

Protocol

1. screening av deltagare

1. Se till att deltagare med normal eller korrigerad till normal syn rekryteras. Eftersom deltagarna kommer att uppmanas att bära en mobil Eye-Tracker, kan de bära kontaktlinser men inte vanliga glasögon.

2. förberedelse för experimentet

1. Öga-spårande anordningen
   1. Använd valfri mobil Eye-Tracker som kan fånga ögonrörelser i verkliga miljöer.
      Obs: de mobila Eye-trackers som används här var två Tobii Pro glasögon 2 (se tabell över material). Förutom specialiserade kameror som kan spåra ögonrörelser, är glasen också utrustade med en HD scen kamera och en mikrofon så att blicken kan visualiseras i samband med användarens synfält. Dessa glasögon fånga blicken data 50 gånger per sekund. Andra forskare har använt ASL Mobile Eye⁵, SMI⁶, eller elev-Labs⁷, som alla ger videoströmmar från scenen kameran och öga-tracking koordinater vid varierande samplingsfrekvenser (30-120 Hz). Proceduren nedan kan variera något med andra ögon spårningsenheter.
2. Fiducial markörer
   1. De två stegen nedan (dvs., temporala och rumsliga anpassningar) kräver användning av relaterat markörer. Det finns flera datorseende-bibliotek som ger forskarna dessa markörer och algoritmer för att upptäcka dem på en bild eller video feed. Det protokoll som beskrivs använder Chilitag library⁸.
3. Tidsbestämd anpassning
   1. Eftersom ögon spårningsdata registreras på två separata enheter, se till att uppgifterna är korrekt synkroniserade (figur 1). Två huvudsakliga metoder kan användas. Detta manuskript täcker bara den första metoden, eftersom serversynkroniseringen fungerar på olika sätt med varje märke av mobil Eye-Tracker.
      1. Kort Visa en relaterat markör på en datorskärm för att markera början och slutet av en session. Detta liknar en visuell "handklappa" (figur 2).
      2. Du kan också använda en server för att synkronisera klockorna på de två datainsamlings enheterna. Denna metod är något mer exakt och rekommenderas om en högre temporal noggrannhet krävs.
4. Rumslig justering
   1. För att hitta om två deltagare tittar på samma plats på samma gång, mappa sina blickar till ett gemensamt plan. Detta plan kan vara en bild av den experimentella inställningen (se vänster sida av figur 3). Noggrant utforma denna bild före experimentet.
   2. Storleken på de relaterat markörer: den allmänna storleken på de relaterat markörer beror på den algoritm som används för att upptäcka dem från ögat-tracking video. Ytor nära deltagarna kan ha mindre relaterat markörer, medan ytor längre bort från dem måste vara större, så att de ser likadana ut från deltagarnas perspektiv. Prova olika storlekar i förväg för att se till att de kan upptäckas från ögat-tracking video.
   3. Antal relaterat markörer: för att göra processen att kartlägga blickpunkter i ett gemensamt plan framgångsrik, se till att ha flera relaterat markörer synlig från deltagarnas synvinkel vid varje given tidpunkt.
   4. Lokalisering av relaterat markörer: ram relevanta områden av intresse med remsor av relaterat markörer (t. ex., se den bärbara skärmen på bild 3).
5. Slutligen kör piloter för att testa synkroniseringsproceduren och bestämma den optimala platsen, storlek och antal relaterat markörer. Öga-spårande video kanna bli bearbetat igenom en computern syn algoritmen till se om den relaterat märkningarna är tillförlitligt upptäckt.

3. köra experimentet

1. Instruktioner
   1. Instruera deltagarna att sätta på ögat-tracking glasögon som de skulle ett normalt par glasögon. Baserat på deltagarnas distinkta ansiktsdrag kan näs bitar av olika höjder behöva användas för att bevara datakvaliteten.
   2. Efter att ha aktiverat Eye-Tracker, har deltagarna klämma inspelningsenheten för sig själva för att möjliggöra naturliga kroppsrörelser.
2. Kalibrering
   1. Instruera deltagarna att titta i mitten av kalibrerings markören som tillhandahålls av Tobii medan programvarans kalibreringsfunktion är aktiverad. När kalibreringen är slutförd kan inspelningen startas inifrån programvaran.
   2. Instruera deltagarna att inte flytta mobila Eye-trackers efter kalibrering. Om de gör det kommer uppgifterna sannolikt att vara felaktiga och kalibreringsförfarandet måste utföras igen.
3. Data övervakning
   1. Övervaka datainsamlingsprocessen under studien och se till att ögon spårningsdata samlas in på rätt sätt. De flesta mobila Eye-trackers kan tillhandahålla en livestream på en separat enhet (t. ex. en surfplatta) för detta ändamål.
4. Data export
   1. När inspelningssessionen är slutförd instruerar du deltagaren att ta bort ögon spårnings glasögonen och datainsamlings enheten. Stäng av enheten.
   2. Extrahera data med hjälp av en annan programvara, Tobii Pro Lab, genom att ta bort SD-kortet från datainsamlings enheten som importerar sessionsdata. Tobii Pro Lab kan användas för att spela upp videon, Skapa visualiseringar och exportera ögon spårningsdata som kommaseparerade (. csv) eller tabbavgränsade (. tsv) filer.

4. förbehandling av dubbla ögon spårningsdata

1. Sanity kontroll öga-tracking data
   1. Kontrollera öga-tracking data visuellt efter datainsamling. Det är inte ovanligt att vissa deltagare har saknade data. Till exempel kan vissa särskilda ögonfysiologi innebära problem för ögonspårningsalgoritmer, glasögonen kan skifta under experimentet, datainsamlingsprogrammet kan krascha osv.
   2. Använd beskrivande statistik för att kontrollera hur mycket data som förlorades under varje session och utesluta sessioner som har betydande mängder saknade eller bullriga data.
2. Tidsbestämd anpassning
   1. Trimma data från varje mobil Eye-Tracker att endast inkludera interaktioner mellan deltagarna. Detta kan åstadkommas genom att använda den metod som beskrivs ovan (dvs presentera två särskilda relaterat markörer till deltagarna i början och slutet av sessionen). Dessa relaterat markörer kan sedan upptäckas från ögat-tracking video att trimma datauppsättningar.
3. Rumslig justering
   Anmärkning: för att upptäcka om två deltagare tittar på samma plats samtidigt, är det nödvändigt att mappa deltagarnas blick på ett gemensamt plan (dvs. en bild av den experimentella inställningen). En beräkningsmetod för att uppnå detta mål är en homografi (dvs ett perspektiv omvandling av ett plan). Ur ett tekniskt perspektiv, två bilder av samma plana yta i rymden är relaterade av en homography matris. Baserat på en gemensam uppsättning punkter, kan denna matris användas för att härleda placeringen av ytterligare punkter mellan två plan. I figur 3, till exempel, om en datorseende algoritm vet var de relaterat markörer är på åhörar kopie, kan det mappa blicken av deltagaren på det gemensamma planet på vänster sida. De vita linjerna förbinder de två uppsättningar av punkter som delas av video-feed för varje deltagare och scenen, som sedan används för att bygga homography att mappa de gröna och blå prickar på vänster sida.
   1. Använd python-versionen av opencv, t. ex., för att beräkna homography Matrix från relaterat markörer och sedan att mappa öga-tracking data till platsen för den experimentella inställningen (eller något annat lämpligt bibliotek på ditt språk val). Opencv ger två användbara funktioner: findhomography () för att få homography Matrix, och perspectivetransform() för att omvandla den punkt från ett perspektiv till den andra.
   2. För att använda Findhomography (), kör med två argument: X-, Y-koordinaterna för käll punkterna (dvs. de fiduella markörer som upptäckts från deltagarnas scen video, som visas till höger i figur 3) och motsvarande destinationspunkter (dvs. samma fiducialmarkörer som upptäckts på scenbilden, som visas till vänster i figur 3).
   3. Mata in den resulterande homografimatrisen i funktionen Perspectivetransform () , tillsammans med en ny punkt som måste mappas från källavbildningen till målbilden (t. ex. de ögon spårningsdata som visas som en blå/grön prick på höger sida av figur 3). Funktionen Perspectivetransform returnerar den nya koordinaten för samma punkt på scenbilden (d.v.s. de blå/gröna punkterna som visas på vänster sida av figur 3).
      Obs: för mer information, OpenCV officiella dokumentationen ger exempelkod och exempel för att genomföra homography: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
4. Sanity kontroll av homografi
   1. Komplett avsnitt 4,3 för hela sessionen, och utföra en homografi på varje bildruta i den mobila Eye-tracking video för att kontrollera kvaliteten på homography. Även om det finns inga automatiserade sätt att uppskatta riktigheten av de resulterande öga-tracking data, videor som den som visas i figur 4 bör användas för att manuellt Sanity kontrollera varje session.
   2. Om kvaliteten är lägre än väntat, överväga ytterligare parametrar för att förbättra resultaten av homografi:
      1. Antal relaterat markörer upptäcktes: endast utföra homography om tillräckligt med relaterat markörer kan upptäckas från videoströmmen. Detta nummer kan bestämmas genom att undersöka videon som produceras ovan.
      2. Lokalisering av relaterat markörer: om olika markörer är på olika djup och orienteringar, kvaliteten på homografin ökar vanligtvis när markörer närmast blicken koordinaterna väljs, med tanke på att det finns tillräckligt med markörer för att bygga en robust homografi.
      3. Orientering av relaterat markörer: kombinera relaterat markörer som har olika riktningar (t. ex. horisontella och vertikala) kommer att producera Felaktiga homografier. Det rekommenderas att först upptäcka vilket plan eller intresseområden (aois) deltagaren tittar på (t. ex. datorskärmen, lathund, tabellen, se figur 3) och sedan använda relaterat markörer på detta plan för homografi.
      4. Kvaliteten på videoströmmen: plötsliga huvudrörelser kan oskarpa videobildrutor och göra data obrukbar, eftersom relaterat markörer inte kan identifieras på ett tillförlitligt sätt (figur 4). Metoden i detta dokument är inte lämplig för experiment som innebär en hel del plötsliga huvudrörelser.

5. analysera data med dubbla ögonspår

1. Saknade data
   1. För att se till att uppgifterna har ommappats korrekt till referensbilden, skapa visualiserings diagram (t. ex. figur 5, figur 6) och beskrivande statistik för att kontrollera hur mycket data som saknas.
2. Diagram med kors upprepning
   1. Använd kors upprepnings diagram⁹ för att representera visuell synkronisering mellan två deltagare (figur 6), där X-axeln representerar tid för den första deltagaren, och Y-axeln representerar tid för den andra deltagaren. Svarta fyrkanter indikerar att deltagarna tittar på samma område, en svart diagonal linje beskriver två ämnen som tittar på samma sak vid exakt samma tidpunkt, och svarta kvadrater utanför diagonala linjen beskriver när två ämnen som tittar på samma sak med en tidsfördröjning. Slutligen, differentiera mellan saknade data (vit kvadrat) och befintliga data utan JVA (grå kvadrater) hjälper till att identifiera problematiska sessioner. Detta ger forskarna en visuell Sanity kontroll.
3. Computing JVA
   1. Efter filtrering för saknade data, beräkna ett mått för JVA genom att räkna antalet gånger deltagarnas blickar är i samma radie i scenen (definieras nedan) i a-2/+ 2 s tidsfönster. Dividera det här talet med antalet giltiga datapunkter som kan användas för att beräkna JVA. Resultatet av divisionen representerar den procentandel av tiden som två försökspersoner gemensamt tittade på samma plats. Detta sista steg är nödvändigt för att undvika att blåsa upp poängen av grupper med mer data efter homografin.
      Anmärkningar: två parametrar måste ställas in innan JVA kan beräknas, det minimala avståndet mellan två blickpunkter och tidsfönstret mellan dem (figur 7): 1) tidsfönster: en tidig grundläggande studie¹⁰ använde en enda Eye-Tracker för att mäta JVA mellan en lyssnare och en talare. Forskarna frågade en första uppsättning deltagare ("talare") för att tala om en TV-show vars tecken visades framför dem. En andra uppsättning deltagare ("lyssnare") sedan såg samma show medan du lyssnar på ljudinspelning av högtalarna. De ögonrörelser av talare och lyssnare jämfördes, och det konstaterades att en lyssnarens ögonrörelser nära matchade en talare öga rörelse med en fördröjning på 2 s. I efterföljande arbete¹¹ forskare analyserade Live dialoger och fann att en fördröjning på 3 s bäst fångade stunder av JVA. Eftersom varje uppgift är unik och kan uppvisa olika tidsfördröjningar, föreslås det också att undersöka hur olika tidsfördröjningar påverkar resultatet av ett givet experiment. Sammantaget är det vanligt att leta efter JVA i en ± 2/3 s tidsfönster beroende på experimentell uppgift och sedan undersöka hur olika tidsfördröjningar kan ändra resultaten. 2) avstånd mellan blickar: det finns inget empiriskt definierat avstånd mellan två blickar för dem att räknas som JVA. Detta avstånd är beroende av de forskningsfrågor som har definierats av forskarna. Forskningsfrågorna bör informera om storleken på de mål som intresserar sig. I exemplet som ses i figur 7, valdes en radie på 100 pixlar på scenbilden (blå/gröna cirklar) för analysen eftersom det är tillräckligt att fånga när deltagarna tittar på roboten i labyrinten, liksom vid liknande användargränssnittselement på datorskärmen, som är de två huvudsakliga intresseområdena för denna experimentella uppgift.

Representative Results

Den metod som presenteras ovan användes för att studera studenter som följde ett yrkesutbildningsprogram inom logistik (n = 54)¹². I det här experimentet interagerade par av studenter med ett konkret användargränssnitt (TUI) som simulerade ett litet lager. De relaterat markörer placerade på TUI tillät forskargruppen att mappa elevernas blickar på ett gemensamt plan och beräknings nivåer för JVA. Resultaten visade att grupper som hade högre nivåer av JVA tenderade att göra bättre på den uppgift som ges till dem, lärde sig mer, och hade en bättre kvalitet på samarbete¹³ (figur 8, vänster sida). Dual Eye-tracking dataset tillät oss också att fånga viss grupp dynamik som Free-Rider effekt. Vi uppskattade denna effekt genom att identifiera vem som sannolikt hade initierat varje moment av JVA (dvs. vars blick var där först) och som svarade på det (dvs. vars blick var det andra). Vi fann ett betydande samband mellan lärande vinster och elevernas tendens att lika dela ansvaret för att initiera och svara på erbjudanden om JVA. Med andra ord, grupper där samma person alltid initierat stunder av JVA var mindre benägna att lära (figur 8, höger sida) och grupper där detta ansvar var lika delad var mer benägna att lära. Detta konstaterande visar att vi kan gå längre än att bara kvantifiera JV, och faktiskt identifiera gruppdynamik och produktivitet med hjälp av Dual Eye-tracking data.

Bild 1: varje deltagare genererar två videoflöden med X-, Y-koordinaterna för blicken på varje videobildruta. Denna metod behandlar synkronisering av data temporally och rumsligt mellan deltagarna. Vänligen klicka här för att se en större version av denna siffra.

Bild 2: en metod för att synkronisera de två datauppsättningarna. Kort visar unik relaterat markör på en datorskärm för att tagga början och slutet av aktiviteten. Vänligen klicka här för att se en större version av denna siffra.

Figur 3: använda relaterat markörer sprids i miljön för att mappa deltagarnas blickar på en gemensam plan (vänster sida). Vita linjer indikerar fiduella markörer som har upptäckts i båda bilderna. Vänligen klicka här för att se en större version av denna siffra.

Figur 4: exempel på dålig datakvalitet. Vänster: en suddig ram från ögat-tracking video orsakad av en plötslig huvud rörelse. Det gick inte att upptäcka fiducial markörer i den här bilden. Höger: en misslyckad homografi där de fiduella markör data inte synkroniserades korrekt med videoflödet. Vänligen klicka här för att se en större version av denna siffra.

Figur 5: heatmaps. Vänster: en heatmap av ögat-tracking data ommappas till den experimentella scenen. Denna visualisering användes som en Sanity kontroll för homography. Höger: en grupp som hade för mycket saknade data och behövde kasseras. Vänligen klicka här för att se en större version av denna siffra.

Figur 6: kors upprepnings diagram som genereras från tre dyader för att visualisera JVA. P1 representerar tid för den första deltagaren, P2 representerar tid för den andra deltagaren. Svarta rutor visar JVA; gråa rutor visar stunder där deltagarna tittar på olika platser; vita fyrkanter visar saknade data. Kvadrat längs huvuddiagonalen indikerar stunder där deltagarna tittade på samma plats samtidigt. Den här visualiseringen användes som en Sanity-kontroll för JVA-åtgärder från kombinerade ögon spårningsdata. Vänligen klicka här för att se en större version av denna siffra.

Bild 7: en videobildruta där JVA upptäcktes mellan två deltagare (röda prickar). Richardson et al.¹¹ rekommenderar att titta på ett tidsfönster på +/-2 s. vid beräkning JVA. Dessutom måste forskarna definiera det minimala avståndet mellan två blicken punkter att räkna som JVA. En radie på 100 pixel valdes på Mittenbilden ovan. Vänligen klicka här för att se en större version av denna siffra.

Figur 8: exempel på resultat. Data från Schneider et al.¹² där den procentuella andelen av tiden som tittar på samma plats samtidigt var korrelerad med deltagarnas kvalitet i samarbetet: r (24) = 0,460, p = 0,018 (vänster sida) och obalanser i att initiera/reagera på erbjudanden om JVA korrelerade med deras lärande vinster: r (24) = − 0,47, p = 0,02 (höger sida). Vänligen klicka här för att se en större version av denna siffra.

Discussion

Den metod som beskrivs i detta dokument ger ett rigoröst sätt att fånga JVA i coplacerade dyader. Med framväxten av prisvärd sensing teknik och förbättrade algoritmer datorseende, är det nu möjligt att studera samverkande interaktioner med en noggrannhet som tidigare inte var tillgänglig. Denna metod utnyttjar relaterat markörer sprids i miljön och använder homografier som ett sätt att mappa deltagarnas blickar på ett gemensamt plan. Detta gör det möjligt för forskare att rigoröst studera JVA i colokaliserat grupper.

Den här metoden innehåller flera Sanity kontroller som måste utföras vid olika punkt i experimentet. Eftersom detta är en komplicerad procedur måste forskarna se till att de resulterande datauppsättningarna är fullständiga och giltiga. Slutligen rekommenderas det att genomföra pilotstudier före själva experimentet, och att rekonstruera deltagarnas interaktioner om en video efter datainsamlingen har slutförts (figur 3, figur 4, figur 5, figur 6).

Det finns flera begränsningar som är associerade med den här metoden:

Antal deltagare. Även om denna metodik fungerar bra för två deltagare, blir analysen mer komplicerad med större grupper. Fiducial markörer kan fortfarande användas för att mappa blickar på en grund sanning, men att veta hur man identifierar JVA blir en mer nyanserad process. Ska JVA definieras som de tider då alla tittar på samma plats samtidigt, eller när två deltagare stirrar på samma ställe? Dessutom blir visualiseringar som kors upprepnings diagrammet opraktiskt med mer än 2 – 3 personer.

Inställningar. Den metod som beskrivs i detta dokument är lämplig för små, kontrollerade inställningar (t. ex. laboratoriestudier). Öppna inställningar, som utomhus eller stora utrymmen, är oftast för komplicerade för att instrument med relaterat markörer och därmed kan begränsa nyttan av ögat-tracking data. Dessutom kan de relaterat markörer vara störande och röran miljön. I framtiden, bättre algoritmer datorseende kommer att kunna automatiskt extrahera gemensamma funktioner mellan två perspektiv. Det finns redan algoritmer som finns för detta ändamål, men vi konstaterade att noggrannhetsnivån ännu inte var godtagbar för den typ av experiment som beskrivs ovan.

Aois. Relaterade till punkten ovan, Computing homography och Cross-recidiv diagram fungerar bra med ett stabilt antal områden av intresse, men korrigeringar måste göras när man jämför olika uppgifter med olika antal områden av intresse.

Användning av utrustning. Mobila Eye-trackers kan vara påträngande, påverkar deltagarnas beteende eller misslyckas med att arbeta med särskild ögonfysiologi.

Sammanfattningsvis är den metod som beskrivs i detta dokument ett lovande sätt att studera colokaliserat interaktioner. Det gör det möjligt för forskare att fånga ett exakt mått för JVA, vilket är en kritisk konstruktion i samhällsvetenskaperna¹. Dessutom är det möjligt att upptäcka mer detaljerade indikatorer för kollaborativt lärande genom denna metod¹² jämfört med traditionella kvalitativa analyser. Kort sagt, det är ett mer effektivt och korrekt sätt att studera sociala interaktioner.

Potentiell tillämpning av denna metod omfattar utformning av interventioner för att stödja samarbete genom realtid Eye-tracking data. En del banbrytande arbete har gett gemensamma blick visualiseringar med hjälp av avlägsna Eye-trackers, som har visat sig gynna kollaborativt lärande på avstånd¹⁴. Dyader som kunde se blicken av deras partner i realtid uppvisade mer JVA, samarbetat bättre och uppnått högre inlärnings vinster jämfört med en kontrollgrupp. Framtida arbete kommer att undersöka om denna typ av intervention kan stödja samarbetsprocesser i colokaliserat inställningar (t. ex. via virtuella eller förstärkt verklighet headset).

Materials

Name	Company	Catalog Number	Comments
Tobii Glasses 2	Tobii	N/A	https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers	Chili lab – EPFL, Switzerland	N/A	https://github.com/chili-epfl/chilitags