Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

En metode for å fange felles visuell oppmerksomhet ved hjelp av mobile Eye-trackere

Published: January 18, 2020 doi: 10.3791/60670

Summary

Bruke multimodal sensorer er en lovende måte å forstå hvilken rolle sosiale interaksjoner i pedagogiske innstillinger. Dette papiret beskriver en metode for å fange felles visuell oppmerksomhet fra avdelinger dyader bruker mobile Eye-trackere.

Abstract

Med bruk av nye teknologiske fremskritt, er det mulig å studere sosiale interaksjoner på en microlevel med uovertruffen nøyaktighet. Høy frekvens sensorer, for eksempel øye-trackere, electrodermal aktivitet armbånd, EEG band, og bevegelsessensorer gi observasjoner på millisekunder nivå. Dette presisjonsnivået gjør det mulig for forskere å samle inn store datasett på sosiale interaksjoner. I denne utredningen, diskuterer jeg hvordan flere Eye-trackere kan fange en fundamental konstruere i sosiale interaksjoner, felles visuell oppmerksomhet (JVA). JVA har blitt studert av utviklingsmessige psykologer for å forstå hvordan barn tilegne seg språk, lære forskere å forstå hvordan små grupper av elever jobber sammen, og sosiale forskere til å forstå interaksjoner i små grupper. Dette papiret beskriver en metode for å fange JVA i avdelinger innstillinger ved hjelp av mobile Eye-trackere. Den presenterer noen empiriske resultater og diskuterer konsekvensene av å fange microobservations å forstå sosiale interaksjoner.

Introduction

JVA har blitt grundig studert i løpet av forrige århundre, spesielt ved utviklingsmessige psykologer som studerer språk oppkjøp. Det ble raskt fastslått at felles oppmerksomhet er mer enn bare en måte å lære ord, men snarere en forløper til barnas teorier i sinnet1. Dermed spiller det en betydelig rolle i mange sosiale prosesser, for eksempel å kommunisere med andre, samarbeide og utvikle empati. Autistiske barn, for eksempel, mangler evnen til å koordinere sin visuelle oppmerksomhet med sine omsorgspersoner, som er forbundet med betydelige sosiale hemninger2. Mennesker trenger felles oppmerksomhet for å bli funksjonelle medlemmer av samfunnet, til å koordinere sine handlinger, og å lære av andre. Fra barn å anskaffe sine første ord, tenåringer læring fra skole lærere, studenter samarbeide om prosjekter, og til grupper av voksne som arbeider mot felles mål, er felles oppmerksomhet en grunnleggende mekanisme for å etablere felles grunnlag mellom individer3. I denne utredningen, fokuserer jeg på studiet av JVA i pedagogisk forskning. Å forstå hvordan felles oppmerksomhet utspiller seg over tid, er av største betydning for studiet av samarbeids læringsprosesser. Som sådan, spiller det en dominerende rolle i socioconstructivist innstillinger.

Den nøyaktige definisjonen av felles oppmerksomhet er fortsatt diskutert4. Dette papiret er opptatt av en subconstruct av felles oppmerksomhet (JA), nemlig JVA. JVA skjer når to ser på samme sted på samme tid. Det bør bemerkes at JVA ikke gir noen informasjon om andre viktige konstruksjoner av interesse i studiet av JA, for eksempel overvåking felles, gjensidig og delt oppmerksomhet, eller mer generelt, bevissthet om erkjennelse av en annen gruppemedlem. Dette papiret operationalizes og forenkler JVA ved å kombinere øye sporingsdata fra to deltakere og analysere hvor ofte de justerer sine Gazes. For en mer helhetlig diskusjon, kan interesserte leseren lære mer om studiet av JA konstruere i Siposovaet Al.4.

I løpet av det siste tiåret har teknologiske fremskritt radikalt forvandlet forskning på JVA. De viktigste paradigmeskifte var å bruke flere Eye-trackere for å få kvantitative tiltak av oppmerksomhets justeringer, i motsetning til kvalitativt analysere videoopptak i et laboratorium eller økologisk setting. Denne utviklingen har tillatt forskere å samle presis, detaljert informasjon om dyader ' visuell koordinering. I tillegg er Eye-trackere blir rimeligere: inntil nylig, var deres bruk forbeholdt faglige innstillinger eller store selskaper. Det er nå mulig å kjøpe billig Eye-trackere som genererer pålitelige datasett. Til slutt, den progressive inkludering av blikket-sporing evner inn i eksisterende enheter som high-end bærbare datamaskiner og virtuelle og Augmented Reality headset antyder at eye-tracking vil snart bli allestedsnærværende.

På grunn av popularisering av eye-tracking-enheter, er det viktig å forstå hva de kan og ikke kan fortelle oss om sosiale interaksjoner. Metodikken presentert i dette papiret markerer et første skritt i denne retningen. Jeg adresserer to utfordringer i å fange JVA fra flere øye-trackere: synkronisering av data på 1) den timelige skalaen, og 2) på romlig skala. Mer spesifikt, denne protokollen gjør bruk av fiducial markører plassert i virkelige verden miljøer for å informere datamaskinen syns algoritmer der deltakerne er orientere sine blikket. Denne nye typen metodikk baner veien til streng analyse av menneskelig adferd i små grupper.

Denne forskningen protokollen overholder retningslinjene for Harvard-universitetets menneskelig forskning etikk komiteen.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

1. deltaker screening

  1. Sikre at deltakerne med normal eller korrigert-til-normal visjon blir rekruttert. Fordi deltakerne vil bli bedt om å bruke en mobil øye-Tracker, kan de bruke kontaktlinser, men ikke vanlige briller.

2. forberedelse til eksperimentet

  1. Eye-tracking enheter
    1. Bruk noen mobile Eye-tracker i stand til å fange øyebevegelse i virkelige verden miljøer.
      Merk: de mobile øye-trackere som brukes her var to Tobii Pro briller 2 (se tabell over materialer). I tillegg til spesialiserte kameraer som kan spore øyebevegelser, er brillene også utstyrt med et HD-kamera og en mikrofon, slik at blikket kan bli visualisere i sammenheng med brukerens visuelle felt. Disse brillene fange blikket data 50 ganger per sekund. Andre forskere har brukt ASL mobile Eye5, smi6, eller elev-Labs7, som alle gir videostrømmer fra scenen kameraet og eye-tracking koordinater på varierende prøvetaking priser (30-120 Hz). Fremgangsmåten nedenfor kan variere noe med andre eye-tracking enheter.
  2. Fiducial markører
    1. De to trinnene nedenfor (dvs. timelige og romlige tilpasninger) krever bruk av fiducial markører. Der er adskillige computer syn biblioteker det skaffe forskning med disse merker og algoritmer å merker seg opp på en image eller video mate. Protokollen beskrevet bruker Chilitag bibliotek8.
  3. Temporal justering
    1. Fordi øye sporingsdataene er registrert på to separate enheter, må du kontrollere at dataene er riktig synkronisert (figur 1). To viktigste metoder kan brukes. Dette manuskriptet dekker bare den første metoden, fordi server synkroniseringen fungerer forskjellig med hvert merke av mobile Eye-tracker.
      1. Vis en kort fiducial markør på en dataskjerm for å markere begynnelsen og slutten på en sesjon. Dette ligner på en visuell "hånd klapp" (figur 2).
      2. Alternativt kan du bruke en server til å synkronisere klokkene til de to datainnsamlings enhetene. Denne metoden er litt mer nøyaktig og anbefales hvis en høyere Temporal nøyaktighet er nødvendig.
  4. Romlig justering
    1. For å finne om to deltakere ser på samme sted samtidig, kan du kartlegge deres Gazes til et felles fly. Dette flyet kan være et bilde av den eksperimentelle innstillingen (se venstre side av Figur 3). Nøye designe dette bildet før eksperimentet.
    2. Størrelsen på fiducial markører: den generelle størrelsen på fiducial markører avhenger av algoritmen som brukes til å oppdage dem fra video for øye sporing. Overflater nær deltakerne kan ha mindre fiducial markører, mens overflater lenger unna dem må være større, slik at de ser like ut fra deltakernes perspektiv. Prøv forskjellige størrelser på forhånd for å forsikre deg om at de kan oppdages fra video for øye sporing.
    3. Antall fiducial markører: for å gjøre prosessen med å kartlegge blikk punkter i et felles fly vellykket, sørg for å ha flere fiducial markører synlig fra deltakernes synspunkt til enhver tid.
    4. Plassering av fiducial markører: ramme relevante områder av interesse med strimler av fiducial markører (f. eks, se laptop skjermen på Figur 3).
  5. Til slutt kjører du piloter for å teste synkroniseringsprosedyren og finne den optimale plasseringen, størrelsen og antallet fiducial markører. Eye-tracking videoer kan behandles gjennom en datamaskin visjon algoritme for å se om fiducial markører er pålitelig oppdages.

3. kjøre eksperimentet

  1. Instruksjoner
    1. Instruere deltakerne til å sette på øyet-sporing briller som de ville en vanlig par briller. Basert på deltakernes distinkte ansiktstrekk, kan det hende at nese bitene i forskjellige høyder må brukes for å bevare datakvaliteten.
    2. Etter å ha slått på øye-Tracker, har deltakerne klippet innspillingen enhet til seg selv for å tillate naturlige kroppen bevegelse.
  2. Kalibrering
    1. Be deltakerne om å se på midten av kalibrerings markøren levert av Tobii mens kalibrerings funksjonen til programvaren er aktivert. Når kalibreringen er fullført, kan opptaket startes innenfra programvaren.
    2. Instruere deltakerne til å ikke flytte mobile Eye-trackere etter kalibrering. Hvis de gjør det, vil dataene sannsynligvis være unøyaktige, og kalibreringsprosedyren må utføres på nytt.
  3. Data overvåking
    1. Overvåk datainnsamlingsprosessen under studien, og sørg for at øye sporingsdataene samles inn på riktig måte. De fleste mobile Eye-trackere kan gi en live stream på en egen enhet (for eksempel en tablett) for dette formålet.
  4. Data eksport
    1. Når opptaks økten er fullført, instruerer du deltakeren til å fjerne øye sporings brillene og datainnsamlingsenheten. Slå av enheten.
    2. Pakk ut data ved hjelp av en annenprogramvare, Tobii Pro Lab, ved å fjerne SD-kortet fra datainnsamlingsenheten importere sesjons dataene. Tobii Pro Lab kan brukes til å spille av videoen, opprette visualiseringer og eksportere øye sporingsdata som kommaseparerte (. csv) eller tabulatordelt (TSV) filer.

4. forhåndsbehandling av doble øye sporingsdata

  1. Mental helse sjekker øye-sporing data
    1. Kontroller øye sporingsdataene visuelt etter datainnsamling. Det er ikke uvanlig at noen deltakere har manglende data. For eksempel kan noen spesielle øye fysiologi utgjøre problemer for øye-sporing algoritmer, brillene kan skifte under eksperimentet, datainnsamling programvare kan krasje, etc.
    2. Bruk beskrivende statistikk til å kontrollere hvor mye data som gikk tapt under hver økt, og utelate økter som har betydelige mengder manglende eller støyende data.
  2. Temporal justering
    1. Trim dataene fra hver mobile Eye-tracker for å bare inkludere interaksjoner mellom deltakerne. Dette kan oppnås ved hjelp av metoden beskrevet ovenfor (dvs. presentere to spesielle fiducial markører til deltakerne i starten og slutten av økten). Disse fiducial markørene kan deretter oppdages fra øye sporings videoen for å trimme datasettene.
  3. Romlig justering
    Merk: for å finne ut om to deltakere ser på samme sted samtidig, er det nødvendig å omdefinere deltakernes blikk til et felles fly (dvs. et bilde av den eksperimentelle innstillingen). En beregningsorientert metode for å nå dette målet er en homography (dvs. et perspektiv transformasjon av et fly). Fra et teknisk perspektiv, er to bilder av samme Planar overflate i rommet forbundet med en homography matrise. Basert på et felles sett med poeng, kan denne matrisen brukes til å utlede plasseringen av ekstra poeng mellom to plan. I Figur 3, for eksempel hvis en datamaskin syns algoritme vet hvor de fiducial markørene er på utdelingsarket, kan den tilordne blikket til deltakeren til det felles planet på venstre side. De hvite linjene forbinder de to settene med punkter som deles av video strømmen til hver deltaker og scenen, som deretter brukes til å bygge homography for å omdefinere de grønne og blå prikkene på venstre side.
    1. Bruk Python-versjonen av OpenCV, for eksempel for å beregne homography matrise fra fiducial markører og deretter å omdefinere øye-sporing data til åstedet for den eksperimentelle innstillingen (eller andre passende bibliotek i ditt språkvalg). OpenCV gir to nyttige funksjoner: findHomography () for å få homography matrise, og perspectiveTransform() for å transformere punktet fra ett perspektiv til den andre.
    2. Hvis du vil bruke findHomography (), kan du kjøre med to argumenter: X-, Y-koordinatene til kilde punktene (dvs. de fiducial markørene som oppdages fra deltakernes scene video, vist til høyre i Figur 3) og de tilsvarende Destinasjonspunktene (dvs. de samme fiducials markørene som ble funnet på scene bildet, vist til venstre i Figur 3).
    3. Feed den resulterende homography matrise i perspectiveTransform () -funksjonen, sammen med et nytt punkt som må tilordnes fra kildebildet til målet bildet (f. eks øyet-sporing data vises som en blå/grønn prikk på høyre side av Figur 3). PerspectiveTransform -funksjonen returnerer den nye koordinaten til det samme punktet på scene bildet (dvs. de blå/grønne prikkene som vises på venstre side av Figur 3).
      Merk: for mer informasjon, OpenCV offisielle dokumentasjon gir eksempelkode og eksempler for å implementere homography: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.
  4. Mental helse sjekke homography
    1. Fullfør seksjon 4,3 for hele sesjonen, og utfør en homography på hver ramme i den mobile øye sporings videoen for å sjekke kvaliteten på homography. Selv om det ikke er noen automatiserte måter å anslå nøyaktigheten av de resulterende eye-tracking data, videoer som den som vises i Figur 4 bør brukes til manuelt mental helsesjekk hver økt.
    2. Hvis kvaliteten er lavere enn forventet, bør du vurdere flere parametere for å forbedre resultatene av homography:
      1. Antall fiducial markører oppdaget: bare Utfør homography hvis nok fiducial markører kan oppdages fra video strømmen. Dette nummeret kan bestemmes ved å undersøke videoen som produseres ovenfor.
      2. Plassering av fiducial markører: Hvis forskjellige markører er i forskjellige dybder og retninger, øker kvaliteten på homography vanligvis når markørene nærmest blikket koordinatene er valgt, gitt at det er nok markører til å bygge en robust homography.
      3. Orientering av fiducial markører: kombinere fiducial markører som har forskjellige retninger (f. eks, horisontal og vertikal) vil produsere unøyaktige homographies. Det anbefales å først oppdage hvilke fly eller områder av interesser (AOIs) deltakeren ser på (f. eks dataskjermen, den jukse ark, tabellen, se Figur 3) og deretter bruke fiducial markører på dette flyet for homography.
      4. Kvaliteten på video strømmen: plutselige bevegelser i hodet kan dimme video rammer og gjøre data ubrukelig, fordi fiducial markører ikke kan oppdages pålitelig (Figur 4). Metodikken i denne utredningen er ikke hensiktsmessig for eksperimenter som involverer mye plutselige hodebevegelser.

5. analysere de doble øye sporingsdataene

  1. Manglende data
    1. For å sikre at dataene var riktig remapped på referanse bildet, produsere visualisering grafer (f. eks, figur 5, figur 6) og beskrivende statistikk for å se hvor mye data mangler.
  2. Grafer på tvers av regelmessighet
    1. Bruk grafer med kryss gjentakelse9 til å representere visuell synkronisering mellom to deltakere (figur 6), der X-aksen representerer tid for den første deltakeren, og Y-aksen representerer tid for den andre deltakeren. Svarte firkanter indikerer at deltakerne ser på det samme området, en svart diagonal linje beskriver to ser på det samme på nøyaktig samme tid, og svarte firkanter av diagonal linje beskriver når to ser på det samme med en tidsforsinkelse. Til slutt, differensiering mellom manglende data (hvit firkant) og eksisterende data uten JVA (grå firkanter) bidrar til å identifisere problematiske økter. Dette gir forskere med en visuell mental helsesjekk.
  3. Databehandling JVA
    1. Etter å ha filtrert etter manglende data, beregner du en beregning for JVA ved å telle antall ganger deltakernes Gazes er i samme radius i motivet (definert nedenfor) i et-2/+ 2 s-tidsvindu. Del dette tallet med antall gyldige datapunkt som kan brukes til å beregne JVA. Resultatet av divisjonen representerer prosentandelen av tid som to var i fellesskap ser på samme sted. Dette siste trinnet er nødvendig for å unngå å blåse opp scorene til grupper med mer data etter homography.
      Merk: to parametere må stilles inn før JVA kan beregnes, den minimale avstanden mellom to blikk punkter, og tidsvinduet mellom dem (figur 7): 1) tidsvindu: en tidlig grunnleggende studie10 brukte en enkelt Eye-tracker for å måle JVA mellom en lytter og en høyttaler. Forskerne spurte et første sett med deltakere ("høyttalere") for å snakke om et TV-show Hvis tegn ble vist foran dem. Et annet sett med deltakere ("lyttere") så så det samme showet mens du lytter til lydopptak av høyttalerne. Øyet bevegelser av foredragsholdere og lyttere ble sammenlignet, og det ble funnet at en lytteren er øyebevegelser tett matchet en høyttaler øyebevegelse med en forsinkelse på 2 s. I påfølgende arbeid11 forskere analysert Live dialoger og funnet ut at en forsinkelse på 3 s beste fanget øyeblikk av JVA. Siden hver oppgave er unik og kan ha ulike tidsforsinkelser, foreslås det også å utforske hvordan ulike tidsforsinkelser påvirker resultatene av et gitt eksperiment. Total, det er en vanlig å kikke etter JVA inne en ± 2/3 s tid vindu avhenger på eksperimentelle oppgave og så utforske hvor annerledes tid lags kunne endre det resultater. 2) avstand mellom Gazes: det er ingen empirisk definert avstand mellom to Gazes for dem å telle som JVA. Denne avstanden er avhengig av forskningsspørsmål definert av forskerne. Forskningen spørsmål bør informere størrelsen på målene av interesse. I eksempelet sett i figur 7, en radius på 100 piksler på scenen bildet (blå/grønne sirkler) ble valgt for analysen fordi det er tilstrekkelig til å fange når deltakerne ser på roboten i labyrinten, så vel som på lignende brukergrensesnittelementer på dataskjermen, som er de to viktigste områdene av interesse for denne eksperimentelle oppgaven.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Metodikken presentert ovenfor ble brukt til å studere studenter som var etter et yrkes opplæringsprogram i logistikk (n = 54)12. I dette eksperimentet, par av studenter interaksjon med et håndgripelig brukergrensesnitt (TUI) som simulert en småskala lager. Den fiducial markører plassert på TUI tillot forskerteamet å tilordne studentenes Gazes på et felles fly og beregne nivåer av JVA. Funnene indikerte at grupper som hadde høyere nivåer av JVA tendens til å gjøre det bedre på oppgaven gitt til dem, lærte mer, og hadde en bedre kvalitet på samarbeid13 (Figur 8, venstre side). Dual eye-tracking datasett også tillatt oss å fange spesiell gruppe dynamikk som fri-rytteren effekt. Vi anslått denne effekten ved å identifisere hvem som var sannsynlig å ha initiert hvert øyeblikk av JVA (dvs. Hvis blikket var der først), og som svarte på det (dvs. Hvis blikket var der andre). Vi fant en signifikant sammenheng mellom lærings gevinster og elevenes tendens til like å dele ansvaret for å initiere og svare på tilbud fra JVA. Med andre ord, grupper der samme person alltid initiert øyeblikk av JVA var mindre sannsynlighet for å lære (Figur 8, høyre side) og grupper der dette ansvaret var like delt var mer sannsynlig å lære. Dette funnet viser at vi kan gå utover bare kvantifisere JV, og faktisk identifisere gruppe dynamikk og produktivitet ved hjelp av dual eye-tracking data.

Figure 1
Figur 1: hver deltaker genererer to videostrømmer med X-, Y-koordinatene til blikket på hver videoramme. Denne metodikken adresserer synkroniseringen av data timelig og romlig mellom deltakerne. Vennligst klikk her for å se en større versjon av dette tallet.

Figure 2
Figur 2: en metode for å synkronisere de to datasettene. Viser en kort unik fiducial markør på en dataskjerm for å tagge starten og slutten på aktiviteten. Vennligst klikk her for å se en større versjon av dette tallet.

Figure 3
Figur 3: Bruk fiducial markører spres i miljøet for å omdefinere deltakernes Gazes til en felles plan (venstre side). Hvite linjer indikerer fiducial markører som har blitt påvist i begge bildene. Vennligst klikk her for å se en større versjon av dette tallet.

Figure 4
Figur 4: eksempler på dårlig datakvalitet. Venstre: en uskarp ramme fra eye-tracking video forårsaket av en plutselig hode bevegelse. Fiducial markører kan ikke oppdages i dette bildet. Høyre: en mislykket homography der fiducial markør data ikke ble riktig synkronisert med video strømmen. Vennligst klikk her for å se en større versjon av dette tallet.

Figure 5
Figur 5: heatmaps. Venstre: en heatmap av øye sporingsdataene som remapped på den eksperimentelle scenen. Denne visualiseringen ble brukt som en mental helsesjekk for homography. Høyre: en gruppe som hadde for mye manglende data og måtte forkastes. Vennligst klikk her for å se en større versjon av dette tallet.

Figure 6
Figur 6: kryss gjentakende graf generert fra tre dyader for å VISUALISERE JVA. P1 representerer tid for første deltaker, P2 representerer tid for den andre deltakeren. Svarte firkanter viser JVA; grå firkanter viser øyeblikk hvor deltakerne ser på forskjellige steder; hvite firkanter viser manglende data. Firkant langs hovedsiden Diagonal indikerer øyeblikk der deltakerne så på samme sted samtidig. Denne visualiseringen ble brukt som en mental helsesjekk for målinger av JVA fra de kombinerte øye sporingsdata. Vennligst klikk her for å se en større versjon av dette tallet.

Figure 7
Figur 7: en videoramme der JVA ble oppdaget mellom to deltakere (røde prikker). Richardson et al.11 anbefaler å se på en tid vindu av +/-2 s. Når du beregner JVA. I tillegg må forskerne definere minimal avstand mellom to blikket poeng å telle som JVA. En radius på 100 piksler ble valgt på det midterste bildet ovenfor. Vennligst klikk her for å se en større versjon av dette tallet.

Figure 8
Figur 8: eksempler på resultater. Data fra Schneider et al.12 hvor prosentandelen av tiden som ser på samme sted samtidig var korrelert med deltakernes kvalitet på samarbeid: r (24) = 0,460, p = 0,018 (venstre side) og ubalanser i initiering/svare på tilbud om JVA var korrelert med deres læring gevinster: r (24) = − 0,47, p = 0,02 (høyre side). Vennligst klikk her for å se en større versjon av dette tallet.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Metodikken beskrevet i dette papiret gir en streng måte å fange JVA i avdelinger dyader. Med fremveksten av rimelig sensing teknologi og forbedret datamaskinen visjons algoritmer, er det nå mulig å studere samarbeid interaksjoner med en nøyaktighet som tidligere var utilgjengelig. Denne metodikken utnytter fiducial markører spres i miljøet og bruker homographies som en måte å omdefinere deltakernes Gazes på et felles fly. Dette gjør forskerne til grundig studie JVA i avdelinger grupper.

Denne metoden omfatter flere mental helse sjekker som må utføres på ulike punkt i eksperimentet. Fordi dette er en komplisert prosedyre, må forskerne sørge for at de resulterende datasettene er fullstendige og gyldige. Til slutt anbefales det å gjennomføre pilotstudier før selve eksperimentet, og å rekonstruere deltakernes interaksjoner om en video etter at datainnsamlingen er fullført (Figur 3, Figur 4, figur 5, figur 6).

Det er flere begrensninger knyttet til denne metoden:

Antall deltakere. Selv om denne metodikken fungerer godt for to deltakere, analyse blir mer komplisert med større grupper. Fiducial markører kan fortsatt brukes til å omdefinere Gazes på en bakken sannheten, men å vite hvordan å identifisere JVA blir en mer nyansert prosess. Bør JVA defineres som tider når alle ser på samme sted på samme tid, eller når to deltakere er stirrer på samme sted? I tillegg blir visualiseringer som grafen med kryss gjentakelse, upraktisk med mer enn 2 – 3 personer.

Innstillingene. Metoden som er beskrevet i denne utredningen er egnet for små, kontrollerte innstillinger (f. eks, laboratoriestudier). Åpne innstillinger, for eksempel utendørs eller store mellomrom, er vanligvis for kompliserte til å instrument med fiducial markører, og dermed kan begrense nytten av øye sporingsdata. I tillegg kan fiducial markører være forstyrrende og rot miljøet. I fremtiden vil bedre datamaskin visjons algoritmer kunne automatisk trekke ut vanlige funksjoner mellom to perspektiver. Det finnes allerede algoritmer som finnes for dette formålet, men vi fant ut at nøyaktighetsnivået ennå ikke var akseptabelt for den typen eksperiment som er beskrevet ovenfor.

AOIs. Relatert til punktet ovenfor, databehandling homography og kryss-gjentakelse grafen fungerer godt med et stabilt antall områder av interesse, men rettelser må gjøres når man sammenligner ulike oppgaver med ulike antall områder av interesse.

Bruk av utstyr. Mobile Eye-trackere kan være påtrengende, påvirker deltakernes atferd eller unnlater å arbeide med bestemte øye fysiologi.

Som konklusjon, metodikken beskrevet i denne utredningen er en lovende måte å studere avdelinger interaksjoner. Det tillater forskere å fange en presis beregning for JVA, som er en kritisk konstruksjon i samfunnsvitenskap1. I tillegg er det mulig å oppdage mer finjusterte indikatorer for samarbeidende læring gjennom denne metodikken12 sammenlignet med tradisjonelle kvalitative analyser. Kort sagt, det er en mer effektiv og nøyaktig måte å studere sosiale interaksjoner.

Potensiell anvendelse av denne metoden inkluderer utforme intervensjoner for å støtte samarbeid gjennom sanntids øye sporingsdata. Noen pionerarbeid har produsert delte blikket visualiseringer ved hjelp av eksterne Eye-trackere, som har vist å nytte samarbeidende læring fra en avstand14. Dyader som kunne se blikket av partneren sin i sanntid utstilt mer JVA, samarbeidet bedre og oppnådde høyere læring gevinster i forhold til en kontrollgruppe. Fremtidig arbeid vil undersøke om denne typen inngrep kan støtte samarbeidsprosesser i avdelinger innstillinger (for eksempel gjennom virtuelle eller Augmented Reality headset).

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatterne erklærer at de ikke har noen konkurrerende finansielle interesser.

Acknowledgments

Utviklingen av denne metodikken ble støttet av National Science Foundation (NSF #0835854), den ledende House Technologies for yrke utdanning, finansiert av Swiss State sekretariatet for utdanning, forskning og innovasjon, og Harvard School of Education ' s Dean venture Fund.

Materials

Name Company Catalog Number Comments
Tobii Glasses 2 Tobii N/A https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/
Fiducial markers Chili lab – EPFL, Switzerland N/A https://github.com/chili-epfl/chilitags

DOWNLOAD MATERIALS LIST

References

  1. Tomasello, M. Joint attention as social cognition. Joint attention: Its origins and role in development. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).
  2. Mundy, P., Sigman, M., Kasari, C. A longitudinal study of joint attention and language development in autistic children. Journal of Autism and Developmental Disorders. 20, 115-128 (1990).
  3. Clark, H. H., Brennan, S. E. Grounding in communication. Perspectives on socially shared cognition. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).
  4. Siposova, B., Carpenter, M. A new look at joint attention and common knowledge. Cognition. 189, 260-274 (2019).
  5. Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work. , ACM. New York, NY, USA. 435-444 (2011).
  6. Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. Spatial Cognition IX. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).
  7. Shvarts, A. Y. Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology. The Russian Journal of Cognitive Science. 5, 4 (2018).
  8. Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: https://github.com/chili-epfl/qml-chilitags (2013).
  9. Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice. CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).
  10. Richardson, D. C., Dale, R. Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension. Trends in Cognitive Sciences. 29, 1045-1060 (2005).
  11. Richardson, D. C., Dale, R., Kirkham, N. Z. The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue. Psychological Science. 18, 407-413 (2007).
  12. Schneider, B., et al. Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning. ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).
  13. Meier, A., Spada, H., Rummel, N. A rating scheme for assessing the quality of computer-supported collaboration processes. Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).
  14. Schneider, B., Pea, R. Real-time mutual gaze perception enhances collaborative learning and collaboration quality. Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).

Tags

Atferd pedagogisk forskning samarbeidslæring mobil øye-sporing felles visuell oppmerksomhet multimodal lærings analyse
En metode for å fange felles visuell oppmerksomhet ved hjelp av mobile Eye-trackere
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Schneider, B. A Methodology forMore

Schneider, B. A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers. J. Vis. Exp. (155), e60670, doi:10.3791/60670 (2020).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter