Denne artikkel av en øye-sporing metodikk for studier av språk forståelse. For å få pålitelige data, etterfølges viktige trinn av protokollen. Blant disse er riktig satt opp av øye sporing (f.ekssikrer god øye og hodet bilder) og nøyaktig kalibrering.
Dette arbeidet er en beskrivelse og en vurdering av en metodikk for å kvantifisere ulike aspekter av samspillet mellom språkbehandling og oppfatningen av visuell verden. Innspillingen av øye-blikk mønstre har gitt gode bevis for bidrag av både visuell kontekst og språklige/verden kjennskap til språket forståelse. Innledende forskning vurdert objektkonteksten effekter for å teste teorier om modularitet i språkbehandling. I innledningen, beskriver vi hvordan senere undersøkelser har tatt rollen som den større visuelle sammenhengen språk behandling som et forskning emne i sin egen rett, stille spørsmål slik som hvordan våre visuell persepsjon av hendelser og høyttalere bidrar til forståelse informert av comprehenders’ erfaring. Blant de undersøkt aspektene av visuell sammenheng er handlinger, hendelser, en blikk, og emosjonelle ansiktsuttrykk, samt romlige objektet konfigurasjoner. Etter en oversikt over metoden øye-sporing og dens forskjellige anvendelser lister vi de viktigste trinnene av metodikken i protokollen, illustrerer hvordan bruke det for å studere visuelt ligger språk forståelse. Siste delen presenterer tre sett med representant resultater og illustrerer fordelene og ulempene av øye sporing for å undersøke samspillet mellom oppfatningen av visuell verden og språk forståelse.
Psycholinguistic forskning har understreket viktigheten av øyebevegelser analyser forstå prosessene involvert i språk forståelse. Kjernen i dedusere forståelse prosesser fra blikket posten er en hypotese som kobler erkjennelse til øye bevegelser5. Det er tre hovedtyper av øyebevegelser: saccades, vestibulo-okulær bevegelser og glatt jakten bevegelser. Saccades er rask og ballistisk bevegelser som skje det meste ubevisst og er pålitelig forbundet med skifte i oppmerksomhet6. Øyeblikk av relativ blikket stabilitet mellom saccades, kjent som fixations, regnes indeks gjeldende visuell oppmerksomhet. Måle locus av fixations og deres varighet i forhold til kognitive prosesser er kjent som ‘eye-tracking metoden’. Tidlig implementering av denne metoden var å undersøke leseforståelse i strengt språklige kontekster (se Rayner7 for en gjennomgang). At tilnærmingen er varigheten av inspeksjon et ord eller en setning område tilknyttet behandling problemer. Øye sporing har imidlertid også blitt brukt for å undersøke talespråk forståelse under inspeksjon av objekter i verden (eller på en datamaskin viser2). I denne “visuelle verden” øye-sporing versjonen styres inspeksjon av objekter av språk. Når comprehenders hører sebraen, for eksempel deres inspeksjon av zebra på skjermen er tatt å reflektere at de tenker om dyret. I det som kalles visuell verden paradigmet, en comprehender øye blikket tatt å reflektere talespråk forståelse og aktivering av tilknyttede kunnskap (f.eks lyttere også inspisere sebraen når de hører beite, som indikerer en handling som utføres av sebraen)2. Slike inspeksjoner foreslå en systematisk kobling mellom språk-verden relasjoner og øye bevegelser2. En vanlig måte å kvantifisere lenken er av databehandling andelen ser på forskjellige forhåndsbestemt områder på en skjerm. Dette gjør at forskere direkte sammenligne (over betingelser, deltakere og elementer) hvor mye oppmerksomhet til forskjellige objekter på et bestemt tidspunkt og hvordan disse verdiene endres i millisekunds oppløsning.
Forskning i psycholinguistics har utnyttet øye sporing i visuelle verdener å erte hverandre konkurrerende teoretisk hypoteser om arkitektur av sinn1. Øye fixations på avbildet objekter har, videre avslørt at comprehenders kan, forutsatt en tilstrekkelig restriktive språklige kontekst-utføre inkrementell semantisk tolkning8 og selv utvikle forventninger om kommende tegn 9. slik øye blikket data har også kaste lys over en rekke videre forståelse prosesser, for eksempel leksikalsk flertydighet oppløsning10,11, pronomen oppløsning12, betydninger av strukturelle og tematiske rolle oppgave ved hjelp av informasjonen i visuell kontekst13,14,16og pragmatisk prosesser15, blant mange andre4. Åpenbart kan øyebevegelser objekter under språk forståelse være informativ involvert prosesser.
Metoden øye-sporing er ikke-invasiv og kan brukes med barn, unge og eldre brukere. En viktig fordel er at, i motsetning til vises punctate Svar å sonder eller Svar knappen presser i bekreftelse oppgaver, det gir innsikt over tid i et millisekunds oppløsning i hvordan språket guider oppmerksomhet og hvordan visuell sammenheng (i form av objekter, handlinger, hendelser, en blikk, og emosjonelle ansiktsuttrykk, samt romlige objektet konfigurasjoner) bidrar til språkbehandling. Kontinuitet mål under setning forståelse utfyller godt med andre etter setningen og post eksperiment tiltak som fra utilslørt bilde/video-setning bekreftelse, forståelse spørsmål og minne tilbakekalling oppgaver. Utilslørt svar i disse oppgavene kan berike tolkningen av øyet blikket posten ved å gi innsikt i utfallet av forståelse prosessen, hukommelse og læring2. Kombinere øye sporing med de andre oppgavene har avdekket i hvilken grad modulerer ulike aspekter av visuell sammenheng visuell oppmerksomhet og (umiddelbare, samt forsinket) forståelse over levetiden.
Presentasjon av språk (muntlig eller skriftlig) og scener kan være simultan eller sekvensiell. For eksempel Knoeferle og samarbeidspartnere17 presentert scenen 1000 ms før talte setningen, og det forble under forståelse. De rapporterte bevis som utklipp skildringer av handlingen hendelser bidrar til løsning av lokale strukturelle tvetydighet i tyske subject-verb-objekt (SVO) sammenlignet med objekt-verb-emne (OVS) setninger. Knoeferle og Crocker18 presentert et utklipp scenen før en skriftlig setning og testet trinnvis integrering av utklipp hendelser under setning forståelse. De observerte trinnvis kongruens effekter, noe som betyr at deltakernes lesing ganger av setningen bestanddeler var lengre når dette ikke samsvarer (vs matchet) hendelsen i forrige scenen. I en annen stimulans presentasjon variant, deltakerne først lese en setning som beskriver et romlige forhold og så en scene av en bestemt romlige ordning med objektet strektegninger19. Denne studien vurdert spådommer om beregningsformelen romlige språk modeller av deltagerne skal rangere anfall av straffen gitt til scenen, med øyebevegelser spilles under scenen avhør. Deltakernes blikket mønstre var modulert av formen på objektet som de ble konfrontert med-delvis bekrefter modell spådommer og gir data for modell foredling.
Mens mange studier har brukt utklipp skildringer17,18,19,20,21,22,23, er det også mulig å kombinere reelle objekter, videoer av disse objektene, eller statiske bilder med språk1,21,24,25,26,46. Knoeferle og kolleger brukes en reell innstillingen24 og Abashidze og kolleger brukt filmet presentasjonsformat for å undersøke handling hendelser og spente effekter25. Varierende presis innholdet av scener (f.eksviser handlinger eller ikke)22,27,38 er mulig og kan også avsløre visuell kontekst effekter. En beslektet studie av Rodríguez og samarbeidspartnere26 undersøkt påvirker filmet visuelle kjønn stikkordene forståelse av senere presentert talte setninger. Deltakerne så videoene viser enten mann eller kvinne hender utfører en stereotypisk kjønnsrelatert handling. Da hørte de en setning om enten en stereotypisk mannlig eller kvinnelig hendelse mens samtidig kontroll av en visning som viser to bilder side ved side, en av en mann og den andre en kvinne. Dette rike visuelle og språklige miljøet tillatt forfatterne å erte hverandre effekten av språk-mediert stereotype kunnskap om forståelse fra virkningene av visuelt presentert (hånd) kjønn signaler.
En ytterligere anvendelse av dette paradigmet har målrettet utviklingsmessige endringer i språkbehandling. Øyebevegelser objekter under talespråk forståelse avslørte effekten av avbildet hendelser i 4 – 5 – åringer27,28 og i eldre voksne29 i sanntid, men noe forsinket i forhold til unge voksne. Kröger og samarbeidspartnere22 undersøkte effekten av prosodic signaler og merking i et eksperiment og sammenlignet disse over eksperimenter i voksne og barn. Deltakerne inspisert en tvetydig handling-hendelse scenen mens du lytter til en relatert utvetydig tilfelle-merket tyske setning. Øyebevegelser avslørte at forskjellige prosodic mønstre hjalp voksne verken den 4 – eller 5-åringer når skille hvem-er-hva-du-hvem. Setning-første tilfellet merking, men påvirket voksnes men ikke barn øyebevegelser. Dette tyder på at 5-åringer forståelse av saken merking ikke er tilstrekkelig robust aktivere tematiske rolletilordning (se studien av Özge og samarbeidspartnere30), minst ikke når handlingen hendelser ikke skille tematiske rolle relasjoner. Disse resultatene er interessant, gitt at de er motsetning tidligere resultater prosodic effekter på tematiske rolle tildeling31. Kröger og samarbeidspartnere22 foreslått at (mer eller mindre støttende) visuell sammenheng er ansvarlig for kontrasterende funnene. I den grad at disse tolkningene holder, markere de rollen sammenheng i språk forståelse over levetiden.
Metoden øye-sporing kombinerer godt med tiltak fra bilde – (eller video-) setning bekreftelse oppgaver18,20,26, pip verifikasjon oppgaver32, corpus studier24, vurdering oppgaver19, eller etter eksperimentelle tilbakekalling oppgaver25,33. Abashidze og samarbeidspartnere34 og Kreysa og samarbeidspartnere33 undersøkt samspillet mellom høyttaler blikket og virkelige action videoer34 og høyttaler blikket og handling skildringer33, som signaler for kommende setning innhold. Ved å kombinere sporing av øye-blikk i en scene under språk forståelse med en post eksperimentelle minne aktivitet, fått de en bedre forståelse av hvordan til lytternes oppfatningen av en blikk og avbildet handlingene samhandle og påvirker både umiddelbar språkbehandling og hukommelse husker. Resultatene viste tydelig bidrag av handlinger mot høyttaler blikket til sanntid forståelse versus post eksperiment hukommelse husker prosesser.
Mens metoden øye-sporing kan brukes med stor fleksibilitet, er visse standarder nøkkelen. Følgende protokollen inneholder en generell fremgangsmåte som kan justeres til forskjellige typer forskning spørsmål forskernes spesifikke behov. Denne protokollen er en standardisert prosedyre ansatt i Psycholinguistics laboratorium på Humboldt-Universität zu Berlin og tidligere språket og kognisjon laboratorium på den kognitive samspillet teknologi Excellence Cluster (CITEC) på Bielefeld University. Protokollen beskriver et skrivebord og en ekstern konfigurering. Sistnevnte er anbefalt for bruk i studier med eller eldre voksne. Alle eksperimenter nevnt i Representant resultater bruker en øye sporing enhet som har en samplingsfrekvens på 1000 Hz og brukes sammen med en leder stabilisator, en PC for å teste deltakerne (Display PC) og en PC for overvåker eksperimentet og deltakernes øyebevegelser (Host PC). Den største forskjellen denne enheten til forgjengeren er at det tillater kikkert øye sporing. Protokollen er ment å være tilstrekkelig generelt for bruk med andre øye-sporing enheter som inkluderer en hodet stabilisator og gjøre bruk av en dual PC oppsett (vert + skjerm). Det er imidlertid viktig å huske på at andre oppsett vil sannsynligvis ha ulike metoder for å håndtere problemer som kalibrering feil eller spor tap, der tilfelle av eksperimentator bør se til brukeren håndbok av sin enhet.
I sammendraget, har gjennomgått variantene av øye sporing i visuelle sammenhenger avdekket mange måter som en visuell scene kan påvirke språk forståelse. Denne metoden gir avgjørende fordeler sammenlignet med metoder som måler reaksjonstid. For eksempel gi pågående øyebevegelser oss et vindu i språk forståelse prosesser og hvordan disse samhandler med vår oppfatning av visuell verden over tid. Dessuten, deltakere er ikke nødvendigvis nødvendig å utføre en eksplisitt oppgave under språk forståelse (for eksempel dømme grammaticality av en setning via et knappetrykk). Dette gjør at forskere til å bruke metoden med populasjoner som kanskje sliter med utilslørt atferdsdata svar enn øyet blikket, som spedbarn, barn og i noen tilfeller kan eldre voksne. Øye sporing er økologisk gyldig i at det gjenspeiler deltakernes oppmerksomhet svar, ikke ulikt menneskers visuelle avhør av kommunikasjon-relevant ting i verden rundt dem under mer eller mindre oppmerksomme lytter til unfolding ytringer.
Grenser (eller kanskje egenskaper) av visuell verden paradigmet er at ikke alle hendelser kan bli avbildet oversiktlig og utvetydig. Konkrete objekter og arrangementer kan selvfølgelig bli avbildet. Men hvordan abstrakte begreper er best avbildet er mindre klart. Dette kan begrense (eller definere) innsikt i samspillet mellom språkbehandling og oppfatningen av visuell verden bruker en øye-sporing visuell verden paradigmet. Videre utfordringer knyttet til knytte hypoteser mellom observerte atferd og forståelse prosesser. Øye-fixations er en enkelt behavioral respons som sannsynligvis gjenspeiler mange delprosesser under språk forståelse (f.eksleksikalske tilgang referanseintegritet prosesser, språk-mediert forventninger, visuell kontekst effekter, blant andre). Gitt denne innsikten, forskere må være forsiktig ikke å over – eller feiltolke observert blikket mønsteret. For å løse dette problemet, har tidligere forskning valgte forståelse delaktiviteter å avklare tolkningen av blikk posten40.
En måte å øke interpretability av øyebevegelser er å integrere dem med andre tiltak som hendelsen-relaterte hjernen potensialer (ERPs). Ved å undersøke det samme fenomenet med to metoder som er sammenlignbare i deres timelige detaljnivå og utfyllende i deres kobling hypoteser, kan forskere utelukke alternative forklaringer om sine resultater og berike tolkningen av hver personlige mål41. Denne tilnærmingen har vært forfulgt over eksperimenter43, men mer nylig også innenfor ett enkelt eksperiment (om enn i strengt språklige kontekster)44. Fremtidig forskning kan ha stor nytte av slike metodologiske integrering og fortsatte kombinasjon med post-rettssaken og post eksperimentelle aktiviteter.
Metoden øye-sporing kan gjenskape etablerte resultater, samt teste nye hypoteser om samhandlingen visuell oppmerksomhet i scener med språk forståelse. Fremgangsmåten i protokollen må følges nøye siden selv mindre eksperimentator feil kan påvirke datakvaliteten. I lesing studier, for eksempel relevante regionene er ofte enkeltord eller selv bokstaver, betyr at selv små Kalibreringsfeil kan forvrenge resultatene (se artikkelen av Raney og kolleger42). Trinn 1,4 og 1,5 protokollen, kalibrering av øye sporing og drift av/drift riktig, er spesielt viktig siden de direkte påvirke opptaket nøyaktigheten. Unnlatelse av å riktig kalibrere øye sporing kan føre sporing ikke nøyaktig sporing øyebevegelser til pre-etablerte områder av interesse. Slike sporing vil føre til manglende datapunkter og et tap i statistisk styrke som kan være problematisk når undersøke verden-å-språket relasjoner som er veldig subtile og gi små statistiske effekt størrelser (se beskrivelsen av den eksperimenter ved Guerra og Knoeferle32 og Münster og kolleger37 blant Representant resultater).
Gitt behovet for å maksimere makt og følsomhet av utstyret, er det viktig at forskere vet hvordan å håndtere problemer som rutinemessig skjer under en eksperimentell. For eksempel kan elev plassering og bevegelse av deltakere med briller resultere i kalibrering vanskeligheter på grunn av lysrefleksjoner på linser en deltakers briller. En måte å løse dette problemet er å gjenspeile bildet av deltakerens øye på PC-skjermen og oppmuntre dem til å flytte hodet til refleksjon av lys på brillene er ikke lenger synlig på skjermen, noe som betyr at det er ikke lenger fanget av kameraet. En annen årsak til kalibrering feil kan være elev innsnevring, som kan være en konsekvens av en overeksponering for lys. I så fall vil dempe lyset i laboratoriet øke elev dilatasjon og dermed hjelpe øye sporing i nøyaktig oppdage Eleven.
Som en siste tanke, vil vi gjerne ta potensialet som visuelle verden paradigmet har for forskning på andre språk læring. Paradigmet har allerede blitt brukt i psycholinguistic forskning for å undersøke fenomener som språkuavhengige leksikalsk og vanndrager samhandling46,47,48. I tillegg har nær koblingen mellom visuell oppmerksomhet og språklæring ofte blitt fremhevet i anvendt lingvistikk litteratur på andre språk oppkjøpet49,50,51. Fremtidig forskning på andre språk læring vil trolig fortsette å dra nytte fordelaktige posisjonen til øye sporing som en metode som gir en indeks av visuell oppmerksomhet i millisekunds oppløsning.
The authors have nothing to disclose.
Denne forskningen ble finansiert av ZuKo (Excellence initiativ, Humboldt-Universität zu Berlin), Excellence klynge 277 ‘Kognitiv samhandling Technology’ (tysk Research Council, DFG) og EUs syvende rammeprogram for forskning, teknologisk utvikling og demonstrasjon under grant avtalen n ° 316748 (LanPercept). Forfatterne bekrefter også støtte fra den basale midler for Centers of Excellence, prosjektet FB0003 fra den assosiative forskning programmet av CONICYT (regjeringen i Chile) og prosjektet “FoTeRo” fokus midt XPrag (DFG). Pia Knoeferle fortsetter forutsatt et første utkast av artikkelen informert av en laboratorium protokollen at Helene Kreysa startes ved Bielefeld University, og som å bli brukt på Humboldt-Universität zu Berlin. Alle forfattere bidratt til innholdet ved å gi innspill på metoder og resultater i en eller annen form. Camilo Rodríguez Ronderos og Pia Knoeferle koordinert innspill fra forfatterne, og i to gjentakelser, revidert betydelig første utkast. Ernesto Guerra produsert tallene 2 – 4 basert på innspill fra Katja Münster og Alba Rodríguez Ernesto Guerra. Helene Kreysa gitt figur 1 og Pia Knoeferle oppdatert. Deler av rapporterte resultatene er publisert i Proceedings av årsmøtet i kognitiv vitenskap samfunnet.
Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |