Denne artikel gennemgår en eye-tracking metoder for undersøgelser om sprogforståelse. For at få pålidelige data, skal vigtige trin i protokollen følges. Blandt disse er den korrekte set-up af øjet tracker (f.eks.sikring af god kvalitet af billederne, øjet og hoved) og præcis kalibrering.
Det nuværende arbejde er en beskrivelse og en vurdering af en metode, der er designet til at kvantificere forskellige aspekter af samspillet mellem sprogbehandling og opfattelsen af den visuelle verden. Optagelse af øje-blik mønstre har dokumenteret godt for både visuel kontekst og sproglige/verden viden til sprogforståelse bidrag. Indledende forskning vurderet objektkonteksten effekter til at afprøve teorier af modularitet i sprogbehandling. I indledningen beskriver vi hvordan efterfølgende undersøgelser har taget rollen som den bredere visuelle sammenhæng i sprogbehandling som et forskningsemne i sin egen ret, stille spørgsmål såsom, hvordan vores visuelle perception af begivenheder og højttalere bidrager til læseforståelse informeret af comprehenders’ oplevelse. Blandt de undersøgte aspekter af den visuelle sammenhæng er handlinger, begivenheder, en højttaler blik, og følelsesmæssige ansigtsudtryk, såvel som geografisk objekt konfigurationer. Efter en oversigt over eye-tracking-metoden og dens forskellige applikationer liste vi de vigtigste trin metode i protokollen, illustrerer, hvordan man kunne bruge det til at studere visuelt beliggende sprogforståelse. En sidste afsnit præsenterer tre sæt af repræsentative resultater og illustrerer de fordele og begrænsninger af eye tracking for at undersøge samspillet mellem opfattelsen af den visuelle verden og sproget forståelse.
Psycholinguistic forskning har fremhævet betydningen af øjenbevægelser analyser for at forstå de processer, der er impliceret i sprogforståelse. Kernen i udlede forståelse processer fra posten blik er en hypotese, at links kognition til øje bevægelser5. Der er tre hovedtyper af øjenbevægelser: saccades, vestibulo-okulære bevægelser og glat udøvelse bevægelser. Saccades er hurtig og ballistiske bevægelser, der sker for det meste ubevidst og har været pålideligt forbundet med ændringer i vægt på6. Øjeblikke af relative blik stabilitet mellem saccades, kendt som fjernsynsforetagender, betragtes index aktuelle visuelle opmærksomhed. Måling locus af optagelsen og deres varighed i forhold til kognitive processer er kendt som eye-tracking-metoden. Tidlig implementeringer af denne metode tjente til at undersøge læseforståelse i strengt sproglige sammenhænge (Se Rayner7 for en anmeldelse). I denne tilgang er varigheden af inspektion af et ord eller en sætning region tilknyttet forarbejdning vanskeligheder. Eyetracking har dog også været anvendt til at undersøge talesprog forståelse under inspektionen af genstande i verden (eller på en computer skærm2). I denne ‘visuel verden’ eye-tracking version, er inspektion af objekter styret af sprog. Når comprehenders hører zebra, for eksempel deres inspektion af en zebra på skærmen er taget til at afspejle, at de tænker på dyret. I hvad der er kendt som den visuelle verden paradigme, et comprehender øje blik er taget til at afspejle talte sprogforståelse og aktivering af tilknyttede viden (fx lyttere også inspicere zebra, når de hører, græsning, som angiver en aktion udført af zebra)2. Sådanne inspektioner foreslå en systematisk sammenhæng mellem sprog-verden forbindelser og øje bevægelser2. En almindelig måde at opgøre dette link er ved at beregne andelen af ser at forskellige forudbestemte regioner på en skærm. Dette giver mulighed for forskere at direkte sammenligne (på tværs af tilstande, som deltagere og emner) mængden af opmærksomhed på forskellige objekter på et bestemt tidspunkt og hvordan disse værdier ændre i millisekund opløsning.
Forskning i Sprogpsykologi er udnyttet eye tracking i visuelle verdener at drille apart konkurrerende teoretiske hypoteser om arkitekturen i sindet1. Øjet filmoptagelse på afbillede objekter har, desuden afslørede, at comprehenders kan — forudsat at en tilstrækkelig restriktive sproglig sammenhæng — udføre trinvis semantiske fortolkning8 og selv udvikle forventninger om kommende tegn 9. sådanne øje blik data har også kastet lys over en række yderligere forståelse processer som leksikalsk tvetydighed opløsning10,11, pronomen opløsning12, flertydig af strukturelle og tematiske rolle tildeling ved hjælp af oplysningerne i den visuelle sammenhæng13,14,16, og pragmatisk processer15, blandt mange andre4. Klart, øjenbevægelser til objekter under sprogforståelse kan være informativ for de implicerede processer.
Eye-tracking-metoden er non-invasiv og kan bruges med børn, unge og ældre sprog brugere. En vigtig fordel er, at i modsætning til punktformet svar til sonder eller svar knappen presser bekræftelsesopgaverne, det giver et indblik over tid i en millisekund beslutning i hvordan sprog guider opmærksomhed, og hvor den visuelle sammenhæng (i form af objekter, handlinger, begivenheder, en højttaler blik, og følelsesmæssige ansigtsudtryk, såvel som geografisk objekt konfigurationer) bidrager til sprogbehandling. Kontinuiteten i foranstaltningen under sætning forståelse supplerer godt med andre efter punktum og efter eksperiment foranstaltninger såsom fra overt billede/video-sætning verifikation, forståelse spørgsmål og hukommelse huske opgaver. Åbenlys svar i disse opgaver kan berige fortolkning af posten øje blik ved at give indsigt i resultatet af læseforståelse processen, hukommelse og læring2. Kombinere eye tracking med disse andre opgaver har afdækket i hvilket omfang forskellige aspekter af den visuelle sammenhæng modulere visuel opmærksomhed og (umiddelbar samt forsinket) forståelse i hele levetiden.
Præsentation af sprog (talt eller skrevet) og scener kan være enten samtidig eller sekventiel. For eksempel, Knoeferle og samarbejdspartnere17 præsenteret scenen 1.000 ms før talt sætning, og det forblev under forståelse. De rapporterede beviser for, at clipart skildringer af action events bidrage til løsning af lokale strukturelle tvetydighed i tyske emne-verbum-objekt (SVO) sammenlignet med objekt-verbum-emne (OVS) sætninger. Knoeferle og Crocker18 præsenteret et clipart scene før en skriftlig sætning og testet trinvis integration af clipart begivenheder under sætning forståelse. De observerede incremental kongruens effects, hvilket betyder, at deltagernes læsning gange af sætning vælgere var længere, når disse uoverensstemmende (vs matchede) hændelsen afbildet i den foregaaende scene. I en anden stimulus præsentation variant, deltagerne først læse en sætning, der beskriver et fysisk forhold og så en scene af en bestemt rumlige arrangement der involverer objekt stregtegninger19. Denne undersøgelse vurderes forudsigelser af computational rumlige sprog modeller ved at spørge deltagerne til at Vurder pasform af sætningen givet til scenen, med øjenbevægelser registreres under scene forhør. Deltagernes blik mønstre var moduleret af formen af det objekt, som de blev konfronteret med — delvis bekræfter model forudsigelser og at levere data til model raffinement.
Mens mange undersøgelser har brugt clipart skildringer17,18,19,20,21,22,23, er det også muligt at kombinere virkelige verden genstande, videoer af disse objekter eller statisk fotografier med talesprog1,21,24,25,26,46. Knoeferle og kolleger anvendte en virkelige verden indstilling24 og Abasjidse og kolleger anvendte en videotaped præsentationsformat for behandlingen af action events og spændte effekter25. Varierende det præcise indhold af scenerne (f.eks., skildrer handlinger eller ej)22,27,38 er muligt og kan også afsløre visuelle sammenhæng effekter. En relaterede undersøgelse af Rodríguez og samarbejdspartnere26 undersøgt videotaped visuelle køn stikord indflydelse på forståelsen af efterfølgende præsenteret indtalte sætninger. Deltagerne så de videoer vise enten mandlig eller kvindelig hænder udfører handlingen stereotypically kønsrelateret. Så, de hørte en sætning om enten en stereotypically mandlige eller kvindelige action event mens samtidig undersøge et display viser to billeder side om side, en af en mand og den anden af en kvinde. Denne rige visuelle og sproglige miljø tilladt forfattere at drille hinanden virkninger sprog-medieret stereotype viden om forståelse fra virkningerne af visuelt præsenteres (hånd) køn stikord.
En videre anvendelse af dette paradigme har målrettede udviklingsmæssige ændringer i sprogbehandling. Øjenbevægelser til objekter under talte sprogforståelse afslørede effekter af afbillede begivenheder i 4 – 5 – årige27,28 og i ældre voksne29 i realtid, men lidt forsinket i forhold til unge voksne. Kröger og samarbejdspartnere22 undersøgt virkningerne af informationsstrukturelle stikord og sag mærkning inden for et eksperiment og sammenlignet disse på tværs af forsøg hos voksne og børn. Deltagerne inspiceret en tvetydig action-event scene mens du lytter til en relaterede utvetydigt sag-mærket tyske sætning. Øjenbevægelser afslørede, at de særskilte informationsstrukturelle mønstre hjalp hverken voksne eller 4 – eller 5-årige, da disambiguating der gør-hvad-til hvem. Sætning-indledende sag mærkning, påvirket dog voksne men ikke børns øjenbevægelser. Dette tyder på, at 5 årige forståelse af sag mærkning ikke er tilstrækkeligt robuste til at aktivere tematiske rolletildeling (jf. undersøgelsen af Özge og samarbejdspartnere30), i det mindste ikke når Handling begivenheder ikke skelne tematiske rolle forbindelser. Disse resultater er interessante, da de er i modsætning til tidligere resultater af informationsstrukturelle virkninger på tematiske rolle tildeling31. Kröger og samarbejdspartnere22 foreslået, at de (mere eller mindre støttende) visuelle sammenhæng er ansvarlig for de modstridende resultater. At disse fortolkninger hold, fremhæve de rollen som led i sprogforståelse i hele levetiden.
Eye-tracking-metoden kombinerer godt med foranstaltninger fra billede – (eller video-) sætning verifikation opgaver18,20,26, billede billede verifikation opgaver32, corpus undersøgelser24, rating opgaver19, eller efter eksperimentel hjemkalde opgaver25,33. Abasjidse og samarbejdspartnere34 og Kreysa og samarbejdspartnere33 undersøgt samspillet mellem højttaler blik og virkelighedstro handling videoer34 og højttaler blik og handling skildringer33, henholdsvis som stikord for kommende sætning indhold. Ved at kombinere sporingen af øje blik i en scene under sprogforståelse med en post eksperimentelle hukommelse opgave, de har opnået en bedre forståelse af den måde hvorpå lyttere opfattelse af en højttaler blik og de afbillede handlinger interagere og påvirker både øjeblikkelig sprogbehandling og hukommelse huske. Resultaterne viste handlinger versus højttaler blik til real-time forståelse versus efter eksperiment hukommelse huske processer særskilte bidrag.
Mens eye-tracking-metoden kan være ansat med stor fleksibilitet, er visse standarder nøglen. Følgende protokol opsummerer en generaliseret procedure, der kan justeres til forskellige typer af forskningsspørgsmål ifølge forskernes specifikke behov. Denne protokol er en standardiseret procedure ansat i Sprogpsykologi laboratoriet på Humboldt-Universität zu Berlin og i den tidligere sprog og kognition laboratorium på den kognitive interaktion teknologi Excellence Cluster (CITEC) på Bielefelds universitet. Protokollen beskriver en desktop og en ekstern opsætning. Sidstnævnte anbefales til brug i studier med ældre voksne eller børn. Alle eksperimenter nævnt i Repræsentative resultater brug en eye tracker enhed, som har en samplingfrekvens på 1.000 Hz og bruges sammen med et hoved stabilisator, en PC for at teste deltagere (Display PC) og en PC for at overvåge eksperimentet og den deltagernes øjenbevægelser (Host PC). Den væsentligste forskel på denne enhed til sin forgænger er, at det giver for kikkert eye tracking. Protokollen er beregnet til at blive tilstrækkeligt generelle til brug med andre eye-tracking-enheder, der omfatter en hoved stabilisator og gøre brug af en dobbelt PC setup (Host + Display). Det er dog vigtigt at huske på, at andre opsætninger får sandsynligvis forskellige metoder til håndtering af problemer såsom kalibrering fejl eller spor tab, i hvilket tilfælde eksperimentatoren bør refererer til brugeren manuel af deres specifikke enhed.
I sammendrag, har de gennemgik varianter af eyetracking i visuelle sammenhænge afdækket mange måder hvorpå en visuel scene kan påvirke sprogforståelse. Denne metode giver afgørende fordele i forhold til metoder såsom måling reaktionstider. For eksempel, giver løbende øjenbevægelser os med et vindue i sprog forståelse processer og hvordan de interagerer med vores opfattelse af den visuelle verden over tid. Desuden er deltagere ikke nødvendigvis påkrævet at udføre en eksplicit opgave under sprogforståelse (f.eks. at bedømme grammaticality af en sætning via Tryk på en knap). Dette gør det muligt for forskere at bruge metoden med befolkningsgrupper, som måtte kæmpe med åbenlys adfærdsmæssige reaktioner end øjet blik, som spædbørn, børn og i visse tilfælde, ældre voksne. Eyetracking er økologisk gyldigt, fordi det afspejler deltagernes opmærksomhed svar — ikke i modsætning til mennesker visuelle forhør af kommunikation-relevante ting i verden omkring dem under mere eller mindre opmærksomme lytter til udfoldelsen ytringer.
En af de grænser (eller måske egenskaber) for den visuelle verden paradigme er, at ikke alle arrangementer kan være afbildet ligefremt og utvetydigt. Konkrete objekter og begivenheder kan naturligvis være afbildet. Men hvordan abstrakte begreber er bedste afbildet er mindre klar. Dette kan begrænse (eller definere) indsigt i samspillet mellem sprogbehandling og opfattelsen af den visuelle verden ved hjælp af en eye-tracking visuelle verden paradigme. Yderligere udfordringer vedrører de forbinder hypoteser mellem observerede adfærd og læseforståelse processer. Øjet optagelse er en enkelt adfærdsmæssige reaktion, der afspejler sandsynligvis mange underprocesser under sprogforståelse (fx, leksikalsk adgang, referentiel processer, sprog-medieret forventninger, visuelle sammenhæng effekter, blandt andre). I betragtning af denne indsigt, forskere skal passe på ikke at over – eller fejlfortolker de observerede blik mønster. For at løse dette problem, har tidligere forskning fremhævet forståelse underopgaver at præcisere fortolkningen af blik optage40rolle.
En måde at øge interpretability af øjenbevægelser er at integrere dem med andre foranstaltninger såsom event-relaterede hjernen potentialer (ERPs). Ved at undersøge det samme fænomen med to metoder, der er sammenlignelige i deres tidsmæssige granulering og supplerer hinanden i deres forbinder hypoteser, kan forskere udelukke alternative forklaringer af deres resultater og berige fortolkningen af hver enkeltforanstaltning41. Denne tilgang er blevet ført på tværs af eksperimenter43, men mere for nylig, også inden for et enkelt eksperiment (omend i strengt sproglige sammenhænge)44. Fremtidig forskning kunne drage stor nytte af disse metodologiske integration og fortsatte kombination med post-forsøg og post eksperimentelle opgaver.
Eye-tracking-metoden kan replikere etablerede resultater, samt afprøve nye hypoteser om samspillet mellem visuelle opmærksomhed i scener med sprogforståelse. Den procedure, der er skitseret i protokollen skal følges nøje, da selv mindre eksperimentatoren fejl kan påvirke oplysningernes kvalitet. I læsning undersøgelser, for eksempel de relevante analyse regioner er ofte enkelte ord eller endda breve, hvilket betyder, at selv små kalibrering fejl kan fordreje resultaterne (se artiklen Raney og kolleger42). Trin 1.4 og 1.5 i protokollen, kalibrering af øjet tracker og drift check/drift korrekt, er af særlig betydning, da de direkte påvirker optagelsen nøjagtighed. Manglende korrekt kalibrering eye tracker kan resultere i sporingen ikke nøjagtigt sporing øjenbevægelser til forud fastsatte områder af interesse. Sådanne tracking fejl vil føre til manglende datapunkter og et tab i statistiske effekt, hvilket kan være problematisk, når undersøger til verdenssprog relationer, der er meget subtil og give små statistiske effekt størrelser (Se beskrivelsen af de eksperimenter af Guerra og Knoeferle32 og Münster og kolleger37 blandt Repræsentant resultater).
I betragtning af behovet for at maksimere magten og følsomheden af udstyret, er det vigtigt at eksperimentatorer ved, hvordan man skal håndtere problemer, der rutinemæssigt opstår under en eksperimentel session. For eksempel, kan elev stilling og bevægelse af deltagerne iført briller resultere i kalibrering vanskeligheder på grund af lys refleksioner på linserne en deltagers briller. Én måde at løse dette problem er at spejl billede af deltagerens øje på Display PC og tilskynde dem til at flytte deres hoved, indtil refleksion af lys på glassene er ikke længere synlig på skærmen, hvilket betyder, at det ikke længere er fanget af kameraet. En yderligere årsag til kalibrering fiasko kan være elev konstriktion, som kan være en konsekvens af en overeksponering for lys. I så fald vil dæmpe lyset i laboratoriet øge elev dilatation og således hjælpe øjet tracker i præcist afsløre eleven.
Som en afsluttende tanke, vil vi gerne tage fat på det potentiale, som visual-verden paradigme har for forskning på sekund-sprogindlæring. Paradigme har allerede blevet med held brugt i psycholinguistic forskning til at undersøge fænomener som cross-sprog leksikalsk og fonologisk interaktion46,47,48. Den tætte forbindelse mellem visuelle opmærksomhed og indlæring af fremmedsprog har derudover ofte fremhævet i anvendt lingvistik litteratur om anden sprogtilegnelse49,50,51. Kommende forskning på sekund-sprogindlæring vil sandsynligvis fortsætte at drage fordel af den fordelagtige position af eye tracking som en metode, der indeholder et indeks over visuel opmærksomhed i millisekund opløsning.
The authors have nothing to disclose.
Denne forskning er finansieret af ZuKo (Excellence initiativ, Humboldt-Universität zu Berlin), Excellence klynge 277 ‘Kognitive interaktion teknologi’ (tysk Forskningsråd, DFG), og af EUs syvende ramme Program for forskning, teknologisk udvikling og demonstration under grant aftale n ° 316748 (LanPercept). Forfatterne også anerkender støtte fra de basale midler til Centers of Excellence, projekt FB0003 fra den Associative forskning Program af CONICYT (regeringen i Chile) og fra projektet “FoTeRo” i byens fokus XPrag (DFG). Pia Knoeferle fortsat forudsat et første udkast af artiklen informeret af en laboratorium protokol, Helene Kreysa instantieres på Bielefelds universitet og der anvendes på Humboldt-Universität zu Berlin. Alle forfattere har bidraget til indholdet ved at levere input om metoder og resultater i en eller anden form. Camilo Rodríguez Ronderos og Pia Knoeferle koordinerede input fra forfatterne, og i to gentagelser, revideret væsentligt det indledende udkast. Ernesto Guerra produceret tal 2 – 4 baseret på input fra Katja Münster, Alba Rodríguez og Ernesto Guerra. Helene Kreysa fastsat, figur 1 og Pia Knoeferle opdateret den. Dele af de rapporterede resultater er blevet offentliggjort i Proceedings of det årlige møde i kognitiv videnskab samfund.
Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |