Summary
Denne artikel gennemgår en eye-tracking metoder for undersøgelser om sprogforståelse. For at få pålidelige data, skal vigtige trin i protokollen følges. Blandt disse er den korrekte set-up af øjet tracker (f.eks.sikring af god kvalitet af billederne, øjet og hoved) og præcis kalibrering.
Abstract
Det nuværende arbejde er en beskrivelse og en vurdering af en metode, der er designet til at kvantificere forskellige aspekter af samspillet mellem sprogbehandling og opfattelsen af den visuelle verden. Optagelse af øje-blik mønstre har dokumenteret godt for både visuel kontekst og sproglige/verden viden til sprogforståelse bidrag. Indledende forskning vurderet objektkonteksten effekter til at afprøve teorier af modularitet i sprogbehandling. I indledningen beskriver vi hvordan efterfølgende undersøgelser har taget rollen som den bredere visuelle sammenhæng i sprogbehandling som et forskningsemne i sin egen ret, stille spørgsmål såsom, hvordan vores visuelle perception af begivenheder og højttalere bidrager til læseforståelse informeret af comprehenders' oplevelse. Blandt de undersøgte aspekter af den visuelle sammenhæng er handlinger, begivenheder, en højttaler blik, og følelsesmæssige ansigtsudtryk, såvel som geografisk objekt konfigurationer. Efter en oversigt over eye-tracking-metoden og dens forskellige applikationer liste vi de vigtigste trin metode i protokollen, illustrerer, hvordan man kunne bruge det til at studere visuelt beliggende sprogforståelse. En sidste afsnit præsenterer tre sæt af repræsentative resultater og illustrerer de fordele og begrænsninger af eye tracking for at undersøge samspillet mellem opfattelsen af den visuelle verden og sproget forståelse.
Introduction
Psycholinguistic forskning har fremhævet betydningen af øjenbevægelser analyser for at forstå de processer, der er impliceret i sprogforståelse. Kernen i udlede forståelse processer fra posten blik er en hypotese, at links kognition til øje bevægelser5. Der er tre hovedtyper af øjenbevægelser: saccades, vestibulo-okulære bevægelser og glat udøvelse bevægelser. Saccades er hurtig og ballistiske bevægelser, der sker for det meste ubevidst og har været pålideligt forbundet med ændringer i vægt på6. Øjeblikke af relative blik stabilitet mellem saccades, kendt som fjernsynsforetagender, betragtes index aktuelle visuelle opmærksomhed. Måling locus af optagelsen og deres varighed i forhold til kognitive processer er kendt som eye-tracking-metoden. Tidlig implementeringer af denne metode tjente til at undersøge læseforståelse i strengt sproglige sammenhænge (Se Rayner7 for en anmeldelse). I denne tilgang er varigheden af inspektion af et ord eller en sætning region tilknyttet forarbejdning vanskeligheder. Eyetracking har dog også været anvendt til at undersøge talesprog forståelse under inspektionen af genstande i verden (eller på en computer skærm2). I denne 'visuel verden' eye-tracking version, er inspektion af objekter styret af sprog. Når comprehenders hører zebra, for eksempel deres inspektion af en zebra på skærmen er taget til at afspejle, at de tænker på dyret. I hvad der er kendt som den visuelle verden paradigme, et comprehender øje blik er taget til at afspejle talte sprogforståelse og aktivering af tilknyttede viden (fx lyttere også inspicere zebra, når de hører, græsning, som angiver en aktion udført af zebra)2. Sådanne inspektioner foreslå en systematisk sammenhæng mellem sprog-verden forbindelser og øje bevægelser2. En almindelig måde at opgøre dette link er ved at beregne andelen af ser at forskellige forudbestemte regioner på en skærm. Dette giver mulighed for forskere at direkte sammenligne (på tværs af tilstande, som deltagere og emner) mængden af opmærksomhed på forskellige objekter på et bestemt tidspunkt og hvordan disse værdier ændre i millisekund opløsning.
Forskning i Sprogpsykologi er udnyttet eye tracking i visuelle verdener at drille apart konkurrerende teoretiske hypoteser om arkitekturen i sindet1. Øjet filmoptagelse på afbillede objekter har, desuden afslørede, at comprehenders kan — forudsat at en tilstrækkelig restriktive sproglig sammenhæng — udføre trinvis semantiske fortolkning8 og selv udvikle forventninger om kommende tegn 9. sådanne øje blik data har også kastet lys over en række yderligere forståelse processer som leksikalsk tvetydighed opløsning10,11, pronomen opløsning12, flertydig af strukturelle og tematiske rolle tildeling ved hjælp af oplysningerne i den visuelle sammenhæng13,14,16, og pragmatisk processer15, blandt mange andre4. Klart, øjenbevægelser til objekter under sprogforståelse kan være informativ for de implicerede processer.
Eye-tracking-metoden er non-invasiv og kan bruges med børn, unge og ældre sprog brugere. En vigtig fordel er, at i modsætning til punktformet svar til sonder eller svar knappen presser bekræftelsesopgaverne, det giver et indblik over tid i en millisekund beslutning i hvordan sprog guider opmærksomhed, og hvor den visuelle sammenhæng (i form af objekter, handlinger, begivenheder, en højttaler blik, og følelsesmæssige ansigtsudtryk, såvel som geografisk objekt konfigurationer) bidrager til sprogbehandling. Kontinuiteten i foranstaltningen under sætning forståelse supplerer godt med andre efter punktum og efter eksperiment foranstaltninger såsom fra overt billede/video-sætning verifikation, forståelse spørgsmål og hukommelse huske opgaver. Åbenlys svar i disse opgaver kan berige fortolkning af posten øje blik ved at give indsigt i resultatet af læseforståelse processen, hukommelse og læring2. Kombinere eye tracking med disse andre opgaver har afdækket i hvilket omfang forskellige aspekter af den visuelle sammenhæng modulere visuel opmærksomhed og (umiddelbar samt forsinket) forståelse i hele levetiden.
Præsentation af sprog (talt eller skrevet) og scener kan være enten samtidig eller sekventiel. For eksempel, Knoeferle og samarbejdspartnere17 præsenteret scenen 1.000 ms før talt sætning, og det forblev under forståelse. De rapporterede beviser for, at clipart skildringer af action events bidrage til løsning af lokale strukturelle tvetydighed i tyske emne-verbum-objekt (SVO) sammenlignet med objekt-verbum-emne (OVS) sætninger. Knoeferle og Crocker18 præsenteret et clipart scene før en skriftlig sætning og testet trinvis integration af clipart begivenheder under sætning forståelse. De observerede incremental kongruens effects, hvilket betyder, at deltagernes læsning gange af sætning vælgere var længere, når disse uoverensstemmende (vs matchede) hændelsen afbildet i den foregaaende scene. I en anden stimulus præsentation variant, deltagerne først læse en sætning, der beskriver et fysisk forhold og så en scene af en bestemt rumlige arrangement der involverer objekt stregtegninger19. Denne undersøgelse vurderes forudsigelser af computational rumlige sprog modeller ved at spørge deltagerne til at Vurder pasform af sætningen givet til scenen, med øjenbevægelser registreres under scene forhør. Deltagernes blik mønstre var moduleret af formen af det objekt, som de blev konfronteret med — delvis bekræfter model forudsigelser og at levere data til model raffinement.
Mens mange undersøgelser har brugt clipart skildringer17,18,19,20,21,22,23, er det også muligt at kombinere virkelige verden genstande, videoer af disse objekter eller statisk fotografier med talesprog1,21,24,25,26,46. Knoeferle og kolleger anvendte en virkelige verden indstilling24 og Abasjidse og kolleger anvendte en videotaped præsentationsformat for behandlingen af action events og spændte effekter25. Varierende det præcise indhold af scenerne (f.eks., skildrer handlinger eller ej)22,27,38 er muligt og kan også afsløre visuelle sammenhæng effekter. En relaterede undersøgelse af Rodríguez og samarbejdspartnere26 undersøgt videotaped visuelle køn stikord indflydelse på forståelsen af efterfølgende præsenteret indtalte sætninger. Deltagerne så de videoer vise enten mandlig eller kvindelig hænder udfører handlingen stereotypically kønsrelateret. Så, de hørte en sætning om enten en stereotypically mandlige eller kvindelige action event mens samtidig undersøge et display viser to billeder side om side, en af en mand og den anden af en kvinde. Denne rige visuelle og sproglige miljø tilladt forfattere at drille hinanden virkninger sprog-medieret stereotype viden om forståelse fra virkningerne af visuelt præsenteres (hånd) køn stikord.
En videre anvendelse af dette paradigme har målrettede udviklingsmæssige ændringer i sprogbehandling. Øjenbevægelser til objekter under talte sprogforståelse afslørede effekter af afbillede begivenheder i 4 - 5 - årige27,28 og i ældre voksne29 i realtid, men lidt forsinket i forhold til unge voksne. Kröger og samarbejdspartnere22 undersøgt virkningerne af informationsstrukturelle stikord og sag mærkning inden for et eksperiment og sammenlignet disse på tværs af forsøg hos voksne og børn. Deltagerne inspiceret en tvetydig action-event scene mens du lytter til en relaterede utvetydigt sag-mærket tyske sætning. Øjenbevægelser afslørede, at de særskilte informationsstrukturelle mønstre hjalp hverken voksne eller 4 - eller 5-årige, da disambiguating der gør-hvad-til hvem. Sætning-indledende sag mærkning, påvirket dog voksne men ikke børns øjenbevægelser. Dette tyder på, at 5 årige forståelse af sag mærkning ikke er tilstrækkeligt robuste til at aktivere tematiske rolletildeling (jf. undersøgelsen af Özge og samarbejdspartnere30), i det mindste ikke når Handling begivenheder ikke skelne tematiske rolle forbindelser. Disse resultater er interessante, da de er i modsætning til tidligere resultater af informationsstrukturelle virkninger på tematiske rolle tildeling31. Kröger og samarbejdspartnere22 foreslået, at de (mere eller mindre støttende) visuelle sammenhæng er ansvarlig for de modstridende resultater. At disse fortolkninger hold, fremhæve de rollen som led i sprogforståelse i hele levetiden.
Eye-tracking-metoden kombinerer godt med foranstaltninger fra billede - (eller video-) sætning verifikation opgaver18,20,26, billede billede verifikation opgaver32, corpus undersøgelser24, rating opgaver19, eller efter eksperimentel hjemkalde opgaver25,33. Abasjidse og samarbejdspartnere34 og Kreysa og samarbejdspartnere33 undersøgt samspillet mellem højttaler blik og virkelighedstro handling videoer34 og højttaler blik og handling skildringer33, henholdsvis som stikord for kommende sætning indhold. Ved at kombinere sporingen af øje blik i en scene under sprogforståelse med en post eksperimentelle hukommelse opgave, de har opnået en bedre forståelse af den måde hvorpå lyttere opfattelse af en højttaler blik og de afbillede handlinger interagere og påvirker både øjeblikkelig sprogbehandling og hukommelse huske. Resultaterne viste handlinger versus højttaler blik til real-time forståelse versus efter eksperiment hukommelse huske processer særskilte bidrag.
Mens eye-tracking-metoden kan være ansat med stor fleksibilitet, er visse standarder nøglen. Følgende protokol opsummerer en generaliseret procedure, der kan justeres til forskellige typer af forskningsspørgsmål ifølge forskernes specifikke behov. Denne protokol er en standardiseret procedure ansat i Sprogpsykologi laboratoriet på Humboldt-Universität zu Berlin og i den tidligere sprog og kognition laboratorium på den kognitive interaktion teknologi Excellence Cluster (CITEC) på Bielefelds universitet. Protokollen beskriver en desktop og en ekstern opsætning. Sidstnævnte anbefales til brug i studier med ældre voksne eller børn. Alle eksperimenter nævnt i Repræsentative resultater brug en eye tracker enhed, som har en samplingfrekvens på 1.000 Hz og bruges sammen med et hoved stabilisator, en PC for at teste deltagere (Display PC) og en PC for at overvåge eksperimentet og den deltagernes øjenbevægelser (Host PC). Den væsentligste forskel på denne enhed til sin forgænger er, at det giver for kikkert eye tracking. Protokollen er beregnet til at blive tilstrækkeligt generelle til brug med andre eye-tracking-enheder, der omfatter en hoved stabilisator og gøre brug af en dobbelt PC setup (Host + Display). Det er dog vigtigt at huske på, at andre opsætninger får sandsynligvis forskellige metoder til håndtering af problemer såsom kalibrering fejl eller spor tab, i hvilket tilfælde eksperimentatoren bør refererer til brugeren manuel af deres specifikke enhed.
Protocol
Denne protokol følger de etiske retningslinjer for den institution hvor dataene blev indsamlet, dvs, den kognitive interaktion teknologi Excellence Cluster (CITEC) af Bielefelds universitet og Humboldt-Universität zu Berlin. Eksperimenter udført på Bielefelds universitet blev godkendt individuelt Bielefeld-universitetets etiske udvalg. Sprogpsykologi laboratoriet på Humboldt-Universität zu Berlin har et laboratorium etik protokol, der blev godkendt af det etiske udvalg af Deutsche Gesellschaft für Sprachwissenschaft, tysk lingvistik samfund (DGfS).
1. desktop opsætning
Bemærk: Følgende er de vigtigste skridt i en eye-tracking eksperiment.
- Instrument forberedelse
- Drej på eye-tracking kameraet og Host PC (Se figur 1 for en illustration af i-lab dataindsamling og forbehandling opsætningen).
- Indlede øje tracker software.
- Slå visningen af PC. Åbn den mappe, der indeholder eksperimenterne.
- Start de 'indsatte' version med filtypenavnet .exe, ved at dobbeltklikke på det.
- Afhængigt af konfigurationen, kan der vises en prompt for at vælge en eksperimentel liste, som er typisk en tabulatorsepareret.csv/.txt fil, der indeholder betingelser, klang filnavne, skriftlige sætninger, og/eller billeder, som en deltager vil blive udsat for. Vælg på listen, og programmet vil starte. Navngive outputfilen hvor resultaterne vil blive opbevaret.
Bemærk: Output-filen er gemt på Display PC og en back-up er gemt på den vært Datamaskine. - Åbner det første skærmbillede i eksperiment (indledning eller velkommen raster).
- Fjerne beskyttelsestapen fra øjet tracker kamera.
- Hygiejniske formål, at placere en væv på indehaveren af hagen.
- Valgfrit: Forberede et svar pad og/eller et tastatur som krævet i eksperimentet.
- Valgfrit: Hvis præsenterer auditive stimuli, justering af lydstyrken for højttalere og teste dem, inden du kører forsøget. Alternativt kan du teste funktionaliteten af hovedtelefoner til at blive brugt af deltageren.
- Forbered de nødvendige formularer skal underskrives af deltageren.
- Indstille lysintensiteten i laboratoriet for at have en svagt oplyste rum med en konstant luminans for hele varigheden af dataindsamlingsprocessen.
- Forberedelse til deltagerne
- Når deltagerne er ankommet, introducere dig selv.
- Sted en vil ikke forstyrres tegn på laboratoriet døren.
- Bede vedkommende om at tage plads.
- Guide deltager gennem oplysningsskema og nødvendigt samtykke og demografiske former.
- Lad deltageren læse og underskrive en samtykkeerklæring.
- Forklar kort de generelle aspekter af forsøget, og dens varighed. Give ikke for meget information forud for forsøget, da dette kan påvirke deltagerens blik adfærd og de resulterende data.
- Skriftlige instrukser og giver deltageren mulighed for at stille spørgsmål.
- Kort forklare funktionen af øjet tracker.
- Hvis det er nødvendigt, afklare opgaven og påpege nogen knapper/taster, der skal være trykket under eksperimentet.
- Forklare hvordan hage resten er beregnet til at minimere hovedet bevægelse under eksperimentet. Nævne, at enheden fungerer bedst, hvis deltageren undgår enhver bevægelser.
- Opsætning af øjet tracker
- Forberede deltageren til eksperimentet: bede dem om at sidde med ved bordet og placere deres chin chin resten. Bede dem om at læne deres panden mod hovedstøtten.
- Spørge deltageren til at justere højde og position af stolen hvis nødvendigt: deltageren skal føle sig godt tilpas med deres chin chin resten og deres panden mod hovedstøtten.
- Forklare, at det er almindeligt at uheld flytte hovedet under eksperimentet, og at dette bør undgås. Forklare at den hoved kropsholdning måtte korrigeres under eksperimentet.
- Hvis eksperimentet kræver Tryk på en knap (f.eks. via svar pad), pålægge deltageren til at forlade deres fingre hviler på knappen der skal trykkes og at undgå at se på svar puden når du trykker på en knap.
- Spørge deltageren at læse skærmbilledet Velkommen/introduktion.
- Sidde foran den vært Datamaskine. Hvis skærmen ikke allerede er på kamera opsætning, klik på kamera setup for at få til den rigtige skærm. Hvis den beskyttende dække er blevet fjernet fra kameralinsen og deltageren er korrekt placeret på hagen resten, skærmen skal vise tre billeder af deltagerens øjne: et større billede på toppen, og to små nederst til venstre og højre. Disse mindre billeder Vis en øjet hver, svarende til venstre og den højre øje.
- Vælg eye kan spores. Det er almindeligt at spore deltagerens dominerende øje. Hvis deltageren ikke ved hvilke øje er dominerende, foretage en okulær dominans test (trin 1.3.8).
- Bestemme okulær dominans. Spørge deltageren til at strække en arm og justere tommelfinger med et fjernt objekt med begge øjne åbne. Spørge deltageren til alternative lukke den venstre eller højre øje. Den dominerende øje er den som tommelfinger stadig justeret med objektet når øjet er åben35,36.
- Klik på billedet | Display pc (eller tryk på Enter) og de billeder, der er beskrevet i trin 1.3.6 vises også på deltagerens skærm, men kun én ad gangen.
- Tryk på venstre/højre pilen på enten eksperimentatoren eller deltagerens computertastatur til at skifte mellem de mindre og større billede af øjet. Fokusere på de mindre billede (i øjet).
- Tryk på A (Juster øje vindue) på enten tastatur for at centrere grænser søgefeltet på elev stilling. Derefter, en rød firkant omkring øjet skal vises med en turkis cirkel ['hornhinde refleksion', (cr)] nær bunden af eleven. Eleven selv skal være blå.
- Sikre, at to Kors ('sigtekorn') vises på skærmen-en i midten af eleven og en i midten af cornea refleksion. Den røde boks og to krydser betyder at øjet tracker er påvisning af eleven og cr.
Bemærk: Hvis den røde boks eller krydser er fraværende, øjet er ikke spores — hvis dette sker, ingen elev vil vises på den eksperimentatoren computer. - Justere kameraets fokus ved manuelt at dreje fokus linse. Pas på ikke at røre forreste del af linsen. Drej objektivet, indtil det bedste fokuspunkt er nået.
Bemærk: Den bedste fokuspunkt er nået, når den turkis cirkel (hornhinde refleksion) er så lille som muligt (dvs., når denne cirkel er i fokus). - Indstille eleven tærskel. Sikre, at kun et billede af eleven er blå (fx, øjenvipper bør ikke være blå) oven på den vært Datamaskine. Også sikre, at den hele elev (ikke kun dets centrale del) er blå. Kun bekymre sig om hvad der er indeni den røde firkant.
- Tryk på A. Dette indstiller automatisk elev tærskel. Hvis eleven ikke præcist vises i blåt, justere tærsklen manuelt ved hjælp af op -tasten for at øge og ned for at formindske mængden af blå del af billedet overflade.
Bemærk: Mascara (som er normalt sort, som eleven) kan forstyrre indstilling tærsklen — øjet tracker kan tage de mørke øjenvipper for eleven. I dette tilfælde bede vedkommende om at fjerne deres makeup ved at give dem med makeup remover væv. - Indstille cr tærskel. Hvis A var trykkede på i trin 1.3.15, bør cr tærskel have været angives automatisk.
Bemærk: Numeriske værdier for alle angivne indstillinger for tærskelværdi bør være synlige. Hvis der vises et spørgsmålstegn i nogen af dem, der var et problem i en af de foregående trin og tærskelværdierne bør indstilles manuelt.
- Kalibrering eye tracker
Bemærk: Kontroller, om øjet tracker konsekvent kan identificere placeringen af øjet, når deltageren ser på andre dele af skærmen.- Spørge deltageren at se på de fire hjørner af skærmen, en ad gangen, mens opsætningsvinduet af kameraet er i. Omhyggeligt kigge efter eventuelle uregelmæssige refleksioner (disse vil vise sig som turkis 'klatter' på skærmen), der interfererer med den hornhinde refleksion når øjet blik er rettet mod hjørnet.
- Spørge deltageren at se på midten af skærmen og derefter direkte deres blik til den problematiske hjørne, hvis den røde boks omkring øjet og enten af sigtekornet ikke er synlige på ethvert tidspunkt under trin 1.4.1. Dette vil hjælpe med at bestemme kilden til problemet.
- Re-justere placeringen af deltagerens hoved og kontrollere, hvis det giver nogen forbedring. Gentag dette trin, hvis det er nødvendigt. Hvis enheden er stadig ude af stand til spore nøjagtigt deltagerens blik efter flere forsøg, afbryde forsøget.
- Informere deltageren, at øjet tracker vil være kalibreret og at de vil se en sort cirkel (med en lille grå prik) flytte til forskellige dele af skærmen. Pålægge deltagerne at fiksere cirklen, indtil det bevæger sig til en ny placering. Pålægge deltageren til at undgå at belaste øjnene og fokusere på den lille grå prik inde i den sorte cirkel for optimale resultater.
- Fortælle deltageren, at det er vigtigt at holde stadig og ikke at forsøge at forudsige placeringen af den næste cirkel under kalibreringen. Instruer dem i at følge cirkler med deres øjne og ikke hovedet. Klik på Kalibrer at starte kalibreringen. Normalt, anvendes en 9-punkt kalibrering procedure som den sorte cirkel flyttes til ni placeringer i en seriel måde.
- Tryk på ENTER for en automatisk kalibrering, når deltageren har præcist fikseret den første prik i midten af skærmen. Til manuel kalibrering (f.eks., når der er problemer tracking deltagerens øje eller Hvornår beskæftiger sig med særlige deltager grupper som børn), accepterer hver fiksering ved at trykke på ENTER (eller ved at klikke på Accepter fiksering/ trykke på mellemrumstasten).
Bemærk: For enden af kalibreringsprocessen bør en næsten rektangulært mønster på den eksperimentatoren skærmen være synlig. Dette repræsenterer øje blik mønstre af deltageren. Derudover bør resultaterne af en god kalibrering være markeret med grønt. Hvis de ikke er, Gentag kalibrering procedure (dvs., klik på kalibrering). - Validere resultaterne. Fortælle deltager til at gå igennem den samme procedure (ser på prikker) for at validere resultater i kalibreringsprocessen. Minde dem til at se på prikken og skal stadig.
Bemærk: Processen med validering er svarer til kalibrering og begge resultater sammenlignes af øjet tracker software til at sikre, at øjet er spores nøjagtigt. - Klik på validere.
- Acceptere hver fiksering ved at trykke på ENTER (eller ved at klikke på Accepterfiksering/trykke på mellemrumstasten).
- Efter validering vises resultaterne på de eksperimentatoren skærmen. Være særlig opmærksom på to fejl foranstaltningerne, den gennemsnitlige fejl (fx, 0,23 °) og den maksimale fejl (f.eks., 0,70 °). Disse repræsenterer de grader, som sporet billedet afviger fra den faktiske blik position af en deltager.
- Når du bruger en visuel verden paradigme, holde den gennemsnitlige fejl (det første tal) under 0,5 ° og den maksimale fejl (det andet tal) under 1°.
- Hvis fejlværdier ligger over tærsklen, spørge deltageren til at justere placeringen af deres hoved og genstarte kalibreringsproceduren. Hvis ingen forbedring er observeret, afbryde forsøget.
Bemærk: Det er almindeligt at observere høj kalibrering fejl, når deltageren bærer kontaktlinser. Deltageren skal blive bedt om på forhånd at bringe deres recept briller i stedet for deres kontaktlinser. - Efter endt kalibreringsprocessen, skal du klikke på Output/Optag for at starte eksperimentet. Informere deltageren at eksperimentet vil nu begynde.
- Under eksperimentet
Bemærk: Under eksperimentet (afhængigt af hvordan en individuel eksperiment er programmeret, men typisk før hvert eksperimentelle forsøg), vil en afdrift check eller drift korrekte skærmen vise en prik i midten af skærmen. Dens formål er at rapportere den beregnede fiksering fejl for den aktuelle retssag, og afhængig af øjet tracker model for automatisk at justere det.- Fasen instruktion deltageren har fået at vide at fiksere den centrale dot, når det vises. Sørg for, at deltagerne i hver drift check/drift korrekt fase, igen fikserer dot. Dette kan gøres ved at følge deltagerens blik på den vært Datamaskine, hvor deltagerens blik vises som en bevægelse grøn cirkel.
- Når den afdrift check/drift korrekte er afsluttet, skal du trykke på ENTER (eller mellemrum) at gøre dot forsvinde og vise det næste forsøg.
- Bestemme hvordan man skal håndtere manglende evne til at passere afdrift check fasen for øje tracker anvendes. Afhængigt af modellen, øjet tracker vil enten udføre en automatisk glider korrektion ved at justere den blik koordinater for at matche de centrale dot, eller det vil gøre en bippende lyd til at bede eksperimentatoren at kalibrere igen før du fortsætter den eksperiment (glider check).
- Hvis du bruger en automatisk drift korrektion, Husk på at alt for mange afdrift rettelser i på hinanden følgende forsøg og/eller for stor en grad af korrektionen for afdrift vil fordreje resultaterne og kræve en ny kalibrering af enheden.
- Re kalibrering under eksperimentet
- Det er muligt at kalibrere igen når som helst under eksperimentet. Under præsentationen af skærmen glider korrektion/drift check , klik på kamera setup, og klik derefter på Kalibrer. Gå gennem kalibrering og validering processerne, indtil en tilfredsstillende værdi er nået, så klik på Output/Optag. Eksperimentet vil fortsætte fra udgangsstedet i den retssag sekvens.
- Efter forsøget
- Give deltageren med et spørgeskema til at vurdere, om de var i stand til at gætte de vigtigste eksperimentelle manipulationer. Her, er det også vigtigt at bede om mulige strategier, der kunne have været udviklet i hele eksperimentet.
- Afhøre deltager om formålet med forsøget. Takke dem for deres deltagelse og yde den nødvendige monetære kompensation eller tildele kursus kredit, hvis det er relevant.
2. ekstern opsætning: Justere opsætningen af undersøgelser med børn og ældre voksne
Bemærk: Dette afsnit beskriver kun forskellene mellem en remote opsætning og en desktop setup som beskrevet i trin 1. Point ikke udtrykkeligt er nævnt her må antages for at være identisk med den procedure, der er beskrevet i trin 1.
- Udveksle standard 35 mm øje tracker kameralinse for en 16 mm linse.
- Tilslut alt nødvendigt udstyr (Host PC, højtalere, øjet tracker og laptop anvendes en laptop).
- Placer den bærbare computer på en laptop stand og øjet tracker foran det (deltageren skal kunne se de øverste 75% af skærmen).
- Placere klæbemærker"target" (tilgængelig fra trackerens producent) på deltagerens panden (over øjenbryn af den højre øje eller på den højre kind hvis panden er alt for lille (dvs.i tilfælde af spædbørn); denne mærkat erstatter Hagen resten af den konfigurationsprogram og det giver øjet tracker til præcist bestemme placeringen af deltagerens hoved.
- Sørg for at deltageren sidder 550-600 mm fra kameraet (afstand af target mærkat til kameraet).
- Sørg for, at ordene "stor vinkel" eller "nær øje" ikke vises på den vært Datamaskine. Hvis de gør det, betyder det, at placeringen af target mærkat ikke er ideel. I dette tilfælde justere mål mærkat. Det kan også betyde, at deltagerens pande er specielt små. Hvis dette er tilfældet, skal du placere mærkaten på deltagerens kind.
Bemærk: Hvis mærkaten er placeret for tæt på øret, besked "stor vinkel" forventes at dukke op og mærkaten skal flyttes. - Før du starter kalibreringsprocessen beskrevet taktfast 1.4, Sørg for, at deltageren sidder komfortabelt. Bede dem om at opretholde den samme position gennem hele forsøget og Forklar, at øjet tracker er meget følsomme over for kropslige bevægelser. Insistere på, at de holder deres hoved stadig. Hvis deltageren bevæger sig for meget, vil enheden udsender en summende støj.
Bemærk: Hvis remote øje tracker installation bruges til at teste følsomme befolkningsgrupper, såsom ældre voksne eller børn, er det tilrådeligt at bruge en manuel kalibrering procedure.
3. justering af opsætningen for læsning undersøgelser
Bemærk: Når undersøger visuelle sammenhæng effekter på læsning, det er nødvendigt at være særligt opmærksomme på de kalibrering og re kalibrering processer. I modsætning til visuel verden undersøgelser kræver eyetracking under læsningen en meget højere grad af enhedens præcision, givet den nøjagtighed, nødvendig for at spore ord til ord og bogstav til bogstav læsning mønstre.
- Sørg for, at både den gennemsnitlige og maksimale fejl vises under valideringsfasen for forbliver under 0,5 °.
- Sørg for at bruge mindst en 9-punkts skala til kalibrering. Dette sikrer en mere præcis sporing af øje blik position, som er afgørende, når den lille størrelse af områderne af interesse i læsning.
Representative Results
En undersøgelse af Münster og samarbejdspartnere37 undersøgt samspillet mellem Sætningsstruktur, afbildet handlinger, og facial følelsesmæssige stikord under sprogforståelse. Denne undersøgelse er velegnet til at illustrere de fordele og begrænsninger af metoden, som det viste både robust afbildet handling og marginale virkninger af facial følelsesmæssige stikord på sætning forståelse. Forfatterne lavet 5 s videoer af en kvindes ansigtsudtryk, der ændres fra en hvilende stilling i en lykkelig eller i et trist udtryk. De udarbejdede også følelsesmæssigt positivt valenced tyske objekt-verbum-biord-emne (OVAdvS) sætninger af formen ' [objekt/patientenakkusativ sag] [verbum] [positive biord] [emne/agentnominativ sag].' Via den positive biord, sætningerne matchede de 'glade' video og uoverensstemmende 'trist' video, tillader i princippet foregribelse af agent (der var smilende og beskrevet som fungerende lykkeligt af den positive biord). Efter den video taler sætningen optrådte med én af to versioner af en agent-patient-distractor clipart scene. I én version, var agenten afbildet som udfører handlingen nævnte på patienten, mens tegnet distractor udført en anden handling. Anden scene versionen afbildet ingen handlinger mellem tegnene. Øjenbevægelser i scene afslørede effekter af aktionerne og af talerens ansigtsudtryk på sætning forståelse.
Handling skildring hurtigt påvirkede deltagernes visuelle opmærksomhed, hvilket betyder, at deltagerne kiggede mere på agent end på distractor når handlingen nævnt var (vs var ikke) afbildet. Disse ser var foregribende (dvs.indtræder før agenten blev nævnt), tyder på, at handling skildring afklaret agenten før sætningen gjorde. De tidligste effekt af handling skildringen opstået under verbet (dvs., verbet medieret handling-associerede agent). Derimod om den foregående taler smilede eller kiggede ulykkelig havde ingen klar effekt på agent forventning (figur 2). Sidstnævnte resultatet kunne afspejle de mere spinkel link mellem en højttaler smil og en positiv sentential biord vedrører den afbillede agent handling (sammenlignet med en direkte verbum-action reference mægle en handling-associerede agent). Alternativt, det kunne være specifikke til den opgave og stimulus præsentation: måske følelser effekter ville have været mere udtalt i en mere socialt interaktive opgave eller en, der præsenterer den talendes ansigt under (og ikke før) sætning forståelse. Imidlertid præsentere en smilende højttaler ansigt under forståelse kan forårsage deltagerne til at fokusere på ansigtet på bekostning af andre scene indhold, måske maskering ellers observerbare effekter af de manipulerede variabler (kilde: upublicerede data).
I en yderligere variant af paradigme spurgte Guerra og Knoeferle32 om rumlige-semantisk verdenssprog forbindelser kan modulere forståelse af abstrakte semantiske indhold under læsning. Guerra og Knoeferle lånt ideen fra begrebsmæssige metafor teori38 , rumlige afstand (f.eks., nærhed) grunde betydningen af abstrakte semantiske relationer (f.eks.lighed). I overensstemmelse med denne hypotese koordineret deltagerne Læs abstrakt navneord hurtigere når de var lignende (vs modsatte) i betydning og havde været forud for en video formidle nærhed (vs afstand, spillekort Flyt tættere sammen vs. længere fra hinanden). I en anden række undersøgelser39beskrevet sætninger interaktion mellem to mennesker som intime eller uvenlige, fører til den opdagelse, at videoer af to kort nærmer sig hinanden drønede op læsning af sætning regioner, der formidles sociale nærhed/intimitet. Bemærk at den rumlige afstand påvirket sætning læsning hurtigt og trinvist selv Hvornår sætningerne ikke referere til objekter i videoen. Videoerne moduleret udpræget læsning gange som en funktion af kongruens mellem rumlige afstand og semantisk samt sociale aspekter af dommen betydning. Disse virkninger optrådte både i first-pass læsning gange (varigheden af den første inspektion af en forud fastsat straf region) og den samlede tid brugt på denne sætning region (jf. figur 3 for en illustration af resultaterne fra undersøgelserne af Guerra og Knoeferle)32. Analyserne afslørede imidlertid også betydelig variation mellem deltagerne, hvilket fører til den konklusion, at sådanne subtile kort-distance virkninger ikke kan være så robuste som virkningerne af verbum-action forbindelser, at nævne et eksempel.
Et yderligere sæt af undersøgelser illustrerer, hvordan variation i sætningsstruktur kan hjælpe med at vurdere det generelle indhold af visuelle sammenhæng effekter. Abasjidse og samarbejdspartnere34 og Rodríguez og samarbejdspartnere26 undersøgt virkningerne af de seneste tiltag på den efterfølgende behandling af indtalte sætninger. I begge undersøgelser, deltagerne først kontrolleret en handling video (f.eks, en eksperimentatoren flavoring agurker, eller kvindelige hænder bage en kage). Næste, de lyttede til tyske sætning, som enten var relateret til den seneste handling eller en anden handling, der kan udføres næste (flavoring tomater34, bygge en model26). Under forståelse, deltagerne inspiceret en scene viser to objekter (agurker, tomater)34 eller to fotografier af agent ansigter (en kvindelig og en mandlig agent ansigt, benævnt «Susanna» og 'Thomas', henholdsvis)26. I undersøgelse af Abasjidse og samarbejdspartnere34, taleren først nævnt eksperimentatoren og derefter verbet (fx, aroma) fremkalde forventninger om et tema (f.eks., at agurker eller tomater). I undersøgelsen af Rodríguez og samarbejdspartnere26, taleren først nævnt et tema (kage), og derefter verbet (bage), fremkalde forventninger om agenten af handlingen (kvindelig: Susanna, eller mand: Thomas, afbildet via fotos af en kvindelig og en mandlig ansigt).
I begge undersøgelser var spørgsmålet om mennesker (visuelt) ville foregribe tema/agenten for den seneste handling begivenhed eller andre tema/agenten baseret på yderligere kontekstuelle tidskoder i forståelsen. I Abasjidse og samarbejdspartnere34eksperimentatorens blik cued den fremtidige temaobjekt (tomater) fra symptomdebut af verbet (bogstaveligt oversat fra tysk: 'eksperimentatoren-agent varianter snart...'). I Rodríguez og samarbejdspartnere26, køn viden af stereotype handlinger blev tilgængelig, når temaet og verbet blev nævnt (f.eks.den bogstavelige oversættelse af de tyske stimuli var: 'kage-tema bager snart...'). I begge sæt af undersøgelser inspiceret deltagerne fortrinsvis target/agent for den seneste handling (agurker34 eller Susanna26) over alternative (fremtid/andre-køn) målet (tomater34 eller Thomas26) under sætningen.
Denne såkaldte 'nylig begivenhed præference», således synes at være robust over betydelig variation i sætningsstruktur og eksperimenterende materialer. Det var moduleret, dog af visuelle begrænsninger fra samtidige scene26, således at præsentere plausible fotografier af verbum temaer desuden til kønnede fotografier af agenter reduceret afhængigheden af hændelserne for nylig inspiceret handling og moduleret opmærksomhed baseret på køn-stereotypen viden formidles af sprog. Figur 4 illustrerer de vigtigste resultater af eksperimenterne af Rodríguez og samarbejdspartnere26.
Mens denne version af visual-verden paradigme givet solide resultater, har andre undersøgelser fremhævet den forbindelse hypotese kompleksitet (og begrænsninger). Burigo og Knoeferle20 afsløret at deltagerne — når du lytter til ytringer som Die boks ist über an der Wurst ('boksen er ovenfor pølse') — hovedsagelig fulgt ytring inspicerer clipart skildringer af disse objekter i. Men på en del af forsøg, deltagernes blik afkoblet fra hvad blev nævnt. Efter at have hørt 'pølse', og efter at have inspiceret pølse mindst én gang, deltagernes næste inspektion vendte tilbage til boksen på ca. 21% af forsøg i fremskyndes verifikation (eksperiment 1) og 90% af forsøg i () efter punktum verifikation Eksperiment 2). Dette blik mønster antyder at reference (høring ' pølse') guidet kun nogle (inspektion pølse), men ikke alle øje bevægelser (inspektion boksen). Denne form for design kan anvendes til at drille apart leksikalsk-referentiel processer fra andre (herunder sætningsniveau fortolkningsmeddelelse) processer. Forskere skal dog være forsigtig når påstand om forskellige niveauer af sproglig behandling baseret på relative forskelle i øjenbevægelser proportioner, givet tvetydighed i forbinder øjet blik til kognitive og læseforståelse processer.
Figur 1: oversigt over samling datamiljøet. Grafen viser, hvordan de forskellige software og hardware elementer bruges til indsamling af data og forbehandling relaterer til hinanden. Venligst klik her for at se en større version af dette tal.
Figur 2: Repræsentative resultater af Münster og samarbejdspartnere37. Disse paneler Vis af emnet betyde log-blik sandsynlighed nøgletal pr. betingelse i regionen verbum (for de afbillede handling) og i regionen verbum-biord kombineret (for effekten af følelsesmæssige prime). Resultaterne viser en betydeligt højere andel af ser mod målbilledet, når handlingen i sætningen nævnte blev afbildet end når det ikke var afbildet. Resultaterne for effekten af følelsesmæssige facial primtal var mindre afgørende: de foreslår kun en svag stigning i mean-log forholdet mellem ser ud til målet, når den facial prime havde en positiv emotionel valence (et smil) end når det havde en negativ valence (en trist ansigt). Fejllinjer udgør standard fejlen af middelværdien. Dette tal er blevet ændret fra Münster et al. 37. venligst klik her for at se en større version af dette tal.
Figur 3: Repræsentative resultater af Guerra og Knoeferle32. Dette panel viser den gennemsnitlige first-pass læsning gange (i millisekunder) af (dis) lighed tillægsord. Resultaterne viser kortere læsning gange for lighed sætninger efter at se to leger kort bevæge sig tættere sammen sammenlignet med længere fra hinanden. Fejllinjer udgør standard fejlen af middelværdien. Dette tal er blevet ændret fra Guerra og Knoeferle32. Venligst klik her for at se en større version af dette tal.
Figur 4: Repræsentative resultater af Rodríguez og samarbejdspartnere26. Dette panel viser af emnet betyde log blik sandsynlighed nøgletal pr. betingelse i regionen verbum. Proportioner ser over 0 viser en præference for agent målbilledet og proportioner under 0 viser en præference for konkurrent agent billede. Resultaterne viser, at deltagerne var mere tilbøjelige til at inspicere agent målbilledet, når objektet og udsagnsord i sætningen nævnte matchede de tidligere videotaped begivenheder end når de ikke gjorde. Derudover var der flere ser mod agent målbilledet, når handlingen beskrevet af straffen i overensstemmelse med kønsstereotyper. Fejllinjer udgør standard fejlen af middelværdien. Dette tal er blevet ændret fra Rodríguez et al. 26. venligst klik her for at se en større version af dette tal.
Discussion
I sammendrag, har de gennemgik varianter af eyetracking i visuelle sammenhænge afdækket mange måder hvorpå en visuel scene kan påvirke sprogforståelse. Denne metode giver afgørende fordele i forhold til metoder såsom måling reaktionstider. For eksempel, giver løbende øjenbevægelser os med et vindue i sprog forståelse processer og hvordan de interagerer med vores opfattelse af den visuelle verden over tid. Desuden er deltagere ikke nødvendigvis påkrævet at udføre en eksplicit opgave under sprogforståelse (f.eks. at bedømme grammaticality af en sætning via Tryk på en knap). Dette gør det muligt for forskere at bruge metoden med befolkningsgrupper, som måtte kæmpe med åbenlys adfærdsmæssige reaktioner end øjet blik, som spædbørn, børn og i visse tilfælde, ældre voksne. Eyetracking er økologisk gyldigt, fordi det afspejler deltagernes opmærksomhed svar — ikke i modsætning til mennesker visuelle forhør af kommunikation-relevante ting i verden omkring dem under mere eller mindre opmærksomme lytter til udfoldelsen ytringer.
En af de grænser (eller måske egenskaber) for den visuelle verden paradigme er, at ikke alle arrangementer kan være afbildet ligefremt og utvetydigt. Konkrete objekter og begivenheder kan naturligvis være afbildet. Men hvordan abstrakte begreber er bedste afbildet er mindre klar. Dette kan begrænse (eller definere) indsigt i samspillet mellem sprogbehandling og opfattelsen af den visuelle verden ved hjælp af en eye-tracking visuelle verden paradigme. Yderligere udfordringer vedrører de forbinder hypoteser mellem observerede adfærd og læseforståelse processer. Øjet optagelse er en enkelt adfærdsmæssige reaktion, der afspejler sandsynligvis mange underprocesser under sprogforståelse (fx, leksikalsk adgang, referentiel processer, sprog-medieret forventninger, visuelle sammenhæng effekter, blandt andre). I betragtning af denne indsigt, forskere skal passe på ikke at over - eller fejlfortolker de observerede blik mønster. For at løse dette problem, har tidligere forskning fremhævet forståelse underopgaver at præcisere fortolkningen af blik optage40rolle.
En måde at øge interpretability af øjenbevægelser er at integrere dem med andre foranstaltninger såsom event-relaterede hjernen potentialer (ERPs). Ved at undersøge det samme fænomen med to metoder, der er sammenlignelige i deres tidsmæssige granulering og supplerer hinanden i deres forbinder hypoteser, kan forskere udelukke alternative forklaringer af deres resultater og berige fortolkningen af hver enkeltforanstaltning41. Denne tilgang er blevet ført på tværs af eksperimenter43, men mere for nylig, også inden for et enkelt eksperiment (omend i strengt sproglige sammenhænge)44. Fremtidig forskning kunne drage stor nytte af disse metodologiske integration og fortsatte kombination med post-forsøg og post eksperimentelle opgaver.
Eye-tracking-metoden kan replikere etablerede resultater, samt afprøve nye hypoteser om samspillet mellem visuelle opmærksomhed i scener med sprogforståelse. Den procedure, der er skitseret i protokollen skal følges nøje, da selv mindre eksperimentatoren fejl kan påvirke oplysningernes kvalitet. I læsning undersøgelser, for eksempel de relevante analyse regioner er ofte enkelte ord eller endda breve, hvilket betyder, at selv små kalibrering fejl kan fordreje resultaterne (se artiklen Raney og kolleger42). Trin 1.4 og 1.5 i protokollen, kalibrering af øjet tracker og drift check/drift korrekt, er af særlig betydning, da de direkte påvirker optagelsen nøjagtighed. Manglende korrekt kalibrering eye tracker kan resultere i sporingen ikke nøjagtigt sporing øjenbevægelser til forud fastsatte områder af interesse. Sådanne tracking fejl vil føre til manglende datapunkter og et tab i statistiske effekt, hvilket kan være problematisk, når undersøger til verdenssprog relationer, der er meget subtil og give små statistiske effekt størrelser (Se beskrivelsen af de eksperimenter af Guerra og Knoeferle32 og Münster og kolleger37 blandt Repræsentant resultater).
I betragtning af behovet for at maksimere magten og følsomheden af udstyret, er det vigtigt at eksperimentatorer ved, hvordan man skal håndtere problemer, der rutinemæssigt opstår under en eksperimentel session. For eksempel, kan elev stilling og bevægelse af deltagerne iført briller resultere i kalibrering vanskeligheder på grund af lys refleksioner på linserne en deltagers briller. Én måde at løse dette problem er at spejl billede af deltagerens øje på Display PC og tilskynde dem til at flytte deres hoved, indtil refleksion af lys på glassene er ikke længere synlig på skærmen, hvilket betyder, at det ikke længere er fanget af kameraet. En yderligere årsag til kalibrering fiasko kan være elev konstriktion, som kan være en konsekvens af en overeksponering for lys. I så fald vil dæmpe lyset i laboratoriet øge elev dilatation og således hjælpe øjet tracker i præcist afsløre eleven.
Som en afsluttende tanke, vil vi gerne tage fat på det potentiale, som visual-verden paradigme har for forskning på sekund-sprogindlæring. Paradigme har allerede blevet med held brugt i psycholinguistic forskning til at undersøge fænomener som cross-sprog leksikalsk og fonologisk interaktion46,47,48. Den tætte forbindelse mellem visuelle opmærksomhed og indlæring af fremmedsprog har derudover ofte fremhævet i anvendt lingvistik litteratur om anden sprogtilegnelse49,50,51. Kommende forskning på sekund-sprogindlæring vil sandsynligvis fortsætte at drage fordel af den fordelagtige position af eye tracking som en metode, der indeholder et indeks over visuel opmærksomhed i millisekund opløsning.
Disclosures
Forfatterne har ikke noget at oplyse.
Acknowledgments
Denne forskning er finansieret af ZuKo (Excellence initiativ, Humboldt-Universität zu Berlin), Excellence klynge 277 'Kognitive interaktion teknologi' (tysk Forskningsråd, DFG), og af EUs syvende ramme Program for forskning, teknologisk udvikling og demonstration under grant aftale n ° 316748 (LanPercept). Forfatterne også anerkender støtte fra de basale midler til Centers of Excellence, projekt FB0003 fra den Associative forskning Program af CONICYT (regeringen i Chile) og fra projektet "FoTeRo" i byens fokus XPrag (DFG). Pia Knoeferle fortsat forudsat et første udkast af artiklen informeret af en laboratorium protokol, Helene Kreysa instantieres på Bielefelds universitet og der anvendes på Humboldt-Universität zu Berlin. Alle forfattere har bidraget til indholdet ved at levere input om metoder og resultater i en eller anden form. Camilo Rodríguez Ronderos og Pia Knoeferle koordinerede input fra forfatterne, og i to gentagelser, revideret væsentligt det indledende udkast. Ernesto Guerra produceret tal 2 - 4 baseret på input fra Katja Münster, Alba Rodríguez og Ernesto Guerra. Helene Kreysa fastsat, figur 1 og Pia Knoeferle opdateret den. Dele af de rapporterede resultater er blevet offentliggjort i Proceedings of det årlige møde i kognitiv videnskab samfund.
Materials
| Name | Company | Catalog Number | Comments |
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
- Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
- Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
