Summary
Denne artikkel av en øye-sporing metodikk for studier av språk forståelse. For å få pålitelige data, etterfølges viktige trinn av protokollen. Blant disse er riktig satt opp av øye sporing (f.ekssikrer god øye og hodet bilder) og nøyaktig kalibrering.
Abstract
Dette arbeidet er en beskrivelse og en vurdering av en metodikk for å kvantifisere ulike aspekter av samspillet mellom språkbehandling og oppfatningen av visuell verden. Innspillingen av øye-blikk mønstre har gitt gode bevis for bidrag av både visuell kontekst og språklige/verden kjennskap til språket forståelse. Innledende forskning vurdert objektkonteksten effekter for å teste teorier om modularitet i språkbehandling. I innledningen, beskriver vi hvordan senere undersøkelser har tatt rollen som den større visuelle sammenhengen språk behandling som et forskning emne i sin egen rett, stille spørsmål slik som hvordan våre visuell persepsjon av hendelser og høyttalere bidrar til forståelse informert av comprehenders' erfaring. Blant de undersøkt aspektene av visuell sammenheng er handlinger, hendelser, en blikk, og emosjonelle ansiktsuttrykk, samt romlige objektet konfigurasjoner. Etter en oversikt over metoden øye-sporing og dens forskjellige anvendelser lister vi de viktigste trinnene av metodikken i protokollen, illustrerer hvordan bruke det for å studere visuelt ligger språk forståelse. Siste delen presenterer tre sett med representant resultater og illustrerer fordelene og ulempene av øye sporing for å undersøke samspillet mellom oppfatningen av visuell verden og språk forståelse.
Introduction
Psycholinguistic forskning har understreket viktigheten av øyebevegelser analyser forstå prosessene involvert i språk forståelse. Kjernen i dedusere forståelse prosesser fra blikket posten er en hypotese som kobler erkjennelse til øye bevegelser5. Det er tre hovedtyper av øyebevegelser: saccades, vestibulo-okulær bevegelser og glatt jakten bevegelser. Saccades er rask og ballistisk bevegelser som skje det meste ubevisst og er pålitelig forbundet med skifte i oppmerksomhet6. Øyeblikk av relativ blikket stabilitet mellom saccades, kjent som fixations, regnes indeks gjeldende visuell oppmerksomhet. Måle locus av fixations og deres varighet i forhold til kognitive prosesser er kjent som 'eye-tracking metoden'. Tidlig implementering av denne metoden var å undersøke leseforståelse i strengt språklige kontekster (se Rayner7 for en gjennomgang). At tilnærmingen er varigheten av inspeksjon et ord eller en setning område tilknyttet behandling problemer. Øye sporing har imidlertid også blitt brukt for å undersøke talespråk forståelse under inspeksjon av objekter i verden (eller på en datamaskin viser2). I denne "visuelle verden" øye-sporing versjonen styres inspeksjon av objekter av språk. Når comprehenders hører sebraen, for eksempel deres inspeksjon av zebra på skjermen er tatt å reflektere at de tenker om dyret. I det som kalles visuell verden paradigmet, en comprehender øye blikket tatt å reflektere talespråk forståelse og aktivering av tilknyttede kunnskap (f.eks lyttere også inspisere sebraen når de hører beite, som indikerer en handling som utføres av sebraen)2. Slike inspeksjoner foreslå en systematisk kobling mellom språk-verden relasjoner og øye bevegelser2. En vanlig måte å kvantifisere lenken er av databehandling andelen ser på forskjellige forhåndsbestemt områder på en skjerm. Dette gjør at forskere direkte sammenligne (over betingelser, deltakere og elementer) hvor mye oppmerksomhet til forskjellige objekter på et bestemt tidspunkt og hvordan disse verdiene endres i millisekunds oppløsning.
Forskning i psycholinguistics har utnyttet øye sporing i visuelle verdener å erte hverandre konkurrerende teoretisk hypoteser om arkitektur av sinn1. Øye fixations på avbildet objekter har, videre avslørt at comprehenders kan, forutsatt en tilstrekkelig restriktive språklige kontekst-utføre inkrementell semantisk tolkning8 og selv utvikle forventninger om kommende tegn 9. slik øye blikket data har også kaste lys over en rekke videre forståelse prosesser, for eksempel leksikalsk flertydighet oppløsning10,11, pronomen oppløsning12, betydninger av strukturelle og tematiske rolle oppgave ved hjelp av informasjonen i visuell kontekst13,14,16og pragmatisk prosesser15, blant mange andre4. Åpenbart kan øyebevegelser objekter under språk forståelse være informativ involvert prosesser.
Metoden øye-sporing er ikke-invasiv og kan brukes med barn, unge og eldre brukere. En viktig fordel er at, i motsetning til vises punctate Svar å sonder eller Svar knappen presser i bekreftelse oppgaver, det gir innsikt over tid i et millisekunds oppløsning i hvordan språket guider oppmerksomhet og hvordan visuell sammenheng (i form av objekter, handlinger, hendelser, en blikk, og emosjonelle ansiktsuttrykk, samt romlige objektet konfigurasjoner) bidrar til språkbehandling. Kontinuitet mål under setning forståelse utfyller godt med andre etter setningen og post eksperiment tiltak som fra utilslørt bilde/video-setning bekreftelse, forståelse spørsmål og minne tilbakekalling oppgaver. Utilslørt svar i disse oppgavene kan berike tolkningen av øyet blikket posten ved å gi innsikt i utfallet av forståelse prosessen, hukommelse og læring2. Kombinere øye sporing med de andre oppgavene har avdekket i hvilken grad modulerer ulike aspekter av visuell sammenheng visuell oppmerksomhet og (umiddelbare, samt forsinket) forståelse over levetiden.
Presentasjon av språk (muntlig eller skriftlig) og scener kan være simultan eller sekvensiell. For eksempel Knoeferle og samarbeidspartnere17 presentert scenen 1000 ms før talte setningen, og det forble under forståelse. De rapporterte bevis som utklipp skildringer av handlingen hendelser bidrar til løsning av lokale strukturelle tvetydighet i tyske subject-verb-objekt (SVO) sammenlignet med objekt-verb-emne (OVS) setninger. Knoeferle og Crocker18 presentert et utklipp scenen før en skriftlig setning og testet trinnvis integrering av utklipp hendelser under setning forståelse. De observerte trinnvis kongruens effekter, noe som betyr at deltakernes lesing ganger av setningen bestanddeler var lengre når dette ikke samsvarer (vs matchet) hendelsen i forrige scenen. I en annen stimulans presentasjon variant, deltakerne først lese en setning som beskriver et romlige forhold og så en scene av en bestemt romlige ordning med objektet strektegninger19. Denne studien vurdert spådommer om beregningsformelen romlige språk modeller av deltagerne skal rangere anfall av straffen gitt til scenen, med øyebevegelser spilles under scenen avhør. Deltakernes blikket mønstre var modulert av formen på objektet som de ble konfrontert med-delvis bekrefter modell spådommer og gir data for modell foredling.
Mens mange studier har brukt utklipp skildringer17,18,19,20,21,22,23, er det også mulig å kombinere reelle objekter, videoer av disse objektene, eller statiske bilder med språk1,21,24,25,26,46. Knoeferle og kolleger brukes en reell innstillingen24 og Abashidze og kolleger brukt filmet presentasjonsformat for å undersøke handling hendelser og spente effekter25. Varierende presis innholdet av scener (f.eksviser handlinger eller ikke)22,27,38 er mulig og kan også avsløre visuell kontekst effekter. En beslektet studie av Rodríguez og samarbeidspartnere26 undersøkt påvirker filmet visuelle kjønn stikkordene forståelse av senere presentert talte setninger. Deltakerne så videoene viser enten mann eller kvinne hender utfører en stereotypisk kjønnsrelatert handling. Da hørte de en setning om enten en stereotypisk mannlig eller kvinnelig hendelse mens samtidig kontroll av en visning som viser to bilder side ved side, en av en mann og den andre en kvinne. Dette rike visuelle og språklige miljøet tillatt forfatterne å erte hverandre effekten av språk-mediert stereotype kunnskap om forståelse fra virkningene av visuelt presentert (hånd) kjønn signaler.
En ytterligere anvendelse av dette paradigmet har målrettet utviklingsmessige endringer i språkbehandling. Øyebevegelser objekter under talespråk forståelse avslørte effekten av avbildet hendelser i 4 - 5 - åringer27,28 og i eldre voksne29 i sanntid, men noe forsinket i forhold til unge voksne. Kröger og samarbeidspartnere22 undersøkte effekten av prosodic signaler og merking i et eksperiment og sammenlignet disse over eksperimenter i voksne og barn. Deltakerne inspisert en tvetydig handling-hendelse scenen mens du lytter til en relatert utvetydig tilfelle-merket tyske setning. Øyebevegelser avslørte at forskjellige prosodic mønstre hjalp voksne verken den 4 - eller 5-åringer når skille hvem-er-hva-du-hvem. Setning-første tilfellet merking, men påvirket voksnes men ikke barn øyebevegelser. Dette tyder på at 5-åringer forståelse av saken merking ikke er tilstrekkelig robust aktivere tematiske rolletilordning (se studien av Özge og samarbeidspartnere30), minst ikke når handlingen hendelser ikke skille tematiske rolle relasjoner. Disse resultatene er interessant, gitt at de er motsetning tidligere resultater prosodic effekter på tematiske rolle tildeling31. Kröger og samarbeidspartnere22 foreslått at (mer eller mindre støttende) visuell sammenheng er ansvarlig for kontrasterende funnene. I den grad at disse tolkningene holder, markere de rollen sammenheng i språk forståelse over levetiden.
Metoden øye-sporing kombinerer godt med tiltak fra bilde - (eller video-) setning bekreftelse oppgaver18,20,26, pip verifikasjon oppgaver32, corpus studier24, vurdering oppgaver19, eller etter eksperimentelle tilbakekalling oppgaver25,33. Abashidze og samarbeidspartnere34 og Kreysa og samarbeidspartnere33 undersøkt samspillet mellom høyttaler blikket og virkelige action videoer34 og høyttaler blikket og handling skildringer33, som signaler for kommende setning innhold. Ved å kombinere sporing av øye-blikk i en scene under språk forståelse med en post eksperimentelle minne aktivitet, fått de en bedre forståelse av hvordan til lytternes oppfatningen av en blikk og avbildet handlingene samhandle og påvirker både umiddelbar språkbehandling og hukommelse husker. Resultatene viste tydelig bidrag av handlinger mot høyttaler blikket til sanntid forståelse versus post eksperiment hukommelse husker prosesser.
Mens metoden øye-sporing kan brukes med stor fleksibilitet, er visse standarder nøkkelen. Følgende protokollen inneholder en generell fremgangsmåte som kan justeres til forskjellige typer forskning spørsmål forskernes spesifikke behov. Denne protokollen er en standardisert prosedyre ansatt i Psycholinguistics laboratorium på Humboldt-Universität zu Berlin og tidligere språket og kognisjon laboratorium på den kognitive samspillet teknologi Excellence Cluster (CITEC) på Bielefeld University. Protokollen beskriver et skrivebord og en ekstern konfigurering. Sistnevnte er anbefalt for bruk i studier med eller eldre voksne. Alle eksperimenter nevnt i Representant resultater bruker en øye sporing enhet som har en samplingsfrekvens på 1000 Hz og brukes sammen med en leder stabilisator, en PC for å teste deltakerne (Display PC) og en PC for overvåker eksperimentet og deltakernes øyebevegelser (Host PC). Den største forskjellen denne enheten til forgjengeren er at det tillater kikkert øye sporing. Protokollen er ment å være tilstrekkelig generelt for bruk med andre øye-sporing enheter som inkluderer en hodet stabilisator og gjøre bruk av en dual PC oppsett (vert + skjerm). Det er imidlertid viktig å huske på at andre oppsett vil sannsynligvis ha ulike metoder for å håndtere problemer som kalibrering feil eller spor tap, der tilfelle av eksperimentator bør se til brukeren håndbok av sin enhet.
Protocol
Denne protokollen følger etiske retningslinjene institusjonen hvor dataene ble samlet inn, dvsden kognitive samhandling teknologi Excellence Cluster (CITEC) av Bielefeld University og Humboldt-Universität zu Berlin. Eksperimenter utført ved Bielefeld University ble godkjent individuelt av Bielefeld universitetets etikk. Psycholinguistics laboratorium på zu Humboldt-Universität Berlin har en laboratorium etikk protokoll som ble godkjent av den etiske komiteen av Deutsche Gesellschaft für Sprachwissenschaft, tysk lingvistikk Society (DGfS).
1. skrivebordsoppsett
Merk: Følgende er de viktigste trinnene i et øye-sporing eksperiment.
- Instrumentet forberedelse
- Slå på øye-sporing kameraet og vert PC (se figur 1 for en illustrasjon av i-lab datainnsamling og forhåndsbehandling oppsettet).
- Starte øye sporing programvare.
- Slå på PC-skjermen. Åpne mappen som inneholder eksperimenter.
- Start "distribuert" versjonen med filtypen .exe dobbeltklikkes.
- Avhengig av oppsettet vises bedt om å velge en eksperimentell liste, som er vanligvis en tabulatordelt.csv/.txt fil som inneholder vilkår, lyd filnavn, skriftlig setninger, eller bilder som en deltaker vil bli utsatt for. Velg listen, og starter programmet. Navnet på output filen der resultatet skal lagres.
Merk: Utdatafilen er lagret på PC-skjermen og en sikkerhetskopi lagres på verts-PC. - La det første skjermbildet i eksperimentet (introduksjon eller velkommen skjermen) åpen.
- Fjern den beskyttende tildekningen fra øye sporing kameraet.
- For hygieniske formål, kan du plassere en vev på haken abonnenten.
- Valgfritt: Forberede en svar pute og/eller et tastatur som kreves av eksperimentet.
- Valgfritt: Hvis presenterer auditiv stimuli, justere volumet på høyttalerne og teste dem før du kjører eksperimentet. Du kan også teste funksjonaliteten til hodetelefonene brukes av deltakeren.
- Klargjør de nødvendige skjemaene er signert av deltakeren.
- Juster lysintensiteten på laboratoriet for å få et svakt opplyst rom med en konstant lystetthet for hele varigheten av datainnsamlingsprosessen.
- Forberedelse for deltakerne
- Når deltakerne har ankommet, kan du introdusere deg selv.
- Sted en ikke forstyrr Logg på laboratoriet døren.
- Ber du deltakeren om å ta plass.
- Guide deltakerne gjennom informasjonsarket og nødvendige tillatelser og demografiske skjemaer.
- La deltakeren leser og signerer skjemaet samtykke.
- Kort forklare de generelle aspektene av eksperimentet og varigheten. Gir ikke for mye informasjon før eksperimentet, siden dette kan påvirke deltakerens blikket atferd og resultatdataene.
- Skrevet instruksjoner og gir deltakerne mulighet til å stille spørsmål.
- Kort forklare funksjonen i øye sporing.
- Eventuelt avklare oppgaven og påpeke noen knapper/nøkler som må trykkes under eksperimentet.
- Forklare hvordan haken resten skal minimere head bevegelse under eksperimentet. Nevne at enheten fungerer best hvis deltakeren unngår noen bevegelser.
- Definere øye sporing
- Forberede deltakerne til eksperimentet: be dem om å sitte ved bordet og sette sitt haken på haken resten. Be dem om å lene pannen mot nakkestøtten.
- Ber du deltakeren om å justere høyden og plasseringen av stolen eventuelt: deltakeren skal føle seg komfortabel med sitt haken på haken resten og pannen mot nakkestøtten.
- Forklarer at det er vanlig å tilfeldigvis bevege hodet under eksperimentet, og at dette bør unngås. Forklar at hodet holdning måtte korrigeres under eksperimentet.
- Hvis eksperimentet krever et knappetrykk (f.eks via svar puten), ber du deltakeren om å forlate fingrene hviler på knappene trykkes og unngå å se på svar puten trykker på knappen.
- Spør deltakeren å lese velkommen/innføringen skjermen.
- Sitte foran verts-PC. Hvis skjermen ikke er allerede på kamera oppsett, klikker du på kamera oppsett å komme til høyre skjerm. Hvis den beskyttende tildekningen er fjernet fra kameralinsen og deltakeren er riktig plassert på haken resten, skjermen skal vise tre bilder av deltakerens øyne: et større bilde øverst, og to mindre nederst på venstre og høyre. Disse mindre bilder viser ett øye hver, tilsvarende til venstre og høyre øye.
- Velg øyet skal spores. Det er vanlig å spore deltakernes dominerende øye. Hvis deltakeren ikke vet hvilke øyet er dominerende, gjennomføre en okulær dominans test (trinn 1.3.8).
- Bestemme okulær dominans. Spør deltakeren kan strekke ut en arm og justere tommelfingeren med et fjerntliggende objekt med begge øynene åpne. Be deltakerne til alternative lukking venstre eller høyre øyet. Dominerende øyet er den som tommelen fortsatt justert med objektet når øyet er åpne35,36.
- Klikk på bilde | Vis pc (eller trykk Enter) og bildene beskrevet i trinn 1.3.6 vises også på deltakerens skjermen, men bare én om gangen.
- Trykk på venstre/høyre pil på eksperimentator eller deltakerens tastaturet bytte mellom mindre og større bildet av øyet. Fokus på mindre bilde (øyet).
- Trykk A (Juster øye vindu) på enten tastatur for å midtstille grenser søkeboksen på elev posisjon. Deretter vises en rød firkant rundt øyet med en turkis sirkel ["hornhinnen refleksjon", (cr)] nederst på Eleven. Eleven selv bør være blå.
- Sikre at to kors ("trådkors') vises på skjermen, i sentrum av eleven og et i midten av hornhinnen refleksjon. Den røde boksen og to krysser betyr at øye sporing registrerer eleven og cr.
Merk: Hvis den røde boksen eller kors er fraværende, øyet ikke spores, hvis dette skjer, ingen elev vises på den eksperimentator datamaskinen. - Justere kameraets fokus ved manuelt å slå fokuslinse. Være forsiktig med å ta foran linsen. Slå linsen til beste fokuspunktet er nådd.
Merk: Beste fokuspunktet er nådd når turkis sirkelen (hornhinnen refleksjon) er så liten som mulig (dvs.når denne fyren er i fokus). - Angi elev terskelverdien. Kontroller at bare bildet av eleven er blå (f.eksøyevippene bør ikke være blå) på verts-PC. Kontroller også at hele eleven (ikke bare den sentrale delen) er blå. Bare tenk på hva som er inni den røde firkanten.
- Trykk A. Dette angir automatisk elev terskelen. Hvis elevene ikke nøyaktig vises i blått, justere terskelen manuelt ved hjelp av nøkkelen opp å øke og på ned -tasten for å redusere mengden blå del av bildet overflaten.
Merk: Mascara (som er vanligvis svart, som eleven) kan forstyrre angi terskelen-øye sporing kan ta den mørke øyevipper for elevene. I dette tilfellet ber du deltakeren om å fjerne sminken deres ved å gi dem med makeup remover vev. - Angi cr terskel. Hvis A var trykket i trinn 1.3.15, bør cr terskelen automatisk er angitt.
Merk: Numeriske verdiene for alle innstillingene skal vises. Hvis det vises et spørsmålstegn i noen av dem, det oppstod et problem i ett av trinnene ovenfor og grensene bør angis manuelt.
- Kalibrere øye sporing
Merk: Se om øye sporing konsekvent kan identifisere plasseringen av øyet når deltakerne ser på andre deler av skjermen.- Be deltakerne å se på de fire hjørnene av skjermen en samtidig vinduet kamera oppsett er i sikte. Nøye se etter uregelmessig myse (dette vil dukke opp som turkis 'blobs' på skjermbildet) som forstyrrer hornhinnen refleksjon når øye blikket er rettet mot hjørnet.
- Ber du deltakeren om å se på midten av skjermen og deretter direkte blikket til hjørnet problematisk hvis den rød boksen rundt øyet og en av trådkorset ikke er synlige når som helst under trinn 1.4.1. Dette vil bidra til å finne kilden til problemet.
- Juster plasseringen av deltakerens hodet og sjekk hvis dette gir noen forbedring. Gjenta dette trinnet hvis nødvendig. Hvis enheten fremdeles ikke å nøyaktig spore deltakernes blikket etter flere forsøk, avbryte eksperimentet.
- Informere deltakerne at øye sporing vil være kalibrert og at de skal se en svart sirkel (med en liten grå prikken) flytte til ulike deler av skjermen. Instruere deltakerne til fixate sirkelen til det flytter til en ny plassering. Instruere deltakeren å unngå straining øynene og fokusere på liten grå prikken i den svarte sirkelen for optimale resultater.
- Fortelle deltakeren at det er viktig å holde fortsatt og ikke prøv å forutse posisjonen til neste sirkelen under kalibreringen. Instruer dem til å følge sirkler med øynene og ikke hodet. Klikk på Kalibrer starte kalibreringsprosessen. Vanligvis, brukes en 9-punkts kalibrering prosedyre der den svarte sirkelen flytter til ni steder på en føljetong måte.
- For en automatisk kalibrering, trykker du ENTER etter at deltakeren har nøyaktig fikserte det første punktumet i midten av skjermen. Manuell kalibrering (f.eksnår det er problemer med sporing deltakerens øye eller når håndtere spesiell deltaker grupper som barn), akseptere hver fiksering ved å trykke ENTER (eller ved å klikke godta fiksering/ å trykke på mellomromstasten).
Merk: På slutten av kalibreringsprosessen, en nesten rektangulære mønster på den eksperimentator skjermen skal vises. Dette representerer øyet blikket mønstre av deltakeren. I tillegg bør resultatet av en god kalibrering bli markert med grønt. Hvis de ikke, gjenta kalibrering (dvs., klikk på kalibrering). - Validere resultatene. Fortelle deltakeren å gå gjennom den samme fremgangsmåten (ser på prikkene) for å validere resultatene av kalibreringsprosessen. Minn dem å se på prikken og fortsatt.
Merk: Prosessen med validering er lik som kalibrering både resultater sammenlignes av øye sporing slik at øyet spores nøyaktig. - Klikk validere.
- Godta hver fiksering ved å trykke ENTER (eller ved å klikke godtafiksering/trykke mellomrom).
- Etter valideringen vises resultatene på den eksperimentator skjermen. Spesielt oppmerksom på de to feil tiltakene, gjennomsnittlig feil (f.eks, 0,23 °) og maksimal feilen (f.eks, 0,70 °). Disse representerer grader som det merkede bildet avviker fra stillingen faktisk blikket som deltaker.
- Når du bruker en visuell verden paradigme, holde gjennomsnittlig feil (første tall) under 0,5 ° og maksimal feilen (det andre tallet) under 1°.
- Hvis feilverdiene er over sperregrensen, ber du deltakeren å justere plasseringen av hodet og starte kalibreringsprosedyren. Hvis ingen forbedring er observert, avbryte eksperimentet.
Merk: Det er vanlig å observere høy Kalibreringsfeil når deltakeren bærer kontaktlinser. Deltakeren om på forhånd å bringe deres briller istedenfor deres kontaktlinser. - Etter du har fullført kalibreringsprosessen, velger du Output/opptak for å starte eksperimentet. Informere deltakerne at eksperimentet vil nå starte.
- Under eksperimentet
Merk: Under eksperimentet (avhengig av hvordan et enkelt eksperiment er programmert, men vanligvis før hvert eksperimentelle forsøk), en drift av eller drift riktig vises en prikk i midten av skjermen. Formålet er å rapportere den beregnede Fikseringsfeil for gjeldende rettssaken, og, avhengig av øye sporing modell, automatisk justere det.- I fasen for instruksjon har deltakeren blitt fortalt til fixate sentrale punktet når det vises. Kontroller at i hver drift av/drift riktig fasen deltakere er igjen fixating prikken. Dette kan gjøres ved å følge deltakerens blikk på verts-PC, der deltakerens blikket vises som en bevegelse grønn sirkel.
- Når den drift av/drift riktig er fullført, trykker du ENTER (eller mellomrom) å gjøre dot forsvinner og vise neste rettssaken.
- Finne ut hvordan å håndtere feil skjedde drift av fasen etter modell av øye sporing brukes. Avhengig av modell, øye sporing vil utføre en automatisk drift korrigering ved å justere blikkets koordinater for å matche de av det sentrale punktumet, eller det vil gjøre en pipelyd støy be eksperimentator omkalibreres strikkes det eksperiment (drift av).
- Hvis bruker en automatisk drift korreksjon, huske på at for mange drift rettelser i påfølgende forsøk og/eller for stor en grad av drift korreksjon vil forvrenge resultatene og krever en ny kalibrering av enheten.
- Ny kalibrering under eksperimentet
- Det er mulig å kalibrere på nytt når som helst under eksperimentet. Under presentasjonen av Drift korreksjon/drift av skjermen, klikker du på kamera oppsett, klikk på Kalibrer. Gå gjennom kalibrering og godkjenningen til en tilfredsstillende verdi, klikk på utgang/post. Eksperimentet vil fortsette fra Utpunkt i rettssaken rekkefølge.
- Etter eksperimentet
- Gi deltakerne et spørreskjema å vurdere om de kunne gjette sentrale eksperimentelle manipulasjoner. Her er det også viktig å spørre om potensielle strategier som kan ha blitt utviklet gjennom hele eksperimentet.
- Debrief deltakeren om hensikten med eksperimentet. Takke dem for deres deltakelse og gi nødvendig monetær kompensasjon eller tilordne kurset kreditt hvis aktuelt.
2. Fjernoppsett: Justere oppsettet for studier med barn og eldre voksne
Merk: Denne delen beskriver bare forskjellene mellom en ekstern konfigurering og et skrivebordsoppsett som beskrevet i trinn 1. Poeng nevnt ikke eksplisitt her bør antas for å være identiske med fremgangsmåten som er beskrevet i trinn 1.
- Utveksle målestokk 35 mm øye sporing kameralinsen for en 16 mm linse.
- Koble alt nødvendig utstyr (Host PC, høyttalere, øye sporing og bærbar PC hvis en bærbar datamaskin).
- Plasser bærbare på en laptop stand og øye sporing foran (deltakeren skal kunne se de 75% av skjermen).
- Plassere et «mål klistremerke» (tilgjengelig fra det bane produsenten) på deltakerens pannen (over øyenbrynet høyre øye eller på det høyre kinnet hvis pannen er også små (dvs.ved spedbarn), denne klistremerke erstatter haken resten av den skrivebordsoppsett, og det kan øye sporing å nøyaktig fastslå plasseringen av deltakerens hodet.
- Kontroller at deltakeren sitter 550-600 mm fra kameraet (avstand mål klistremerket kameraet).
- Kontroller at ordene "store angle" eller "nære øye" ikke vises på verts-PC. Hvis de gjør, betyr det at plasseringen av målet klistremerket ikke er ideelt. I dette tilfellet omstille etiketten som mål. Det kan også bety at deltakerens pannen er spesielt liten. Hvis dette er tilfelle, sett klistremerket på deltakerens kinn.
Merk: Hvis klistremerket er plassert for nær øret, meldingen "store angle" er forekomme og klistremerke må flyttes. - Før du starter kalibreringsprosessen beskrevet i trinn 1.4, sørg for at deltakeren er sitte komfortabelt. Be dem om å opprettholde samme posisjon gjennom hele eksperimentet og forklare at øye sporing er svært følsomme for kroppslige bevegelser. Insistere på at de holder hodet fortsatt. Hvis deltakeren flytter for mye, vil enheten avgir en summing.
Merk: Hvis ekstern øye sporing oppsettet brukes til å teste følsom bestander, som eller eldre voksne, er det tilrådelig å bruke en manuell kalibreringsprosedyren.
3. justering av oppsettet for lesing studier
Merk: Når undersøke visuell kontekst effekter på lesing, er det nødvendig å betale spesiell oppmerksomhet til kalibrering og re kalibrering prosesser. I motsetning til visuell verden studier krever øye sporing under lesing en mye høyere grad av enhet presisjon, gitt at måtte spore ord-for-ord og brev-til-brev å lese.
- Kontroller at både gjennomsnittlig og maksimal feilen vises i fasen for validering forblir under 0,5 °.
- Kontroller at du bruker minst 9-punktskala for kalibrering. Dette sikrer en mer nøyaktig sporing av øyet blikket posisjon, som er avgjørende, gitt den lille størrelsen på områder av interesse under lesing.
Representative Results
En studie av Münster og samarbeidspartnere37 undersøkt samspillet mellom setningsstruktur, avbildet handlinger og ansikts emosjonelle signaler under språk forståelse. Denne studien er godt egnet til å illustrere fordeler og begrensninger av metoden, som det viste både robust avbildet handling effekter og marginale effekter av ansikts emosjonelle signaler på setningen forståelse. Forfatterne opprettet 5 s videoer av en kvinnes ansiktsuttrykk som endret fra en hvile posisjon i en lykkelig eller et trist uttrykk. De laget også følelsesmessig positivt valenced tyske objekt-Verb-Adverb-emne (OVAdvS) setninger av skjemaet ' [objekt/pasientenakkusativ] [Verb] [positiv Adverb] [emne/agentnominativ]. " Via den positive adverb, setninger matchet 'happy' video og feil "trist" videoen, tillater i prinsippet påvente av agent (som var smilende og beskrevet som lykkelig av de positive adverb). Etter høyttaler video, setningen dukket opp med en av to versjoner av en agent-pasient-distractor utklipp scene. I én versjon, ble agent avbildet som utfører handlingen nevnt på pasienten, mens distractor tegnet utføres en annen handling. Den andre scene versjonen avbildet ingen handlinger mellom tegnene. Øyebevegelser i scenen avslørte virkningene av handlinger og av talerens ansiktsuttrykk på setningen forståelse.
Handlingen beskrivelsen raskt påvirket deltakernes visuell oppmerksomhet, betyr at deltakerne så mer på agent enn på distractor da handlingen nevnte var (vs var ikke) avbildet. Disse ser var foregripe (i.e.oppstått før agent ble nevnt), tyder på at handlingen beskrivelsen avklart agent før setningen gjorde. Tidligst virkning av handlingen beskrivelsen fremkom under verbet (i.e.verbet mediert handling-assosiert agent). Derimot om forrige høyttaleren smilte eller så ulykkelig hadde ingen klar effekt på agent forventning (figur 2). Sistnevnte resultatet kan reflektere mer spinkel koblingen mellom en smil og en positiv sentential adverb knyttet til avbildet agent handling (sammenlignet med direkte verb-action referanse formidle en handling-assosiert agent). Alternativt, det kan være spesifikke for oppgaven og stimulans presentasjonen: kanskje følelser effekter ville ha vært mer uttalt i en mer sosialt Interaktiv oppgave eller en som presenterer talerens ansikt under (enn før) setning forståelse. Men presentere en smilende talerens ansikt under forståelse kan føre deltakerne å fokusere på ansiktet på bekostning av andre scenen innhold, kanskje maskering ellers observerbare effekter av manipulert variablene (Kilde: upubliserte data).
I en videre variant av paradigmet spurt Guerra og Knoeferle32 om romlig-semantiske Verdensspråk relasjoner kan modulerer forståelse av abstrakte semantiske innhold under lesing. Guerra og Knoeferle lånte ideen fra det konseptuelle metafor teori38 at romlig avstand (f.eks, nærhet) grunnlag betydningen av abstrakte semantisk forbindelser (f.ekslikheten). I tråd med denne hypotesen koordinert deltakerne lese abstrakte substantiv raskere da de ble lignende (og motsatt) mening og etter en video å formidle nærhet (vs avstand, spillkort flytte nærmere sammen vs. lenger fra hverandre). I et andre studier39beskrevet setninger samspillet mellom to personer som intime eller uvennlig, fører til oppdagelsen at videoer av to kort nærmer seg hverandre sped opp av setningen regioner som formidles sosiale nærhet/intimitet. Merk at romlig avstanden påvirket setning lese raskt og trinnvis selv når setninger ikke referere til objekter i videoen. Videoene modulert utpreget lesing ganger som en funksjon av kongruens mellom romlige avstand og semantisk samt sosiale aspekter av setning mening. Disse effektene ble vist både i første-pass lesing ganger (hele første inspeksjon av et forhåndsbestemt dommen område) og totaltiden brukt på setningen regionen (se Figur 3 for en illustrasjon av resultatene fra studier av Guerra og Knoeferle)32. Analysene viser imidlertid også betydelig variasjon mellom deltakerne, fører til konklusjonen at slike subtile kort avstand effekter ikke er så robuste som effekten av verb-action relasjoner, minst ett eksempel.
Et ytterligere antall studier illustrerer hvordan variasjon i setningsstruktur kan hjelpe vurdere omfanget av visuell kontekst effekter. Abashidze og samarbeidspartnere34 og Rodríguez og samarbeidspartnere26 undersøkte effekten av siste handlingene på etterfølgende behandling talte setninger. I både studier, deltakerne først inspisert en handling video (f.eks, en eksperimentator smakstilsetning agurk, eller kvinnelige hender bake en kake). Deretter de lyttet til tyske setningen som var relatert til den siste handlingen eller en annen handling som kan utføres neste (flavoring tomater34, bygge en modell26). Under forståelse, deltakerne inspisert en scene som viser to objekter (agurker, tomater)34 eller to bilder av agent ansikter (en kvinnelig og en mannlig agent ansikt, kalt 'Susanna' og 'Thomas', henholdsvis)26. I studien av Abashidze og samarbeidspartnere34, høyttaler først nevnt i eksperimentator og verbet (f.eks, smakstilsetning) fremlokkende forventninger om et tema (f.eks, slangeagurker eller tomater). I studien av Rodríguez og samarbeidspartnere26, høyttaler først nevnt et tema (kake), og deretter verbet (bakervarer), fremlokkende forventninger om agenten for handlingen (kvinnelig: Susanna eller mann: Thomas, avbildet via bilder av en kvinne og en mann ansikt).
I både studier var spørsmålet på problemet om folk ville (visuelt) forventer tema/agent av siste handlingen hendelsen eller andre tema/agent basert på ytterligere innholdsrettet signaler gitt under forståelse. I Abashidze og samarbeidspartnere34, den eksperimentator blikket cued fremtidige tema objektet (tomater) fra starten av verbet (bokstavelig oversatt fra tysk: "eksperimentator-agenten smaker snart..."). I Rodríguez og samarbeidspartnere26, kjønn kunnskap om stereotype handlinger ble tilgjengelig når temaet og verbet ble nevnt (f.eksden bokstavelige oversettelsen av tyske stimuli var: "kake-temaet bakes snart..."). I begge settene med studier inspisert deltakerne fortrinnsvis den mål/agenten for den siste handlingen (agurker34 eller Susanna26) over alternative (fremtid/andre-kjønn) målet (tomater34 eller Thomas26) under setningen.
Denne såkalte 'siste hendelse preferanse', derfor synes å være robust over betydelig variasjon i setningsstruktur og experimental materialer. Det var modulert, men av visuelle begrensningene samtidige scenen26, slik at presentere plausibel fotografier av verb temaer i tillegg til kjønn fotografier av agenter redusert avhengighet på nylig inspisert handling hendelsene og modulert oppmerksomhet basert på kjønn-stereotyp kunnskapen formidles av språk. Figur 4 illustrerer de viktigste resultatene av eksperimentene av Rodríguez og samarbeidspartnere26.
Mens denne versjonen av visual verden paradigmet gitt robust resultater, har andre studier fremhevet kompleksitet (og begrensninger) kobling hypotesen. Burigo og Knoeferle20 avdekket at deltakere-når du lytter til ytringer som dø boksen ist über der Wurst ('boksen er over pølse) – hovedsakelig fulgt ytring i inspeksjon utklipp skildringer av disse objektene. Men på en andel av studier, deltakernes blikket skilt fra det ble nevnt. Da han hørte "pølsen" og har kontrollert pølse minst én gang, deltakernes neste inspeksjon returnerte til boksen på ca 21% av fart bekreftelse (eksperiment 1) og 90% av i etter setningen bekreftelse ( Eksperiment 2). Denne blikk mønster antyder at referansen (høring "pølsen") guidet bare noen (inspisere pølse), men ikke alle øye bevegelser (inspisere boksen). Denne typen design kan brukes å erte hverandre leksikalske-referanseintegritet prosesser fra andre (inkludert setning nivå fortolkende) prosesser. Forskere må imidlertid være forsiktig når du gjør krav om ulike nivåer av lingvistisk behandling basert på relative forskjeller i øyebevegelser proporsjoner, gitt tvetydigheten i tilknytting øye blikket til kognitiv og forståelse prosesser.
Figur 1: oversikt over samling datamiljø. Diagrammet viser hvordan den annen programvare og maskinvare elementer brukes for datainnsamling og forbehandling forholder seg til hverandre. Klikk her for å se en større versjon av dette tallet.
Figur 2: Representant resultatene av Münster og samarbeidspartnere37. Disse skjermbildene viser etter emne mener Logg-blikket sannsynlighet prosenter per betingelse i regionen verb (for handlingen avbildet) og i regionen verb-adverb kombinert (for effekten av emosjonelle prime). Resultatene viser en betydelig høyere andel av ser mot bildet når handlingen nevnt i setningen ble avbildet enn når det ikke ble avbildet. Resultatene for effekten av emosjonelle ansikts primtall var mindre avgjørende: de foreslår bare en svak økning i gjennomsnitt-Logg forholdet ser målet når ansikts prime hadde en positiv emosjonelle valence (et smil) enn da den hadde en negativ valence (en trist ansikt). Feilfeltene representerer standard feil av gjsnitt. Dette tallet har blitt endret fra Münster et al. 37. Klikk her for å se en større versjon av dette tallet.
Figur 3: Representant resultatene av Guerra og Knoeferle32. Dette panelet viser mener første-pass lesing tider (i millisekunder) (dis) likheten adjektivet. Resultatene viser kortere lesing tider for likheten setninger etter å se to spille kort gå tettere sammen sammenlignet med lengre fra hverandre. Feilfeltene representerer standard feil av gjsnitt. Dette tallet er endret fra Guerra og Knoeferle32. Klikk her for å se en større versjon av dette tallet.
Figur 4: Representant resultater Rodríguez og samarbeidspartnere26. Dette panelet viser etter emne mener Logg blikket sannsynlighet prosenter per betingelse i regionen verb. Andelen ser over 0 viser en preferanse for agent målbildet og proporsjoner under 0 viser en preferanse for konkurrent agent bildet. Resultatene viser at deltakerne var mer sannsynlig å inspisere agent bildet når objektet og verbet nevnt i setningen samsvarer tidligere filmet hendelser enn når de ikke. I tillegg var det mer ser ut mot agent bildet når handlingen beskrives av setningen likedannet diskriminering. Feilfeltene representerer standard feil av gjsnitt. Dette tallet har blitt endret fra Rodríguez et al. 26. Klikk her for å se en større versjon av dette tallet.
Discussion
I sammendraget, har gjennomgått variantene av øye sporing i visuelle sammenhenger avdekket mange måter som en visuell scene kan påvirke språk forståelse. Denne metoden gir avgjørende fordeler sammenlignet med metoder som måler reaksjonstid. For eksempel gi pågående øyebevegelser oss et vindu i språk forståelse prosesser og hvordan disse samhandler med vår oppfatning av visuell verden over tid. Dessuten, deltakere er ikke nødvendigvis nødvendig å utføre en eksplisitt oppgave under språk forståelse (for eksempel dømme grammaticality av en setning via et knappetrykk). Dette gjør at forskere til å bruke metoden med populasjoner som kanskje sliter med utilslørt atferdsdata svar enn øyet blikket, som spedbarn, barn og i noen tilfeller kan eldre voksne. Øye sporing er økologisk gyldig i at det gjenspeiler deltakernes oppmerksomhet svar, ikke ulikt menneskers visuelle avhør av kommunikasjon-relevant ting i verden rundt dem under mer eller mindre oppmerksomme lytter til unfolding ytringer.
Grenser (eller kanskje egenskaper) av visuell verden paradigmet er at ikke alle hendelser kan bli avbildet oversiktlig og utvetydig. Konkrete objekter og arrangementer kan selvfølgelig bli avbildet. Men hvordan abstrakte begreper er best avbildet er mindre klart. Dette kan begrense (eller definere) innsikt i samspillet mellom språkbehandling og oppfatningen av visuell verden bruker en øye-sporing visuell verden paradigmet. Videre utfordringer knyttet til knytte hypoteser mellom observerte atferd og forståelse prosesser. Øye-fixations er en enkelt behavioral respons som sannsynligvis gjenspeiler mange delprosesser under språk forståelse (f.eksleksikalske tilgang referanseintegritet prosesser, språk-mediert forventninger, visuell kontekst effekter, blant andre). Gitt denne innsikten, forskere må være forsiktig ikke å over - eller feiltolke observert blikket mønsteret. For å løse dette problemet, har tidligere forskning valgte forståelse delaktiviteter å avklare tolkningen av blikk posten40.
En måte å øke interpretability av øyebevegelser er å integrere dem med andre tiltak som hendelsen-relaterte hjernen potensialer (ERPs). Ved å undersøke det samme fenomenet med to metoder som er sammenlignbare i deres timelige detaljnivå og utfyllende i deres kobling hypoteser, kan forskere utelukke alternative forklaringer om sine resultater og berike tolkningen av hver personlige mål41. Denne tilnærmingen har vært forfulgt over eksperimenter43, men mer nylig også innenfor ett enkelt eksperiment (om enn i strengt språklige kontekster)44. Fremtidig forskning kan ha stor nytte av slike metodologiske integrering og fortsatte kombinasjon med post-rettssaken og post eksperimentelle aktiviteter.
Metoden øye-sporing kan gjenskape etablerte resultater, samt teste nye hypoteser om samhandlingen visuell oppmerksomhet i scener med språk forståelse. Fremgangsmåten i protokollen må følges nøye siden selv mindre eksperimentator feil kan påvirke datakvaliteten. I lesing studier, for eksempel relevante regionene er ofte enkeltord eller selv bokstaver, betyr at selv små Kalibreringsfeil kan forvrenge resultatene (se artikkelen av Raney og kolleger42). Trinn 1,4 og 1,5 protokollen, kalibrering av øye sporing og drift av/drift riktig, er spesielt viktig siden de direkte påvirke opptaket nøyaktigheten. Unnlatelse av å riktig kalibrere øye sporing kan føre sporing ikke nøyaktig sporing øyebevegelser til pre-etablerte områder av interesse. Slike sporing vil føre til manglende datapunkter og et tap i statistisk styrke som kan være problematisk når undersøke verden-å-språket relasjoner som er veldig subtile og gi små statistiske effekt størrelser (se beskrivelsen av den eksperimenter ved Guerra og Knoeferle32 og Münster og kolleger37 blant Representant resultater).
Gitt behovet for å maksimere makt og følsomhet av utstyret, er det viktig at forskere vet hvordan å håndtere problemer som rutinemessig skjer under en eksperimentell. For eksempel kan elev plassering og bevegelse av deltakere med briller resultere i kalibrering vanskeligheter på grunn av lysrefleksjoner på linser en deltakers briller. En måte å løse dette problemet er å gjenspeile bildet av deltakerens øye på PC-skjermen og oppmuntre dem til å flytte hodet til refleksjon av lys på brillene er ikke lenger synlig på skjermen, noe som betyr at det er ikke lenger fanget av kameraet. En annen årsak til kalibrering feil kan være elev innsnevring, som kan være en konsekvens av en overeksponering for lys. I så fall vil dempe lyset i laboratoriet øke elev dilatasjon og dermed hjelpe øye sporing i nøyaktig oppdage Eleven.
Som en siste tanke, vil vi gjerne ta potensialet som visuelle verden paradigmet har for forskning på andre språk læring. Paradigmet har allerede blitt brukt i psycholinguistic forskning for å undersøke fenomener som språkuavhengige leksikalsk og vanndrager samhandling46,47,48. I tillegg har nær koblingen mellom visuell oppmerksomhet og språklæring ofte blitt fremhevet i anvendt lingvistikk litteratur på andre språk oppkjøpet49,50,51. Fremtidig forskning på andre språk læring vil trolig fortsette å dra nytte fordelaktige posisjonen til øye sporing som en metode som gir en indeks av visuell oppmerksomhet i millisekunds oppløsning.
Disclosures
Forfatterne ikke avsløre.
Acknowledgments
Denne forskningen ble finansiert av ZuKo (Excellence initiativ, Humboldt-Universität zu Berlin), Excellence klynge 277 'Kognitiv samhandling Technology' (tysk Research Council, DFG) og EUs syvende rammeprogram for forskning, teknologisk utvikling og demonstrasjon under grant avtalen n ° 316748 (LanPercept). Forfatterne bekrefter også støtte fra den basale midler for Centers of Excellence, prosjektet FB0003 fra den assosiative forskning programmet av CONICYT (regjeringen i Chile) og prosjektet "FoTeRo" fokus midt XPrag (DFG). Pia Knoeferle fortsetter forutsatt et første utkast av artikkelen informert av en laboratorium protokollen at Helene Kreysa startes ved Bielefeld University, og som å bli brukt på Humboldt-Universität zu Berlin. Alle forfattere bidratt til innholdet ved å gi innspill på metoder og resultater i en eller annen form. Camilo Rodríguez Ronderos og Pia Knoeferle koordinert innspill fra forfatterne, og i to gjentakelser, revidert betydelig første utkast. Ernesto Guerra produsert tallene 2 - 4 basert på innspill fra Katja Münster og Alba Rodríguez Ernesto Guerra. Helene Kreysa gitt figur 1 og Pia Knoeferle oppdatert. Deler av rapporterte resultatene er publisert i Proceedings av årsmøtet i kognitiv vitenskap samfunnet.
Materials
| Name | Company | Catalog Number | Comments |
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
- Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
- Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
