Summary
Denna artikel recensioner en eye-tracking metodik för studier på språkförståelse. För att erhålla tillförlitliga uppgifter, måste viktiga steg i protokollet följas. Bland dessa finns de korrekt uppbyggnaden av eye tracker (t.ex., säkerställa en god kvalitet av ögat och huvudet bilderna) och korrekt kalibrering.
Abstract
Den nuvarande arbetet är en beskrivning och bedömning av en metodik för att kvantifiera olika aspekter av samspelet mellan språkbearbetning och uppfattningen av den visuella världen. Inspelningen av ögon-blick mönster har lämnat bra bevis för bidrag av både visuella sammanhang och språkliga/world kunskap till språkförståelse. Inledande forskning bedömdes objektkontext effekter att testa teorier om modularitet i språkbearbetning. I inledningen beskriver vi hur efterföljande undersökningar har tagit rollen i det större sammanhanget som visuella språk bearbetning som ett forskningsområde i sin egen rätt, ställa frågor så som hur våra visuell perception av händelser och högtalare bidrar till läsförståelse informerad av comprehenders' erfarenhet. Bland de undersökta aspekterna av det visuella sammanhanget är handlingar, händelser, en talares blick, och känslomässiga ansiktsuttryck, samt rumsliga objekt konfigurationer. Efter en översikt av eye-tracking metoden och dess olika tillämpningar listar vi de viktigaste stegen i metoden i protokollet, som illustrerar hur man framgångsrikt använder det för att studera visuellt-belägen språkförståelse. En sista avsnittet presenterar tre uppsättningar av representativa resultat och illustrerar fördelar och begränsningar av eye tracking för att undersöka samspelet mellan uppfattningen av den visuella världen och språket förståelsen.
Introduction
Psykolingvistiska forskning har lyft fram betydelsen av ögonrörelser analyser för att förstå de processer som är inblandade i språkförståelse. Kärnan i inferring förståelse processer från posten blick är en hypotes som länkar kognition till ögat rörelser5. Det finns tre huvudtyper av ögonrörelser: saccades, vestibulo-okulär förehavanden och smooth pursuit rörelser. Saccades är snabb och ballistiska rörelser som händer mestadels omedvetet och tillförlitligt har förknippats med förskjutningar i uppmärksamhet6. Ögonblicken av relativa blick stabilitet mellan saccades, känd som upptagningar, anses index nuvarande visuell uppmärksamhet. Mäta locus upptagningarna och deras varaktighet i förhållande till kognitiva processer kallas metoden' eye-tracking'. Tidiga implementationer av denna metod serveras att undersöka läsförståelse i strikt språkliga sammanhang (se Rayner7 för en översyn). I detta synsätt varar inspektera ett ord eller mening regionen associerade med bearbetning svårigheter. Eyetracking, dock har också ansökt om att undersöka talade språkförståelse under inspektion av objekt i världen (eller på en dator Visa2). I denna 'visuell värld' eye-tracking version styrs inspektion av objekt av språk. När comprehenders hör zebra, exempelvis sin inspektion av en zebra på skärmen tas att reflektera att de funderar på djuret. Vad är känd som den visuella värld paradigmen, en comprehender's ögon blick tas att återspegla talade språkförståelse och aktivering av associerade kunskaper (t.ex. lyssnare även inspektera zebra när de hör bete, som anger en åtgärd som utförs av zebra)2. Sådana inspektioner föreslår en systematisk koppling mellan språk-världen förbindelser och ögat rörelser2. Ett vanligt sätt att kvantifiera denna länk är genom att beräkna andelen ser till olika förutbestämda regioner på en skärm. Detta tillåter forskare att direkt jämföra (tillstånd, av deltagarna och objekt) mängden uppmärksamhet ges till olika objekt vid en viss tidpunkt och hur dessa värden förändras i millisekunds noggrannhet.
Forskning inom psykolingvistik har utnyttjat eye tracking i visuella världar att retas apart konkurrerande teoretiska hypoteser angående arkitekturen i åtanke1. Eye upptagningar på avbildade objekt, dessutom visat att comprehenders kan — förutsatt att ett tillräckligt restriktiv språkliga sammanhang — utföra inkrementella semantisk tolkning8 och även utveckla förväntningar om kommande karaktärer 9. sådana ögon blick data har också belyst en rad ytterligare förståelse processer, såsom lexikala tvetydighet resolution10,11, pronomen upplösning12, svenskspråkiga strukturella och tematiska roll tilldelning med hjälp av informationen i den visuella sammanhang13,14,16, och pragmatiska processer15, bland många andra4. Tydligt, ögonrörelser till objekt under språkförståelse kan vara informativ inblandad processer.
Eye-tracking metoden är icke-invasiv och kan användas med spädbarn, unga och äldre språk användare. En viktig fördel är att, till skillnad från punktuell Svaren till sonder eller svar knapptryckningar i verifiering uppgifter, det ger insikter över tid i en millisekunds noggrannhet i hur språk guidar uppmärksamhet och hur det visuella sammanhanget (i form av föremål, handlingar, händelser, en talares blick, och känslomässiga ansiktsuttryck, samt rumsliga objekt konfigurationer) bidrar till språkbearbetning. Kontinuiteten i åtgärden under meningen förståelse kompletterar väl med andra efter mening och efter experimentet åtgärder såsom från overt bild/video-meningen verifiering, förståelse frågor och minne minns uppgifter. Overt svaren i dessa uppgifter kan berika tolkningen av posten öga blick genom att ge inblick i resultatet av läsförståelse processen, minne och lärande2. Att kombinera eye tracking med dessa andra uppgifter har avslöjat i vilken utsträckning olika aspekter av det visuella sammanhanget modulera visuell uppmärksamhet och (omedelbar, samt fördröjd) förståelse över livslängden.
Presentation av språket (skriftliga eller muntliga) och scener kan vara antingen samtidigt eller sekventiellt. Exempelvis Knoeferle och medarbetare17 presenteras scenen 1000 ms innan den uttalad meningen, och det återstod närvarande under förståelse. De rapporterade bevis som clipart skildringar av åtgärd evenemang bidrar till att lösa lokala strukturella tvetydighet i tyska subjekt-verb-objekt (SVO) jämfört med objekt-verb-ämne (OVS) meningar. Knoeferle och Crocker18 presenteras en clipart scenen innan en skriftlig mening och testade en stegvis integrering av clipart händelser under meningen förståelse. De observerade inkrementell kongruens effekter, vilket innebär att deltagarnas läsning gånger av meningen väljare var längre när dessa omaka (vs. matchade) händelsen skildras i den föregående scenen. I en annan stimulans presentation variant, deltagarna först läsa en mening som beskriver en rumslig relation och sedan såg en scen av en viss rumsliga arrangemang som rör objektet teckningar19. Denna studie bedömde computational rumsliga språkmodeller förutsägelser genom att be deltagarna att betygsätta passformen meningen ges till scenen, med ögonrörelser registreras under scen förhör. Deltagarnas blick mönster var moduleras av formen på det objekt som de konfronterades med — delvis bekräftar modell förutsägelser och tillhandahålla uppgifter för modell förfining.
Medan många studier har använt clipart skildringar17,18,19,20,21,22,23, är det också möjligt att kombinera verkliga objekt, videor av dessa objekt eller statiska fotografier med talat språk1,21,24,25,26,46. Knoeferle och kollegor används en verkliga inställning24 och Abasjidze och kollegor används ett videofilmade presentationsformat för att pröva åtgärder händelser och spända effekter25. Varierande det exakta innehållet av scenerna (t.ex., som skildrar åtgärder eller inte)22,27,38 är möjligt och kan också avslöja visuella sammanhang effekter. En relaterad studie av Rodríguez och medarbetare26 undersökte påverkan av videoinspelade visuella kön ledtrådar på förståelsen av därefter fram talade meningar. Deltagarna tittade på video som visar antingen manliga eller kvinnliga händer utför ett stereotypt könsrelaterade åtgärd. Sedan hört de en mening om antingen en stereotypt manlig eller kvinnlig action-händelse medan samtidigt inspektera en display som visar två fotografier sida vid sida, en av en man och den andra en kvinna. Denna rika visuella och språkliga miljö tillät författarna att retas isär effekterna av språk-medierad stereotypa kunskap om förståelse från effekterna av visuellt presenterade (hand) kön ledtrådar.
En ytterligare tillämpning av detta paradigm har riktat utvecklingsmässiga förändringar i språkbearbetning. Ögonrörelser till objekt under talat språkförståelse visade effekterna av skildras händelser i 4 - 5 - åringar27,28 och i äldre vuxna29 i realtid, men något försenat jämfört med unga vuxna. Kröger och medarbetare22 undersökt effekterna av prosodisk cues och fall märkning inom ett experiment och jämfört dessa över experiment hos vuxna och barn. Deltagarna inspekterade en tvetydig åtgärd-event scenen medan du lyssnar på en relaterade otvetydigt fall-märkta tyska meningen. Ögonrörelser avslöjade att de distinkta prosodiska mönsterna hjälpte varken vuxna eller den 4 - eller 5-åringar när värdeposition vem-gör-vad-till-vem. Meningen-inledande fall märkning, påverkade dock vuxnas men inte barnens ögonrörelser. Detta tyder på att 5-åringar förståelse av mål märkning inte är tillräckligt robusta för att aktivera tematiska rolltilldelning (se studien Özge och medarbetare30), åtminstone inte när åtgärden händelser inte disambiguera tematiska roll förbindelser. Dessa resultat är intressant, med tanke på att de är i motsats till tidigare resultat av prosodisk effekter på tematiska roll uppdraget31. Kröger och medarbetare22 föreslås att (mer eller mindre stödjande) visuella samband ansvarar för kontrasterande resultaten. I den mån dessa tolkningar håller, belyser de rollen som sammanhang i språkförståelse över livslängden.
Eye-tracking metoden kombinerar väl med åtgärderna från bild - (eller video-) meningen verifiering uppgifter18,20,26, bild-bild verifiering uppgifter32, corpus studier24, värdering uppgifter19, eller efter experimentell recall uppgifter25,33. Abasjidze och kollaboratörer34 och Kreysa och medarbetare33 undersökt samspelet mellan högtalare blick och verkliga åtgärder videor34 och högtalare blick och åtgärd skildringar33, respektive, som ledtrådar för kommande meningen innehåll. Genom att kombinera spårning av ögon blick i en scen under språkförståelse med en efter experimentell minne uppgift, fick de en bättre förståelse för hur där lyssnarna uppfattning av en talares blick och de avbildade åtgärderna samverkar och påverkar både bearbetning av omedelbar språk och minne minns. Resultaten visade distinkta bidrag till åtgärder mot högtalare blick till realtid förståelse kontra efter experimentet minne minns processer.
Medan metoden eye-tracking kan vara sysselsatt med stor flexibilitet, är vissa standarder nyckeln. Följande protokoll sammanfattar en generaliserad procedur som kan anpassas till olika typer av frågeställningar enligt forskarnas specifika behov. Detta protokoll är ett standardiserat förfarande som anställd i psykolingvistik laboratorium vid Humboldt-Universität zu Berlin, liksom i den tidigare språk och kognition laboratorium på den kognitiva interaktion teknik Excellence kluster (CITEC) på Bielefeld-universitetet. Protokollet beskrivs en stationär och en fjärrinställning. Den senare rekommenderas för användning i studier med barn eller äldre vuxna. Alla experiment nämns i Representativa resultat Använd en eye tracker-enhet som har en samplingsfrekvens på 1000 Hz och används tillsammans med en huvud stabilisator, en dator för att testa deltagarna (Display PC) och en dator för att övervaka experimentet och deltagarnas ögonrörelser (värd PC). Den största skillnaden av denna enhet till dess föregångare är att det tillåter för kikare eye tracking. Protokollet är avsett att vara tillräckligt allmänna för användning med andra eye-tracking enheter som inkluderar en huvud stabilisator och använda en dual PC setup (värd + Display). Det är dock viktigt att komma ihåg att andra uppställningar kommer troligen att ha olika metoder för hantering av problem såsom kalibrering misslyckanden eller spår förlust, i vilket fall experimenter bör avse användaren manuell för sin specifika enhet.
Protocol
Detta protokoll följer de etiska riktlinjerna institutionen där data samlades in, dvsden kognitiva interaktion teknik Excellence kluster (CITEC) av Bielefeld-universitetet och Humboldt-Universität zu Berlin. De experiment som utförs vid Bielefeld University godkändes individuellt av Bielefeld universitetets etiska kommitté. Psykolingvistik laboratoriet på den Humboldt-Universität zu Berlin har ett laboratorium etik protokoll som godkändes av den etiska kommittén Deutsche Gesellschaft für Sprachenwissenschaft tysk språkvetenskap samhället (DGfS).
1. datorinstallation
Obs: Följande är de viktigaste stegen i en eye-tracking-experiment.
- Instrumentet förberedelse
- Slå på eye-tracking kameran och den värd PC (se figur 1 för en illustration av i-lab datainsamlingen och förbehandling setup).
- Inleda den eye tracker-programvaran.
- Aktivera displayen PC. Öppna mappen som innehåller experiment.
- Starta 'distribuerade' version med filnamnstillägget .exe genom att dubbelklicka på den.
- Beroende på inställningarna, kanske en uppmaning om att välja en experimentell lista visas, som är typiskt en tabbavgränsad.csv/.txt fil som innehåller de villkor, ljudfil namn, skrivna meningar eller bilder som en deltagare kommer att utsättas för. Välj i listan och startar programmet. Namnge utdatafilen där resultaten kommer att lagras.
Obs: Utdatafilen sparas på displayen PC och en säkerhetskopia sparas på det värd PC. - Lämna den första skärmen i experimentet (Introduktion eller välkomstskärmen) öppen.
- Ta bort skyddslocket från eye tracker kameran.
- För hygieniska ändamål, placera en vävnad på hållaren för hakan.
- Valfritt: Förbereda en svar pad eller ett tangentbord som krävs av experimentet.
- Valfritt: Om presentera auditiva stimuli, justera volymen på högtalarna och testa dem innan du kör experimentet. Alternativt testa funktionaliteten i hörlurarna att användas av deltagaren.
- Förbereda de nödvändiga blanketterna ska undertecknas av deltagaren.
- Justera ljusstyrkan i laboratoriet för att ha ett svagt upplyst rum med en konstant luminans för hela processen för insamling av data.
- Förberedelse för deltagarna
- Efter att deltagarna har anlänt, presentera dig själv.
- Plats en stör ej logga på laboratoriet dörren.
- Be deltagaren att ta en plats.
- Vägleda deltagaren genom informationsblad och nödvändigt samtycke och demografiska former.
- Låt deltagaren Läs och signera formuläret samtycke.
- Kortfattat förklara de allmänna aspekterna av experimentet och dess varaktighet. Ge inte alltför mycket information innan experimentet, eftersom detta kan påverka deltagarens blick beteende och resulterande data.
- Tillhandahålla skriftliga instruktioner och ge deltagaren möjlighet att ställa frågor.
- Kortfattat förklara funktionen av eye tracker.
- Vid behov förtydliga uppgiften och påpeka eventuella knappar/tangenter som måste vara intryckt under experimentet.
- Förklara hur hakstödet syftar till att minimera huvudrörelser under experimentet. Nämna att enheten fungerar bäst om deltagaren undviker eventuella förflyttningar.
- Ställa in eye tracker
- Förbereda deltagaren för experimentet: be dem att sitta vid bordet och placera sin haka på hakstödet. Be dem att luta pannan mot nackstödet.
- Be deltagaren att justera höjd och position av stolen om det behövs: deltagaren ska känna sig bekväm med sin haka på hakstödet och sin panna mot nackstödet.
- Förklara att det är vanligt att oavsiktligt flytta huvudet under experimentet och att detta bör undvikas. Förklara att huvudet kroppshållning kan behöva korrigeras under experimentet.
- Om experimentet kräver en knapptryckning(t.ex. via svar pad), instruera deltagaren att lämna sina fingrar vilar på knapparna ska pressas och att undvika att titta på svar pad när du trycker på en knapp.
- Be deltagaren att läsa Välkommen/införandet skärmen.
- Sitta framför den värd PC. Om skärmen inte redan på kamera inställningar, klicka på kameran setup för att komma till skärmen rätt. Om skyddslocket har tagits bort från kameralinsen och deltagaren är korrekt placerad på hakstödet, skärmen ska visa tre bilder av deltagarens ögon: en större bild på toppen, och två mindre längst ned till vänster och höger. Dessa mindre bilder visar ett öga varje, motsvarande vänster och höger öga.
- Välj det öga som ska spåras. Det är brukligt att spåra deltagarens dominerande öga. Om deltagaren inte vet vilket öga är dominant, genomföra en okulär dominanstestet (steg 1.3.8).
- Bestämma okulär dominans. Be deltagaren att sträcka ut en arm och justera tummen med ett avlägset objekt med båda ögonen öppna. Be deltagaren att alternativa utgående vänster eller höger ögat. Dominerande ögat är den där tummen förblir linje med objektet när ögat är öppet35,36.
- Klicka på bilden | Displayen pc (eller tryck på Enter) och de bilder som beskrivs i steg 1.3.6 visas också på deltagarens skärm, men endast en i taget.
- Tryck på vänster/höger pilen på antingen experimenter's eller deltagarens dator tangentbordet för att växla mellan mindre och större bilden av ögat. Fokusera på den mindre bilden (ögat).
- Tryck på A (Justera ögat fönster) på antingen tangentbord för att centrera gränser sökrutan pupillen positionen. Sedan, en röd ruta visas runt ögat bör visas med en turkos cirkel [den 'hornhinnans reflektion', (cr)] nära botten av eleven. Eleven själv ska vara blå.
- Se till att två kors ('hårkorset') visas på skärmen – en i mitten av eleven och en i mitten av hornhinnans reflektion. Den röda rutan och två korsar menar att eye tracker är att upptäcka eleven och cr.
Obs: Om den röda rutan eller korsen är frånvarande, ögat är inte spåras — om det händer, Ingen elev visas på de experimenter's dator. - Justera kamerans fokus genom att manuellt vrida objektivets fokus. Vara noga med att inte vidröra framsidan av linsen. Vrid objektivet tills den bästa fokuspunkten nås.
Obs: Den bästa fokuspunkten är nådd när turkos cirkeln (hornhinnans reflektion) är så liten som möjligt (dvs.när denna cirkel är i fokus). - Ange elev tröskelvärde. Se till att bara bilden av eleven är blå (t.ex., ögonfransarna ska inte vara blå) på det värd PC. Kontrollera också att hela eleven (inte bara dess centrala del) är blå. Bara oroa vad som finns inuti Röda torget.
- Tryck på A. Detta ställer automatiskt in elev tröskeln. Om eleven inte visas korrekt i blått, justera tröskeln manuellt med knappen upp för att öka och ned för att minska mängden blå del av bild yta.
Obs: Mascara (som vanligtvis är svart, som eleven) kan störa inställning tröskeln — eye tracker kan ta mörka ögonfransar för eleven. I detta fall be deltagaren att ta bort deras makeup genom att förse dem med makeup remover vävnader. - Ange tröskelvärde för cr. Om A trycktes i steg 1.3.15, bör cr tröskel har automatiskt ställts in.
Obs: Numeriska värden för alla tröskel inställningar ska synas. Om ett frågetecken visas i någon av dem, det fanns ett problem i ett av de föregående stegen och tröskelvärdena bör ställas in manuellt.
- Kalibrera eye tracker
Obs: Kontrollera huruvida eye tracker konsekvent kan identifiera positionen för ögat när deltagaren tittar på andra delar av skärmen.- Be deltagaren att titta på de fyra hörnen på skärmen en i taget medan kamerafönstret är i sikte. Noggrant leta efter några oregelbundna reflektioner (dessa visas som turkos 'BLOB' på skärmen) som stör hornhinnans reflektion när den ögon-blicken är riktad mot hörnet.
- Be deltagaren att titta på mitten av skärmen och sedan rikta blicken till det problematiska hörnet om den röda rutan runt ögat och antingen av hårkorset inte syns på någon punkt under steg 1.4.1. Detta kommer att hjälpa fastställa orsaken till problemet.
- Justera positionen för deltagarens chef och kontrollera om detta ger någon förbättring. Upprepa detta steg om det behövs. Om enheten fortfarande inte kan spåra deltagarens blick efter flera försök, avbryta experimentet.
- Informera deltagaren att eye tracker kommer att kalibreras och att de kommer att se en svart cirkel (med en liten grå prick) flyttar till olika delar av skärmen. Instruera deltagaren att fixera cirkeln tills den flyttas till en ny plats. Instruera deltagaren att undvika anstränga ögonen och fokusera på de små grå pricken inuti den svarta cirkeln för optimalt resultat.
- Tala om för deltagaren att det är viktigt att vara stilla och inte att försöka förutse nästa cirkeln ställning under kalibreringen. Instruera dem att följa cirklar med sina ögon och inte deras huvud. Klicka på kalibrera att starta kalibreringen. En 9-punktskalibrering förfarandet används normalt, i vilken den svarta cirkeln flyttas till nio platser i en seriell sätt.
- För en automatisk kalibrering, tryck på RETUR efter deltagaren har korrekt fixerad första punkten i mitten av skärmen. För manuell kalibrering (t.ex., när det finns problem med att spåra deltagarens ögat eller när behandlar särskilda deltagare för till exempel barn), acceptera varje fixering genom att trycka på ENTER (eller genom att klicka på acceptera fixering/ trycka på blanksteg).
Obs: I slutet av kalibreringen, en nästan rektangulär mönster på de experimenter's skärm ska synas. Detta representerar den öga blick mönstren av deltagaren. Resultaten av en bra kalibrering bör dessutom vara markerade i grönt. Om de inte kan upprepa kalibreringen (dvsKlicka på kalibrering). - Validera resultaten. Berätta för deltagaren att gå igenom samma procedur (tittar på prickar) för att validera resultaten av kalibreringen. Påminn dem att titta på pricken och vara stilla.
Obs: Processen för validering är liknande den för kalibrering och båda resultaten jämförs av eye tracker programvara för att säkerställa att ögat spåras exakt. - Klicka på validera.
- Acceptera varje fixering genom att trycka på ENTER (eller genom att klicka på accepterafixering/trycka på blanksteg).
- Efter validering visas resultaten på de experimenter's skärm. Ägna särskild uppmärksamhet åt de två fel åtgärderna, genomsnittliga felet (t.ex., 0,23 °) och maximal felet (t.ex., 0.70 °). Dessa representerar de grader som spårade bilden avviker från den riktiga blick positionen där en deltagare.
- När du använder en visuell värld paradigm, hålla den genomsnittliga fel (första antal) under 0,5 ° och det maximala felet (det andra talet) under 1°.
- Om felvärdena är tröskelvärdet, be deltagaren att justera placeringen av huvudet och starta om kalibreringen. Om ingen förbättring observeras, avbryta experimentet.
Obs: Det är vanligt att iaktta höga kalibrering fel när deltagaren bär kontaktlinser. Deltagaren bör tillfrågas i förväg att föra sina glasögon i stället för sina kontaktlinser. - Efter framgångsrikt avslutat kalibreringsprocessen, klicka på Utgång/Record för att starta experimentet. Informera deltagaren att experimentet börjar nu.
- Under experimentet
Obs: Under experimentet (beroende på hur enskilda experiment är programmerad, men vanligtvis före varje experimentellt försöket), en glida in eller drift rätt skärm visar en prick i mitten av skärmen. Dess syfte är att rapportera beräknade fixering felet för aktuellt prövningen och, beroende på eye tracker modell, att automatiskt justera den.- Under fasen instruktion har deltagaren berättats att fixera den centrala punkten när den visas. Kontrollera att deltagarna under varje drift kontrollera/drift rätt fas, igen fixerande pricken. Detta kan göras genom att följa deltagarens blick på det värd PC, där deltagarens blick visas som en glidande grön cirkel.
- När den avdrift kontrollera/drivan rätt har slutförts, tryck på RETUR (eller blanksteg) för att göra pricken försvinner och Visa nästa rättegången.
- Avgöra hur man handskas med underlåtenhet att passera fasen drift kontrollera enligt modellera av eye tracker används. Beroende på modell, eye tracker kommer att antingen utföra en automatisk drift korrigering genom att justera den blicken koordinater om du vill matcha hos den centrala punkten, eller det kommer att göra ett pipande ljud att fråga försöksledaren att kalibrera innan du fortsätter den experiment (glida in).
- Om du använder en automatisk drift korrigering, Tänk på att alltför många drift korrigeringar i efterföljande prövningar och för stor en grad av avdrift korrigering kommer att snedvrida resultaten och kräver en omkalibrering av enheten.
- Omkalibrering under experimentet
- Det är möjligt att kalibrera när som helst under experimentet. Under presentationen av glida korrigering/drift kontrollera skärmen, klicka på kamera inställningar, klicka på kalibrera. Gå genom kalibrering och validering processer tills ett tillfredsställande värde uppnås, klicka på utgång/posten. Experimentet kommer att återupptas från utförselstället i sekvensen rättegång.
- Efter experimentet
- Ge deltagaren ett frågeformulär för att bedöma om de skulle kunna gissa de viktigaste experimentella manipulationer. Här är det också viktigt att fråga om potentiella strategier som kunde ha utvecklat hela experimentet.
- Utfråga deltagaren om syftet med experimentet. Tacka dem för deras deltagande och tillhandahålla nödvändiga skadestånd eller tilldela kurs kredit om tillämpligt.
2. fjärrinställning: Justera inställningarna för studier med barn och äldre vuxna
Obs: Detta avsnitt beskriver endast skillnaderna mellan en fjärrinställning och en stationär installation som beskrivs i steg 1. Punkter nämns inte uttryckligen här bör antas vara identisk med det förfarande som beskrivs i steg 1.
- Utbyta standard 35 mm eye tracker kameralinsen för en 16 mm objektiv.
- Anslut alla nödvändiga utrustning (värd PC, högtalare, eye tracker och laptop om du använder en bärbar dator).
- Placera den bärbara datorn på en laptop-stativ och eye tracker framför den (deltagaren bör kunna se de 75% av skärmen).
- Placera en ”target klistermärke” (tillgängligt från tracker tillverkare) på deltagarens panna (ovanför ögonbrynet höger öga eller på den högra kinden om pannan är för små (dvs.vid spädbarn); Detta klistermärke ersätter hakan vila av den Datorinstallation och den tillåter eye tracker att noggrant bestämma positionen för deltagarens chef.
- Kontrollera att deltagaren sitter 550-600 mm bort från kameran (distansera av målet dekalen till kameran).
- Se till att orden ”stor vinkel” eller ”nära ögat” visas inte på det värd PC. Om de gör, innebär det att positionen för målet dekalen inte är idealisk. I detta fall justera target dekalen. Det kan också innebära att deltagarens pannan är särskilt små. Om så är fallet, placera dekalen på deltagarens kinden.
Obs: Om etiketten är placerad för nära örat, meddelandet ”stora vinkel” sannolikt kommer att visas och dekalen måste flyttas. - Innan du påbörjar kalibreringsprocessen beskrivs i steg 1.4, kontrollera att deltagaren sitter bekvämt. Be dem att bibehålla samma ställning under hela experimentet och förklara att eye tracker är mycket känslig för kroppsliga rörelser. Insistera på att de hålla huvudet stilla. Om deltagaren rör sig för mycket, kommer enheten avger brummande.
Obs: Om inställningen remote eye tracker används för att testa känsliga befolkningsgrupper, såsom barn och äldre vuxna, är det tillrådligt att använda en manuell kalibrering.
3. Justera inställningarna för läsning studier
Obs: När du undersöker visuella sammanhang effekter på läsning, det är nödvändigt att särskilt uppmärksamma de kalibrering och omkalibrering processerna. I motsats till visuella världen studier kräver eyetracking under behandlingen en mycket högre grad av enheten precision, med tanke på den noggrannhet som behövs för att spåra ord-för-ord och bokstav-till-bokstav läsning mönster.
- Se till att både det genomsnittliga och maximala fel visas under valideringsfasen förblir under 0,5 °.
- Se till att använda minst en 9-gradig skala för kalibrering. Detta försäkrar en mer exakt spårning av den öga blick ståndpunkten, vilket är nödvändigt, med tanke på den begränsade storleken på områden av intresse under behandlingen.
Representative Results
En studie av Münster och medarbetare37 undersökt samspelet mellan meningsbyggnad, avbildas åtgärder och ansiktsbehandling känslomässiga signaler under språkförståelse. Denna studie är väl lämpad att illustrera fördelar och begränsningar av metoden, som visade både robust skildras åtgärder effekter och marginella ansiktsbehandling känslomässiga signaler på meningen förståelse. Författarna skapat 5 s videor i en kvinnas ansiktsuttryck som ändrats från en vilande position i en lycklig eller i ett sorgligt uttryck. De skapade också känslomässigt positivt valenced tyska objekt-Verb-Adverb-ämne (OVAdvS) meningar i formuläret ' [objekt/patientenackusativ] [Verb] [positiva Adverb] [ämne/agentnominativ].' Via positiv adverben, meningarna matchade 'glad' videon och missmatchad 'sad' video, tillåter i princip väntan på agenten (som log och beskrivs som agerar glatt av positiva adverben). Efter talaren video visades meningen med en av två versioner av en agent-patienten-distraktor clipart-scen. I en version skildrades agenten som utför nämnda åtgärden på patienten, medan tecknet distraktor framförde en annan åtgärd. Den andra scen versionen skildras inga åtgärder mellan tecknen. Ögonrörelser i scenen avslöjade verkningarna av åtgärderna och talarens ansiktsuttryck på meningen förståelse.
Åtgärd skildringen snabbt påverkas deltagarnas visuell uppmärksamhet, vilket innebär att deltagarna såg mer på agenten än på distraktor när nämnda åtgärden var (vs. var inte) skildras. Dessa ser ut var föregripande (dvs.som inträffat innan agenten nämndes), vilket tyder på att åtgärder skildringen klarläggs agenten innan meningen gjorde. Den tidigaste effekten av åtgärden skildringen framkom under verbet (dvsverbet medierad handling-associerade agenten). Däremot om den föregående talaren log eller såg olycklig hade ingen tydlig effekt på agent förväntan (figur 2). Sistnämnda resultatet kunde återspegla den lösare kopplingen mellan en talares leende och en positiv sentential adverben rör avbildade agentens åtgärd (jämfört med en direkt verb-action referens medla en action-associerade agent). Alternativt kan det vara specifika för uppgiften och stimulans presentationen: kanske känslor effekter skulle har varit mer uttalad i en mer socialt interaktiv uppgift eller i en som presenterar talarens ansikte under (snarare än innan) meningen förståelse. Dock presentera ett leende talarens ansikte under förståelse kan orsaka deltagarna att fokus i ansiktet på bekostnad av andra scen innehåll, kanske annars observerbara skymda av manipulerade variabler (Källa: opublicerade data).
I en ytterligare variant av paradigm frågade Guerra och Knoeferle32 om rumsliga-semantiska världsspråk relationer kan modulera förståelsen av abstrakt semantiska innehåll under behandlingen. Guerra och Knoeferle lånat idén från de konceptuella metafor teori38 att rumsliga avstånd (t.ex., närhet) grunder innebörden av abstrakt semantiska relationer (t.ex., likhet). I linje med denna hypotes samordnas deltagare Läs abstrakta Substantiv snabbare när de var liknande (vs. motsatt) i menande och hade föregåtts av en video förmedla närhet (vs. avstånd, spelkort flytta närmare grupp vs. längre ifrån varandra). I en andra uppsättning studier39beskrivs meningar interaktionen mellan två människor som intima eller ovänliga, ledande till upptäckten att videor av två kort närmar sig varandra skyndade upp läsningen av meningen regioner som förmedlas sociala närhet/intimitet. Observera att rumsliga avståndet påverkas meningen läsa snabbt och stegvis även när meningarna inte hänvisade till objekten i videon. Videor moduleras tydligt läsa gånger som en funktion av kongruens mellan rumsliga avstånd och semantiska samt sociala aspekter av meningen menande. Dessa effekter visades både i första-passage läsning gånger (varaktigheten av den första inspektionen av en förutbestämd meningen region) och den totala tid som tillbringas på molnlager meningen (se figur 3 för en illustration av resultaten från studierna av Guerra och Knoeferle)32. Analyserna visade emellertid också betydande variation mellan deltagarna, leder till slutsatsen att sådana subtila kort-avstånd effekter inte är lika robusta som effekterna av verbet-action förbindelser, för att nämna ett exempel.
En ytterligare uppsättning studier visar hur variation i meningsbyggnad kan hjälpa till att utvärdera allmängiltigheten av visuella sammanhang effekter. Abasjidze och kollaboratörer34 och Rodríguez och medarbetare26 undersökt effekterna av de senaste åtgärderna på den efterföljande behandlingen av talad dömer. I båda studierna deltagare först inspekterade en action video (t.ex., en försöksledaren smaktillsats gurkor, eller kvinnliga händer baka en tårta). Nästa, de lyssnade till en tysk mening som antingen var relaterade till den senaste åtgärden eller till en annan åtgärd som kan utföras nästa (smaktillsats tomater34, bygga en modell26). Under fattningsförmåga, deltagarna inspekterade en scen som visar två objekt (gurkor, tomater)34 eller två fotografier av agent ansikten (en kvinnlig och en manlig agent ansikte, namnet 'Susanna' och 'Thomas', respektive)26. I studien av Abasjidze och medarbetare34, talaren omnämnt av försöksledaren och sedan verbet (t.ex., smakämnen), framkalla förväntningar om ett tema (t.ex., gurka eller tomaterna). I studien av Rodríguez och medarbetare26, talaren omnämnt ett tema (kakan), och sedan verbet (bakning), framkalla förväntningar om agenten av åtgärden (kvinnliga: Susanna, eller man: Thomas, skildras via bilder av en kvinnliga och en manlig ansikte).
I båda studierna var frågan huruvida personer (visuellt) skulle föregripa tema/agenten senaste åtgärd händelsen eller andra tema/agent baserad på ytterligare kontextuella ledtrådar som lämnats under förståelse. I Abasjidze och medarbetare34, de experimenter's blick cued den framtida temaobjekt (tomater) från uppkomsten av verbet (bokstavligt översatt från tyska: 'experimenter-agenten smaker snart...'). Rodríguez och medarbetare26, kön kunskap om stereotypa åtgärder blev tillgängligt när temat och verbet nämndes (t.ex., den bokstavliga översättningen av de tyska stimuli var: 'cake-temat bakar snart...'). I båda uppsättningar av studier inspekterade deltagarna prioriterat mål/agent för den senaste åtgärden (gurkor34 eller Susanna26) över alternativa (framtid/other-genus) målet (tomater34 eller Thomas26) under meningen.
Denna så kallade 'senaste-event preferens', verkar således vara robust över betydande variation i meningsbyggnad och experimentella material. Det var moduleras, dock av visuella begränsningar från den samtidiga scen26, sådan att presentera rimliga fotografier av verbet teman i tillägg till könade fotografier av agenter minskat beroendet av händelserna nyligen-inspekteras åtgärder och modulerade uppmärksamhet som utifrån genus-stereotyp kunskap förmedlas av språk. Figur 4 illustrerar de viktigaste resultaten av experimenten av Rodríguez och medarbetare26.
Medan denna version av visual-världen paradigm gett robusta resultat, har andra studier belyst komplexiteten (och begränsningarna) förbinder hypotesen. Burigo och Knoeferle20 avslöjat att deltagarna — när du lyssnar på yttranden såsom dö Box ist über der Wurst ('rutan är ovanför korven') — mestadels följt utterancen inspekterar clipart skildringar av dessa objekt. Men på en del av prövningar, deltagarnas blick frikopplat från vad nämndes. Då höra 'korv' och efter att ha inspekterat korven minst en gång, deltagarnas nästa kontroll tillbaka till rutan på cirka 21% av prövningar i speedad verifiering (Experiment 1) och i 90% av prövningar i efter meningen verifiering ( Experiment 2). Denna blick mönster föreslår att hänvisningen (hörsel ' korv') guidade endast vissa (inspektera korven) men inte alla ögon rörelser (inspektera rutan). Denna typ av design kan användas att retas apart lexikala-refererande processer från andra (inklusive meningen-nivå tolkningsmeddelande) processer. Forskare måste dock vara försiktig när att göra påståenden om olika nivåer av språklig bearbetning baserat på relativa skillnader i ögonrörelser proportioner, ges tvetydigheten i länka ögon blick till kognitiva och förståelse processer.
Figur 1: översikt över data collection miljön. Diagrammet visar hur de olika programvara och hårdvara element används för datainsamling och förbehandling förhåller sig till varandra. Klicka här för att se en större version av denna siffra.
Figur 2: Representativa resultat i Münster och medarbetare37. Dessa paneler relationstal för-ämne menar log-blicken sannolikheten per tillstånd i regionen verb (för åtgärden avbildade) och verb-adverb regionen kombinerat (för effekten av känslomässiga prime). Resultaten visar en betydligt högre andel av blickar mot målbilden när den åtgärd som nämns i meningen var avbildad än när det inte var avbildas. Resultaten för effekten av känslomässiga ansiktsbehandling primtal var mindre övertygande: de föreslår endast en liten ökning i medelvärdet-log förhållandet ser till målet när ansiktet prime hade en positiv känslomässig valence (ett leende) än när det hade en negativ valence (ett sorgset ansikte). Felstaplar representera standardavvikelsen för medelvärdet. Denna siffra har ändrats från Münster o.a. 37. vänligen klicka här för att visa en större version av denna siffra.
Figur 3: Representativa resultat av Guerra och Knoeferle32. I denna panel visas medelvärdet presystemisk läsning tider (i millisekunder) av (dis) likheten adjektivet. Resultaten visar kortare läsning tider för likheten meningar efter att se två spela kort flytta närmare varandra jämfört med längre ifrån varandra. Felstaplar representera standardavvikelsen för medelvärdet. Denna siffra har ändrats från Guerra och Knoeferle32. Klicka här för att se en större version av denna siffra.
Figur 4: Representativa resultat av Rodríguez och medarbetare26. I denna panel visas av-ämne menar log blicken sannolikhet nyckeltal per tillstånd i regionen verb. Proportionerna av ser ovan 0 Visa en preferens för agent målbilden och proportioner under 0 visar en preferens för konkurrent agent bilden. Resultaten visar att deltagarna var mer benägna att inspektera agent målbilden när objektet och verbet nämns i meningen matchade föregående videofilmade händelser än när de inte gjorde. Dessutom fanns det fler ser mot agent målbilden när gäller åtgärd meningen överensstämde med könsstereotyper. Felstaplar representera standardavvikelsen för medelvärdet. Denna siffra har ändrats från Rodríguez m.fl. 26. vänligen klicka här för att visa en större version av denna siffra.
Discussion
Sammanfattningsvis har de granskade varianterna av eyetracking i visuella sammanhang upptäckt många sätt som en visuell scen kan påverka språkförståelse. Denna metod ger avgörande fördelar jämfört med metoder såsom mätmetoder reaktionstider. Till exempel ger pågående ögonrörelser oss ett fönster till språk förståelse processer och hur dessa interagerar med vår uppfattning av den visuella världen över tid. Dessutom krävs deltagare inte nödvändigtvis för att utföra en uttrycklig uppgift under språkförståelse (t.ex. att döma av grammaticality av en mening via en knapptryckning). Detta tillåter forskare att använda metoden med befolkningsgrupper som kan kämpa med overt beteendemässiga Svaren än ögon blick, till exempel spädbarn, barn och i vissa fall, äldre vuxna. Eyetracking är ekologiskt giltig eftersom den avspeglar deltagarnas uppmärksamhet svaren — inte till skillnad från människans visuella förhör av kommunikation-relevanta saker i världen omkring dem under mer eller mindre uppmärksamt lyssna på pågående uttalanden.
En av de gränser (eller kanske egenskaper) av den visuella värld paradigmen är att inte alla händelser kan beskrivas rakt och entydigt. Konkreta föremål och händelser kan, naturligtvis, beskrivas. Men hur abstrakta begrepp är bästa skildras är mindre tydlig. Detta kan begränsa (eller definiera) insikter om samspelet mellan språkbearbetning och uppfattningen av den visuella världen med en eye-tracking visuella världen paradigm. Ytterligare utmaningar avser de länkande hypoteserna mellan observerade beteende och förståelse processer. Eye upptagningar är en enda beteendemässiga svar som återspeglar sannolikt många delprocesser under språkförståelse (t.ex., lexikala tillgång, refererande processer, språk-medierad förväntningar, visuella sammanhang effekter, bland annat). Med tanke på denna insikt, forskare måste vara försiktig att inte över - eller misstolkar observerade blick mönstret. För att lösa detta problem, belyser tidigare forskning rollen av läsförståelse underaktiviteter att klargöra tolkningen av blick rekord40.
Ett sätt att förbättra tolkningsbarhet av ögonrörelser är att integrera dem med andra åtgärder såsom evenemangsrelaterade hjärnan potentialer (ERPs). Genom att undersöka samma fenomen med två metoder som är jämförbara i deras temporal granularitet och kompletterande i deras länka hypoteser, kan forskare utesluta alternativa förklaringar av deras resultat och berika tolkningen av varje enskild åtgärd41. Detta tillvägagångssätt har bedrivits över experiment43, men, mer nyligen, även inom en enda experiment (om än i strikt språkliga sammanhang)44. Framtida forskning skulle kunna dra stor nytta av sådana metodologiska integration och fortsatte kombination med efter rättegången och efter experimentella uppgifter.
Metoden eye-tracking kan replikera etablerade resultat, samt testa nya hypoteser, om samspelet mellan visuell uppmärksamhet i scener med språkförståelse. Det förfarande som anges i protokollet måste följas noga eftersom även mindre försöksledaren fel kan påverka datakvaliteten. I läsning studier, exempelvis de relevanta analyser regionerna är ofta enskilda ord eller även bokstäver, vilket innebär att även små kalibrering fel kan snedvrida resultaten (se artikeln av Raney och kollegor42). Steg 1.4 och 1.5 i protokollet, kalibrering av eye tracker och drift kontrollera/drift rätt, är särskilt viktiga eftersom de direkt påverkar noggrannheten inspelningen. Underlåtenhet att korrekt kalibrera eye tracker kan resultera i tracker inte exakt spåra ögonrörelser till förutbestämda områden av intresse. Sådan spårning misslyckande kommer att leda till saknade datapunkter och en förlust i statistiska makt som kan vara problematiskt när du undersöker världen-till-språk relationer som är mycket subtila och ger liten statistisk effekt storlekar (se beskrivningen av den experiment av Guerra och Knoeferle32 och Münster och kollegor37 bland Representativa resultat).
Med tanke på behovet av att maximera kraft och känslighet av utrustningen, är det viktigt att praktiker vet hur man handskas med problem som rutinmässigt uppstår under en experimentell session. Till exempel kan elev position och förflyttning av deltagarna bär glasögon resultera i kalibrering svårigheter på grund av reflektioner på linserna en deltagares glasögon. Ett sätt att lösa detta problem är att spegla bilden av deltagarens öga på displayen PC och uppmuntra dem att flytta huvudet tills reflektion av ljus på glasen är inte längre synlig på skärmen, vilket innebär att det inte längre fångas av kameran. En ytterligare orsak till kalibrering underlåtenhet kan vara elev sammandragning, som kan vara en följd av en överexponering för ljus. Öka elev dilatation i så fall ljusreglering ljuset i laboratoriet kommer att och, således, att eye tracker i noggrant upptäcka eleven.
Som en sista tanke, skulle vi vilja ta den potential som visual-världen paradigm har för forskning om andra språk lärande. Paradigm har redan framgångsrikt använts i Psykolingvistiska forskning för att undersöka fenomen som cross-lexikala och fonologiska interaktion46,47,48. Det nära sambandet mellan visuell uppmärksamhet och språkinlärning har dessutom ofta lyfts fram i tillämpad-språkvetenskap litteratur på andra språk förvärv49,50,51. Framtida forskning om andra språk lärande kommer sannolikt att fortsätta att dra nytta av den fördelaktiga positionen av eye tracking som en metod som ger ett index av visuell uppmärksamhet i millisekunds noggrannhet.
Disclosures
Författarna har något att avslöja.
Acknowledgments
Forskningen finansierades av ZuKo (Excellence Initiative, Humboldt-Universität zu Berlin), den Excellence kluster 277 'Kognitiva interaktionsteknik' (tyska forskningsrådet, DFG), och av EU: s sjunde ramprogram för forskning, teknisk utveckling och demonstration under grant avtalet n ° 316748 (LanPercept). Författarna erkänner också stöd från Basal fonderna för Centers of Excellence, projektet FB0003 från den associativa forskning Program av CONICYT (regeringen av Chile) och från projektet ”FoTeRo” i stadens fokus XPrag (DFG). Pia Knoeferle fortsätter förutsatt ett första utkast till artikeln informeras av ett laboratorium protokoll att Helene Kreysa instansierad vid Bielefeld-universitetet och som att användas på den Humboldt-Universität zu Berlin. Alla författare bidragit till innehållet genom att ge input på metoder och resultat i en eller annan form. Camilo Rodríguez Ronderos och Pia Knoeferle samordnas input från författarna och i två iterationer, ändrade väsentligen det ursprungliga utkastet. Ernesto Guerra produceras figurerna 2 - 4 baserat på input från Katja Münster, Alba Rodríguez och Ernesto Guerra. Helene Kreysa enligt figur 1 och Pia Knoeferle uppdaterat den. Delar av rapporterade resultaten har publicerats i det målet av årsmöte i kognitionsvetenskap Society.
Materials
| Name | Company | Catalog Number | Comments |
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
- Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
- Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
