Denna artikel recensioner en eye-tracking metodik för studier på språkförståelse. För att erhålla tillförlitliga uppgifter, måste viktiga steg i protokollet följas. Bland dessa finns de korrekt uppbyggnaden av eye tracker (t.ex., säkerställa en god kvalitet av ögat och huvudet bilderna) och korrekt kalibrering.
Den nuvarande arbetet är en beskrivning och bedömning av en metodik för att kvantifiera olika aspekter av samspelet mellan språkbearbetning och uppfattningen av den visuella världen. Inspelningen av ögon-blick mönster har lämnat bra bevis för bidrag av både visuella sammanhang och språkliga/world kunskap till språkförståelse. Inledande forskning bedömdes objektkontext effekter att testa teorier om modularitet i språkbearbetning. I inledningen beskriver vi hur efterföljande undersökningar har tagit rollen i det större sammanhanget som visuella språk bearbetning som ett forskningsområde i sin egen rätt, ställa frågor så som hur våra visuell perception av händelser och högtalare bidrar till läsförståelse informerad av comprehenders’ erfarenhet. Bland de undersökta aspekterna av det visuella sammanhanget är handlingar, händelser, en talares blick, och känslomässiga ansiktsuttryck, samt rumsliga objekt konfigurationer. Efter en översikt av eye-tracking metoden och dess olika tillämpningar listar vi de viktigaste stegen i metoden i protokollet, som illustrerar hur man framgångsrikt använder det för att studera visuellt-belägen språkförståelse. En sista avsnittet presenterar tre uppsättningar av representativa resultat och illustrerar fördelar och begränsningar av eye tracking för att undersöka samspelet mellan uppfattningen av den visuella världen och språket förståelsen.
Psykolingvistiska forskning har lyft fram betydelsen av ögonrörelser analyser för att förstå de processer som är inblandade i språkförståelse. Kärnan i inferring förståelse processer från posten blick är en hypotes som länkar kognition till ögat rörelser5. Det finns tre huvudtyper av ögonrörelser: saccades, vestibulo-okulär förehavanden och smooth pursuit rörelser. Saccades är snabb och ballistiska rörelser som händer mestadels omedvetet och tillförlitligt har förknippats med förskjutningar i uppmärksamhet6. Ögonblicken av relativa blick stabilitet mellan saccades, känd som upptagningar, anses index nuvarande visuell uppmärksamhet. Mäta locus upptagningarna och deras varaktighet i förhållande till kognitiva processer kallas metoden’ eye-tracking’. Tidiga implementationer av denna metod serveras att undersöka läsförståelse i strikt språkliga sammanhang (se Rayner7 för en översyn). I detta synsätt varar inspektera ett ord eller mening regionen associerade med bearbetning svårigheter. Eyetracking, dock har också ansökt om att undersöka talade språkförståelse under inspektion av objekt i världen (eller på en dator Visa2). I denna ‘visuell värld’ eye-tracking version styrs inspektion av objekt av språk. När comprehenders hör zebra, exempelvis sin inspektion av en zebra på skärmen tas att reflektera att de funderar på djuret. Vad är känd som den visuella värld paradigmen, en comprehender’s ögon blick tas att återspegla talade språkförståelse och aktivering av associerade kunskaper (t.ex. lyssnare även inspektera zebra när de hör bete, som anger en åtgärd som utförs av zebra)2. Sådana inspektioner föreslår en systematisk koppling mellan språk-världen förbindelser och ögat rörelser2. Ett vanligt sätt att kvantifiera denna länk är genom att beräkna andelen ser till olika förutbestämda regioner på en skärm. Detta tillåter forskare att direkt jämföra (tillstånd, av deltagarna och objekt) mängden uppmärksamhet ges till olika objekt vid en viss tidpunkt och hur dessa värden förändras i millisekunds noggrannhet.
Forskning inom psykolingvistik har utnyttjat eye tracking i visuella världar att retas apart konkurrerande teoretiska hypoteser angående arkitekturen i åtanke1. Eye upptagningar på avbildade objekt, dessutom visat att comprehenders kan — förutsatt att ett tillräckligt restriktiv språkliga sammanhang — utföra inkrementella semantisk tolkning8 och även utveckla förväntningar om kommande karaktärer 9. sådana ögon blick data har också belyst en rad ytterligare förståelse processer, såsom lexikala tvetydighet resolution10,11, pronomen upplösning12, svenskspråkiga strukturella och tematiska roll tilldelning med hjälp av informationen i den visuella sammanhang13,14,16, och pragmatiska processer15, bland många andra4. Tydligt, ögonrörelser till objekt under språkförståelse kan vara informativ inblandad processer.
Eye-tracking metoden är icke-invasiv och kan användas med spädbarn, unga och äldre språk användare. En viktig fördel är att, till skillnad från punktuell Svaren till sonder eller svar knapptryckningar i verifiering uppgifter, det ger insikter över tid i en millisekunds noggrannhet i hur språk guidar uppmärksamhet och hur det visuella sammanhanget (i form av föremål, handlingar, händelser, en talares blick, och känslomässiga ansiktsuttryck, samt rumsliga objekt konfigurationer) bidrar till språkbearbetning. Kontinuiteten i åtgärden under meningen förståelse kompletterar väl med andra efter mening och efter experimentet åtgärder såsom från overt bild/video-meningen verifiering, förståelse frågor och minne minns uppgifter. Overt svaren i dessa uppgifter kan berika tolkningen av posten öga blick genom att ge inblick i resultatet av läsförståelse processen, minne och lärande2. Att kombinera eye tracking med dessa andra uppgifter har avslöjat i vilken utsträckning olika aspekter av det visuella sammanhanget modulera visuell uppmärksamhet och (omedelbar, samt fördröjd) förståelse över livslängden.
Presentation av språket (skriftliga eller muntliga) och scener kan vara antingen samtidigt eller sekventiellt. Exempelvis Knoeferle och medarbetare17 presenteras scenen 1000 ms innan den uttalad meningen, och det återstod närvarande under förståelse. De rapporterade bevis som clipart skildringar av åtgärd evenemang bidrar till att lösa lokala strukturella tvetydighet i tyska subjekt-verb-objekt (SVO) jämfört med objekt-verb-ämne (OVS) meningar. Knoeferle och Crocker18 presenteras en clipart scenen innan en skriftlig mening och testade en stegvis integrering av clipart händelser under meningen förståelse. De observerade inkrementell kongruens effekter, vilket innebär att deltagarnas läsning gånger av meningen väljare var längre när dessa omaka (vs. matchade) händelsen skildras i den föregående scenen. I en annan stimulans presentation variant, deltagarna först läsa en mening som beskriver en rumslig relation och sedan såg en scen av en viss rumsliga arrangemang som rör objektet teckningar19. Denna studie bedömde computational rumsliga språkmodeller förutsägelser genom att be deltagarna att betygsätta passformen meningen ges till scenen, med ögonrörelser registreras under scen förhör. Deltagarnas blick mönster var moduleras av formen på det objekt som de konfronterades med — delvis bekräftar modell förutsägelser och tillhandahålla uppgifter för modell förfining.
Medan många studier har använt clipart skildringar17,18,19,20,21,22,23, är det också möjligt att kombinera verkliga objekt, videor av dessa objekt eller statiska fotografier med talat språk1,21,24,25,26,46. Knoeferle och kollegor används en verkliga inställning24 och Abasjidze och kollegor används ett videofilmade presentationsformat för att pröva åtgärder händelser och spända effekter25. Varierande det exakta innehållet av scenerna (t.ex., som skildrar åtgärder eller inte)22,27,38 är möjligt och kan också avslöja visuella sammanhang effekter. En relaterad studie av Rodríguez och medarbetare26 undersökte påverkan av videoinspelade visuella kön ledtrådar på förståelsen av därefter fram talade meningar. Deltagarna tittade på video som visar antingen manliga eller kvinnliga händer utför ett stereotypt könsrelaterade åtgärd. Sedan hört de en mening om antingen en stereotypt manlig eller kvinnlig action-händelse medan samtidigt inspektera en display som visar två fotografier sida vid sida, en av en man och den andra en kvinna. Denna rika visuella och språkliga miljö tillät författarna att retas isär effekterna av språk-medierad stereotypa kunskap om förståelse från effekterna av visuellt presenterade (hand) kön ledtrådar.
En ytterligare tillämpning av detta paradigm har riktat utvecklingsmässiga förändringar i språkbearbetning. Ögonrörelser till objekt under talat språkförståelse visade effekterna av skildras händelser i 4 – 5 – åringar27,28 och i äldre vuxna29 i realtid, men något försenat jämfört med unga vuxna. Kröger och medarbetare22 undersökt effekterna av prosodisk cues och fall märkning inom ett experiment och jämfört dessa över experiment hos vuxna och barn. Deltagarna inspekterade en tvetydig åtgärd-event scenen medan du lyssnar på en relaterade otvetydigt fall-märkta tyska meningen. Ögonrörelser avslöjade att de distinkta prosodiska mönsterna hjälpte varken vuxna eller den 4 – eller 5-åringar när värdeposition vem-gör-vad-till-vem. Meningen-inledande fall märkning, påverkade dock vuxnas men inte barnens ögonrörelser. Detta tyder på att 5-åringar förståelse av mål märkning inte är tillräckligt robusta för att aktivera tematiska rolltilldelning (se studien Özge och medarbetare30), åtminstone inte när åtgärden händelser inte disambiguera tematiska roll förbindelser. Dessa resultat är intressant, med tanke på att de är i motsats till tidigare resultat av prosodisk effekter på tematiska roll uppdraget31. Kröger och medarbetare22 föreslås att (mer eller mindre stödjande) visuella samband ansvarar för kontrasterande resultaten. I den mån dessa tolkningar håller, belyser de rollen som sammanhang i språkförståelse över livslängden.
Eye-tracking metoden kombinerar väl med åtgärderna från bild – (eller video-) meningen verifiering uppgifter18,20,26, bild-bild verifiering uppgifter32, corpus studier24, värdering uppgifter19, eller efter experimentell recall uppgifter25,33. Abasjidze och kollaboratörer34 och Kreysa och medarbetare33 undersökt samspelet mellan högtalare blick och verkliga åtgärder videor34 och högtalare blick och åtgärd skildringar33, respektive, som ledtrådar för kommande meningen innehåll. Genom att kombinera spårning av ögon blick i en scen under språkförståelse med en efter experimentell minne uppgift, fick de en bättre förståelse för hur där lyssnarna uppfattning av en talares blick och de avbildade åtgärderna samverkar och påverkar både bearbetning av omedelbar språk och minne minns. Resultaten visade distinkta bidrag till åtgärder mot högtalare blick till realtid förståelse kontra efter experimentet minne minns processer.
Medan metoden eye-tracking kan vara sysselsatt med stor flexibilitet, är vissa standarder nyckeln. Följande protokoll sammanfattar en generaliserad procedur som kan anpassas till olika typer av frågeställningar enligt forskarnas specifika behov. Detta protokoll är ett standardiserat förfarande som anställd i psykolingvistik laboratorium vid Humboldt-Universität zu Berlin, liksom i den tidigare språk och kognition laboratorium på den kognitiva interaktion teknik Excellence kluster (CITEC) på Bielefeld-universitetet. Protokollet beskrivs en stationär och en fjärrinställning. Den senare rekommenderas för användning i studier med barn eller äldre vuxna. Alla experiment nämns i Representativa resultat Använd en eye tracker-enhet som har en samplingsfrekvens på 1000 Hz och används tillsammans med en huvud stabilisator, en dator för att testa deltagarna (Display PC) och en dator för att övervaka experimentet och deltagarnas ögonrörelser (värd PC). Den största skillnaden av denna enhet till dess föregångare är att det tillåter för kikare eye tracking. Protokollet är avsett att vara tillräckligt allmänna för användning med andra eye-tracking enheter som inkluderar en huvud stabilisator och använda en dual PC setup (värd + Display). Det är dock viktigt att komma ihåg att andra uppställningar kommer troligen att ha olika metoder för hantering av problem såsom kalibrering misslyckanden eller spår förlust, i vilket fall experimenter bör avse användaren manuell för sin specifika enhet.
Sammanfattningsvis har de granskade varianterna av eyetracking i visuella sammanhang upptäckt många sätt som en visuell scen kan påverka språkförståelse. Denna metod ger avgörande fördelar jämfört med metoder såsom mätmetoder reaktionstider. Till exempel ger pågående ögonrörelser oss ett fönster till språk förståelse processer och hur dessa interagerar med vår uppfattning av den visuella världen över tid. Dessutom krävs deltagare inte nödvändigtvis för att utföra en uttrycklig uppgift under språkförståelse (t.ex. att döma av grammaticality av en mening via en knapptryckning). Detta tillåter forskare att använda metoden med befolkningsgrupper som kan kämpa med overt beteendemässiga Svaren än ögon blick, till exempel spädbarn, barn och i vissa fall, äldre vuxna. Eyetracking är ekologiskt giltig eftersom den avspeglar deltagarnas uppmärksamhet svaren — inte till skillnad från människans visuella förhör av kommunikation-relevanta saker i världen omkring dem under mer eller mindre uppmärksamt lyssna på pågående uttalanden.
En av de gränser (eller kanske egenskaper) av den visuella värld paradigmen är att inte alla händelser kan beskrivas rakt och entydigt. Konkreta föremål och händelser kan, naturligtvis, beskrivas. Men hur abstrakta begrepp är bästa skildras är mindre tydlig. Detta kan begränsa (eller definiera) insikter om samspelet mellan språkbearbetning och uppfattningen av den visuella världen med en eye-tracking visuella världen paradigm. Ytterligare utmaningar avser de länkande hypoteserna mellan observerade beteende och förståelse processer. Eye upptagningar är en enda beteendemässiga svar som återspeglar sannolikt många delprocesser under språkförståelse (t.ex., lexikala tillgång, refererande processer, språk-medierad förväntningar, visuella sammanhang effekter, bland annat). Med tanke på denna insikt, forskare måste vara försiktig att inte över – eller misstolkar observerade blick mönstret. För att lösa detta problem, belyser tidigare forskning rollen av läsförståelse underaktiviteter att klargöra tolkningen av blick rekord40.
Ett sätt att förbättra tolkningsbarhet av ögonrörelser är att integrera dem med andra åtgärder såsom evenemangsrelaterade hjärnan potentialer (ERPs). Genom att undersöka samma fenomen med två metoder som är jämförbara i deras temporal granularitet och kompletterande i deras länka hypoteser, kan forskare utesluta alternativa förklaringar av deras resultat och berika tolkningen av varje enskild åtgärd41. Detta tillvägagångssätt har bedrivits över experiment43, men, mer nyligen, även inom en enda experiment (om än i strikt språkliga sammanhang)44. Framtida forskning skulle kunna dra stor nytta av sådana metodologiska integration och fortsatte kombination med efter rättegången och efter experimentella uppgifter.
Metoden eye-tracking kan replikera etablerade resultat, samt testa nya hypoteser, om samspelet mellan visuell uppmärksamhet i scener med språkförståelse. Det förfarande som anges i protokollet måste följas noga eftersom även mindre försöksledaren fel kan påverka datakvaliteten. I läsning studier, exempelvis de relevanta analyser regionerna är ofta enskilda ord eller även bokstäver, vilket innebär att även små kalibrering fel kan snedvrida resultaten (se artikeln av Raney och kollegor42). Steg 1.4 och 1.5 i protokollet, kalibrering av eye tracker och drift kontrollera/drift rätt, är särskilt viktiga eftersom de direkt påverkar noggrannheten inspelningen. Underlåtenhet att korrekt kalibrera eye tracker kan resultera i tracker inte exakt spåra ögonrörelser till förutbestämda områden av intresse. Sådan spårning misslyckande kommer att leda till saknade datapunkter och en förlust i statistiska makt som kan vara problematiskt när du undersöker världen-till-språk relationer som är mycket subtila och ger liten statistisk effekt storlekar (se beskrivningen av den experiment av Guerra och Knoeferle32 och Münster och kollegor37 bland Representativa resultat).
Med tanke på behovet av att maximera kraft och känslighet av utrustningen, är det viktigt att praktiker vet hur man handskas med problem som rutinmässigt uppstår under en experimentell session. Till exempel kan elev position och förflyttning av deltagarna bär glasögon resultera i kalibrering svårigheter på grund av reflektioner på linserna en deltagares glasögon. Ett sätt att lösa detta problem är att spegla bilden av deltagarens öga på displayen PC och uppmuntra dem att flytta huvudet tills reflektion av ljus på glasen är inte längre synlig på skärmen, vilket innebär att det inte längre fångas av kameran. En ytterligare orsak till kalibrering underlåtenhet kan vara elev sammandragning, som kan vara en följd av en överexponering för ljus. Öka elev dilatation i så fall ljusreglering ljuset i laboratoriet kommer att och, således, att eye tracker i noggrant upptäcka eleven.
Som en sista tanke, skulle vi vilja ta den potential som visual-världen paradigm har för forskning om andra språk lärande. Paradigm har redan framgångsrikt använts i Psykolingvistiska forskning för att undersöka fenomen som cross-lexikala och fonologiska interaktion46,47,48. Det nära sambandet mellan visuell uppmärksamhet och språkinlärning har dessutom ofta lyfts fram i tillämpad-språkvetenskap litteratur på andra språk förvärv49,50,51. Framtida forskning om andra språk lärande kommer sannolikt att fortsätta att dra nytta av den fördelaktiga positionen av eye tracking som en metod som ger ett index av visuell uppmärksamhet i millisekunds noggrannhet.
The authors have nothing to disclose.
Forskningen finansierades av ZuKo (Excellence Initiative, Humboldt-Universität zu Berlin), den Excellence kluster 277 ‘Kognitiva interaktionsteknik’ (tyska forskningsrådet, DFG), och av EU: s sjunde ramprogram för forskning, teknisk utveckling och demonstration under grant avtalet n ° 316748 (LanPercept). Författarna erkänner också stöd från Basal fonderna för Centers of Excellence, projektet FB0003 från den associativa forskning Program av CONICYT (regeringen av Chile) och från projektet ”FoTeRo” i stadens fokus XPrag (DFG). Pia Knoeferle fortsätter förutsatt ett första utkast till artikeln informeras av ett laboratorium protokoll att Helene Kreysa instansierad vid Bielefeld-universitetet och som att användas på den Humboldt-Universität zu Berlin. Alla författare bidragit till innehållet genom att ge input på metoder och resultat i en eller annan form. Camilo Rodríguez Ronderos och Pia Knoeferle samordnas input från författarna och i två iterationer, ändrade väsentligen det ursprungliga utkastet. Ernesto Guerra produceras figurerna 2 – 4 baserat på input från Katja Münster, Alba Rodríguez och Ernesto Guerra. Helene Kreysa enligt figur 1 och Pia Knoeferle uppdaterat den. Delar av rapporterade resultaten har publicerats i det målet av årsmöte i kognitionsvetenskap Society.
Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |