Summary
Den visuella värld paradigmen övervakar deltagarnas ögonrörelser i arbetsytan visuella som de lyssnar på eller talar ett talat språk. Detta paradigm kan användas för att undersöka online bearbetning av en mängd Psykolingvistiska frågor, inklusive semantiskt komplexa uttalanden, såsom Disjunktiv uttalanden.
Abstract
I en typisk eyetracking studie med den visuella värld paradigmen, deltagarnas ögon rörelser till objekt eller bilder i arbetsytan visuella registreras via en eye-tracker som deltagaren producerar eller begriper ett talat språk som beskriver den samtidiga visuellt världen. Detta paradigm har hög flexibilitet, eftersom den kan användas i ett brett utbud av befolkningar, inklusive de som inte kan läsa eller som inte öppet ge deras beteendemässiga svaren, till exempel preliterate barn och äldre vuxna patienter. Viktigare, paradigm är extremt känslig för finkornigt manipulationer av tal signalen, och det kan användas för att studera online bearbetning av de flesta ämnen i språkförståelse på flera nivåer, som de finkornigt akustiska fonetiska funktioner, egenskaper för ord och språkliga strukturer. Protokollet beskrivs i denna artikel visar hur en typisk visuella världen eyetracking studie genomförs, med ett exempel som visar hur online bearbetning av vissa semantiskt komplexa uttalanden kan utforskas med den visuella värld paradigmen.
Introduction
Talspråket är en snabb, pågående informationsflöde, som försvinner direkt. Det är en utmaning att experimentellt studera detta timliga, snabbt ändra tal signal. Ögonrörelser registreras i den visuella värld paradigmen kan användas för att övervinna denna utmaning. I en typisk eyetracking studie med den visuella värld paradigmen, övervakas deltagarnas ögonrörelser till bilder i en display eller riktiga objekt i en visuell arbetsyta de lyssna på, eller producera, talat språk skildrar innehållet i den visuella världen1 ,2,3,4. Den grundläggande logiken, eller länka hypotesen, bakom detta paradigm är att begripa eller planerar en utterance kommer att (öppet eller dolt) skifta deltagarnas visuell uppmärksamhet till ett visst objekt i den visuella världen. Denna uppmärksamhet Skift kommer att ha en hög sannolikhet att inleda en saccadic ögonrörelser för att få området deltog i foveal visionen. Med detta paradigm tänker forskare bestämma vid vilken temporal punkt, med avseende på vissa akustisk landmärke i tal-signalen, uppstår en förändring i deltagarens visuell uppmärksamhet, mätt som en saccadic ögonrörelser till ett objekt eller en bild i visuellt världen. När och var saccadic ögonrörelser lanseras i förhållande till tal signalen används sedan för att härleda online språk bearbetningen. Den visuella värld paradigmen kan användas för att studera både talspråk läsförståelse1,2 och produktion5,6. Denna metodologiska artikel kommer att fokusera på läsförståelse studier. I en förståelse studie använder den visuella värld paradigmen, deltagarnas ögat rörelser på visuella displayen övervakas som de lyssnar på de muntliga yttranden talar om visuella displayen.
Olika eye tracking system har utformats i historia. Det enklaste, billigaste och mest portabla system är bara en vanlig videokamera, som registrerar en bild av deltagarens ögon. Ögonrörelser kodas sedan manuellt genom bildruta-för-bildruta granskning av videoinspelning. Men samplingsfrekvensen för sådan en eye-tracker är relativt låg och kodning förfarandet är tidskrävande. Således, en samtida kommersiella eye tracking system normalt använder optiska sensorer mäta orientering i ögat i dess omloppsbana7,8,9. För att förstå hur en modern kommersiella eye-tracking-systemet fungerar, bör följande punkter beaktas. Första att korrekt mäta riktningen av foveal visionen, en IR illuminator (normalt med våglängden runt 780-880 nm) läggs normalt längs eller inaktivera den optiska axeln av kameran, att göra bilden av eleven distinguishably ljusare eller mörkare än omgivande iris. Bilden av eleven och/eller elev hornhinnans reflektion (normalt den första bilden i Purkinje) används för att beräkna orientering i ögat i omloppsbanan. Andra är platsen blick i den visuella världen faktiskt inte bara på ögat orientering med avseende på huvudet utan också på huvudet orientering med avseende på den visuella världen. För att korrekt härleda blick av hänseende från ögat orientering, ljuskällan och kameran i ögat-trackers korrigeras med avseende på deltagarnas huvud (huvud-monterad öga-trackers) eller korrigeras med avseende på den visuella världen (tabell monterade eller avlägsna ögat-trackers). För det tredje, deltagarnas huvud läggning antingen måste fastställas med avseende på den visuella världen eller kompenseras beräkningsmässigt om deltagarnas huvud är gratis att flytta. När en fjärransluten eye-tracker används i en huvud-gratis-till-flytta-läge, registreras vanligtvis deltagarnas skrivhuvudets position genom att placera en liten klisterlapp på deltagarnas panna. Huvud orienteringen då subtraheras beräkningsmässigt från ögat orientering att hämta platsen blick i den visuella världen. För det fjärde en kalibrering och en valideringsprocess sedan krävs för att mappa orienteringen av ögat till blick för beaktande i den visuella världen. I kalibreringsprocessen registreras deltagarnas fixering prov från kända målpunkter för att mappa den rå ögat data för att blicka position i den visuella världen. I valideringsprocessen presenteras deltagare med samma målpunkter som kalibreringen. Skillnaden mellan den beräknade fixering positionen från kalibrerad resultaten och den faktiska fixerade målet i den visuella världen används sedan för att bedöma riktigheten av kalibreringen. För att ytterligare bekräfta riktigheten av mappningsprocessen, en drift check appliceras normalt på varje rättegång, där ett enda fixering mål presenteras för deltagarna att mäta skillnaden mellan den beräknade fixering samt den faktiska positionen i den Nuvarande målvärde.
Den primära datan av en visuell värld studie är en ström av blick platser i den visuella världen inspelad på samplingsfrekvensen av eye-tracker, sträcker sig över hela eller delar av rättegången varaktighet. Den beroende variabeln används i en visuell värld studie är vanligtvis andelen av prover att deltagarnas upptagningar är belägna på vissa rumsliga region i den visuella världen över en viss tidsramen. För att analysera data, har ett tidsfönster för det första att väljas, ofta kallad perioder av intresse. Tidsramen är vanligtvis tid-låst till presentationen av vissa språkliga händelser i auditiv indata. Dessutom behövs också den visuella världen att delas upp i flera regioner av intresse (ROIs), som alla är associerade med ett eller flera objekt. En sådan region innehåller objektet motsvarar den rätta förståelsen av talat språk, och kallas därför ofta målområdet. Ett typiskt sätt att visualisera data är en del-av-fixering tomt, där på varje lagerplats i en tidsramen, andelen prover med en look till varje region av intresse är i genomsnitt över deltagare och objekt.
Med hjälp av data som erhållits från en visuell värld studie, kan olika forskningsfrågor besvaras: en) på den grova korn nivån, är deltagarnas ögonrörelser i den visuella världen påverkas av olika auditiv språklig input? (b) om det finns en effekt, vad är banan för effekten under rättegången? Är det en linjär effekt eller högsta effekt? och c) om det finns en effekt, sedan på den finkorniga nivån, när är den tidigaste temporal punkten där sådan verkan framträder och hur lång tid denna effekt sista?
För att statistiskt analysera resultaten, bör följande punkter beaktas. Först avgränsas svar variabeln, dvsandelen upptagningar, både under och över (mellan 0 och 1), som kommer att följa en multinomial distribution i stället för en normalfördelning. Hädanefter, kan inte traditionella statistiska metoder baserade på normalfördelning som t-test, ANOVA och linjär (blandat-effekt) modeller10, utnyttjas direkt tills proportionerna har förvandlats till gränslösa variabler såsom med empiriska logit formel11 eller har ersatts med gränslösa beroende variabler såsom euklidiska avståndet12. Statistiska tekniker som inte kräver antagandet av normal fördelning sådan generaliserade linjära modeller (blandat-effekt)13 kan också användas. Andra för att utforska ändra banan för den observerade effekten, har en variabel som betecknar tidsserien som ska läggas in i modellen. Denna tidsserie variabel är ursprungligen eye-tracker provtagningspunkter uträtad till uppkomsten av det språk som ingång. Eftersom den föränderliga banan vanligtvis inte är linjär, läggs normalt en hög ordningens polynom funktion av tid-serien i (generaliserad) linjär (blandat-effekt) modellen, dvstillväxt kurva analyser14. Deltagarnas eye positioner i den aktuella provpunkten är dessutom starkt beroende av föregående provtagning (s), särskilt när inspelning frekvensen är hög, vilket resulterar i problemet med autokorrelation. För att minska autokorrelation mellan intilliggande provtagningspunkter, är ursprungliga data ofta ner ingick i urvalet eller binned. Under de senaste åren har de generaliserade tilläggseffekterna blanda modellerna (GAMM) också använts att ta itu med de autocorrelated fel12,15,16. Bredden på lagerplatser varierar mellan olika studier, alltifrån flera millisekunder till flera hundra millisekunder. Den smalaste bin en studie kan välja begränsas av samplingsfrekvens av eye tracker används i särskilda studien. Exempelvis om en eye-tracker har en samplingsfrekvens på 500 Hz, då bredden på tidsfönstret får inte vara mindre än 2 ms = 1000/500. För det tredje när en statistisk analys används upprepade gånger i varje tid bin av perioder av intresse, familywise felet inducerad från dessa multipla jämförelser bör åtgärdas. Som vi beskrivit tidigare, bana analysen informerar forskaren om att effekten som observerats på grova korn nivå är linjär med avseende på ändring av tiden, men visar inte när den observerade effekten börjar uppstå och hur länge den observerade effekten varar. För att avgöra den tidsmässiga ställning när den observerade skillnaden börjar att avvika och att räkna ut längden på tidsmässiga perioden som den observerade effekten varar, har en statistisk analys tillämpas flera gånger på varje tid bin. Dessa multipla jämförelser kommer att införa den så kallade familywise fel, oavsett vilken statistisk metod som används. Familywise felet korrigeras traditionellt med Bonferroni justering17. Nyligen, en metod som kallas icke-parametriska permutation test ursprungligen används i neuroimaging arkiverat18 har tillämpats till visuella ordet paradigm19 till kontrollen för familywise felet.
Forskare som använder den visuella värld paradigmen tänker sluta förståelsen av vissa talat språk från deltagarnas ögonrörelser i den visuella världen. För att säkerställa giltigheten av detta avdrag, bör andra faktorer som eventuellt påverka ögonrörelser vara antingen utesluta eller kontrolleras. Följande två faktorer är bland de vanligaste som måste beaktas. Den första faktorn innebär några systematiska mönster i deltagarnas förklarande upptagningar oberoende av språket ingång, till exempel en tendens att fixera på övre vänstra quadrat av visuella värld och rörliga ögon i horisontell riktning är lättare än i vertikal riktning, etc.12,20 , för att se till att de observerade fixering mönsterna är relaterade till objekt, inte till de rumsliga platser där objekten är belägna, rumsliga positionerna för ett objekt bör balanseras på olika prövningar eller flera olika deltagare. Den andra faktorn som kan påverka deltagarnas ögonrörelser är funktionerna grundläggande bild av objekten i den visuella världen, t ex luminans kontrast, färg och edge orientering, bland annat21. För att diagnostisera denna potential confounding, visuella displayen presenteras normalt före uppkomsten av det talade språket eller före uppkomsten av den kritiska akustisk markören för talspråket, för ca 1000 ms. under tidsmässiga perioden från början av den testbild på uppkomsten av testet ljud, språket ingång eller den svenskspråkiga punkten av språket ingång har inte hörts ännu. Någon skillnad mellan olika förhållanden bör härledas till andra störfaktorer såsom visuella displayen i sig, snarare än det språk som ingång. Hädanefter, erbjuder ögonrörelser som observerats i detta förhandsversionsperioden en originalplan för effekten av språklig input. Detta förhandsversionsperioden kan också deltagarna att bekanta med visuell display, och att minska den systematiska bias av de förklarande upptagningarna när det talade språket presenteras.
För att illustrera hur en typisk eyetracking-studie med den visuella värld paradigmen bedrivs, beskriver följande protokoll ett experiment som anpassas från L. Zhan17 att utforska online bearbetning av semantiskt komplexa uttalanden, dvs. Disjunktiv uttalanden (S1 eller S2), konjunktiv uttalanden (S1 och S2) och men-uttalanden (S1 men inte-S2). I vanliga bevarande är den informationen som uttryckts av vissa yttranden faktiskt starkare än dess bokstavliga innebörd. Disjunktiv uttalanden som Xiaoming's box innehåller en ko eller en tupp är sådana uttalanden. Logiskt, Disjunktiv uttalandet är sant så länge som de två disjuncts Xiaoming's box innehåller en ko och Xiaoming's box innehåller en tupp inte är båda falska. Därför är Disjunktiv uttalandet sant när de två disjuncts är både sant, där uttrycket motsvarande konjunktiv Xiaoming's box innehåller en ko och en tupp också är sant. I vanlig konversation, dock höra uttrycket Disjunktiv ofta föreslår att motsvarande konjunktiv påståendet är falskt (skalär implikatur); och föreslår att sanningen värdena för de två disjuncts är okända talare (okunnighet slutledning). Konton i litteraturen skiljer sig i huruvida två slutsatser är grammatiska eller pragmatisk processer22,23,24,25,26. Experimentet visar hur den visuella värld paradigmen kan användas att döma mellan dessa konton, genom att utforska online bearbetning av tre komplexa uttalanden.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Alla ämnen måste ge informerat samtycke före administrering av de experimentella protokoll. Alla procedurer, samtycke former och experimentella protokollet godkändes av en forskningsetisk kommitté av Peking språk och kultur universitet.
Obs: En förståelse studie använder den visuella värld paradigmen normalt består av följande steg: införa de teoretiska problem att utforskas; Bilda en experimentell design; Förbereda de visuella och auditiva stimuli; Rama in det teoretiska problemet med avseende på experimentell design; Välj en eye-tracker spåra deltagarnas ögonrörelser; Välj en programvara och bygga ett skript med programvaran att presentera stimuli; Kod och analysera data i inspelade ögonrörelser. Ett specifikt experiment kan skilja sig från varandra i något av de beskrivna stegen. Som ett exempel införs ett protokoll för att genomföra experimentet och diskutera några punkter som forskare behöver ha i åtanke när de bygga och genomföra sina egna experiment med den visuella världen paradigmen.
1. Förbered Test Stimuli
- Visuella stimuli
- Hämta 60 clip arts av djur som är fritt från upphovsrätt från internet. Öppna varje bild en efter en med en bild redaktör (t.ex. Pixelmator), klicka på verktyg | Snabb markeringsverktyget välja och ta bort bakgrunden. Klicka på bilden för | Bild storlek att ändra storlek på dem till 120 x 120 pixlar.
- Bjuda in en student huvudämne i målning Rita fyra ljus gröna rutor, som illustreras i figur 1. Använda bildredigeraren för att skala om den stora öppna rutan till 320 x 240 pixlar, på små slutna rutan med storleken 160 x 160 pixlar och de två små öppna rutorna till 160 x 240 pixlar, respektive.
- Klicka på Pixelmator | Filen | Nya att bygga en mall av testbilden med storleken på 1024 768 pixlar. Dra djuren och rutorna till korrigering platser som illustreras i figur 1.
Obs: Layouten på testbilden varierar mellan studierna, men det optimala sättet är att använda fyra objekt och att sätta dem på i fyra kvadranter av testbilden. På detta sätt är det lättare att motverka den rumsliga positionen av objekt. - Skapa 60 testbilder som figur 1, med varje djur bild används två gånger. Motverka de rumsliga platserna av fyra rutorna bland bilderna.
Anmärkning: Antalet bilder behöver inte vara exakt 60, så länge deras effekt är syralöslig från som de experimentella manipulationer.
- Talat språk stimuli
- Design fyra test meningar motsvarar varje testbild och 240 test meningar totalt skall registreras. Se till att tre av de fyra meningarna är i form av figur 2. och den filler meningen är i form av Xiaoming's box innehåller inte en tupp men en ko.
Obs: Testet meningarna bör presenteras i modersmål som deltagarna tala. Deltagarna i detta experiment är kinesiska från Peking, Kina, så testa språket är Mandarin Kinesiska. - Rekrytera kvinnliga modersmål (modersmål kinesiska i detta experiment) för att spela in fyra exempel uttalanden som figur 2, liksom ljud av alla djur som används i experimentet. När inspelning isolerade djurnamn, be talaren att föreställa sig att namnen på djuren är intakta komponenter i en enkel mening, såsom Xiaoming's box innehåller en ___, men hon bara behöver uttala namnet på djuret öppet.
- Ersätta de ljud segment av två djur i uttalandena som exempel med ljudet i de två djur som används i varje försök för att skapa en fullständig förteckning över test ljudet. Först, öppna Praat (andra ljud redigeringsprogram är godtagbara alternativ) och klicka på öppna | Läsa från filen | Navigera till filen | Öppna och redigera, navigera till ett element bytas och klicka på Visa och redigera | Redigera | Kopiera markeringen till sund Urklipp. Andra Använd samma steg att öppna ett exempel-uttryck, klicka på Klistra in efter urval. Tredje, klicka Spara | Spara som wav-fil att spara det redigerade uttalandet. Upprepa processen för alla element ändras och alla test domarna.
- Rekrytera cirka 10 infödda talare av det test språket (här Mandarin Kinesiska) för att avgöra huruvida den konstruera test audio är begriplig och naturlig.
Obs: Testet ljudet spelas traditionellt som helhet snarare än separata ord. Denna traditionella inspelning metod är rimligt om testet ljud är själva separera ord. Om de talat språk stimuli är meningar i stället för separata ord, denna traditionella metod har dock flera brister: först en allestädes närvarande egenskap för en kontinuerlig tal är att två eller flera språkljud tenderar att överlappning temporally och rumsligt vilket gör det svårt att avgöra uppkomsten av kritiska ordet. Det andra gör variansen mellan längden på olika prövningar också det svårt att kombinera alla prövningarna tillsammans för statistiska analyser. Tredje är metoden traditionella inspelning ofta tidskrävande speciellt när antalet test ljudet är relativt stor, såsom de experiment som vi rapporterade i protokollet. För att övervinna bristerna i metoden traditionella inspelning, föreslås en annan metod att konstruera talade testa ljudet. Först spelades en lista över provet meningar innehåller de ord som är vanliga bland alla test ljud in. För det andra, alla ord att ändra mellan prövningar rapporterades också isolerat. Slutligen byttes prov meningar med de inspelade ord att konstruera en fullständig förteckning över test ljudet. Jämfört med den traditionella metoden, har den nya metoden flera fördelar. Först, alla test ljud är exakt den samma utom för de kritiska ord, och alla potentiella störande effekter i test ljudet styrs hädanefter. Andra, vara desamma i längd gör också segmentering av test ljudet lättare än när testet ljudet registreras som helhet. En potentiell nackdel med denna metod är att det konstruerade ljudet inte kanske naturliga. Hädanefter, har naturlighet i testet ljud utvärderas innan de är berättigade till den faktiska tester...
- Design fyra test meningar motsvarar varje testbild och 240 test meningar totalt skall registreras. Se till att tre av de fyra meningarna är i form av figur 2. och den filler meningen är i form av Xiaoming's box innehåller inte en tupp men en ko.
- Dela 240 test meningarna i fyra grupper, med varje grupp innehållande 15 konjunktiv uttalanden, 15 Disjunktiv uttalanden, 15 men uttalanden och 15 filler meningar. Se till att varje deltagare möter bara en grupp av 240 prövningar: han/hon ser alla testet bilder men hör endast en grupp av testa ljudet.
Obs: Detta är att ta itu med den oro som om samma stimulans upprepas och deltagarna kan få vana vid dessa stimuli och eventuellt även bli strategiskt om hur de har svarat på stimuli. - Spara all viktig information angående de test stimuli i en tabbavgränsade txt-fil, med varje rad som motsvarar varje 240 försök. Se till att filen omfattar minst följande kolumner: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ bild, animal_1_audio_length, animal_2_audio, animal_2_image, animal_1_audio, animal_2_audio_length.
Obs: experiment_group används för att dela de 240 prövningarna i 4 grupper. sentential_connective motsvarar olika experimentella förhållanden. animal_1_image motsvarar bilden av djuret som presenteras för det första för att bekanta deltagarna med de djur som används i testbilden. test_image, test_audiooch test_audio_length se testbilden och testa ljud samt dess längd som används i den aktuella prövningen. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right hänvisa till namnet på de fyra intresse områdena i den aktuella studien, dvs., oavsett om det är en ”stora öppna” box, ”liten stängd” rutan, små öppna Ask innehållande ”först nämns” djuret i testet ljud, eller små öppna rutan som innehåller ”andra nämns” djuret i testet ljud. animal_1_audio och animal_1_audio_length hänvisar till ljud och längden på ljudet motsvarar den animal_1_image. animal_2_image, animal_2_audiooch animal_2_audio_length motsvarar det andra djur som kommer att presenteras. En sak att betona är att sekvensen att presentera de två djur uppvägs med avseende på huruvida djuret nämns i först eller andra halvan av testa ljudet.
2. frame teoretiska prognos när det gäller experimentell Design.
- Säkerställa deltagarnas beteendemässiga svaren och ögonrörelser i experimentell design kan användas för att differentiera comprehensions av test meningar och kan användas för att döma mellan olika konton som ska testas.
Rätt svar till ett uttalande som konjunktiv: Med tanke på experimentell design, och är den stora öppna rutan, såsom fält A i figur 1. Rätt svar till en men-uttalande är små öppna rutan som innehåller djur som nämns i första halvan av test ljudet, såsom Box D i figur 1. Deltagarnas svar på Disjunktiv uttalandet, beror dock på om eller hur de två diskuterade slutsatserna bearbetas. Om deltagarna beräkna den skalära implikatur varken den okunnighet inferens, då är alla fyra rutorna godtagbara alternativ. Om deltagarna beräkna den skalära implikatur men inte okunnighet slutledningen, då den stora öppna, till exempel fält A i figur 1, kommer att uteslutas, och de återstående tre lådor B, C och D är alla godtagbara alternativ. Om deltagarna beräkna okunnighet slutledningen men inte den skalära implikatur, då de små öppna rutorna kommer att uteslutas, dvs., lådor C och D kommer att uteslutas. För att sammanfatta, väljs små slutna rutan, till exempel fält B i figur 1, inte som det sista alternativet i en Disjunktiv uppgift tills den skalära implikatur och de okunnighet slutsatserna beräknas både.
3. bygga experimentella skriptet
- Öppna Experiment Builder, klicka filen | Nya att skapa en experiment-projekt. Ange projektets namn såsom vwp_disjunction. Välj projektplatsen. Kolla EyeLink Experiment och välj Eyelink 1000plus i drop-listan. Dessa åtgärder kommer att skapa en underkatalog som innehåller alla filer relaterade till experimentet kommer det att skapa en underkatalog med namnet vwp_disjunction med en fil som heter ”graph.ebd” i mappen.
Obs: Experiment Builder används för att bygga experimentella skriptet att presentera de test stimuli och att spela in deltagarnas ögonrörelser samt deras beteendemässiga svar. De Experiment Builder är ett What-You-See-Is-What-You-Get verktyg att bygga experimentella skript. Det är lätt att använda, men alla andra stimuli presentationsprogram är godtagbara alternativ. - Visualisera den hierarkiska strukturen för en typisk eye-tracking experiment med den visuella världen paradigmen som kan ses i figur 3. Varje rosa rektangel i bilden är implementerad som en sekvens objekt av Experiment Builder; och varje objekt med grå bakgrund är implementerad som en nodobjektet.
Obs: En sekvens i Experiment Builder är en experimentell loop-styrenhet som används för att kedja samman olika objekt som en komplex nod. En sekvens börjar alltid med en START nod. Och en datakälla kan fästas till en sekvens nod att leverera olika parametrar för varje prövning. - Bygga sekvensen Experiment
- Klicka på Arkiv | Öppna, bläddra till katalogen av experiment och dubbelklicka på filen graph.ebd i projektkatalogen att öppna projektet sparade experiment.
- Klicka på Redigera | Library Manager | Bild | Lägga till att läsa in bilder i experimentet projekt. På samma sätt, klicka Redigera | Library Manager | Ljud | Lägga till att läsa in ljud i projektet experiment.
- Dra ett DISPLAY_SCREEN -objekt till arbetsutrymme och ändra dess etikettvärde på egenskapspanelen att byta namn på det som instruktion. Dubbelklicka på noden instruktion och klicka på knappen Infoga Multiline Text resurs ingång experimentella anvisningen. Se till instruktionen innehåller följande information:
I varje prövning, först ser du bilder av två djur, ett djur varje tryckt på skärmen i sin tur tillsammans med ljudet av de djur som spelas på de två talarna som ligger på båda sidor av skärmen. En svart prick kommer sedan att presenteras i mitten av skärmen. Ska du trycka på mellanslagstangenten medan fixerande på pricken. Därefter kommer du se en testbild bestående av fyra lådor tryckt på skärmen och höra en exempelmening som spelas via två högtalare. Din uppgift är att lokalisera Xiaoming's box enligt test meningen du hört och tryck på motsvarande knapp så snart som möjligt:
Övre vänstra rutan---vänsterpil
Topp höger ruta---uppåtpilen
Nedre vänstra rutan---vänsterpil
Nedre högra rutan---högerpilen
I varje testbild ser du fyra lådor i fyra kvadranter och två djur som innehåller i rutorna. De fyra rutorna kan variera i två dimensioner: dess närhet och dess storlek. Om en låda är stängt eller inte påverkar vår epistemisk kunskap på rutan, men inte beskaffat den innehåller. Om en låda är öppen är sedan beskaffat i rutan känd. Om en låda är stängd sedan är beskaffat i rutan okänd. En låda storlek påverkar antalet djur som finns i rutan, men inte vår epistemisk kunskap på så pass låda. Oavsett rutan stängs eller inte, en liten låda endast och alltid innehåller ett djur och en stor låda innehåller alltid två olika djur.
Om du är bekväm med experimentella syftet och förfarandet, meddela vänligen försöksledaren vet och vi hjälper dig att utföra den standard eyetracking kalibrering och validering rutiner. Om du har några frågor, tveka inte att fråga.
Obs: Detta är en instruktion som ska skrivas ut på skärmen innan experimentet (instruktionerna bör skrivas i modersmål deltagarna talar, såsom kinesiska Mandarin här). - Dra ett tangentbord -objekt till arbetsutrymme.
Obs: Detta steg används för att avsluta skärmen instruktion - Dra ett sekvens -objekt till arbetsutrymme och döp om den till Block.
- Välj sekvensen Block , klicka värdefältet för egenskapen Datakälla till uppdra den Redigeraren för datakäll. Klicka på knappen Importera Data på skärmen data källa redaktör, panna till den .txt-fil som skapas i steg 1.4 att importera datakällan.
- Klicka på knappen Randomisering inställningen i redigeraren för datakäll, kontrollera Aktivera rättegång randomisering, Välj trial_number i värdefältet i kolumnen fält och välj experimental_group från den nedrullningsbara listan i fältet Dela kolumn .
- Dra den andra DISPLAY_SCREEN objekt på arbetsytan och Byt namn på den som Goodbye. Dubbelklicka på noden adjö och infoga följande information: i deltagarnas modersmål (Mandarin Kinesiska i detta protokoll):experimentet är färdiga och tack för mycket din medverkan.
- Vänsterklicka på noden Starta , dra pilen till noden instruktion och släpp musknappen för att ansluta noden Starta till noden instruktion . Upprepa samma mus flyttar till connect instruktion nod till noden tangentbord , tangentbord nod till Block nod, sedan Block nod till noden adjö . Klicka på Visa | Ordna Layout att ordna noder i arbetsytan.
- Bygga sekvensen block
- Dubbelklicka för att öppna sekvensen Block . Dra en El_CAMERA_SETUP nod till sekvensen Block att ta upp en kamera setup skärm på EyeLink värd PC för försöksledaren att utföra kameran setup, kalibrering och validering. Klicka på kalibrering typ fältet i panelen egenskaper och välj HV5 från den nedrullningsbara listan.
Anmärkning: Antalet platser i mappningsprocessen varierar mellan olika experimentella designer. Fler platser provtas och desto mer utrymme täckt, desto större noggrannhet kan förväntas. Men fler prover betyder mer tid att avsluta processerna. Så praktiskt, kan inte antalet platser i en särskild undersökning vara mycket stora, speciellt när deltagarna är preliterate barn eller kliniska patienter. I den visuella värld paradigmen, numrera av intresseområden är relativt liten och områden av intresse är normalt relativt stora. Mappningsprocessen kan nå en tillfredsställande nivå med relativt litet antal platser. I protokollet som jag beskrev, använde jag en fem punkter kalibrering och validering. - Dra en sekvens nod i sekvensen Block och döp om den till rättegång. Anslut den startar noden till noden CAMERA_SETUP sedan till noden SEKVENTIE.
- Dubbelklicka för att öppna sekvensen Block . Dra en El_CAMERA_SETUP nod till sekvensen Block att ta upp en kamera setup skärm på EyeLink värd PC för försöksledaren att utföra kameran setup, kalibrering och validering. Klicka på kalibrering typ fältet i panelen egenskaper och välj HV5 från den nedrullningsbara listan.
- Bygga sekvensen rättegång
- Dubbelklicka för att öppna Trial sekvensen, dra en DISPLAY_SCREEN nod till rättegång sekvensen och döp om den till animal_1_image. Dubbelklicka för att öppna Skärmen Builder noden och klicka på knappen Infoga bildresurs på verktygsfältet skärmen Builder infoga en djur bild från de uppladdade bilden källorna. Klicka på värdefältet för egenskapen Källa filnamn , navigera till DataSource bifogas sekvensen Block ; och dubbel klick den Animal_1_Image kolumnen för att ansluta den DISPLAY_SCREEN med rätt kolumn i datakällan.
- Dra en PLAY_SOUND nod i sekvensen rättegång och döp om den till animal_1_audio. Klicka på noden animal_1_audio Sound File egendom och Anslut den med rätt kolumn i datakällan (som beskrivs i steg 3.5.1).
- Dra en TIMER nod i sekvensen rättegång och Byt namn på den som animal_1_audio_length. Klicka på egenskapen Duration av den TIMER nod och navigera till rätt kolumn i datakällan skapas i 3.4.1.
- Dra en annan DISPLAY_SCREEN nod, en annan PLAY_SOUND nod och en annan TIMER nod till rättegång sekvensen, byta namn på dem som animal_2_image, animal_2_audio, och djur _2_audio_duration, Upprepa stegen som beskrivs i steg 3.5.1 - 3.5.3.
Obs: Dessa steg ingår att kontrollera för den potentiella confounding att samma bild heter annorlunda av olika deltagare. Motverka sekvensen att presentera de två djur med avseende på huruvida det nämns i det första eller andra halvåret testa ljudet. - Dra ett Förbereda sekvens -objekt till rättegång sekvensen och ändra egenskapen Rita till Eyelink värd till bild.
Obs: Denna nod används för att förladda bild och ljud filer till minnet för realtid bild ritning och ljud spela. Och det är också används för att rita feedback grafik på det värd PC så att deltagarnas blick noggrannhet kan övervakas. - Dra en DRIFT_CORRECT nod till rättegång sekvensen att införa drift korrigeringen.
- Dra en ny sekvens -nod och döp om den till inspelning. Anslut den startsidan till dessa noder en efter en.
- Bygga sekvensen inspelning
- Kontrollera fältet post i panelen boende i sekvensen inspelning och dubbelklicka för att öppna sekvensen inspelning .
Obs: En sekvens med posten egendom kontrolleras innebär att deltagarnas ögonrörelser under denna period kommer att registreras. - Dra en ny DISPLAY_SCREEN till posten sekvensen, döp om den till test_image. Tillsätt den meddelande test_image_onset i egenskapen meddelande för noden test_image .
Obs: Data analyser scenen, meddelandet i noden test_image och meddelandet i noden test_audio (avsnitt 3.6.6) är viktiga att hitta uppkomsten av testbilder och uppkomsten av test ljudet i varje prövning. - Dubbelklicka för att öppna Skärmen Builder noden och klicka på knappen Infoga bildresurs på verktygsfältet skärmen Builder infoga några djur bild från de uppladdade bilden källorna. Klicka på värdefältet av Källfilens namn egendom, navigera till DataSource bifogas sekvensen Block ; och dubbel klick den test_image kolumnen för att ansluta den DISPLAY_SCREEN med rätt kolumn i datakällan.
- Dubbelklicka på noden DISPLAY_SCREEN för att öppna Skärmen Builder, klicka på knappen Infoga rektangel intresse områderegion och Rita fyra rektangulära områden av intresse som illustreras av de blå rutorna i figur 1. Ändra etiketterna på fyra områden av intresse till Top_Left, Top_Right, Bottom_Leftoch Bottom_Rightoch Anslut DataViewer namn arkiverat med rätt kolumner i datakällan.
Obs: Dessa områden är osynliga för deltagarna. För att göra områden av intresse mer meningsfull, etikett namnet på övre vänstra området i exempel som ”låda en (stora öppna)”, övre högra området som ”rutan B (liten stängd)”, nedre vänstra området som ”Box C (andra nämnt)” och området nedre högra området som ”fält D (först nämnd)” , eftersom de två små öppna rutorna innehåller de två djur som nämns i den första och den andra halvan av test ljudet, respektive. - Dra en TIMER nod i arbetsytan, döp om den till Pausoch ändra egenskapen Duration till 500 ms.
Obs: Denna TIMER nod lägger viss fördröjning mellan uppkomsten av testbilden och uppkomsten av testet ljud. Fördröjningen ger deltagarna en chans att bekanta med testbilder. Deltagarnas ögonrörelser under denna förhandsvisning ger också grundläggande för att fastställa effekterna av talat språk input, särskilt när de kritiska ord är belägna i början av testet ljudet. - Dra en PLAY_SOUND nod i till arbetsytan och döp om den till test_audio. Klicka på egenskapen Sound File och Anslut den med rätt kolumn i datakällan (som beskrivs i steg 3.5.1) och lägga till meddelandet test_audio_onset in egenskapen meddelande .
- Dra en TIMER nod i arbetsytan, byta namn på det som test_audio_length. Ändra egenskapen Duration till 10500 ms.
- Lägga till en ny TIMER -nod, döp om den till record_extensionoch ändra egenskapen Duration till 4000 ms.
- Lägga till en ny tangentbord -nod i arbetsytan, döp om den till beteendemässiga Svarenoch ändrar egenskapen godtagbar nycklar till '[upp, ner, höger, vänster]'.
Obs: Deltagarnas beteende val kan användas att dubbelkolla giltigheten av slutsatsen härledas från deltagarnas ögonrörelser. - Anslut noden Starta till Paus, test_audio, test_audio_length, sedan till Record_extension nod. Lägga till en annan anslutning från test_audio_length till behavioral_responses nod.
Obs: Genom att lägga till dessa anslutningar, pågående provperiod avslutas och en ny rättegång startar efter deltagare gjort en knapptryckning välja Xiaoming'sBox, eller 4000 ms efter förskjutningen av testet ljud. - Dra en variabel nod i arbetsytan, döp om den till key_pressedoch ansluta egenskapen värde till behavioral_Responses tangentbord | Utlöste Data | Nyckel.
- Dra en RESULT_FILE nod i arbetsytan, dra en ADD_TO_RESULT_FILE nod i arbetsytan och ansluta både noden record_extension och noden behavioral_responses till ADD_TO_RESULT_FILE nod.
- Kontrollera fältet post i panelen boende i sekvensen inspelning och dubbelklicka för att öppna sekvensen inspelning .
- Klicka på Experiment | Bygga för att bygga experimentella skriptet, klicka Experiment | Testa kör att testa köra experimentet. När allt är gjort, klicka på Experiment | Distribuera att skapa en körbar version av experimentella projektet.
Obs: För mer information om hur du använder Experiment byggaren, kontakta programvara manuell27.
4. rekrytera deltagare
- Säkerställa att deltagarna att ha normal eller korrigerat normal syn. Rekommendera att kortsiktiga deltagarna att bära kontaktlinser, men glasögon är också godtagbara så länge linserna är rena. Säkerställa att alla deltagare är infödda talare av testning språket, såsom kinesiska Mandarin här.
Obs: Som en allmän riktlinje, en deltagare anses godtagbara så länge deltagaren kan se testbilder på ett avstånd av ca 60 centimeter. När det gäller antalet deltagare, enligt vissa tumregler, bör antalet deltagare för regressionsanalys inte mindre än 50. Här, deltog trettiosju doktorander från Peking språk och kultur universitet i experimentet, vilket är lite mindre än den rekommenderade mängden.
5. genomföra experimentet
Obs: När deltagarna är normalt utvecklade vuxna, en försöksledaren är nog att genomföra beteende experiment. Men om deltagarna är särskilda populationer, till exempel barn, det krävs två eller fler praktiker.
- Välj en eye tracker att spela in deltagarnas ögonrörelser.
Obs: Eye tracker används i detta experiment är Eyelink 1000plus körs under det gratis att flytta huvudet läget. Detta är en video-baserade, desktop monterade eye tracking system, använda principen om elev med hornhinnans reflektion (SP) för att spåra ögats rotation. När du kör under gratis att flytta huvudet läge, har eye tracker monokulär samplingsfrekvensen på 500 Hz, med en rumslig upplösning 0,01 ° och ett genomsnittligt fel av mindre än 0,5 °. För mer detaljerad information om systemet, vänligen konsultera dess teknisk specifikation28,29. Alternativa trackers kan användas, men de med remote spårningsläge är bättre, särskilt när deltagarna preliterate barn. - Starta systemet på det värd PC till starta programmet värd av kameran.
- För att konfigurera systemet till skrivbordet remote mode, klicka på knappen Ställ in alternativet , ange alternativet konfiguration till skrivbordet--mål klistermärke--monokulära--16/25 mm längd--RTARBLER.
- Klicka på den körbara versionen av experimentella projektet på displayen PC ingång deltagarens namnoch välj en grupp från meddelandefönstret till Välj skick värde att köra.
Obs: Varje testomgång skapas en mapp med namnet matas in under underkatalog resultaten av projektet experiment. EDF filen under mappen innehöll relevanta ögat rörelser data. - Be deltagarna att sitta ca 60 cm från en 21 tums, 4:3 färgskärm med 1024px x 769px upplösning, där 27 pixlar är lika med 1 grad vinkel.
- Justera höjden på skärmen datorskärmen, att säkerställa att när deltagaren sitter och tittar rakt fram, de tittar vertikalt på mitten till top 75% av bildskärmen.
Obs: Stolen, skrivbord eller datorskärmen är att föredra om de är justerbara i höjd. Stolen och skrivbord med hjul bör undvikas, eftersom de tenderar att orsaka oavsiktliga flytta och rulla. - Placera en liten mål klistermärke på deltagarnas pannan, att spåra den skrivhuvudets positionen även när elev bilden är förlorade, såsom under blinkar eller plötsliga rörelser.
Obs: Olika eye trackers kan använda olika metoder för att spåra deltagarnas huvud. För att maximera lateral rörelse spänna av föremål, bör spårade ögat på samma sida som Upplysaren. - Rotera fokuseringsarmen på desk mount att föra ögat bilden i fokus.
- Klicka på knappen kalibrera på värden PC att utföra kalibreringen genom att be deltagarna att fixera ett rutnät av fem fixering mål i slumpmässig följd med inga uppenbara beteendemässiga svar, att kartlägga deltagarnas ögonrörelser till blick för beaktande i den visuella världen.
- Klicka på knappen validera på värden PC att validera kalibrerad resultaten genom att be deltagarna att fixera det samma rutnätet av fixering mål. Upprepa kalibrering och validering rutiner, när felet är större än 1°.
- Genomföra de två rutinerna i början av experimentet och när mätnoggrannheten är dålig (t.ex., efter starka huvudrörelser eller en ändring i deltagarnas hållning).
- Klicka på inspelningsknappen på värden PC att starta experimentet .
- Utföra drift kontroll på varje prövning genom att be deltagarna att trycka på SPACE -tangenten på tangentbordet samtidigt fixera på den svarta pricken som presenteras i mitten av skärmen.
Obs: När deltagarna är preliterate barn eller kliniska patienter, uttryckligen instruera dem att trycka på tangentbordet medan fixera den svarta pricken är normalt opraktiskt. Men deras uppmärksamhet och eye upptagningar tenderar att dras automatiskt visas Svarta pricken. I det här fallet bör försöksledaren vara personen att trycka på tangentbordet medan deltagaren fixerande på den svarta pricken. - Presentera de visuella stimuli via displayen datorskärmen och spela de auditiva stimuli via ett par externa högtalare ligger till vänster och höger på skärmen (hörlurar är också acceptabelt).
Obs: Inspelningarna spelas upp från hårddisken som 24 kHz mono ljudklipp. Om det finns ingen särskild anledning, är mono ljudklipp rekommenderad till stereo ljudklipp. I ett stereo ljudklipp, kan skillnaden mellan de två ljudspår, liksom skillnaden mellan de två högtalarna påverka deltagarnas ögonrörelser. För mer information om hur du använder eye tracker, kontakta användaren manuell30.
6. data kodning och analyser
- Öppna Data Viewer, klicka filen | Importera filen | Importera flera Eyelink datafiler att importera alla inspelade eye tracker filer (med förlängning av EUF), och spara dem till en enda . EVS fil.
- Öppna den sparade EVS-filen och klicka på analys | Rapporter | Prova rapport exportera raw exempeldata med ingen aggregering.
Obs: Om eye tracker har en samplingsfrekvens på 500 Hz, exporterade data har 500 datapunkter, hädanefter 500 rader, per andra per studie. Om deltagarnas vänster öga spåras, se till att följande kolumner samt de variabler som skapas i datakällan exporteras: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ STORLEK, SAMPLE_INDEX, SAMPLE_MESSAGE. För mer information om hur du använder datagranskaren, kontakta programvara manuell31. - Begränsa de statistiska analyserna till fönstret temporal från uppkomsten av testbilden att förskjutningen av test ljudet, dvs., temporal fönstret med varaktigheten av 11 s.
- Ta bort de prover där deltagarnas ögonrörelser inte registreras, såsom deltagare blinka deras ögon, som drabbar ungefär 10% av de registrerade uppgifterna.
Obs: Detta är ett valfritt steg, eftersom resultaten är normalt densamma oavsett om dessa prover tagits bort. - Koden data. Att bygga data för ett visst område av intresse för en viss provtagningsplats, koden data som 1 om deltagarnas ögat fixering är beläget i området av intresse ska analyseras på att provtagningspunkten. Koden data som 0 om ögat upptagning inte ligger i områden av intresse på att provtagningspunkten.
- Rita en andel-av-fixering för att visualisera de erhållna uppgifterna. För att beräkna den andel-av-upptagningen över visst område av intresse, genomsnittliga peka kodade data för alla prövningar och för alla deltagare i varje prov varje villkor. Rita de beräkna andel-av-upptagningarna på y-axeln mot provtagningspunkten på axeln, med olika paneler som betecknar intresseområden och konspirera färgerna som betecknar olika experimentella förhållanden.
Obs: I experimentet, fyra panelerna avbildas deltagarnas fixering mönster på fyra områden av intresse. De röda, gröna och blå linjerna illustrerade deltagarnas fixering mönster när testet uttalanden var Konjunktioner (S1 och S2), men-uttalanden (S1 men inte S2) och disjunctions (S1 eller S2), respektive. Den programvara som används för att rita beskrivande tomten är ggplot2 paketet från R miljö. Det finns också andra programvara. Figur 5 är ett exempel på sådan handling. - Montera en binomial generaliserade linjära blandade modellen (GLMM) på varje område av intresse på varje provtagningspunkt, såsom data kodades som antingen 1 eller 0, beroende på huruvida deltagarens fixering är belägen i eller utanför området av intresse på att provtagningspunkten.
Obs: Eftersom data inte är kastas i papperskorgen, och kodade data kan bara vara 1 eller 0, så fördelningen av kodade data är binärt snarare än normalt. Hädanefter, används en GLMM modell med familjen av binomialfördelningen. GLMM modellen inkluderar tidsbestämt, experimentella villkor, och två slumpmässiga, deltagare och objekt. Formeln utvärderas två slumpmässiga villkoren omfattar både skärningspunkt och slutta av de experimentella förhållandena. Den programvara som används för att göra modellen tillbehöret är lme4 paketet från R miljö. Det finns också andra programvara. En sak bör nämnas är att baslinjen för fasta objekt skilde sig när området analyseras intresse, dvs., den analyserade rutor, är olika. Konkret valdes konjunktionen (S1 och S2) som utgångspunkt när man analyserar rutan stora-öppen (låda A), disjunktion (A och B) valdes som utgångspunkt när man analyserar rutan små-stängt (låda B), och men-uttalandet valdes som originalplanen när man analyserar rutan förstnämnda (Box D). - Bonferroni justera de p -värden som erhålls med Wald z test, att minska familywise felet orsakas av multipla jämförelser.
Obs: Bonferroni justeringar är det traditionella sättet att angripa familywise felet orsakas av multipla jämförelser. Det finns också andra metoder, som beskrivits i avsnittet inledning.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Deltagarnas beteendemässiga Svaren sammanfattas i figur 4. Som vi beskrivit tidigare, är rätta svar på en konjunktiv uttalande (S1 och S2) den stora öppna rutan, såsom fält A i figur 1. Rätt svar till en men-uttalande (S1 men inte S2) är små öppna rutan som innehåller den första nämnda djuret, såsom Box D i figur 1. Kritiskt, som rutan väljs på Disjunktiv meddelandet (S1 eller S2) beror på hur ett disjunktivt uttalande bearbetas: små slutna rutan, till exempel fält B i figur 1, väljs endast när den skalära implikatur och de okunnighet slutsatserna avser uttrycket Disjunktiv beräknas både. Figur 4 illustrerar att när begripa ett disjunktivt uttalande (S1 eller S2), deltagarna beräkna båda de två slutsatserna.
Dessutom deltagarnas eye upptagningar på små slutna boxen, särskilt när dessa upptagningar följs av de beteendemässiga svar på detta fält, tyder också på att den skalära implikatur och de okunnighet slutsatserna beräknas. De två slutsatserna bör har bearbetats inte senare än den tidigaste temporal punkten när deltagarna flytta sin visuella uppmärksamhet och upptagningar på små slutna boxen. Deltagarnas-ögonrörelser sammanfattas i figur 5. Som vi kan se i panelen B, öka inte deltagarnas öga-upptagningar på rutan små-stängt (låda B) såvida den sentential connective är Disjunktiv bindväv, eller. Dessutom börjar denna ökning nej senare än förskjutningen av det Disjunktiv connective. Detta tyder på att både den skalära implikatur och de okunnighet slutsatserna beräknas innan förskjutningen av den sentential bindväv, dvs omedelbart vid stöter den Disjunktiv connective.
Figur 1 . Ett exempel på test bilderna som används i experimentet. Det grå området är testbilden faktiskt presenteras för deltagarna. Rutorna blues, de streckade linjerna och pixlarna som anger bredden på elementen är endast i illustrationssyfte och är osynliga för deltagarna. (Anpassad från experiment en av L. Zhan 17 med tillåtelse). Klicka här för att se en större version av denna siffra.
Figur 2 . Ett exempel på test meningarna används i experimentet (särtryck ur L. Zhan17 med tillåtelse). Klicka här för att se en större version av denna siffra.
Figur 3 . Den hierarkiska strukturen för en typisk eye-tracking experiment med hjälp av den visuella värld paradigmen. Det ljud som illustreras i bilden är de engelska översättningarna av den kinesiska används i experimentet. Klicka här för att se en större version av denna siffra.
Figur 4 . Deltagarnas beteendemässiga Svaren registreras i experimentet (anpassad från experiment en L. Zhan17 med tillåtelse). Klicka här för att se en större version av denna siffra.
Figur 5 . Deltagarnas ögon rörelser som observerats i experimentet. Uppkomsten och förskjutning av de sentential konnektiv är betecknade med två streckade vertikala linjer. En betydande skillnad mellan disjunktiva och det ursprungliga tillståndet vid viss provtagning kännetecknas av det grå området (p <.05, Bonferroni justerat) (anpassad från L. Zhan17 med tillåtelse). Klicka här för att se en större version av denna siffra.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
För att genomföra en visuell värld, finns det flera kritiska steg att följa. Först, forskare tänker sluta sig till tolkningen av auditorily presenterade språket via deltagarnas ögonrörelser i den visuella världen. Hädanefter, i utforma layouten för de visuella stimuli, bör egenskaperna för ögonrörelser i en naturlig aktivitet som potentiellt påverkar deltagarnas ögonrörelser kontrolleras. Effekten av det talade språket på deltagarnas ögonrörelser kan då kännas. Andra, akustiska signaler i talspråket är övergående och det finns inga akustiska signaturer enbart motsvarar vissa språkliga kategori. Korrekt tid-lock deltagarnas ögon-rörelser och med uppkomsten av vissa språkliga markör bör forskarna hittar ett objektivt och enhetligt sätt att definiera gränsen för vissa språkliga strukturen. För det tredje för att mappa deltagarnas ögat rotation runt huvudet med blicken av hänseende i den visuella världen, behöver forskare utföra en eller flera körningar av kalibrering, validering och drift korrigering processer. För det fjärde, de uppgifter som erhållits från en visuell värld studie har vissa utmärkande egenskaper, såsom att vara lägre och övre avgränsas, och att ha autocorrelated fel etc. Dessa utmärkande egenskaper bör övervägas när en metod har valts att statistiskt analysera data.
En visuell värld studie består av tre väsentliga delar: visual display, talspråket, experimentell uppgift. Ändringar kan göras på någon komponent att uppfylla forskarnas specifika syften. Först är en visuell display normalt en screening display som skildrar en rad bilder. Men det kan också vara en screening display som skildrar en rad tryckta ord32, en schematisk scen30,31eller en verkliga världen scen som innehåller riktiga objekt1,32. Andra, de talade yttranden kan vara en word36, en enkel mening30,31, en semantiskt komplexa uttalande17,34,35eller en dialog39. Tredje, när det gäller experimentella uppgiften, deltagarna antingen helt enkelt uppmanas att titta på den visuella världen och lyssna noga till auditiv Ytteranden30,31; eller som krävs för att göra vissa beteendemässiga svar, som agerar ut rörelserna beskrivs av auditiv yttrandets1, att fastställa huruvida auditiv utterancen gäller den visuella display38eller att välja rätt bilden i den visuella displayen talade utterancen pratar om17.
Den visuella värld paradigm, jämfört med andra Psykolingvistiska metoder, har flera unika fördelar. Först, den visuella värld paradigmen kan användas i ett brett av befolkningar, inklusive de som inte kan läsa eller som inte öppet ge deras beteendemässiga svar, såsom preliterate barn37,38,39, 40 , 41 , 42och äldre vuxna46patienter (t.ex., aphasics)47. Detta beror på de språk stimuli presenteras i den auditiva snarare än i form av skrivna texter; och språkförståelsen är slutsatsen från deltagarnas implicita automatisk ögonrörelser istället för deras overt beteendemässiga svar. Andra är visuella världen paradigm extremt känsliga för finkornigt manipulationer av tal signalen. Detta paradigm kan användas för att studera genom online bearbetning av de flesta ämnen i språkförståelse på flera nivåer, till exempel den fina finkornig akustiska fonetiska funktioner33,45,46, egenskaper ord30,31, den språkliga strukturer1,47och semantiskt komplexa uttalanden som concessives37, biconditionals37, logiska strukturer villkorssatser38och disjunctions17.
Den visuella värld paradigm, jämfört med andra Psykolingvistiska teknik, har också vissa potentiella begränsningar. Först, deltagarnas tolkning av talspråket härleds från deras ögonrörelser på den visuella världen, inte från den riktiga tolkningen av de språk stimuli per se. hädanefter språk egenskaper som kan studeras med den visuella världen paradigm är begränsade till de som kan visualiseras, dvs., de bör vara på något sätt relaterade till enheter eller händelser i den visuella världen. För det andra är den visuella värld paradigm används normalt mer begränsad än den faktiska visuella världen, med en begränsad uppsättning bilden referenter och en begränsad uppsättning av möjliga åtgärder. Denna så kallade stängd-set problem48 kan skapa uppgiftsspecifika strategier som den observerade språkbearbetning inte generalisera bortom de specifika situationer som skapats inom experimentet. Paradigm kan hädanefter inte vara känslig för egenskaper hos språkliga kunskap och erfarenhet som ligger utanför den stängda-set som har fastställts i ett givet försök.
Den visuella värld paradigmen utforskar i huvudsak integrationen av informationen från den visuella domänen och information från auditiv domänen. Teoretiskt sett kan någon information som kan bearbetas av de två sensationella domänerna potentiellt studeras med hjälp av detta paradigm. Den visuella världen kan till exempel vara virtuell verklighet eller dynamisk videor. Auditiv indata är inte nödvändigtvis språk, och kan vara något annat format, till exempel musik och ljud från den naturliga världen, etc. Dessutom kan detta paradigm förlängas ytterligare utforska integration av information från andra domäner, snarare än domänen visuella och auditiva domänen. Forskare kan exempelvis använda denna teknik för att se hur deltagarnas upptagningar i den visuella världen påverkas av olika lukter, olika inslag, etc.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författaren förklarar att han har inga konkurrerande finansiella intressen.
Acknowledgments
Denna forskning stöds av Science Foundation för Peking språk och kulturella universitet under den grundläggande forskningsmedel för Central universiteten (godkännande nummer 15YJ050003).
Materials
| Name | Company | Catalog Number | Comments |
| Pixelmator | Pixelmator Team | http://www.pixelmator.com/pro/ | image editing app |
| Praat | Open Sourse | http://www.fon.hum.uva.nl/praat/ | Sound analyses and editting software |
| Eyelink 1000plus | SR-Research, Inc | https://www.sr-research.com/products/eyelink-1000-plus/ | remote infrared eye tracker |
| Experimental Builder | SR-Research, Inc | https://www.sr-research.com/experiment-builder/ | eye tracker software |
| Data Viewer | SR-Research, Inc | https://www.sr-research.com/data-viewer/ | eye tracker software |
| R | Open Sourse | https://www.r-project.org | free software environment for statistical computing and graphics |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
- Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
- Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
- Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
- Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
- Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
- Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
- Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
- Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
- Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
- Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
- Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
- Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
- Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
- Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
- Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
- Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
- van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
- Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
- Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
- Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
- Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
- Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
- Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
- SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
- SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
- SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
- SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
- SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
- McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
- Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
- Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
- Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
- Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
- Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
- Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
- Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
- Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
- Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
- Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
- Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
- Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
- Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
- Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).
