Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Ved hjælp af øjenbevægelser registreres i den visuelle verden paradigme at udforske Online behandling af talesprog

Published: October 13, 2018 doi: 10.3791/58086
Automatic Translation
1
1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

Den visuelle verden paradigme overvåger deltagernes øjenbevægelser i arbejdsområdet visuelle de lytte til eller tale et talesprog. Dette paradigme kan bruges til at undersøge online behandling af en bred vifte af psycholinguistic spørgsmål, herunder semantisk komplekse erklæringer, såsom disjunktiv erklæringer.

Abstract

I en typisk eyetracking undersøgelse ved hjælp af visuelle verden paradigme, deltagernes øje bevægelser til objekter eller billeder i arbejdsområdet visuelle registreres via en øje tracker, som deltageren producerer eller begriber et sprog der beskriver den samtidige visuelle verden. Dette paradigme har høje alsidighed, så det kan bruges i en bred vifte af befolkningsgrupper, herunder dem, der ikke kan læse og/eller der åbenlyst ikke kan give deres adfærdsmæssige reaktioner, som preliterate børn, ældre voksne og patienter. Endnu vigtigere, paradigme er ekstremt følsomme over for finkornet manipulationer af tale-signal, og det kan bruges til at studere online behandling af de fleste emner i sprogforståelse på flere niveauer, såsom den finkornet akustisk fonetiske funktioner, egenskaber af ord, og de sproglige strukturer. Den protokol, der er beskrevet i denne artikel illustrerer, hvordan en typisk visuelle verden eyetracking studie er gennemført, med et eksempel på hvordan online behandling af nogle semantisk komplekse sætninger kan udforskes med den visuelle verden paradigme.

Introduction

Talesprog er en hurtig, igangværende informationsstrøm, som forsvinder lige bortrejst. Det er en udfordring at eksperimentelt studere denne timelige, hurtigt ændre tale signal. Øjenbevægelser registreres i den visuelle verden paradigme kan bruges til at overvinde denne udfordring. I en typisk eyetracking undersøgelse ved hjælp af visuelle verden paradigme, overvåges deltagernes øjenbevægelser til billeder på en skærm eller til virkelige objekter i en visual arbejdsområde de lytte til, eller producere, talesprog skildrer indholdet af den visuelle verden1 ,2,3,4. Den grundlæggende logik eller forbinder hypotesen bag dette paradigme er at begribe eller planlægger en ytring vil (åbenlyst eller skjult) Skift deltagernes visuel opmærksomhed til et bestemt objekt i den visuelle verden. Denne opmærksomhed skift vil have stor sandsynlighed for at indlede en saccadic øje bevægelse for at bringe området deltog i den foveal vision. Med dette paradigme, forskere har til hensigt at bestemme på hvilket tidsmæssige punkt med hensyn til nogle akustiske vartegn i tale signal, et skift i deltagerens visuel opmærksomhed opstår, som målt ved en saccadic øjenbevægelser til et objekt eller et billede i visuelle verden. Hvornår og hvor saccadic øjenbevægelser er lanceret i forbindelse med indlæg signalet bruges derefter til at udlede online sprogbehandling. Den visuelle verden paradigme kan bruges til at studere både talesprog forståelse1,2 og produktion5,6. Dette metodologiske artikel vil fokusere på forståelse undersøgelser. I en forståelse undersøgelse ved hjælp af visuelle verden paradigme, deltagernes øje bevægelser på den visuelle display overvåges som de lytter til de talte ytringer taler om den visuelle display.

Forskellige eye tracking systemer er blevet designet i historie. Den enkleste, billigste og mest bærbare system er bare en normal video kamera, der registrerer et billede af deltagerens øjne. Øjenbevægelser er derefter manuelt kodet via frame-by-frame undersøgelse af videooptagelsen. Dog samplingfrekvensen af sådan en øje-tracker er relativt lav, og den kodning procedure er tidskrævende. Således, en moderne kommercielle eye tracking system normalt bruger optiske sensorer måler retningen af øjet i sin bane7,8,9. For at forstå, hvordan en moderne kommercielle eye-tracking systemet fungerer, bør følgende punkter overvejes. Første, der korrekt måler retningen af den foveal vision, en infrarød illuminator (normalt med bølgelængde omkring 780-880 nm) er normalt lagt langs eller fra den optiske akse af kameraet, gør billedet af eleven distinguishably lysere eller mørkere end den omkringliggende iris. Billede af eleven og/eller elev hornhinde refleksion (normalt den første Purkinje billede) bruges derefter til at beregne orientering af øjet i sin bane. Andet er blik placering i den visuelle verden faktisk betinget af ikke kun øje orientering med hensyn til lederen, men også den hoved orientering med hensyn til den visuelle verden. Du kan præcist udlede blik for henvisning fra øjet orientering, lyskilden og kamera af eye-trackers enten er fastsat med hensyn til deltagernes hovedet (head-monteret øje-trackers) eller er fastsat med hensyn til den visuelle verden (tabel-monteret eller Remote øje-bane). For det tredje deltagernes hoved orientering skal enten være fastgjort med hensyn til den visuelle verden eller kompenseres beregningsmæssigt hvis deltagernes hoved er gratis at flytte. Når en fjernbetjening øje-tracker bruges i et hoved, der gratis at flyttetilstand, indspillet deltagernes hovedets stilling typisk ved at placere en lille mærkat på deltagernes pande. Den hoved orientering er derefter beregningsmæssigt trækkes fra øjet orientering at hente blik placering i den visuelle verden. For det fjerde er en kalibrering og en valideringsproces så forpligtet til kort orientering af øjet blik af henvisning i den visuelle verden. I kalibreringsprocessen registreres deltagernes fiksering prøver fra kendte mål point for at kortdata rå øje for at stirre position i den visuelle verden. I valideringsprocessen præsenteres deltagerne med de samme mål point som kalibreringsprocessen. Forskellen mellem den beregnede fiksering holdning fra de kalibrerede resultater og af det fikserede mål position i den visuelle verden bruges derefter til at bedømme nøjagtigheden af kalibreringen. Du kan yderligere bekræfte nøjagtigheden af tilknytningsprocessen, afdrift kontrol anvendes normalt hvert forsøg, hvor et enkelt fiksering mål er præsenteret for deltagerne til at måle forskellen mellem den beregnede fiksering holdning og den faktiske placering af den nuværende mål.

De primære data af en visuel verden undersøgelse er en strøm af blik steder i visuel verden, indspillet i øjet-tracker, spænder over hele eller dele af den retssag varighed samplefrekvensen. Den afhængige variabel bruges i en visuel verden undersøgelse er typisk andelen af prøver, deltagernes filmoptagelse er beliggende på visse geografiske region i den visuelle verden over en vis tidsvindue. For at analysere data, har et tidsvindue for det første skal udvælges, ofte omtales som perioder af interesse. Tidsvinduet er typisk tid låst til en præsentation af nogle sproglige begivenheder i den auditive input. Endvidere er den visuelle verden også behov for at opdele i flere regioner af interesse (ROIs), som hver er forbundet med et eller flere objekter. En sådan region indeholder objektet svarende til den korrekte forståelse af det talte sprog, og derfor kaldes ofte målområdet. En typisk måde at visualisere dataene er en del af fiksering plot, hvor på hver placering i et tidsvindue, andelen af prøver med et kig til hvert område af interesse er i gennemsnit på tværs af deltagerne og elementer.

Ved hjælp af oplysningerne fra en visuel verden undersøgelse, forskellige forskningsspørgsmål kan besvares: en) på foderkorn niveau, er deltagernes øjenbevægelser i den visuelle verden ramt af forskellige auditive sproglige input? b) Hvis der er en effekt, hvad er banen af effekten i løbet af retssagen? Er det en lineær virkning eller høje effekt? og c) Hvis der er en effekt, så på nobel-korn niveau, Hvornår er det tidligste tidsmæssige punkt hvor sådan en effekt opstår og hvor lang tid tager denne effekt sidste?

For statistisk at analysere resultaterne, bør følgende punkter overvejes. Første afgrænses respons variabel, dvsproportioner fjernsynsforetagender, både under og over (mellem 0 og 1), som vil følge en returnerer multinomial distribution i stedet for en normal fordeling. Fremover, kan ikke traditionelle statistiske metoder baseret på normal fordeling som t-test, ANOVA og lineær (blandet-effekt) modeller10, udnyttes direkte indtil proportioner er blevet omdannet til ubegrænsede variabler såsom med empiriske logit formel11 eller er blevet erstattet med ubegrænsede afhængige variabler såsom euklidisk afstand12. Statistiske teknikker, som ikke kræver antagelsen af normalfordelingen sådanne generaliserede lineære (blandet-effekt) modeller13 kan også bruges. Andet for at udforske skiftende bane af den observerede effekt, har en variabel betegner tidsserien tilføjes i modellen. Denne tidsserier variabel er oprindeligt øje-tracker prøveudtagningssteder udrettet til udbrud af sproget input. Da de skiftende bane ikke er typisk lineær, tilføjede en høj-ordre polynomium funktion af tidsserien normalt i (generel) lineær (blandet-effekt) modellen, dvs.vækst kurve analyser14. Derudover deltagernes øje positioner i det aktuelle indsamlingspunkt er meget afhængig forrige prøvetagning point (s), især når optagelse frekvensen er høj, resulterer i problemet med autokorrelation. For at reducere autokorrelation mellem de tilstødende prøveudtagningssteder, er oprindelige data ofte ned-samplede eller arkiveret lodret. I de seneste år, har generaliseret tilsætningsstof blandet effekt modeller (GAMM) også været brugt til at tackle autocorrelated fejl12,15,16. Bredde over placeringer varierer blandt forskellige undersøgelser, lige fra flere millisekunder til flere hundrede millisekunder. Den smalleste bin en undersøgelse kan vælge er begrænset af samplefrekvensen øje tracker anvendes i den konkrete undersøgelse. For eksempel, hvis en øje tracker har en samplingfrekvens på 500 Hz, kan ikke så bredden af tidsvinduet være mindre end 2 ms = 1000/500. For det tredje, når en statistisk analyse anvendes gentagne gange til hver tid placering af perioder med interesse, den familywise fejl induceret fra disse flere sammenligninger skal tackles. Som vi beskrev tidligere, bane analyse informerer forskeren om effekten observeres på foderkorn niveau er lineære med hensyn til ændring af tiden, men viser ikke hvornår den observerede effekt begynder at dukke op og hvordan længe den observerede effekten varer. For at bestemme den tidsmæssige placering, når den observerede forskel begynder at afvige, og at finde ud af varigheden af den tidsmæssige periode, at den observerede effekt varer, har en statistik analyse anvendes gentagne gange til hver tid bin. Disse flere sammenligninger vil indføre de såkaldte familywise fejl, uanset hvilken statistisk metode er brugt. Den familywise fejl er traditionelt korrigeret med Bonferroni justering17. For nylig, en metode, der kaldes ikke-parametrisk permutation test oprindeligt brugt i neuroimaging gemt18 er blevet anvendt til visuelle ordet paradigme19 til kontrol for den familywise fejl.

Forskere ved hjælp af visuelle verden paradigme agter at udlede forståelsen af nogle talesprog fra deltagernes øjenbevægelser i den visuelle verden. For at sikre gyldigheden af dette fradrag, skal andre faktorer, der muligvis påvirke øjenbevægelser enten udelukkes eller kontrollerede. De følgende to faktorer er blandt de almindelige, der skal overvejes. Den første faktor indebærer nogle systematiske mønstre i deltagernes forklarende fjernsynsforetagender uafhængig af sproget input, såsom tendens til at fiksere på øverste venstre quadrat visuel verden, og flytter øjnene i den vandrette retning er lettere end i den lodrette retning, etc.12,20 for at sikre, at de observerede fiksering mønstre er relateret til objekterne, ikke til den rumlige steder hvor objekterne er beliggende, de rumlige positioner af et objekt skal vejes på tværs af forskellige forsøg eller på tværs af forskellige deltagere. Den anden faktor, der kan påvirke deltagernes øjenbevægelser er funktionerne grundlæggende billede af objekter i visuelle verden, såsom luminans kontrast, farve og kant orientering, blandt andre21. For at diagnosticere denne konfunderende potentiale, den visuelle display er normalt præsenteret før igangsættelsen af det talte sprog eller før igangsættelsen af den kritiske akustiske markør af talesprog, for omkring 1000 ms for tidsmæssige perioden fra starten af den test billede til udbrud af test lyden, sproget input eller flertydig punkt af sproget input er ikke blevet hørt endnu. Nogen forskel mellem forskellige betingelser bør udledes til andre forstyrrende faktorer såsom den visuelle display i sig selv, i stedet for det sprog, input. Fremover, danner øjenbevægelser observeret i dette preview periode en baseline for fastsættelsen af effekten af den sproglige input. Dette preview periode giver også mulighed for deltagerne at få fortrolig med den visuelle display og reducere den systematiske bias af den forklarende optagelse når det talte sprog er præsenteret.

For at illustrere, hvordan en typisk eyetracking undersøgelse ved hjælp af visuelle verden paradigme er gennemført, beskriver følgende protokol et eksperiment, tilpasset fra L. Zhan17 at udforske online behandling af semantisk komplekse sætninger, dvs. disjunktiv erklæringer (S1 eller S2), conjunctive sætninger (S1 og S2) og men-sætninger (S1 men ikke-S2). I almindelige bevarelse er de oplysninger, der er udtrykt af nogle ytringer faktisk stærkere end sin bogstavelige betydning. Disjunktiv udsagn som Xiaoming's box indeholder en ko eller en hane er sådanne udtalelser. Logisk, sætningen disjunktiv er sandt, så længe de to disjuncts Xiaoming's box indeholder en ko og Xiaoming's box indeholder en hane ikke er både falsk. Sætningen disjunktiv er derfor rigtigt, når de to disjuncts er begge sande, hvor den tilsvarende conjunctive sætning Xiaoming's box indeholder en ko og en hane er også sandt. I almindelig samtale, dog høre den disjunktiv erklæring ofte tyder på, at den tilsvarende conjunctive sætning er falsk (skalar Implikatur); og antyder, at sandheden værdierne af de to disjuncts er ukendt af højttaler (uvidenhed inferens). Konti i litteraturen forskellige om to slutninger er grammatiske eller pragmatisk processer22,23,24,25,26. Forsøget viser, hvordan den visuelle verden paradigme kan bruges til at træffe afgørelse i sagen mellem disse konti ved at udforske online behandling af tre komplekse sætninger.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Alle fag skal give informeret skriftligt samtykke før administration af de eksperimentelle protokoller. Alle procedurer, samtykke former og eksperimenterende protokollen blev godkendt af en videnskabsetisk komité af Beijing sprog og kultur Universitet.

Bemærk: En forståelse undersøgelse ved hjælp af visuelle verden paradigme normalt består af følgende trin: indføre de teoretiske problemer skal undersøges; Danne en eksperimenterende design; Forberede de visuelle og auditive stimuli; Ramme den teoretisk problem i forbindelse med forsøgets udformning; Vælg en øje-tracker til at spore deltagernes øjenbevægelser; Vælg en software og opbygge et script med softwaren til at præsentere stimuli; Kode og analysere dataene, der registreres øjenbevægelser. Et bestemt eksperiment kan afvige fra hinanden i nogen af de beskrevne trin. Som et eksempel, er en protokol, der indført for at udføre eksperimentet og diskutere nogle punkter, som forskere skal huske på, når de bygger og foretage deres eget eksperiment ved hjælp af visuelle verden paradigme.

1. Forbered Test Stimuli

  1. Visuelle stimuli
    1. Download 60 clip arts af dyr, som er fri for ophavsret fra internettet. Åbn hvert billede én efter én med et billedredigeringsprogram (fx Pixelmator), klik på værktøjer | Værktøjet hurtig markering til at vælge og slette baggrunden. Klik på billedet for | Image Size til at ændre dem til 120 x 120 pixels.
    2. Inviter studerende med hovedfag i maleriet at tegne fire grønne lyskasser, som illustreret i figur 1. Bruge billedredigeringsprogrammet til at skalere igen den store åben kasse til 320 x 240 pixels, små lukkede kassen med størrelsen af 160 x 160 pixels, og de to små åbne kasser til 160 x 240 pixels, henholdsvis.
    3. Klik på Pixelmator | Fil | Nye til at opbygge en skabelon af test billede med størrelsen af 1024-768 pixels. Trække dyrene og kasser til korrektion placeringer er illustreret i figur 1.
      Bemærk: Layout af test billede varierer mellem undersøgelser, men den optimale måde er at bruge fire genstande og at sætte dem på de fire kvadranter i test billede. På denne måde er det lettere at opveje den rumlige placering af objekterne.
    4. Oprette 60 test billeder som figur 1, med hvert dyr billede brugt to gange. Modvægt de rumlige placeringer af de fire kasser blandt billederne.
      Bemærk: Antallet af billeder behøver ikke at være nøjagtig 60, så længe deres virkning er dissocierbart fra af de eksperimentelle manipulationer.
  2. Talesprog stimuli
    1. Design fire test sætninger svarende til hver test billede og 240 test sætninger i alt skal registreres. Sikre, at tre af de fire domme er i form af figur 2; og fyldstof sætning er i form af Xiaomings boks gør ikke indeholde en hane, men en ko.
      Bemærk: Test sætninger bør forelægges i modersmål, at deltagerne taler. Deltagerne i dette eksperiment er kinesiske fra Beijing, Kina, så test sprog er Mandarin kinesisk.
    2. Ansætte en kvindelig indfødt (en indfødt af Mandarin kinesisk i dette eksperiment) for at optage fire eksempel udsagn som figur 2samt lyden af alle de dyr, der anvendes i forsøget. Når du optager de isolerede dyr navne, anmoder taleren om at forestille sig, at navnene på dyr intakt komponenter af en enkel sætning, såsom Xiaoming's box indeholder et/en ___, men hun skal kun udtale navnet på dyret åbenlyst.
    3. Erstatte de lyd segmenter af de to dyr i eksempel erklæringer med lyd af de to dyr, der anvendes i hvert forsøg for at skabe den fulde liste over test lydbånd. Først, åbne Praat (andre software til lydredigering er støtteberettigede alternativ) og klik på åben | Læse fra fil | Naviger til fil | Åbne og redigere, navigere til et element skal erstattes, og klik på Se og redigere | Rediger | Kopiere markerede til lyd Udklipsholder. Andet, bruge de samme trin til at åbne en eksempel-sætning, skal du klikke på Indsæt efter udvalg. Tredje, Klik gemme | gemme som wav-fil til at gemme de redigerede erklæring. Gentag processen for alle elementer skal ændres og alle test sætninger.
    4. Rekruttere omkring 10 indfødte af sproget test (Mandarin kinesisk her) for at fastslå, om konstruerede test lyden er forståelig og naturlig.
      Bemærk: Test audio registreres traditionelt som helhed og ikke som separat ord. Denne traditionelle optagelse metode er rimelig, hvis testen lyd er sig adskille ord. Hvis talesprog stimuli er sætninger i stedet for separate ord, men denne traditionelle metode har flere mangler: først, en allestedsnærværende egenskab for en kontinuerlig tale er at to eller flere tale lyde tendens til tidsmæssigt og rumligt overlapper, hvilket gør det svært at afgøre udbrud af den kritiske ord. For det andet gør afvigelsen mellem længden af forskellige forsøg det også vanskeligt at kombinere alle forsøg sammen til statistiske analyser. For det tredje er den traditionelle optagelse metode ofte tidskrævende især når antallet af test lyden er relativt store, som de eksperimenter, vi rapporterede i protokollen. For at overvinde manglerne i den traditionelle optagelse metode, foreslås en anden metode til at konstruere talte test lydbånd. Første, en liste af prøven sætninger indeholder de ord, der er udbredt blandt alle test lyden blev indspillet. For det andet, alle ord at Skift mellem forsøg blev også registreret i isolation. Endelig blev prøve sætninger erstattet med de registrerede ord til at konstruere den fulde liste over test lydbånd. I forhold til den traditionelle metode, har den nye metode flere fordele. Første, alle test lyden er nøjagtig det samme undtagen for de kritiske ord, og alle potentielle forstyrrende virkninger i testen lyd er fremover kontrolleret. Andet, er de samme i længden også gør segmenteringen af test lydbånd nemmere end når test lydbånd er optaget som helhed. En potentiel ulempe ved denne metode er, at den beregnede lyd kan ikke være naturligt. Fremover, har naturlighed test lyden skal evalueres, før de er berettiget til den faktiske test...
  3. Opdele de 240 test sætninger i fire grupper med hver gruppe, der indeholder 15 conjunctive udsagn, 15 disjunktiv erklæringer, 15 men sætninger og 15 fyldstof sætninger. Sikre, at hver deltager støder kun én gruppe af 240 forsøg: han/hun ser alle test billeder men hører kun én gruppe af test lydbånd.
    Bemærk: Dette er at tage fat på den bekymring, at hvis den samme stimulus gentages, deltagerne kan få vant til disse stimuli og muligvis selv blive strategiske om hvordan de har reageret på stimuli.
  4. Gem alle vigtige oplysninger om test stimuli i en tabulatorsepareret txt-fil, med hver række, der svarer til hver af de 240 forsøg. Sikre, at filen omfatter mindst følgende kolonner: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ billede, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    Bemærk: experiment_group bruges til at opdele de 240 forsøg i 4 grupper. sentential_connective svarer til forskellige forsøgsbetingelser. animal_1_image svarer til billedet af dyret, der præsenteres for det første for at sætte deltagerne med de dyr, der anvendes i test billede. test_image, test_audioog test_audio_length henviser til test billede og test lyden samt dens længde, der anvendes i den aktuelle retssag. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right refererer til navnet på de fire interesse områder i den aktuelle retssag, dvs., om det er en "Stor åben" boksen, "lille lukket" boks, den lille åben kasse der indeholder "først nævnt" dyret i testen lyd, eller små åbne kassen med "det andet nævnt" dyret i testen lyd. animal_1_audio og animal_1_audio_length henviser til lyd og længden af den lyd, der svarer til animal_1_image. animal_2_image, animal_2_audioog animal_2_audio_length svarer det andet dyr, som vil blive præsenteret. Én ting at understrege, er, at sekvens til at præsentere de to dyr opvejes med hensyn til om dyret er nævnt i først eller i anden halvdel af test lydbånd.

2. ramme den teoretiske forudsigelse om forsøgets udformning.

  1. Sikre deltagernes adfærdsmæssige reaktioner og øjenbevægelser i det eksperimentelle design kan bruges til at differentiere comprehensions af prøven sætninger og kan bruges til at træffe afgørelse i sagen mellem forskellige konti skal testes.
    Bemærk: Da det eksperimentelle design, er det korrekte svar til en conjunctive sætning den store åben kasse, som rubrik A i figur 1. Det rigtige svar på et men-erklæring er små åbne kassen med dyret bliver nævnt i den første halvdel af test lydbånd, såsom Box D i figur 1. Deltagernes svar til sætningen disjunktiv afhænger dog om og/eller hvordan de to diskuterede slutninger behandles. Hvis deltagerne beregne hverken den skalar Implikatur eller uvidenhed inferens, er alle boksene fire støtteberettigede muligheder. Hvis deltagerne beregne den skalar Implikatur men ikke uvidenhed inferens, så de store åbne, såsom rubrik A i figur 1, vil være udelukket, og de resterende tre bokse B, C og D er alle støtteberettigede muligheder. Hvis deltagerne beregne uvidenhed inferens, men ikke den skalar implikatura, så vil udelukkes de små åbne kasser, dvs., bokse, C og D vil være udelukket. For at opsummere, vil den lille lukkede boks, såsom rubrik B i figur 1, ikke vælges som det endelige valg af en disjunktiv erklæring indtil den skalar Implikatur og uvidenhed slutninger er begge beregnet.

3. opbygge de eksperimentelle Script

  1. Åbn den Experiment Builder, falde i hak fil | Nye til at oprette et eksperiment. Input projektets navn som vwp_disjunction. Vælg projekt placering. Kontrollere EyeLink eksperiment og vælge Eyelink 1000plus fra listen drop. Disse operationer vil oprette en undermappe, der indeholder alle filer relateret til eksperimentet vil det skabe en undermappe ved navn vwp_disjunction med en fil med navnet "graph.ebd" i mappen.
    Bemærk: Experiment Builder bruges til at opbygge den eksperimentelle script at præsentere test stimuli og registrere deltagernes øjenbevægelser samt deres adfærdsmæssige reaktioner. Experiment Builder er et hvad-jer-se-er-hvad-jer-blive værktøj til at bygge eksperimentelle script. Det er let at bruge, men alle andre stimuli præsentation software er støtteberettigede alternativ.
  2. Visualisere den hierarkiske struktur af en typisk eye-tracking eksperiment ved hjælp af visuelle verden paradigme, som det ses i figur 3. Hver pink rektangel i figur er implementeret som en SEKVENS objekt af Experiment Builder; og hvert objekt med grå baggrund er implementeret som en node objekt.
    Bemærk: En SEKVENS i Experiment Builder er en eksperimentel loop controller bruges til at sammenkæde forskellige objekter som en kompleks node. En sekvens begynder altid med en START node. Og en datakilde kan tilknyttes en sekvens node til at levere forskellige parametre for hvert forsøg.
  3. Bygge eksperiment sekvens
    1. Klik på fil | Åbn, gennemse i eksperimentet mappe og dobbeltklik på filen graph.ebd i mappen projekt at åbne den gemte eksperiment projekt.
    2. Klik på Rediger | Library Manager | Billede | Tilføj at indlæse billederne i eksperimentet projekt. På samme måde, skal du klikke på Edit | Library Manager | Lyd | Tilføj at indlæse lyd i projektets eksperiment.
    3. Træk et DISPLAY_SCREEN objekt i arbejdsplads og ændre dens etiketværdi på panelet egenskaber til at omdøbe det som instruktion. Dobbeltklik for at åbne noden instruktion , og klik på knappen Indsæt flere linjer tekst ressource at inddata den eksperimenterende undervisning. Sikre instruktionen indeholder følgende oplysninger:
      I hvert forsøg vil først du se billeder af to dyr, et dyr hver trykt på skærmen igen, sammen med lyden af de dyr, der spillede på de to talere beliggende på begge sider af skærmen. En sort prik vil derefter blive præsenteret på midten af skærmen. Du skal trykke på mellemrums-tasten mens du fikserer på dot. Næste, vil du se en test billede bestående af fire kasser trykt på skærmen og høre en test sætning der afspilles via de to højttalere. Din opgave er at finde Xiaoming's box ifølge test sætning du hørt og tryk på den tilsvarende knap så hurtigt som muligt:
      Øverst til venstre boks---venstre pil
      Top højre boks---pil op
      Nederste venstre boks---venstre pil
      Nederste højre boks---højre pil
      I hver test billede, vil du se fire kasser beliggende på de fire kvadranter og to dyr indeholdende i boksene. De fire kasser kan variere i to dimensioner: dens nærhed og dens størrelse. Hvorvidt en kasse er lukket eller ikke påvirker vores vidensmæssige viden på dette felt, men ikke dyret den indeholder. Hvis en boks åben, vides dyr indeholdt i denne rubrik. Hvis en kasse er lukket, så er dyret indeholdt i denne rubrik ukendt. Størrelsen af en boks påvirker antallet af dyr, der er indeholdt i boksen, men ikke vores vidensmæssige viden på dette felt. Ligegyldigt boksen er lukket eller ej, en lille boks kun og altid indeholder et dyr, og en stor kasse indeholder altid to forskellige dyr.
      Hvis du er fortrolig med den eksperimentelle formål og proceduren, lad så eksperimentatoren vide, og vi vil hjælpe dig med at udføre standard eyetracking kalibrering og validering rutiner. Hvis du har spørgsmål, så tøv ikke med at spørge.
      Bemærk: Dette er en instruktion, der udskrives på skærmen før eksperimentet (vejledningen skal skrives i sproget, der tales deltagerne taler, såsom Mandarin kinesisk her).
    4. Træk et tastatur objekt ind i arbejdsområdet.
      Bemærk: Dette trin bruges til at afslutte skærmbilledet instruktion
    5. Træk en SEKVENS objekt ind i arbejdsområdet og omdøbe den som blok.
    6. Vælg rækkefølgen, blok , skal du klikke på værdifeltet for egenskaben Data Source til at opdrage den Data Kilde Editor. Klik på knappen Importer Data på data kilde editor-skærmbillede, pande til den .txt fil oprettet i trin 1.4 at importere datakilden.
    7. Klik på knappen Randomisering indstilling i data Kildeeditor, check Aktiverer retssag randomisering, Vælg trial_number i værdifeltet i kolonnen felt, og vælg experimental_group fra drop-listen over de Opdele kolonnefelt.
    8. Træk den anden DISPLAY_SCREEN imod arbejdsplads og omdøbe den som farvel. Dobbeltklik på farvel noden og indsætte følgende oplysninger: i deltagernes modersmål (Mandarin kinesisk i denne protokol):eksperimentet er færdige og tak for meget din deltagelse.
    9. Venstre-klik på noden starter , trække pilen til noden instruktion , og slip museknappen for at tilslutte den starte node til noden instruktion . Gentag den samme musen bevæger tilsluttes instruktion node til noden tastatur , tastatur node til blok node, derefter blok node til noden farvel . Klik på Se | Arrangere Layout at arrangere noder i arbejdsområdet.
  4. Bygge blok sekvens
    1. Dobbeltklik for at åbne blok sekvens. Træk en El_CAMERA_SETUP node i blok sekvens til at opdrage en kamera setup skærmen på EyeLink Host PC for eksperimentatoren at udføre kamera setup, kalibrering og validering. Klik på feltet kalibrering Type i panelet og vælge HV5 på rullelisten.
      Bemærk: Antallet af lokationer i tilknytningsprocessen varierer mellem forskellige eksperimentelle design. De flere steder stikprøven og den mere plads dækket, jo større nøjagtighed kan forventes. Men flere prøver betyder mere tid til at afslutte processerne. Så praktisk, kan ikke antallet af lokationer i en særlig undersøgelse være meget store, især når deltagerne er preliterate børn eller kliniske patienter. I den visuelle verden paradigme, antallet af interesse områder er relativt lille, og områder af interesse er normalt relativt store. Tilknytningsprocessen kan nå et tilfredsstillende niveau med relativt lille antal steder. Protokollen beskrev jeg, brugte jeg en fem point kalibrering og validering.
    2. Træk en SEKVENS node i blok sekvens og omdøbe sig nemlig retssag. Tilsluttes CAMERA_SETUP node, derefter til noden SEQUENCERE noden starter .
  5. Opbygge retssag sekvensen
    1. Dobbeltklik for at åbne Trial sekvens, trække en DISPLAY_SCREEN node til retssag sekvens og omdøbe den som animal_1_image. Dobbeltklik for at åbne Skærmen Builder node og klik på knappen Indsæt billede ressource på værktøjslinjen skærmen Builder til at indsætte et dyr billede fra uploadet billede kilder. Klik på værdifeltet for egenskaben Source filnavn , navigere til DataSource knyttet til blok sekvens; og dobbeltklik på kolonnen Animal_1_Image for at forbinde DISPLAY_SCREEN med korrekte kolonne i datakilden.
    2. Træk en PLAY_SOUND node i retssag sekvensen og omdøbe den som animal_1_audio. Klik på egenskaben Lydfil af noden animal_1_audio og forbinde det med den rigtige kolonne i datakilden (som er beskrevet i trin 3.5.1).
    3. Træk en tidtager node i retssag sekvensen og omdøbe den som animal_1_audio_length. Klik på egenskaben varighed af den TIMER node og navigere til den korrekte kolonne i den datakilde, der er oprettet i 3.4.1.
    4. Træk en anden DISPLAY_SCREEN node, en anden PLAY_SOUND node, og en anden tidtager node i retssag sekvensen, omdøbe dem som animal_2_image, animal_2_audio, og dyr _2_audio_duration, Gentag de trin, der beskrives i trin 3.5.1 - 3.5.3.
      Bemærk: Disse trin er medtaget til kontrol for de potentielle forstyrrende, at det samme billede kan hedde forskelligt af forskellige deltagere. Modvægt sekvensen af præsentere de to dyr med hensyn til om det er nævnt i den første eller anden halvdel af test lydbånd.
    5. Træk en Forberede sekvens objekt til retssag sekvens og ændre egenskaben Drage til Eyelink vært for billedet.
      Bemærk: Denne node bruges til at forhåndsindlæse billede og lyd filer til hukommelse for real-time billede tegning og afspilning af lyd. Og det er også bruges til at tegne feedback grafik på den vært Datamaskine, således at deltagernes blik nøjagtighed kan overvåges.
    6. Træk en DRIFT_CORRECT node i retssag sekvensen til at indføre korrektionen for afdrift.
    7. Træk en ny SEKVENS node og omdøbe den som optagelse. Tilslut den START til disse noder en efter en.
  6. Bygge optagelse sekvens
    1. Check feltet Record i panelet ejendom i optagelse sekvens, og dobbeltklik for at åbne den optagelse sekvens.
      Bemærk: En sekvens med post ejendom tjekket betyder at deltagernes øjenbevægelser i denne periode vil blive registreret.
    2. Træk en ny DISPLAY_SCREEN ind i post -sekvensen, omdøbe det som test_image. Tilføj besked test_image_onset i egenskaben besked af noden test_image .
      Bemærk: I data analyser fase, besked i noden test_image og besked i noden test_audio (punkt 3.6.6) er vigtigt at finde starten af test-billeder og udbrud af test lydbånd i hvert forsøg.
    3. Dobbeltklik for at åbne Skærmen Builder node og klik på knappen Indsæt billede ressource på værktøjslinjen skærmen Builder til at indsætte ethvert dyr billede fra uploadet billede kilder. Klik på værdifeltet på Kildefilens navn ejendom, navigere til DataSource knyttet til blok sekvens; og dobbeltklik på kolonnen test_image for at forbinde DISPLAY_SCREEN med korrekte kolonne i datakilden.
    4. Dobbeltklik på DISPLAY_SCREEN noden for at åbne Skærmen Builder, skal du klikke på knappen Indsæt rektangel interesse områderegion og tegne fire rektangulære områder af interesse som illustreret ved de blå kasserne i figur 1. Ændre mærkningen af de fire områder af interesse for Top_Left, Top_Right, Bottom_Leftog Bottom_Right, og Tilslut DataViewer navn gemt med de korrekte kolonner i datakilden.
      Bemærk: Disse områder er usynlige for deltagerne. For at gøre områderne af interesse mere meningsfuld, mærke navn i øverste venstre område i eksemplet som "Kasse en (stor åben)", øverste højre område som "Boks B (lille lukket)", nederst til venstre område som "Rubrik C (andet nævnt)", og området nederste højre område som "rubrik D (først nævnt)" , fordi de to små åbne kasser indeholder de to dyr er nævnt i første og anden halvdel af test lydbånd, henholdsvis.
    5. Træk en tidtager node til arbejdsområdet, omdøbe det som Pause, og ændre egenskaben varighed til 500 ms.
      Bemærk: Denne TIMER node tilføjer nogle tidsforskydning mellem udbrud af test billede og udbrud af test-lyd. Forsinkelse giver deltagerne en chance for at orientere med test-billeder. Deltagernes øjenbevægelser i dette preview periode også give en baseline til bestemmelse af virkningerne af talesprog input, især når de kritiske ord er beliggende i starten af test lydbånd.
    6. Træk en PLAY_SOUND node i til arbejdsplads og omdøbe den som test_audio. Klik på egenskaben Lydfil og forbinder det med den rigtige kolonne i datakilden (som er beskrevet i trin 3.5.1) og tilføje beskeden test_audio_onset i egenskaben besked .
    7. Træk en tidtager node til arbejdsplads, omdøbe det som test_audio_length. Ændre egenskaben varighed til 10500 ms.
    8. Tilføje en ny TIMER node, omdøbe det som record_extensionog ændre egenskaben varighed til 4000 ms.
    9. Tilføje en ny tastatur node i arbejdsplads, omdøbe det som adfærdsmæssige reaktionerog ændre egenskaben acceptable nøgler til "[op, ned, højre, venstre]".
      Bemærk: Deltagernes adfærdsmæssige valg kan bruges til at dobbelttjekke gyldigheden af konklusionen kan udledes af deltagernes øjenbevægelser.
    10. Tilslut noden starter til Pause, test_audio, test_audio_length, derefter til Record_extension node. Tilføje en anden forbindelse fra test_audio_length til behavioral_responses node.
      Bemærk: Ved at tilføje disse forbindelser, aktuelle retssag vil ende og en ny retssag vil starte efter at deltagerne lavede et tastetryk at vælge Xiaomingboks, eller 4000 ms efter forskydningen af testen lyd.
    11. Trække en variabel node til arbejdsplads, omdøbe det som key_pressedog tilsluttes behavioral_Responses tastatur egenskaben værdi | Udløst Data |  Nøglen.
    12. Træk en RESULT_FILE node til arbejdsplads, trække en ADD_TO_RESULT_FILE node til arbejdsplads, og Tilslut både record_extension noden og noden behavioral_responses til ADD_TO_RESULT_FILE node.
  7. Klik på eksperiment | Opbygge for at bygge eksperimentelle scriptet, skal du klikke på eksperiment | Test køre til at teste løbe eksperimentet. Efter alt er færdig, skal du klikke på eksperiment | Implementere til at oprette en eksekverbar version af det forsøgsprojekt.
    Bemærk: For mere information om hvordan du bruger Experiment Builder, skal du kontakte software manuel27.

4. Ansæt deltagere

  1. Sikre deltagerne at have normale eller korrigeret normal vision. Anbefale, at kortsigtede deltagerne til at bære kontaktlinser, men briller er også acceptabelt, så længe linserne er ren. Sikre, at alle deltagere er indfødte af sproget test som Mandarin kinesisk her.
    Bemærk: Som en generel retningslinje skal en deltager betragtes som støtteberettigede, så længe deltageren kan se test-billeder i en afstand af omkring 60 centimeter. Antallet af deltagere, ifølge nogle tommelfingerregler, bør antallet af deltagere til regressionsanalyse ikke mindre end 50. Her, deltog syvogtredive postgraduate studerende fra Beijing sprog og kultur Universitet i forsøget, som er lidt mindre end den anbefalede mængde.

5. udføre eksperimentet

Bemærk: Når deltagerne er normalt udviklede voksne, en eksperimentatoren er nok til at gennemføre adfærd eksperimentet. Men hvis deltagerne er særlige befolkningsgrupper, såsom børn, to eller flere eksperimentatorer er påkrævet.

  1. Vælg en øje tracker at optage deltagernes øjenbevægelser.
    Bemærk: Øjet tracker anvendes i dette eksperiment er Eyelink 1000plus kører under gratis at flytte hovedet tilstand. Dette er en video-baseret, desktop monteret eye tracking system, ved hjælp af princippet om elev med hornhinde refleksion (CR) til at spore øjets rotation. Når du kører under gratis at flytte hovedet tilstand, har øje tracker monokulære sampling-hastighed på 500 Hz, med en rumlig opløsning af 0,01 ° og en gennemsnitlig fejl på mindre end 0,5 °. Mere detaljerede oplysninger om systemet, skal du kontakte sin tekniske specifikation28,29. Alternative bane kan bruges, men dem med remote sporingstilstand er bedre, især når deltagerne er preliterate børn.
  2. Starte systemet på Host PC at starte værtsprogrammet af kameraet.
  3. Du kan konfigurere systemet til remote skrivebordstilstand, skal du klikke på knappen Sæt , angive indstillingen konfiguration Desktop--Target mærkat--monokulære--16/25 mm længde - RTARBLER.
  4. Klik på den eksekverbare udgave af forsøgsprojekt på Display PC, input deltagerens navn, og vælg en gruppe fra den lynhurtig rude til Vælg betingelse værdi til at køre.
    Bemærk: Hver test session vil oprette en mappe med navnet indtastet under undermappe resultaterne af eksperiment projektet. EUF-fil under mappen indeholdt relevante øje bevægelser data.
  5. Spørge deltagerne til at sidde ca 60 cm fra en 21 tommer, 4:3 farveskærm med 1024px x 769px opløsning, hvor 27 pixels er lig med 1 grad af vinkel.
  6. Justere højden på Display PC-skærm til at sikre, at når deltageren er siddende og kigge ligeud, de søger lodret på midten til top 75% af skærmen.
    Bemærk: Stolen, skrivebord og/eller PC-skærm er foretrukne hvis de er justerbar i højden. Stolen og skrivebord med hjul bør undgås, da de har tendens til at forårsage utilsigtet bevægelse og roll.
  7. Placer en lille mål mærkat på deltagernes pande, til at spore den hovedets stilling, selv når eleven billedet er tabt, som under blinker eller pludselige bevægelser.
    Bemærk: Forskellige øje trackers kan bruge forskellige metoder til at spore deltagernes hoved. For at maksimere sideværts bevægelse vifte af emnet, bør den registrerede øje på samme side som illuminator.
  8. Rotere den fokusering arm på skrivebord mount at bringe øje billede i fokus.
  9. Klik på knappen Kalibrer på værten Datamaskine hen til foretage kalibreringen af spørge deltagerne til at fiksere et gitter af fem fiksering mål i tilfældig rækkefølge med ingen åbenlys adfærdsmæssige reaktioner, skal tilknyttes blik for henvisning deltagernes øjenbevægelser i den visuelle verden.
  10. Klik på knappen Valider på værten Datamaskine at validere kalibreret resultaterne af spørge deltagerne til at fiksere det samme gitter af fiksering mål. Gentag kalibrering og validering rutiner, når fejlen er større end 1°.
  11. Gennemføre de to rutiner i begyndelsen af eksperimentet, og når målenøjagtigheden er dårlig (fx., efter stærk hoved bevægelser eller en ændring i deltagernes kropsholdning).
  12. Klik på knappen Indspil på værten Datamaskine at starte eksperimentet.
  13. Udføre en kontrol af afdrift hvert forsøg ved at spørge deltagerne til tryk på mellemrums -tasten på tastaturet mens du fikserer på den sorte prik i midten af skærmen.
    Bemærk: Når deltagerne er preliterate børn eller kliniske patienter, udtrykkeligt instruere dem til tryk på tastaturet mens fikserer den sorte prik er normalt upraktisk. Men deres opmærksomhed og øjet fjernsynsforetagender tendens til at blive automatisk tiltrukket af den viste sorte prik. I dette tilfælde, bør eksperimentatoren person til tryk på tastaturet, mens deltageren fikserer på den sorte prik.
  14. Præsentere de visuelle stimuli via Display PC-skærm og spille de auditive stimuli via et par af eksterne højttalere ligger til venstre og højre side af skærmen (øretelefoner accepteres også).
    Bemærk: Optagelserne afspilles fra harddisken som 24 kHz mono lyd klip. Hvis der er ingen særlig grund, er mono lyd klip foretrukket til stereo lyd klip. I en stereo lyd klip, kan forskellen mellem de to lydspor, som forskellen mellem de to højttalere påvirke deltagernes øjenbevægelser. For mere information om hvordan at bruge øjet tracker, henvises bruger manuel30.

6. data kodning og analyser

  1. Åbne Data Viewer, skal du klikke på fil | Importfilen | Importere flere Eyelink datafiler at importere alle de registrerede øje tracker filer (med udvidelse af EUF), og gemme dem i en enkelt . EVT fil.
  2. Åbn den gemte evt-fil og klik på analyse | Rapporter | Prøve rapporten til at eksportere rå eksempeldata med ingen akkumulering.
    Bemærk: Hvis øjet tracker har en samplingfrekvens på 500 Hz, de eksporterede data vil have 500 datapunkter, fremover 500 rækker, per andet pr. forsøg. Hvis deltagernes venstre øje er sporet, sikre følgende kolonner samt de variabler, der er oprettet i datakilden eksporteres: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ STØRRELSE, SAMPLE_INDEX, SAMPLE_MESSAGE. For mere information om hvordan du bruger Data Viewer, skal du kontakte software manual31.
  3. Begrænse de statistiske analyser til vinduet tidsmæssige fra starten af test billedet til forskydningen af test lydbånd, dvs., de tidsmæssige vindue med varigheden af 11 s.
  4. Slet de prøver, hvor deltagernes øjenbevægelser ikke registreres, som deltagerne blinke deres øjne, som rammer ca 10% af de registrerede data.
    Bemærk: Dette er en valgfri skridt, som resultaterne er normalt de samme, uanset om disse prøver slettet.
  5. Kode data. At konstruere data for et bestemt område af interesse i en bestemt indsamlingspunkt, kode data som 1 Hvis deltagernes øjet fiksering er beliggende i området af interesse der skal analyseres ved at indsamlingspunkt. Kode data som 0, hvis øjet fiksering ikke ligger i områderne af interesse på denne indsamlingspunkt.
  6. Tegne en del-af-fiksering for at visualisere de fremkomne data. Beregn andel af optagelsen over visse område af interesse, gennemsnitlige de kodede data for alle prøver og alle deltagere i hver prøve punkt under hver tilstand. Afbilde den beregnede andel af optagelse på y-aksen mod indsamlingspunkt på aksen, med forskellige paneler betegner interesseområder og plotte farverne angiver forskellige forsøgsbetingelser.
    Bemærk: I eksperimentet, de fire paneler afbildet deltagernes fiksering mønstre på de fire områder af interesse. De røde, grønne og blå linjer illustreret deltagernes fiksering mønstre, når test udsagn var konjunktioner (S1 og S2), men-sætninger (S1 men ikke S2) og udskilte beløb (S1 eller S2), henholdsvis. Den software, der bruges til at tegne den beskrivende plot er ggplot2 pakken fra R miljø. Der findes også andre software. Figur 5 er et eksempel på sådanne plot.
  7. Fit en binomial generaliserede lineære blandede model (GLMM) på hvert område af interesse på hver indsamlingspunkt, som data blev kodet som enten 1 eller 0, afhængigt af om deltagerens fiksering er beliggende i eller uden for området af interesse på denne indsamlingspunkt.
    NOTE: Data ikke er arkiveret lodret, og den kodede data kan kun være 1 eller 0, så fordelingen af de kodede data er binære snarere end normal. Herefter anvendes en GLMM model med familien af binomial distribution. GLMM model omfatter en tidsbegrænset, eksperimentelle betingelser og to tilfældige vilkår, deltagere og elementer. Formlen evalueres af to tilfældige betingelserne omfatter både skæringspunkt og hældning af de eksperimentelle betingelser. Den software, der bruges til at gøre modellen montering er pakken lme4 fra R miljø. Der findes også andre software. Én ting bør nævnes, er, at baseline af de faste punkter afveg Hvornår analyseret interesseområde, dvs., boksene analyseret er forskellige. Konkret blev sammen (S1 og S2) valgt som oprindeligt når du analyserer boksen big-åben (boks A), disjunktion (A og B) blev valgt som oprindeligt når du analyserer den lille-lukket boks (boks B), og sætningen men blev valgt som den oprindelige plan når du analyserer den førstnævnte boks (boks D).
  8. Bonferroni justere p værdier opnået med Wald z test, til at reducere den familywise fejl fremkaldt af flere sammenligninger.
    Bemærk: Bonferroni justering er den traditionelle måde at tackle den familywise fejl fremkaldt af flere sammenligninger. Andre metoder er også tilgængelige, som vi beskrev i afsnittet Introduktion.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Deltagernes adfærdsmæssige reaktioner er sammenfattet i figur 4. Som vi beskrev tidligere, er det korrekte svar til en conjunctive sætning (S1 og S2) den store åben kasse, som rubrik A i figur 1. Det rigtige svar på et men-erklæring (S1 men ikke S2) er små åbne kassen med det første nævnte dyr, såsom Box D i figur 1. Kritisk, som boksen er valgt at sætningen disjunktiv (S1 eller S2) afhænger af hvordan en disjunktiv udtalelse behandles: den lille lukkede boks, såsom rubrik B i figur 1, er valgt kun når den skalar Implikatur og uvidenhed slutninger forbindelse med sætningen disjunktiv er begge beregnet. Figur 4 illustrerer, at når begribe en disjunktiv erklæring (S1 eller S2), deltagerne beregne både to slutninger.

Derudover foreslå deltagernes øje optagelser på små lukkede kassen, især når disse optagelser er efterfulgt af de adfærdsmæssige reaktioner på at boks, også at den skalar Implikatur og uvidenhed slutninger er beregnet. De to slutninger skal er blevet behandlet senest den tidligste tidsmæssige punkt når deltagerne flytte deres visuelle opmærksomhed og optagelse på den lille lukkede boks. Deltagernes øjenbevægelser er sammenfattet i figur 5. Som vi kan se i panelet B, øge ikke deltagernes øje-optagelse på den lille-lukket boks (boks B) medmindre den sentential bindevæv er disjunktiv bindevæv, eller. Desuden, denne stigning begynder ikke senere end forskydningen af den disjunktiv bindevæv. Dette tyder på, at både den skalar Implikatur og uvidenhed slutninger er beregnet før forskydningen af sentential bindevæv, dvs., straks efter støder den disjunktiv bindevæv.

Figure 1
Figur 1 . Et eksempel på de test billeder brugt i forsøget. Det grå område er den test billede faktisk bliver præsenteret for deltagerne. Boksene blues, de stiplede linjer og pixel betegner bredde af elementerne er kun med henblik på illustration og er usynlige for deltagerne. (Tilpasset fra eksperiment, en af L. Zhan 17 med tilladelse). Venligst klik her for at se en større version af dette tal.

Figure 2
Figur 2 . Et eksempel på de test sætninger bruges i eksperimentet (Genoptrykt fra L. Zhan17 med tilladelse). Venligst klik her for at se en større version af dette tal.

Figure 3
Figur 3 . Den hierarkiske struktur af en typisk eye-tracking eksperiment ved hjælp af visuelle verden paradigme. Audio illustreret i billedet er de engelske oversættelser af Mandarin kinesisk anvendes i forsøget. Venligst klik her for at se en større version af dette tal.

Figure 4
Figur 4 . Deltagernes adfærdsmæssige reaktioner der registreres i eksperimentet (tilpasset fra eksperimentet en L. Zhan17 med tilladelse). Venligst klik her for at se en større version af dette tal.

Figure 5
Figur 5 . Deltagernes øje bevægelser observeret i eksperimentet. Debut og forskydning af de sentential connectives er tilkendegivet ved to stiplet lodret linjer. En væsentlig forskel mellem disjunktiv og den hidtidige tilstand på visse prøveudtagningsstedet er tilkendegivet ved det grå område (p <.05, Bonferroni justeret) (tilpasset fra L. Zhan17 med tilladelse). Venligst klik her for at se en større version af dette tal.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

For at foretage en visuel verden, er der flere vigtige skridt til at følge. Første gang, forskere har til hensigt at udlede fortolkningen af auditorily præsenteres sprog via deltagernes øjenbevægelser i den visuelle verden. Fremover, i at designe layout af de visuelle stimuli, bør egenskaberne af øjenbevægelser i en naturlig opgave, der potentielt kan påvirker deltagernes øjenbevægelser kontrolleres. Effekten af det talte sprog på deltagernes øjenbevægelser kan derefter blive anerkendt. Andet, akustiske signaler i det talte sprog er forbigående og der er ingen akustiske signaturer, der udelukkende svarer til visse sproglige kategori. Til korrekt tid-lock deltagernes øjenbevægelser med udbruddet af nogle sproglige markør, bør forskere finde en objektiv og sammenhængende måde at definere grænsen for nogle sproglige struktur. For det tredje for at korrekt kort deltagernes øje rotation omkring hovedet med deres blik af henvisning i den visuelle verden, skal forskere udføre en eller flere kørsler af kalibrering, validering og drift korrektion processer. Fjerde, oplysninger indhentet fra en visuel verden undersøgelse har nogle ejendommelige egenskaber, såsom at være nedre og øvre afgrænset, og at have autocorrelated fejl osv. Disse ejendommelige egenskaber bør overvejes, når en metode er valgt til statistisk analyse af data.

En visuel verden undersøgelsen består af tre væsentlige komponenter: visuel visning, talesprog, eksperimentelle opgave. Ændringer kan foretages på enhver komponent at opfylde forskernes specifikke formål. Første, en visuel visning er normalt en screening display skildrer en bred vifte af billeder. Men det kan også være en screening display skildrer et array af trykte ord32, en skematisk scene30,31eller en virkelige verden scene der indeholder virkelige objekter1,32. For det andet, de talte ytringer kan være et ord36, en enkel sætning30,31, en semantisk komplekse redegørelse17,34,35, eller en dialog39. Tredje, med hensyn til den eksperimentelle opgave, deltagerne enten simpelthen anmodes om at se på den visuelle verden og lytte omhyggeligt til auditiv ytringer30,31; eller er at være forpligtet til at gøre nogle adfærdsmæssige reaktioner, som handler ud bevægelser beskrevet af auditive ytring1, afgøre, hvorvidt den auditive ytring gælder visuelle display38eller at vælge den korrekte billede i den visuelle display den talte ytring taler om17.

Den visuelle verden paradigme, sammenlignet med andre psycholinguistic teknikker, har flere unikke fordele. Først, den visuelle verden paradigme kan anvendes i en bred af befolkningsgrupper, herunder dem, der ikke kan læse og/eller der åbenlyst ikke kan give deres adfærdsmæssige reaktioner såsom preliterate børn37,38,39, 40 , 41 , 42, ældre voksne46og patienter (fx., aphasics)47. Dette er fordi sprog stimuli er præsenteret i den auditive og ikke i form af skrevne tekster; og sprogforståelsen er udledes fra deltagernes implicitte automatisk øjenbevægelser ikke fra deres åbenlyse adfærdsmæssige reaktioner. Andet er visuelle verden paradigme ekstremt følsomme over for finkornet manipulationer af tale signal. Dette paradigme kan bruges til at studere den online behandling af de fleste emner i sprogforståelse på flere niveauer: fint kornet akustiske fonetiske funktioner33,45,46egenskaber ord30,31, sproglige strukturer1,47, og de logiske strukturer af semantisk komplekse udsagn som concessives37, biconditionals37, Conditionals38, og udskilte beløb17.

Den visuelle verden paradigme, sammenlignet med andre psycholinguistic teknik, har også nogle potentielle begrænsninger. Først, deltagernes fortolkning af det talte sprog er udledt af deres øjenbevægelser på visuel verden, ikke fra selve fortolkningen af sprog stimuli per se. herefter egenskaberne sprog, der kan studeres med den visuelle verden paradigme er begrænset til dem, der kan visualiseres, dvs., de skal være en eller anden måde relateret til enheder eller begivenheder i den visuelle verden. Andet er visuelle verden paradigmet anvendes normalt mere begrænset end den faktiske visuelle verden, med et begrænset sæt af afbilledet henvisninger og et begrænset sæt af mulige handlinger. Denne såkaldte lukket sæt problem48 kan oprette opgave-specifikke strategier, at de observerede sprogbehandling ikke generalisere ud over de specifikke situationer lavet i eksperimentet. Fremover, kan paradigme ikke være følsom til Karakteristik af sproglig viden og erfaring liggende uden for den lukkede-sæt, der er konstateret for et givet forsøg.

Visuel verden paradigme udforsker hovedsagelig integration af oplysningerne fra den visuelle domæne og oplysninger fra den auditive domæne. Teoretisk set, alle oplysninger, der kan blive behandlet af de to sensationelle domæner kan potentielt studeres ved hjælp af dette paradigme. For eksempel, kan den visuelle verden være virtuel virkelighed eller dynamisk videoer. Den auditive input er ikke nødvendigvis sprog, og kan være et andet format, som musik og lyd fra den naturlige verden mv. Desuden kan dette paradigme udvides yderligere til at udforske integration af information fra andre domæner, i stedet for domænet visuelle og den auditive domæne. For eksempel kan forskere bruge denne teknik for at se hvordan deltagerne optagelse i den visuelle verden påvirkes af forskellige dufte, forskellige rører mv.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Forfatteren erklærer, at han har ingen konkurrerende finansielle interesser.

Acknowledgments

Denne forskning blev støttet af Science Foundation for Beijing sprog og kultur Universitet under den grundlæggende forskningsmidler til Central universiteter (godkendelse nummer 15YJ050003).

Materials

Name Company Catalog Number Comments
Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Tags

Adfærd spørgsmål 140 eyetracking teknik visuel verden paradigme talesprog online behandling komplekse erklæring generaliserede lineære blandede model binomial distribution familywise fejl Bonferroni justering
Ved hjælp af øjenbevægelser registreres i den visuelle verden paradigme at udforske Online behandling af talesprog
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhan, L. Using Eye Movements… More

Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter