Waiting
Processando Login

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Øyebevegelser registrert i visuell verden paradigmet å utforske Online behandling av språk

Published: October 13, 2018 doi: 10.3791/58086
Automatic Translation
1
1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

Visuell verden paradigmet overvåker deltakernes øyebevegelser i visuelle arbeidsområdet mens de lytter til eller snakker et talespråk. Dette paradigmet kan brukes til å undersøke online behandling av en rekke psycholinguistic spørsmål, inkludert semantisk komplekse setninger som disjunktiv uttalelser.

Abstract

I en typisk eye tracking studie bruker visuell verden paradigmet, deltakernes øye bevegelser til objekter eller bilder i visuelle arbeidsområdet registreres via et øye-sporing som deltakeren produserer eller forstår et språk som beskriver den samtidige visuelle verden. Dette paradigmet har høy allsidighet, som det kan brukes i en rekke befolkninger, inkludert de som ikke kan lese og/eller som kan ikke åpenlyst gi atferdsdata svar, som preliterate barn, eldre voksne og pasienter. Enda viktigere, paradigmet er svært følsom for finkornet manipulasjoner av tale, og det kan brukes å studere online behandling av de fleste emner i språk forståelse på flere nivåer, for eksempel finkornet akustisk fonetisk funksjoner, egenskaper for ord og de lingvistiske strukturene. Protokollen beskrevet i denne artikkelen illustrerer hvordan en typisk visuell verden eye tracking studie gjennomført, med et eksempel viser hvordan online behandling av noen semantisk komplekse setninger kan utforskes med visuell verden paradigmet.

Introduction

Språk er en rask, pågående informasjonsflyt, som forsvinner umiddelbart. Det er en utfordring å eksperimentelt studere denne timelige, raskt endre tale signal. Øyebevegelser registrert i visuell verden paradigmet kan brukes til å mestre denne utfordringen. I en typisk eye tracking studie bruker visuell verden paradigmet, overvåkes deltakernes øyebevegelser bilder i en visning eller virkelige objekter i et visuelt arbeidsområde som de lytter til, eller produsere, språk som viser innholdet i den visuelle verden1 ,2,3,4. Den grunnleggende logikken, eller knytte hypotesen bak dette paradigmet er at forstå eller planlegger en ytring (åpent eller skjult) flyttes deltakernes visuell oppmerksomhet til et bestemt objekt i visuelle verden. Denne oppmerksomhet Skift har en høy sannsynlighet for å starte en saccadic øyebevegelser for å bringe området gikk inn foveal visjon. Med dette paradigmet skal forskere bestemme hvilket timelige punkt, med hensyn til noen akustisk landemerke i talen signalet, oppstår et skifte i deltakerens visuell oppmerksomhet, målt ved en saccadic øyebevegelser til et objekt eller et bilde i visuelle verden. Når og hvor saccadic øyebevegelser er lansert i forhold til talen signalet brukes deretter utlede online omgangsspråk behandling. Visuell verden paradigmet kan brukes å studere både talespråk forståelse1,2 og produksjon5,6. Denne metodologiske artikkelen vil fokusere på forståelse studier. I en forståelse studie bruker visuell verden paradigmet, deltakernes øye bevegelser på visuell visning overvåkes mens de lytter til de talte ytringer snakker om visuell visning.

Ulike øye sporingssystemer er utformet i historien. Den enkleste, minst kostbare, og de fleste bærbare systemet er bare et vanlig videokamera, som registrerer et bilde av deltakernes øyne. Øyebevegelser er deretter manuelt kodet gjennom frame-by-frame undersøkelse av video-opptaket. Imidlertid samplingsfrekvensen for slik en øye-sporing er relativt lav, og koding prosedyren er tidkrevende. Således, en moderne kommersielle øye sporing systemet vanligvis bruker optiske sensorer måler retningen på øyet i sin bane7,8,9. For å forstå hvordan en moderne kommersielle øye-sporing systemet fungerer, bør følgende punkter vurderes. Først, for å måle riktig retning foveal visjon, en infrarød illuminator (normalt med bølgelengde rundt 780-880 nm) er normalt lagt sammen eller den optiske aksen av kameraet, og bildet av eleven distinguishably lysere eller mørkere enn omkringliggende iris. Bildet av eleven og/eller elev hornhinnen refleksjon (normalt det første bildet Purkinje) brukes deretter til å beregne retningen på øyet i sin bane. Andre er blikk plasseringen i visuelle verden faktisk betinget ikke bare på øyet retningen med hensyn til hodet, men også på hodet retning når det gjelder visuell verden. Å nøyaktig antyde blikk av forbindelse fra øye retningen, lyskilden og kameraet av det øye-bane er løst med hensyn til deltakernes hode (leder-montert øye-bane) eller er løst med hensyn til visuelle verden (tabell-montert eller ekstern øye-bane). Tredje deltakernes hodet retning heller være faste forhold til visuelle verden eller kompenseres beregningsmessig hvis deltakernes hodet er gratis å flytte. Når en ekstern øye-sporing brukes i hodet-gratis-å-move modus, registreres vanligvis deltakernes stilling ved å plassere et lite klistremerke på deltakernes pannen. Hodet retningen trekkes deretter beregningsmessig fra øye retningen hente blikket plasseringen i visuelle verden. En kalibrering og en valideringsprosessen kreves fjerde deretter tilordne retningen på øyet med blikk for hensyn i visuelle verden. I kalibreringsprosessen registreres deltakernes fiksering prøver fra kjente mål poeng for å tilordne dataene til rå øye å stirre posisjon i visuelle verden. I valideringsprosessen presenteres deltakerne med samme mål poeng som kalibreringsprosessen. Forskjellen mellom beregnede fiksering posisjonen fra kalibrert resultatene og den faktiske posisjonen til fiksert målet i visuelle verden eksisterende brukes deretter til å bedømme nøyaktigheten av kalibreringen. For å ytterligere bekrefte nøyaktigheten av tilordningen, en drift sjekk brukes vanligvis ved hvert forsøk, der en enkelt fiksering mål er presentert for deltakerne å måle forskjellen mellom beregnede fiksering posisjon og den faktiske posisjonen til den gjeldende målet.

Primærdataene av en visuell verden studie er en strøm av blikk steder i visuelle verden innspilt med samplingsfrekvensen i øye-sporing, spenner over hele eller deler av rettssaken varighet. Den avhengige variabelen brukes i en visuell verden studie er vanligvis andelen prøver at deltakernes fixations ligger på visse romlige region i visuelle verden over en viss tidsvindu. Analysere dataene, har et tidsvindu først velges, ofte referert til som perioder av interesse. Tidsvinduet er vanligvis tid-låst til presentasjon av noen språklige hendelser i auditiv input. Videre er visuelle verden også nødvendig å dele inn i flere områder av interesse (ROIs), hver av dem er knyttet til ett eller flere objekter. En slik region inneholder objektet tilsvarer riktig forståelse av talespråket, og dermed kalles ofte målet. Vanlig måte å visualisere dataene er en del av fiksering plot, der på hver hylle i et tidsvindu, andelen av prøver med en se til områder av interesse er gjennomsnitt over deltakere og elementer.

Bruker data fra en visuell verden studie, ulike forskning spørsmål kan besvares: en) på grovkornet nivå, er deltakernes øyebevegelser i visuelle verden berørt av ulike auditiv språklige innspill? b) hvis det er en effekt, hva er banen effekt i løpet av rettssaken? Er det en lineær effekt eller signifikante effekt? og c) hvis det er en effekt, deretter på fin-korn nivå, når er det tidligste timelige punktet der slik effekt kommer og hvor lang tid dette siste?

Statistisk analysere resultatene, bør følgende punkter vurderes. Først grenser svar variabelen, dvsandelen fixations, både under og over (mellom 0 og 1), som vil følge en MULTINOMINELL distribusjon i stedet for en normalfordeling. Heretter, kan ikke tradisjonelle statistiske metoder basert på normal fordeling som t-test, ANOVA og lineære (blandet-effekt) modeller10, brukes direkte til proporsjonene har blitt forvandlet til ubegrenset variabler som med empirisk logit formel11 eller erstattet med ubegrenset avhengig av variabler som euklidsk avstand12. Statistiske teknikker som ikke krever forutsetning av normalfordeling slik generaliserte lineære (blandet-effekt) modeller13 kan også brukes. Andre for å utforske endre banen observert effekt, har en variabel angir tiden-serien legges inn i modellen. Denne tidsserier variabelen er opprinnelig øye-sporing sampling poeng realigned til utbruddet av språket inngang. Siden endre banen vanligvis ikke er lineær, legges vanligvis høye polynom funksjon av tiden-serien i (generalisert) lineær (blandet-effekt) modell, dvsvekst kurve analyser14. Videre deltakernes øyet stillinger i gjeldende prøvepunkt er svært avhengig av forrige utvalg datapunkt, spesielt når innspillingen frekvensen er høy, gir problemet autokorrelasjon. For å redusere autokorrelasjon mellom de tilstøtende prøvepunkter, er opprinnelige dataene ofte nedjustert eller binned. De siste årene, har generalisert additiv blandet effekt modeller (GAMM) også blitt brukt til å takle autocorrelated feil12,15,16. Bredden på hyller varierer mellom forskjellige studier, mellom flere millisekunder flere hundre millisekunder. Smaleste hyllen en studie kan velge begrenses av samplingsfrekvensen i øye sporing brukes i bestemte studien. For eksempel hvis en øye-sporing har en samplingsfrekvens på 500 Hz, kan ikke deretter bredden på tidsvinduet være mindre enn 2 ms = 1000/500. Tredje Når en statistisk analyse brukes flere ganger hver gang hylle av perioder av interesse, familywise feilen indusert fra disse flere sammenligninger bør håndteres. Som vi beskrevet tidligere, bane analyse informerer forskeren om effekten observert på grovkornet nivå er lineær når det gjelder endring av tiden, men viser ikke når observert effekten begynner å dukke opp og hvor lenge de observerte effekten varer. For å avgjøre den timelige posisjonen når observert forskjellen begynner å divergere og finne ut varigheten av timelige perioden som observerte effekten varer, har en statistikken analyse skal brukes flere ganger hver gang hylle. Disse flere sammenligningene vil introdusere såkalte familywise feilen, uansett hva statistiske metoden brukes. Familywise feilen er tradisjonelt rettet med Bonferroni justering17. Nylig har en metode kalt parametriske permutasjon test opprinnelig brukt i neuroimaging arkivert18 er brukt visuell ordet paradigmet19 kontroll for familywise feil.

Forskerne bruker visual verden paradigmet hensikt å antyde forståelse av noen språk fra deltakernes øyebevegelser i visuelle verden. For å sikre gyldigheten av denne fradraget, bør andre faktorer som påvirker muligens øyebevegelser være enten utelukkes eller kontrollert. Følgende to faktorer er blant de vanligste som må vurderes. Den første faktoren innebærer noen systematisk mønstre i deltakernes forklarende fixations uavhengig av språket inngang, som tendensen til fixate på toppen til venstre quadrat visuell verden og bevegelige øyne i horisontal retning er lettere enn i den loddrette retningen, etc.12,20 for å sikre at den observerte fiksering mønsteret er knyttet til objekter, ikke til de romlige stedene der objektene ligger, romlig plasseringen av et objekt skal være balansert over forskjellige studier eller på tvers av ulike deltakerne. Den andre faktoren som kan påvirke deltakernes øyebevegelser er de grunnleggende funksjonene av objektene i visuelle verden, deriblant lysstyrke kontrast, farge og kanten orientering, blant annet21. For å diagnostisere dette potensialet forvirrende, visuell visning er vanligvis presentert før utbruddet av talespråket eller før utbruddet av kritiske akustisk merket av talespråket, ca 1000 ms. i timelige perioden fra utbruddet av den testavbildningen starten på test lyd, språket input eller utmerkede poenget med språket input har ikke blitt hørt ennå. Noen forskjell observert mellom ulike forhold bør kunne utledes til andre forvirrende faktorer som visuelle visningen sådan, språket inngang. Heretter, være øyebevegelser observert i denne forhåndsvisningen perioden grunnlaget for å bestemme effekten av språklige innspill. Denne forhåndsvisningen perioden gir også deltakerne blir kjent med skjermvisningen og redusere den systematiske skjevheten av de forklarende fixations når talespråket presenteres.

For å illustrere hvordan en typisk eye tracking studie bruker visuell verden paradigmet er gjennomført, beskriver følgende protokollen et eksperiment tilpasset fra L. Zhan17 å utforske online behandling av semantisk komplekse uttalelser, dvs. disjunktiv uttalelser (S1 eller S2), konjunktiv setninger (S1 og S2) og men-setninger (S1 men ikke-S2). I vanlige bevaring er informasjonen uttrykt av noen ytringer faktisk sterkere enn betyr direkte oversatt. Disjunktiv setninger som Xiaomings inneholder en ku eller en hane er slike ytringer. Logisk, disjunktiv påstanden er sann som de to disjuncts Xiaomings inneholder en ku og Xiaomings inneholder en hane ikke er falske. Derfor er disjunktiv påstanden sann når de to disjuncts er både sant, hvor den tilsvarende konjunktiv setningen Xiaomings inneholder en ku og en hane er også sant. I vanlig samtale, men høre disjunktiv setningen ofte antyder at den tilsvarende konjunktiv setningen er USANN (skalar implicature); og antyder at sannheten verdiene i de to disjuncts er ukjent med høyttaler (uvitenhet slutning). Kontoer i litteraturen forskjellige om to slutninger er grammatisk eller pragmatisk22,23,24,25,26. Eksperimentet viser hvordan visuell verden paradigmet kan brukes til å avgjøre imellom disse regnskapet, ved å utforske online behandling av tre komplekse setninger.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Alle fag må gi informert skriftlig samtykke før administrasjonen av eksperimentelle protokoller. Alle prosedyrer, samtykke former og eksperimentelle protokollen ble godkjent av forskning etikk av Beijing språk og kultur University.

Merk: En forståelse studie bruker visuell verden paradigmet normalt består av følgende trinn: presentere teoretisk problemene utforskes; Danne en eksperimentell design; Forberede visuelle og auditive stimuli; Ramme teoretisk problemet med hensyn til eksperimentell design; Velg en øye-sporing for å spore deltakernes øyebevegelser; Velg en programvare og bygge et script med programvaren å presentere stimuli; Kode og analysere dataene registrert øyebevegelser. Et bestemt eksperiment kan avvike fra hverandre i noen av punktene beskrevet. Som et eksempel, er en protokoll introdusert for å gjennomføre eksperimentet og diskutere noen punkter som forskere må huske på når de bygger og gjennomføre egne eksperiment bruker visuell verden paradigmet.

1. klargjør Test Stimuli

  1. Visuelle stimuli
    1. Last ned 60 utklipp av dyr uten Copyright Internett. Åpne hvert bilde ettall med et bilderedigeringsprogram (f.eks Pixelmator), klikk verktøy | Hurtigvalgverktøyet å velge og slette bakgrunnen. Klikk bilde | Bildestørrelse være bosatt seg til 120 x 120 piksler.
    2. Invitere student hovedfag i maling å trekke fire lys grønne boksene, som vist i figur 1. Bruke bilderedigering til Skaler på nytt boksen for store åpne 320 x 240 piksler, liten lukket boks med størrelsen på 160 x 160 piksler og de to små åpne boksene til 160 x 240 piksler, henholdsvis.
    3. Klikk Pixelmator | Filen | Nye å bygge en mal med testbildet med størrelsen på 1024768 piksler. Dra dyrene og boksene til korreksjon steder blir illustrert i figur 1.
      Merk: Utformingen av testbildet varierer mellom studier, men den optimale måten er å bruke fire objekter og sette dem på fire quadrants av testbildet. På denne måten er det lettere å motvekt romlige plasseringen av objekter.
    4. Opprette 60 testbilder som figur 1, med hvert dyr bilde brukes to ganger. Motvekt romlige plasseringen av fire boksene blant bildene.
      Merk: Hvor mange bilder har ikke være nøyaktig 60, så lenge deres effekt er dissociable fra det av eksperimentelle manipulasjoner.
  2. Talespråk stimuli
    1. Utforme fire test setninger tilsvarer hver testavbildningen og 240 test setninger totalt skal registreres. Sikre at tre av de fire setningene i form av figur 2; filler setningen er i form av Xiaomings-boksen ikke inneholder en hane men en ku.
      Merk: Test setninger skal presenteres i morsmålet som deltakerne snakker. Deltakerne i dette eksperimentet er kinesiske fra Beijing, Kina, så test språket er mandarinkinesisk.
    2. Rekruttere en kvinnelig innfødt (morsmål mandarinkinesisk i dette eksperimentet) for å spille inn fire eksempel utsagn som figur 2, i tillegg til lyd av alle dyrene som brukes i eksperimentet. Registrere de isolerte dyrenavn, be å forestille seg at navnene på dyrene er intakt komponenter i en enkelt setning, som Xiaomings inneholder en ___, men hun bare trenger å uttale navnet på dyret åpenlyst.
    3. Erstatte lyd segmentene to dyrene i eksempel uttalelser med lyden av de to dyr brukt i hvert forsøk for å opprette en fullstendig liste over test audios. Først, åpne Praat (annen lyd redigering programvare er et kvalifisert alternativ) og klikk åpne | Lese fra filen | Naviger til filen | Åpne og redigere, gå til et element som skal erstattes, og klikke Vis og Rediger | Redigere | Kopiere utvalget til lyd utklippstavlen. Andre, bruke den samme fremgangsmåten til å åpne en eksempel-setning, lim etter valget. Tredje Klikk Lagre | lagrer som wav fil å lagre den redigerte setningen. Gjenta prosessen for alle elementene endres og alle test setningene.
    4. Rekruttere 10 morsmål for test språk (mandarinkinesisk her) for å fastslå hvorvidt konstruert testen lyden er forståelig og naturlig.
      Merk: Test lyd registreres tradisjonelt som helhet, i stedet for skille ord. Denne tradisjonelle innspillingen metoden er rimelig Hvis testen lyden er selv skille ord. Hvis talespråk stimuli setninger i stedet for å skille ord, men denne tradisjonelle metoden har flere mangler: først en allestedsnærværende egenskap av en kontinuerlig tale er at to eller flere tale lyder pleier å timelig og romlig overlapper, som gjør det vanskelig å avgjøre utbruddet av kritiske ordet. Andre gjør avviket mellom hvor forskjellige studier det også vanskelig å kombinere alle forsøkene sammen for statistiske analyser. Tredje er tradisjonelle opptak metoden ofte tidkrevende spesielt når antall testen lyden er relativt stort, for eksempel eksperimenter vi rapportert i protokollen. For å overvinne manglene ved tradisjonelle opptak metoden, foreslås en annen metode å konstruere talte test audios. Først en liste over eksempel setninger som inneholder ord som er vanlig blant alle test lyden ble spilt inn. Andre, alle ord at endringen mellom forsøk ble også registrert i isolasjon. Endelig erstattet utvalg setninger med registrerte ordene å konstruere den fullstendige listen over test audios. Sammenlignet med den tradisjonelle metoden, har den nye metoden flere fordeler. Først styres nå alle test lyden er nøyaktig den samme bortsett fra for kritisk ord, og alle potensielle forvirrende effekter i testen lyden. Andre, like lang også er oppdeling av testen audios enklere enn når test audios registreres som helhet. En potensiell ulempe med denne metoden er at bygget lyd kan ikke være naturlig. Heretter, må naturlighet av lyd testen vurderes før de er kvalifisert for selve testingen.
  3. Del 240 test setninger i fire grupper, med hver gruppe som inneholder 15 konjunktiv uttalelser, 15 disjunktiv uttalelser, 15 men setninger og 15 filler setninger. Sikre at hver deltaker oppstår bare én gruppe 240 forsøk: han/hun ser alle testen bilder men hører bare en gruppe av testen audios.
    Merk: Dette er å ta bekymring at hvis samme stimulans gjentas, deltakerne kan være å bli vant til disse stimuli og muligens selv bli strategisk om hvordan de har svart på stimuli.
  4. Lagre all viktig informasjon om testen stimuli i en tabulatordelt txt fil, med hver rad tilsvarer hvert av 240. Kontroller at filen inneholder minst følgende kolonner: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ bilde, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    Merk: experiment_group brukes til å splitte 240 forsøkene på 4 grupper. sentential_connective tilsvarer ulike eksperimentelle forhold. animal_1_image tilsvarer bildet av dyret som vises først for å gjøre kjent deltakerne med dyr i testbildet. test_image, test_audioog test_audio_length se testbildet og test lyd også lengden brukt i gjeldende rettssaken. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right se navnet på de fire interesseområder i den gjeldende prøveversjon, dvs., enten det er en "Store åpne" boks "små lukket" boksen, små åpne inneholder "først nevnt" dyret i testen lyden, eller små åpne boksen som inneholder "andre nevnt" dyret i testen lyden. animal_1_audio og animal_1_audio_length refererer til lyd og lengden på lyden tilsvarer animal_1_image. animal_2_image, animal_2_audioog animal_2_audio_length samsvarer med andre dyr som vil bli presentert. En ting å understreke er at sekvensen å presentere to dyrene er balansert med hensyn til om dyret er nevnt i først eller andre halvdel av testen audios.

2. ramme teoretisk prediksjon med hensyn til eksperimentell Design.

  1. Sikre deltakernes atferdsdata svar og øyebevegelser i eksperimentell design kan brukes til å skille comprehensions test setninger og kan brukes til å avgjøre mellom forskjellige kontoer skal testes.
    Merk: Gitt eksperimentell design, er det riktige svaret en konjunktiv uttalelse store åpne-boksen, for eksempel boksen A i figur 1. Det riktige svaret en men-er den lille åpne boksen som inneholder dyr blir nevnt i første halvdel av testen audios, for eksempel boks D i figur 1. Deltakernes Svar å disjunktiv setningen, men avhenger om og/eller hvordan to diskutert slutninger behandles. Hvis deltakerne beregne den skalare implicature verken den uvitenhet slutning, er alle fire boksene kvalifisert alternativer. Hvis deltakerne beregne den skalare implicature men ikke den uvitenhet slutning, så store åpne, for eksempel A i figur 1, vil utelukkes, og de resterende tre boksene B, C og D er alle kvalifiserte alternativer. Hvis deltakerne beregne den uvitenhet slutning men ikke den skalare implicature, så de små åpne boksene vil utelukkes, dvs., bokser C og D vil utelukkes. For å oppsummere, velges liten lukket boks, som B-boksen i figur 1, ikke som det endelige valget for en disjunktiv setning før den skalare implicature og uvitenhet slutninger beregnes både.

3. Bygg eksperimentelle skriptet

  1. Åpne Eksperiment Builder, Klikk fil | Nye til å opprette et eksperiment-prosjekt. Angi prosjektnavnet som vwp_disjunction. Velg prosjektplassering. Sjekk EyeLink eksperiment og velg Eyelink 1000plus fra slipp-listen. Disse operasjonene opprettes en undermappe som inneholder alle filer knyttet til eksperimentet opprettes det en undermappe kalt vwp_disjunction med en arkiv benevnt "graph.ebd" i mappen.
    Merk: Eksperiment Builder til å bygge eksperimentelle skriptet å presentere test stimuli og registrere deltakernes øyebevegelser samt svarene deres opptreden. Eksperimentet er en hva-du-see-is-hva-du-get)-programmet for å bygge eksperimentelle skript. Det er enkelt å bruke, men andre stimuli presentasjon programvare er et kvalifisert alternativ.
  2. Visualisere den hierarkiske strukturen for en typisk øye-sporing eksperiment bruker visuell verden paradigmet som vist i Figur 3. Hvert rosa rektangel i figuren er implementert som en SEKVENS objekt av Eksperimentet Builder; og hvert objekt med grå bakgrunn er implementert som en nodeobjekt.
    Merk: En SEKVENS eksperiment byggmester er en eksperimentell loop kontrolleren brukes til å kjede sammen ulike objekter som en kompleks node. En sekvens begynner alltid med en START -node. Og en datakilde kan knyttes til en sekvens node angi forskjellige parametere for hvert forsøk.
  3. Bygge eksperiment sekvensen
    1. Klikk fil | Åpne, bla til katalogen av eksperiment og dobbeltklikke filen graph.ebd i mappen project skal åpne prosjektet med lagrede eksperiment.
    2. Klikk Rediger | Bibliotekbehandling | Bilde | Legge til å laste inn bilder i eksperimentet prosjektet. Klikk Rediger | Bibliotekbehandling | Lyd | Legge til laste inn lyden i eksperimentet prosjektet.
    3. Dra et DISPLAY_SCREEN -objekt i arbeidsområdet og endre Etikettverdien på properties panel endre navnet som instruksjon. Dobbeltklikk for å åpne noden instruksjon , og klikk knappen Sett inn samkjøpsrabatt tekst ressurs for å legge eksperimentelle instruksjon. Sikre instruksjonen inneholder følgende informasjon:
      I hver prøve, vil først du se bilder av to dyrene, en dyr vises på skjermen igjen sammen med lyden av dyr på to høyttalerne ligger på begge sider av skjermen. En svart prikk vises deretter i midten av skjermen. Du bør trykke mellomromstasten mens fixating på prikken. Deretter vil du se en testavbildning bestående av fire bokser vises på skjermen og høre en test setning som spilles via to høyttalere. Din oppgave er å finne Xiaomings boksen etter det testen du hørt og trykk på tilsvarende knapp så snart som mulig:
      Øverst til venstre for---pil venstre
      Riktig boks---pil opp
      Nedre venstre boksen---pil venstre
      Nederste høyre boksen---høyrepil
      I hver test bilde, vil du se fire bokser på fire quadrants og to dyr som inneholder i boksene. Fire boksene kan variere i to dimensjoner: nærheten og størrelsen. Enten en er lukket eller ikke påvirker vår epistemic kunnskap om den boksen, men ikke dyret den inneholder. Hvis en åpen, kalles dyret i denne boksen. Hvis en er lukket, deretter er dyret i den boksen ukjent. Størrelsen på en boks påvirker antall dyr i boksen, men ikke våre epistemic kunnskap om at boksen. Uansett boksen er stengt eller not, en liten boks bare inneholder en dyr, og en stor eske inneholder alltid to forskjellige dyr.
      Hvis du er komfortabel med eksperimentelle målet og prosedyre, gi eksperimentator vet og vi vil hjelpe deg å utføre standard øye sporing kalibrering og validering. Hvis du har spørsmål, ikke nøl med å spørre.
      Merk: Dette er en instruksjon som skrives på skjermen før eksperimentet (instruksjonene bør være skrevet i morsmålet deltakerne snakker, som mandarinkinesisk her).
    4. Dra et tastatur objekt til arbeidsområdet.
      Merk: Dette trinnet er brukt til å avslutte skjermbildet instruksjon
    5. Dra en SEKVENS objekt i arbeidsområdet og gi det blokk.
    6. Velg blokk rekkefølgen, klikker du verdi-feltet for egenskapen Datakilden å oppdra Redigeringsprogram for datakilde. Klikk Importer Data på data kilde redaktør skjermen, pannen til txt-filen som er opprettet i trinn 1.4 importere datakilden.
    7. Klikk Tilfeldig innstillingen i redigeringsprogram for datakilde, sjekk Aktiverer prøveversjonen randomisering, velg trial_number fra verdifeltet av kolonne , og velg experimental_group fra rullegardinlisten i feltet Splitting kolonnen .
    8. Dra det andre DISPLAY_SCREEN objektet til arbeidsområdet, og gi det som Goodbye. Dobbeltklikk Goodbye noden og sett inn følgende informasjon: i deltakernes morsmålet (mandarinkinesisk i denne protokollen):forsøket er ferdig og takk for veldig mye deltakelsen.
    9. Venstreklikk på noden starte , dra pilen til noden instruksjon , og slipp museknappen for å koble starte noden til noden instruksjon . Gjenta samme musen beveger koble instruksjon noden til noden tastatur , tastatur noden til blokk node, deretter blokk node til noden farvel . Klikk Vis | Ordne Layout ordne nodene i arbeidsområdet.
  4. Bygge blokk sekvensen
    1. Dobbeltklikk for å åpne blokk sekvensen. Dra en El_CAMERA_SETUP -node i blokk sekvensen å oppdra en kameraet setup skjermen på EyeLink vert PC for eksperimentator utføre kamera oppsett, kalibrering og validering. Klikk kalibrering feltet i Egenskaper-panelet og velg HV5 fra rullegardinlisten.
      Merk: Antall lokasjoner i tilordningen varierer mellom ulike eksperimentell design. Flere steder samplet og jo mer plass dekket, jo større nøyaktigheten kan forventes. Men flere prøver betyr mer tid å fullføre prosessen. Så praktisk, kan ikke antall lokasjoner i en konkret studie være veldig stor, spesielt når deltakerne er preliterate barn eller klinisk pasienter. I visuell verden paradigmet, interesseområder er relativt liten og områdene av interesse er vanligvis relativt store. Tilordningen kan nå et tilfredsstillende nivå med relativt lite antall steder. I protokollen jeg beskrevet, brukte jeg en fem poeng kalibrering og validering.
    2. Dra en SEKVENS node i blokk sekvensen og gi det som prøve. Koble starte noden til noden CAMERA_SETUP , deretter til SEQUENCE-noden.
  5. Bygge rettssaken sekvensen
    1. Dobbeltklikk for å åpne Trial sekvensen, dra en DISPLAY_SCREEN -node i rettssaken sekvensen og gi det som animal_1_image. Dobbeltklikk for å åpne Skjermen Builder noden og velger knappen Sett inn bilderessurs på verktøylinjen skjermen Builder inn et dyr bilde fra opplastede bildekilder. Klikk i verdifeltet for egenskapen Kildefilnavnet , Naviger til DataSource knyttet til blokk sekvensen; og dobbeltklikk Animal_1_Image kolonnen koble DISPLAY_SCREEN med riktig kolonne av datakilden.
    2. Dra en PLAY_SOUND -node i rettssaken sekvensen og gi det som animal_1_audio. Klikk egenskapen Sound File for noden animal_1_audio og koble den med den riktige kolonnen til datakilden (som beskrevet i trinn 3.5.1).
    3. Dra en TIMER -node i rettssaken sekvensen og gi det som animal_1_audio_length. Klikk egenskapen varigheten av den TIMER node og navigere til riktig kolonne av datakilden opprettet i 3.4.1.
    4. Dra en annen DISPLAY_SCREEN node, en annen PLAY_SOUND node og en annen classes node i rettssaken sekvensen, endre navn på dem som animal_2_image, animal_2_audio, og dyr _2_audio_duration, Gjenta trinnene som beskrives i trinn 3.5.1 - 3.5.3.
      Merk: Disse trinnene er inkludert kontroll for den potensielle confounding at det samme bildet kan være navn av ulike deltakere. Motvekt sekvensen av presentere to dyrene med hensyn til om det er nevnt i første eller andre halvdel av testen audios.
    5. Dra et Forberede sekvens objekt i rettssaken sekvensen og endre egenskapen Tegn til Eyelink vert bildet.
      Merk: Denne noden til å forhåndslaste bilde og lyd-filer til minne for sanntid tegning og avspillingen. Og det er også brukt til tegn tilbakemelding grafikk på verts-PC, slik at deltagerne blikk nøyaktighet kan overvåkes.
    6. Dra en DRIFT_CORRECT -node i rettssaken sekvensen å innføre drift korreksjon.
    7. Dra en ny SEKVENS node og gi det som innspilling. Koble starte til disse nodene en etter en.
  6. Bygge opptak sekvensen
    1. Kontroller post i eiendommen panelet av opptak sekvensen, og dobbeltklikk deretter for å åpne opptak sekvensen.
      Merk: En sekvens med Record -egenskapen avkrysset betyr at deltakernes øyebevegelser i denne perioden vil bli registrert.
    2. Dra en ny DISPLAY_SCREEN i posten sekvensen, gi nytt navn som test_image. Legge til meldingen test_image_onset i meldingsegenskapen test_image noden .
      Merk: I data analyser scenen, meldingen i noden test_image og meldingen i test_audio -noden (inndelingen 3.6.6) er viktig å finne utbruddet av testbilder og starten av testen audios i hvert forsøk.
    3. Dobbeltklikk for å åpne Skjermen Builder noden og velger knappen Sett inn bilderessurs på verktøylinjen skjermen Builder sette inn noen dyr bilde fra opplastede bildet kildene. Klikk i verdifeltet Kildefilnavnet eiendom, Naviger til DataSource knyttet til blokk sekvensen; og dobbeltklikk test_image kolonnen koble DISPLAY_SCREEN med riktig kolonne av datakilden.
    4. Dobbeltklikk noden DISPLAY_SCREEN å åpne Skjermen Builder, klikk Sett inn rektangel rundt områdetregionen og trekke fire rektangulære områder av interesse som illustrert av blå boksene i figur 1. Endre etikettene til de fire områdene rundt Top_Left, Top_Right, Bottom_Leftog Bottom_Right, og koble DataViewer navn arkivert med de riktige kolonnene i datakilden.
      Merk: Disse områdene er usynlig for deltakerne. For å gjøre områdene rundt mer meningsfylt, merke navnet på øverste venstre område i eksemplet som "Boksen en (stor åpen)", området øverst i høyre området som "Boksen B (liten lukket)", nedre venstre som "Box C (andre nevnt)", og området nederst rett område som "boksen D (først nevnt)" , fordi de to små åpne boksene inneholder to dyrene blir nevnt i første og andre halvdel av testen audios, henholdsvis.
    5. Dra en TIMER -node i arbeidsområdet, endre det som Pause, og endre egenskapen varighet til 500 ms.
      Merk: Denne TIMEREN noden legger noen tidsforsinkelsen mellom utbruddet av testbildet og utbruddet av testen lyden. Tidsforsinkelsen gir deltakerne en mulighet til å bli kjent med testbilder. Deltakernes øyebevegelser i denne forhåndsvisningen perioden også gi en plan for å bestemme effekten av muntlig språk innspill, spesielt når kritisk ord ligger i begynnelsen av testen audios.
    6. Dra en PLAY_SOUND -node arbeidsområdet og gi det som test_audio. Klikk egenskapen Lyd filen og koble den med den riktige kolonnen til datakilden (som beskrevet i trinn 3.5.1) og legge til meldingen test_audio_onset i meldingsegenskapen .
    7. Dra en TIMER -node i arbeidsområdet, gi det som test_audio_length. Endre egenskapen varighet til 10500 ms.
    8. Legge til en ny TIMER node, gi nytt navn den idet record_extensionog endre egenskapen varighet til 4000 ms.
    9. Legge til en ny tastatur -node i arbeidsområdet, endre det som atferdsdata svar, og endre egenskapen for akseptabel Keys til "[opp, ned, høyre, venstre]".
      Merk: Deltakernes atferdsmessige valg kan brukes å dobbeltsjekke gyldigheten av konklusjonen utledet fra deltakernes øyebevegelser.
    10. Koble noden starte Pause, test_audio, test_audio_length, deretter til Record_extension node. Legge til en annen tilkobling fra test_audio_length til behavioral_responses -noden.
      Merk: Ved å legge disse tilkoblingene, pågående prøveperiode avsluttes og en ny rettssak starter etter at deltakerne gjorde et tastetrykk å velge Xiaomingboksen eller 4000 ms etter forskyvningen av testen lyd.
    11. Dra en variabel node i arbeidsområdet, gi nytt navn den idet key_pressedog koble Verdiegenskapen til behavioral_Responses tastatur | Utløst Data |  Nøkkel.
    12. Dra en RESULT_FILE -node i arbeidsområdet, dra en ADD_TO_RESULT_FILE -node i arbeidsområdet og koble både noden record_extension og noden behavioral_responses til ADD_TO_RESULT_FILE node.
  7. Klikk eksperiment | Bygge for å bygge eksperimentelle skriptet, klikk eksperiment | Teste kjøre å teste utføre eksperimentet. Når alt er ferdig, klikker du eksperiment | Distribuere til å opprette en kjørbar versjon av eksperimentelle prosjektet.
    Merk: For mer informasjon om hvordan du bruker eksperiment byggmester, kontakt programvare manuell27.

4. rekrutter deltakere

  1. Sikre deltakerne å ha normal eller korrigert normalt syn. Anbefale at kortsiktig deltakerne å bruke kontaktlinser, men briller er også akseptabelt så lenge linser er rene. Kontroller at alle deltakerne er morsmål i det tester språket, for eksempel mandarinkinesisk her.
    Merk: Som en generell retningslinje, en deltaker er ansett som kvalifisert som deltakeren kan se testbilder i en avstand på ca 60 cm. I antall deltakere, ifølge noen tommelfingerregler, skal antall deltakere for regresjonsanalyse ikke mindre enn 50. Her deltok trettisyv hovedfagsstudenter fra Beijing språk og kultur University i forsøket, som er litt mindre enn det anbefalte beløpet.

5. gjennomføre eksperimentet

Merk: Når deltakerne er normalt utviklet voksne, en eksperimentator er nok til å gjennomføre gjennomføring eksperimentet. Men hvis deltakerne er spesielle bestander, som barn, to eller flere forskere er nødvendig.

  1. Velg et øye bane å fortegnelse deltakernes øyebevegelser.
    Merk: Øye sporing brukes i dette eksperimentet er Eyelink 1000plus kjører under gratis å bevege hodet modus. Dette er en video-basert, desktop montert øye sporing system, ved hjelp av prinsippet om elev med hornhinnen refleksjon (CR) spore øyets rotasjon. Når du kjører under gratis å bevege hodet modus, har øye sporing monocular samplingsfrekvensen på 500 Hz, med en romlig oppløsning på 0,01 ° og en gjennomsnittlig feil på mindre enn 0,5 °. For mer detaljert informasjon om systemet, kan du se det tekniske spesifikasjoner28,29. Alternativ bane kan brukes, men de med ekstern Oppfølgingsmodus er bedre, spesielt når deltakerne er preliterate barn.
  2. Starte systemet på verts-PC å starte vertsprogrammet av kameraet.
  3. Slik konfigurerer du systemet til ekstern skrivebordsmodus, klikker du Angi alternativet , setter Konfigurasjonsalternativet til Desktop - målet klistremerke - Monocular - 16/25 mm lengde - RTARBLER.
  4. Klikk en kjørbar versjon av eksperimentelle prosjektet på PC-skjermen, angi deltakerens navnog velge en gruppe fra meldingsvinduet å Velg Betingelsesverdien kjøre.
    Merk: Hver test økt opprettes en mappe med innskrevne navn under underkatalog resultatene av eksperimentet prosjektet. EDF filen under mappen inneholdt relevante øye bevegelser data.
  5. Be deltakerne å sitte ca 60 cm fra en 21 tommer, 4:3-fargeskjerm med 1024px x 769px oppløsning, der 27 piksler tilsvarer 1 grad for vinkel.
  6. Juste høyden på skjermen PC skjermen, å sikre at når deltakeren sitter og ser rett frem, de ser vertikalt på midten til 75% av skjermen.
    Merk: Stolen, skrivebordet eller PC-skjerm er foretrukket hvis de justerbare i høyden. Stolen og skrivebordet med hjul bør unngås, som de pleier å forårsake utilsiktet trekk og roll.
  7. Plass en liten målet klistremerke på deltakernes pannen, spore hodet posisjon selv når elev bildet går tapt, som under blinker eller brå bevegelser.
    Merk: Forskjellige øyne bane kan bruke forskjellige metoder til å spore deltakernes hodet. For å maksimere området sideveis bevegelse av faget, skal spores øyet på samme side som illuminator.
  8. Rotere fokus armen på pulten mount å få øye bildet i fokus.
  9. Klikk Kalibrer på vertsdatamaskinen å gjennomføre kalibreringsprosessen av spørsmål deltakerne til fixate et rutenett av fem fiksering mål i tilfeldig rekkefølge med ingen åpenbare atferdsdata svar, tilordne deltakernes øyebevegelser med blikk for hensyn i visuelle verden.
  10. Klikk Valider på vertsdatamaskinen validere kalibreringsresultater av spørsmål deltakerne til fixate samme rutenettet fiksering mål. Gjenta kalibrering og validering rutiner, når feilen er større enn 1°.
  11. Gjennomføre to rutiner i begynnelsen av eksperimentet, og når måling nøyaktighet er dårlig (f.eks., etter sterk bevegelser av hodet eller en endring i deltakernes holdning).
  12. Klikk på opptaksknappen på vertsdatamaskinen starte eksperimentet .
  13. Utføre en drift sjekk på hvert forsøk av deltagerne skal trykker mellomromstasten på tastaturet mens fixating på den svarte prikken i midten av skjermen.
    Merk: Når deltakerne er preliterate barn eller klinisk pasienter, eksplisitt instruere dem å trykke tastaturet mens fixating den svarte prikken er normalt upraktisk. Men deres oppmerksomhet og øye fixations pleier å bli automatisk tiltrukket av den viste svarte prikken. I dette tilfellet skal eksperimentator personen som trykker tastaturet mens deltakeren er fixating på den svarte prikken.
  14. Presentere visuelle stimuli via vise PC-skjermen og spille auditiv stimuli via et par av eksterne høyttalere ligger til venstre og høyre på skjermen (hodetelefoner aksepteres også).
    Merk: Innspillingene spilles fra harddisken som 24 kHz mono lydklipp. Hvis det er ingen spesiell grunn, foretrekkes mono lydklipp stereo lydklipp. I stereo lydklipp, kan forskjellen mellom de to lydsporene, så vel som forskjellen mellom de to høyttalerne påvirke deltakernes øyebevegelser. For mer informasjon om hvordan du bruker øye sporing, kan du se den bruker manuelle30.

6. data koding og analyser

  1. Åpne Data Viewer, klikk fil | Importere filen | Importere flere Eyelink datafiler importere alle innspilte øye sporing filer (med filtypen EDF), og lagre dem i en enkelt . EVS filen.
  2. Åpne den lagrede EVS-filen og klikk analyse | Rapporter | Prøve rapporten eksportere rå eksempeldataene med ingen samling.
    Merk: Hvis øye sporing har en samplingsfrekvens på 500 Hz, de eksporterte dataene må 500 datapunkt, heretter 500 rader, per sekund per prøve. Hvis, spores deltakernes venstre øye, sørge for følgende kolonner som variablene opprettet i datakilden eksporteres: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ STØRRELSE, SAMPLE_INDEX, SAMPLE_MESSAGE. For mer informasjon om hvordan du bruker Data Viewer, kan du se de programvare manuelle31.
  3. Begrense de statistiske analysene til vinduet timelige fra starten av testbildet forskyvningen av testen audios, dvs., timelige vinduet med hele 11 s.
  4. Slette prøvene der deltakernes øyebevegelser ikke er registrert, som deltakerne blinke øynene, som påvirker ca 10% av de innspilte dataene.
    Merk: Dette er et valgfritt trinn, som resultatene er vanligvis den samme uansett om disse prøvene slettet.
  5. Kode dataene. Å konstruere data for et bestemt område av interesse for et bestemt prøvepunkt, kode dataene som 1 Hvis deltakernes øye fiksering ligger i området av interesse som skal analyseres på at prøvepunkt. Kode dataene som 0 hvis øyet fiksering ikke er plassert i områder av interesse på at prøvepunkt.
  6. Tegne en andel-av-fiksering å visualisere innhentet data. Til å beregne den andel-av-fixations bestemt område av interesse, gjennomsnittlig kodet for alle prøvelser og alle deltakerne i hver prøve datapunktet under hver betingelse. Tegne inn den beregnede andel-av-fixations på y-aksen mot prøvepunktet på aksen, med ulike paneler viser interesseområder og inntegningsrekkefølgen fargene viser forskjellige eksperimentelle forhold.
    Merk: I forsøket, de fire sidene avbildet deltakernes fiksering mønstre på fire områder av interesse. De røde, grønne og blå linjene illustrert deltakernes fiksering mønstre når test uttalelsene var konjunksjoner (S1 og S2), men-setninger (S1 men ikke S2) og disjunctions (S1 eller S2), henholdsvis. Programvaren brukes til å tegne beskrivende handlingen er ggplot2 pakken fra R miljø. Annen programvare er også tilgjengelig. Figur 5 er et eksempel på slike tomten.
  7. Tilpass kvadratsetningene generalisert lineær blandet modell (GLMM) på hvert område av interesse på hver prøvepunkt, dataene ble kodet som enten 1 eller 0, avhengig av om deltakerens fiksering ligger i eller ut av området av interesse på at prøvepunkt.
    Merk: Data ikke er binned og kodet data kan bare være 1 eller 0, så fordelingen av de kodede dataene er binære i stedet for vanlig. Heretter, brukes en GLMM modell med familien til binomisk fordeling. GLMM modellen inneholder en bestemt løpetid, eksperimentelle forhold, og to tilfeldige treff, deltakere og elementer. Formelen evalueres to tilfeldige vilkårene inkluderer både wiretaps og skråningen av eksperimentelle forhold. Programvaren brukes til å gjøre modell montering er lme4 pakken fra R miljø. Annen programvare er også tilgjengelig. Én ting bør nevnes er at grunnlinjen til de reparerte elementene forskjellig når den analyserte interesseområde, dvs., analysert bokser, er forskjellige. For å bli spesifikk, ble sammen (S1 og S2) valgt som den opprinnelige planen når du analyserer store åpne boksen (for A), disjunksjon (A og B) ble valgt som den opprinnelige planen når du analyserer boksen liten lukket (boksen B), og men-setningen ble valgt som Opprinnelig plan når du analyserer boksen første nevnte (boksen D).
  8. Bonferroni justere p verdiene med Wald z test, for å redusere familywise forårsaket av flere sammenligninger.
    Merk: Bonferroni justering er den tradisjonelle måten å takle familywise feilen forårsaket av flere sammenligninger. Andre metoder er også tilgjengelige, som vi beskrevet i delen Innledning.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Deltakernes atferdsdata svar oppsummeres i Figur 4. Som vi beskrev tidligere, er det riktige svaret et konjunktiv setningen (S1 og S2) store åpne-boksen, for eksempel boksen A i figur 1. Det riktige svaret en men-setningen (S1 men ikke S2) er den lille åpne boksen som inneholder den første nevnte dyr, for eksempel boks D i figur 1. Kritisk, som boksen er valgt i disjunktiv setningen (S1 eller S2) avhenger av hvordan en disjunktiv uttalelse behandles: liten lukket boks, som B-boksen i figur 1, velges bare når den skalare implicature og uvitenhet slutninger knyttet til disjunktiv setningen er både beregnet. Figur 4 illustrerer at når forstå en disjunktiv uttalelse (S1 eller S2), deltakere beregne begge to slutninger.

Videre foreslår deltakernes øye fixations på små lukket boks, særlig når disse fixations er etterfulgt av atferdsdata svar på denne boksen også at den skalare implicature og uvitenhet slutninger er beregnet. To slutninger bør blitt behandlet senest tidligste timelige poenget når deltakerne Skift deres visuell oppmerksomhet og fixations på små lukket boks. Deltakernes øyebevegelser oppsummeres i figur 5. Som vi ser i panelet B, øke deltakernes øye-fixations på små-lukket boks (boks B) ikke med mindre den sentential forbinde er disjunktiv connective, eller. Videre, denne økningen begynner ikke senere enn forskyvningen av disjunktiv connective. Dette tyder på at både den skalare implicature og uvitenhet slutninger beregnes før forskyvningen av den sentential connective, dvs. umiddelbart på møte disjunktiv forbinde.

Figure 1
Figur 1 . Et eksempel på testbilder som brukes i eksperimentet. Det grå området er testbildet faktisk blir presentert for deltakerne. Boksene blues, prikkete og bildepunktene angir bredden på elementene er kun for formål å illustrasjon og er usynlige for deltakerne. (Tilpasset fra eksperimentet en L. Zhan 17 med tillatelse). Klikk her for å se en større versjon av dette tallet.

Figure 2
Figur 2 . Et eksempel på test setninger brukes i eksperimentet (gjengitt fra L. Zhan17 med tillatelse). Klikk her for å se en større versjon av dette tallet.

Figure 3
Figur 3 . Den hierarkiske strukturen for en typisk øye-sporing eksperiment bruker visuell verden paradigmet. Lyd illustrert i bildet er det engelske oversettelsene av mandarinkinesisk brukes i eksperimentet. Klikk her for å se en større versjon av dette tallet.

Figure 4
Figur 4 . Deltakernes atferdsdata svar som registreres i eksperimentet (tilpasset fra eksperimentet en L. Zhan17 med tillatelse). Klikk her for å se en større versjon av dette tallet.

Figure 5
Figur 5 . Deltakernes øye bevegelser i eksperimentet. Utbruddet og forskyvning av sentential connectives er angitt av to stiplet loddrette linjer. En betydelig forskjell mellom disjunktiv og planlagte tilstanden på visse prøvepunktet eksisterende er markert med det grå området (p <.05, Bonferroni justert) (tilpasset fra L. Zhan17 med tillatelse). Klikk her for å se en større versjon av dette tallet.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

For å oppførsel en visuell verden studie, er det flere viktige trinn å følge. Først forskere har tenkt å utlede tolkning av auditorily presentert språket via deltakernes øyebevegelser i visuelle verden. Heretter kan utforme oppsettet for visuelle stimuli, bør egenskapene til øyebevegelser i en naturlig oppgave som potensielt kan påvirker deltakernes øyebevegelser kontrolleres. Effekten av muntlig språk på deltakernes øyebevegelser kan deretter bli gjenkjent. Andre, akustisk stikkordene i det nasjonale språket er forbigående, og det er ingen akustisk signaturer utelukkende tilsvarende visse språklige kategori. Riktig Tidslås deltakernes øye-bevegelser med utbruddet av noen språklige markør, bør forskere finne en objektiv og konsekvent måte å definere grensen til noen lingvistiske strukturen. Tredje, vil riktig tilordne deltakernes øye rotasjon rundt hodet med blikket av hensyn i visuelle verden, forskere må utføre én eller flere kjøringer av kalibrering, validering og drift korreksjon prosesser. Fjerde dataene innhentet fra en visuell verden studie har noen spesielle egenskaper, for eksempel nedre og øvre grenser, og har autocorrelated feil osv. Disse spesielle egenskapene bør vurderes når en metode er valgt å statistisk analysere dataene.

En visuell verden studie består av tre grunnleggende komponenter: skjermvisningen, språk, eksperimentelle aktivitet. Endringer kan gjøres på en komponent å oppfylle forskernes bestemte formål. Først er en visuell fremstilling normalt en screening-skjerm som viser en rekke bilder. Men det kan også være en screening-skjerm som viser en rekke trykte ord32, en skjematisk scenen30,31eller en virkelige verden, scene som inneholder reelle objekter1,32. Andre kan talte ytringer være en word36, en enkel setning30,31, semantisk komplekse uttalelse17,34,35eller en dialog39. Tredje i eksperimentelle aktiviteten, deltakerne enten bare blir bedt om å se på visuelle verden og lytte nøye til auditiv ytringer30,31; eller er å måtte gjøre noen atferdsdata svar, som handler ut bevegelser beskrevet av auditory ytring1, bestemme hvorvidt auditiv ytring gjelder skjermvisningen38eller velge riktig bildet i displayet visuelle talte ytring snakker om17.

Visuell verden paradigmet, sammenlignet med andre psycholinguistic teknikker, har flere unike fordeler. Først kan visuell verden paradigmet brukes i et bredt av befolkninger, inkludert de som ikke kan lese og/eller som kan ikke åpenlyst gi atferdsdata svar, for eksempel preliterate barn37,38,39, 40 , 41 , 42og eldre voksne46pasienter (f.eks., afasi)47. Dette er fordi språket stimuli presenteres i den auditory ikke i form av skriftlige tekster; og språk forståelse utledes fra deltakernes implisitt automatisk øyebevegelser fremfor utilslørt atferdsdata svar. Andre er visuelle verden paradigmet svært følsom for finkornet manipulasjoner av tale. Dette paradigmet kan brukes til å studere den online behandling av de fleste emner i språk forståelse på flere nivåer, som det fint kornet akustisk fonetisk funksjoner33,45,46, egenskapene ord30,31, språklige konstruksjoner1,47og logiske strukturer av semantisk komplekse utsagn som concessives37, biconditionals37, conditionals38og disjunctions17.

Visuell verden paradigmet, sammenlignet med andre psycholinguistic teknikk, har også noen potensielle begrensninger. Først er deltakernes tolkning av det nasjonale språket utledet fra deres øyebevegelser visuelle verden, ikke fra selve tolkningen av språk stimuli per se. heretter, egenskapene som kan studeres med visuelle verden paradigmet er begrenset til de som kan visualiseres, dvs., de bør være noe relatert til enheter eller hendelser i visuelle verden. Andre er visuelle verden paradigmet brukes vanligvis mer begrenset enn faktiske visuelle verden, med et begrenset antall avbildet referansegruppe og et begrenset antall potensielle handlinger. Denne såkalte lukket sett problemet48 kan opprette oppgave-spesifikke strategier som observerte språk behandlingen ikke generaliserer utover de bestemte situasjonene opprettet i eksperimentet. Heretter, er paradigmet ikke følsom for egenskapene til lingvistisk kunnskap og erfaring som ligger utenfor lukket-settet som ble opprettet på et gitt antall forsøk.

Visuell verden paradigmet Utforsker i hovedsak integrering av informasjon fra visuelle domenet og informasjonen fra auditiv domenet. Teoretisk sett, informasjon som kan behandles av de to oppsiktsvekkende domenene kan potensielt studeres bruker dette paradigmet. For eksempel kan visual verden virtuell virkelighet eller dynamisk videoer. Auditiv input er ikke nødvendigvis språk, og kan være et annet format, for eksempel musikk og lyd fra den naturlige verden, etc. Videre kan dette paradigmet fremme utbygget for å utforske integrasjon av informasjon fra andre domener, snarere enn det visuelle domenet og auditiv domenet. Forskere kan for eksempel bruke denne teknikken for å se hvordan deltakernes fixations i visuelle verden påvirkes av forskjellige lukter, ulike elementer, etc.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Tilbyderen erklærer at han har ingen konkurrerende økonomiske interesser.

Acknowledgments

Denne forskningen ble støttet av Science Foundation av Beijing språk og kulturelle University under grunnleggende forskning midlene sentral universitetene (godkjenning nummer 15YJ050003).

Materials

Name Company Catalog Number Comments
Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Tags

Atferd problemet 140 øye sporing teknikk visuell verden paradigme språk online behandling komplekse uttalelse generaliserte lineære blandet modell binomisk fordeling familywise feil Bonferroni justering
Øyebevegelser registrert i visuell verden paradigmet å utforske Online behandling av språk
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhan, L. Using Eye Movements… More

Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter