Met behulp van oogbewegingen die worden opgenomen in de visuele wereld paradigma te verkennen van de Online verwerking van gesproken taal

Deze methode kan helpen bij het beantwoorden van belangrijke vragen in online verwerking van gesproken taal, met inbegrip van semantisch complexe zinnen, zoals disjuncties en conditionalen. Het belangrijkste voordeel van deze techniek is dat het kan worden uitgevoerd op een breed scala van populaties om de meeste onderwerpen te bestuderen op gebieden van taalverwerking. Het aantonen van de procedure zal Xu Jing, een postgraduaat student.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min en Zhou Xuehan zijn de studenten van mijn onderzoeksgroep. Om de visuele stimuli voor te bereiden, download je 60 copyrightvrije illustraties van dieren van het internet en open je de afbeeldingen in een geschikte beeldeditor. Klik op Extra en gebruik snel selecteren om de achtergrond van elke afbeelding te selecteren en te verwijderen.

Klik op Afbeelding en Afbeeldingsgrootte om het formaat van de afbeeldingen te wijzigen in 120 bij 120 pixels en teken een groot open vak van 320 x 240 pixels, een klein gesloten vak van 160 x 160 pixels en twee kleine vakken van 160 x 240 pixels. Open een nieuw bestand om een sjabloon van 1, 024 bij 768 pixels voor de eerste testafbeelding te maken en sleep de vakken naar de aangegeven locaties. Sleep twee illustraties in de grote open doos en een van dezelfde twee afbeeldingen in de twee kleine open vakken.

Maak vervolgens nog 59 testbeelden zoals net aangetoond met elk dier beeld wordt twee keer per test beeld gebruikt, tegenwicht tegen de ruimtelijke locaties van de vier vakken tussen de beelden. Om de gesproken taalstimuli voor te bereiden, ontwerpt u vier testzinnen die overeenkomen met elk testbeeld in de moedertaal van de deelnemers voor een totaal van 240 te registreren testzinnen, met ten minste drie van de vier zinnen en een van elk van de geïllustreerde formulieren. Rekruteer een vrouwelijke native speaker om vier voorbeeldverklaringen op te nemen, evenals audio voor alle dieren die in het experiment worden gebruikt.

Verdeel de 240 testzinnen in vier groepen, waarbij elke groep 15 conjunctive statements, 15 disjunctive statements, 15 but statements en 15 filler sentences bevat. Sla vervolgens alle belangrijke informatie over de teststimuli op in een door tabbladen afgebakend tekstbestand, waarbij elke rij overeenkomt met elk van de 240 tests. Als u de experimentreeks wilt maken, opent u de experimentbouwer en maakt u een nieuw project.

Sleep een weergaveschermobject naar de werkruimte en wijzig de naam van de werkruimteinstructie. Klik op Tekstbron voor meerdere regeltekst invoegen en dubbelklik om de blokreeks te openen om de blokreeks te maken. Sleep een EI Camera Setup-knooppunt in de blokreeks om een camera-installatiescherm op de EyeLink-host-pc weer te geven om de kalibratie en validatie van de camera-installatie te vergemakkelijken.

Klik op het veld Type kalibratie in het deelvenster Eigenschappen en selecteer HV5 in de vervolgkeuzelijst. Als u de proefreeks wilt maken, sleept u een knooppunt schermscherm in de proefreeks en wijzigt u deze Animal_1_Image. Sleep een knooppunt Afspelend geluid in de proefreeks en wijzig deze Animal_1_Audio.

Sleep een timerknooppunt in de proefreeks en wijzig de naam Animal_1_Audio_Length. Blijf extra knooppunten Scherm, Afspelen en Timer in de proefreeks slepen en de naam wijzigen totdat er drie knooppunten zijn gemaakt voor elke illustratieafbeelding. Sleep vervolgens een Drift Correct-knooppunt in de proefreeks om de driftcorrectie in te voeren.

Als u de opnamereeks wilt maken, sleept u een nieuw knooppunt Schermbeeld in de recordreeks. Wijzig de naam van het knooppunt Test_Image. Dubbelklik op het knooppunt Schermbeeld om de schermbouwer te openen, klik op het gebied van rechthoekgebied invoegen en teken vier rechthoekige interessegebieden.

Sleep een timerknooppunt naar de werkruimte, wijzig de naam van het knooppunt Pauzeren en wijzig de eigenschap duur in 500 milliseconden. Sleep een knooppunt Geluid afspelen naar de werkruimte en wijzig de naam van het knooppunt Test_Audio en sleep een timerknooppunt naar de werkruimte en wijzig deze Test_Audio_Length. Voeg vervolgens een toetsenbordknooppunt toe aan de werkruimte, wijzig de naam van gedragsreacties op het knooppunt en wijzig de eigenschap Acceptabele toetsen in Omhoog, Omlaag, Rechts, Links.

Als u een experiment wilt uitvoeren, start u het systeem op de host-pc op om de hosttoepassing van de camera te starten en klikt u op de uitvoerbare versie van het experimentele project op de weergave-pc. Voer de naam van de deelnemer in en klik op Voorwaardewaarde selecteren om een groep te selecteren in het promptvenster. Plaats een kleine doelsticker op het voorhoofd van de deelnemer om de hoofdpositie bij te houden, zelfs wanneer het leerlingbeeld verloren gaat, zoals tijdens knippert of plotselinge bewegingen. Plaats de deelnemer ongeveer 60 centimeter van een 21-inch 4:3 kleurenmonitor met een resolutie van 1, 024 bij 769 pixels, waarvoor 27 pixels gelijk is aan een graad hoek.

Pas de hoogte van de display-pc-monitor aan om ervoor te zorgen dat wanneer de deelnemer recht vooruit kijkt, ze verticaal naar het midden kijken naar de top 75% van de monitor en vervolgens de scherpstelarm op de bureaubeugel draaien om het oogbeeld in beeld te brengen. Klik vervolgens op Kalibreren op de host-pc en vraag de deelnemer om te fixeren op een raster van vijf fixatiedoelen, in willekeurige volgorde zonder openlijke gedragsreacties, om de oogbewegingen van de deelnemer in kaart te brengen aan de blik van achting in de visuele wereld. Klik op Valideren en vraag de deelnemer om te fixeren op hetzelfde raster van fixatiedoelen om de kalibratieresultaten te valideren.

Voer een driftcontrole uit door de deelnemer te vragen de spatiebalk op het toetsenbord in te drukken terwijl u fixeert op de zwarte stip in het midden van het scherm. Presenteer vervolgens de visuele stimuli via de display-pc-monitor tijdens het afspelen van de auditieve stimuli via een paar externe luidsprekers links en rechts van de monitor. Open voor gegevenscoterende en analyse de gegevensviewer en klik op Bestand, Importeer Bestand en importeer Meerdere EyeLink-gegevensbestanden om alle opgenomen eyetrackerbestanden te importeren.

Sla de bestanden op in één evs-bestand, open vervolgens het evs-bestand en klik op Analyse, Rapporten en Voorbeeldrapport om de ruwe voorbeeldgegevens zonder aggregatie te exporteren. De juiste reactie op een conjunctive verklaring is de grote open doos, terwijl de juiste reactie op een maar verklaring is de kleine open doos met de eerste genoemde dier in de verklaring. Kritisch, welk vak wordt gekozen voor de conjunctive verklaringen hangt af van hoe een voorwaardelijke verklaring wordt verwerkt.

Bijvoorbeeld, de kleine gesloten doos wordt alleen gekozen wanneer de scalar implicature en de onwetendheid gevolgtrekkingen zijn beide berekend, die het gevolg is van het begrip van een disjunctive verklaring. Zoals geïllustreerd in het paneel, oog fixatie op de kleine gesloten doos niet toenemen, tenzij de sentential connective is de disjunctive connective of met de verhoging begint niet later dan de verschuiving van de disjunctive connective. Het Visual World Paradigm is een veelzijdige oogtrackingtechniek om het online begrip van gesproken taal van de deelnemer uit hun oogbewegingen in de echte wereld af te leiden.

Bij het werven van deelnemers onthouden ze moeten normaal of correct normaal visueel vermogen en een normale gehoorvermogen. Om een in aanmerking komende studie uit de echte wereld te ontwerpen, moeten andere factoren die van invloed kunnen zijn op de oogbewegingen van de deelnemers, worden gecontroleerd of uitgesloten. Bij het statistisch analyseren van de resultaten, probleem dat kan voortvloeien uit begrensde reacties, moeten alle automatische correlatie of automatische vergelijkingen worden overwogen.