Summary
Het huidige artikel bespreekt een eye-tracking-methode voor studies over taalbegrip. Voor het verkrijgen van betrouwbare gegevens, moeten de belangrijkste stappen van het protocol worden gevolgd. Onder deze zijn de juiste set-up van de eye tracker (bijvoorbeeld, garanderen van de goede kwaliteit van de beelden voor ogen en hoofd) en nauwkeurige kalibrering.
Abstract
Het huidige werk is een beschrijving en een beoordeling van een methodologie die is ontworpen om het kwantificeren van de verschillende aspecten van de interactie tussen taalverwerking en de perceptie van de visuele wereld. De opname voor ogen-blik patronen heeft goed bewijs voor de bijdrage van zowel de visuele context en de kennis van de taalkundige/wereld aan taalbegrip geleverd. Eerste onderzoek beoordeeld object-context effecten te testen van de theorieën van modulariteit in taalverwerking. In de inleiding, beschrijven we hoe latere onderzoeken de rol van de bredere visuele context in taalverwerking als een onderzoeksonderwerp in zijn eigen recht genomen hebben, vragen vragen zoals hoe onze visuele perceptie van de gebeurtenissen en sprekers draagt bij tot begrip door comprehenders ervaring in kennis gesteld. Onder de onderzochte aspecten van de visuele context zijn acties, evenementen, van een spreker blik, en emotionele gezichtsuitdrukkingen, evenals ruimtelijk object configuraties. Na een overzicht van de eye-tracking-methode en de verschillende toepassingen sommen we de belangrijkste stappen van de methodologie in het protocol, illustreren hoe succesvol om het te gebruiken om te studeren visueel gelegen taalbegrip. Een laatste deel presenteert drie sets van representatieve resultaten en illustreert de voordelen en beperkingen van eye tracking voor het onderzoeken van de wisselwerking tussen de perceptie van het visuele wereld en taal begrijpen.
Introduction
Psycholinguïstisch onderzoek heeft gewezen op het belang van eye-movement analyses in het begrijpen van de processen die betrokken zijn bij taalbegrip. De kern van het begrip processen uit de blik record afgeleid is een hypothese die cognitie met oog bewegingen5verbindt. Er zijn drie belangrijke types van oogbewegingen: saccades, bewegingen van de vestibulo-oculaire en soepele uitoefening bewegingen. Saccades zijn snel en ballistische bewegingen die meestal onbewust gebeurt en zijn betrouwbaar geassocieerd met verschuivingen in aandacht6. De momenten van de blik van de relatieve stabiliteit tussen saccades, bekend als vastleggingen, worden beschouwd als index huidige visuele aandacht. Meten van de locus van de vastleggingen en de duur ten opzichte van cognitieve processen is bekend als de "eye-tracking-methode". Vroege implementaties van deze methode diende te onderzoeken van begrijpend lezen in strikt taalkundige contexten (Zie Rayner7 herzieningsverzoek). In deze benadering wordt de duur van de inspectie van een woord of zin regio geassocieerd met de verwerking van problemen. Eye tracking echter ook is toegepast gesproken taalbegrip onderzoeken tijdens de inspectie van objecten in de wereld (of op een computer weergeven2). In deze versie van 'visuele wereld' eye-tracking, wordt de inspectie van objecten geleid door taal. Wanneer de comprehenders hoort de zebra, bijvoorbeeld, hun inspectie van een zebra op het scherm wordt genomen om na te denken dat ze over het dier denken. In wat bekend als de visuele wereld paradigma staat, van een comprehender oog blik aan gesproken taalbegrip en de activering van de bijbehorende kennis wordt genomen (bijvoorbeeld luisteraars ook controleren de zebra als ze grazen horen, geven een actie uitgevoerd door de zebra)2. Dergelijke inspecties suggereren een systematische link tussen taal-wereld betrekkingen en oog bewegingen2. Een veel voorkomende manier te kwantificeren van deze link is door het berekenen van het aandeel van kijkt naar verschillende vooraf bepaalde regio's op een scherm. Hierdoor onderzoekers wilt rechtstreeks vergelijken (over voorwaarden, door deelnemers en items) de hoeveelheid aandacht besteed aan verschillende objecten op een bepaalde tijd en hoe deze waarden wijzigen in milliseconde resolutie.
Onderzoek in de psycholinguïstiek heeft misbruikt eye tracking in visuele werelden te plagen uit elkaar concurrerende theoretische hypothesen over de architectuur van de geest1. Oog fixaties op afgebeelde objecten, Bovendien is gebleken dat comprehenders kan — uitgaande van een voldoende beperkende linguïstische context — incrementele semantische interpretatie8 uit te voeren en zelfs het ontwikkelen van verwachtingen over aankomende tekens 9. diegegevens blik oog hebben ook licht werpen op een aantal verder begrip processen, zoals10,11van de resolutie van de lexicale dubbelzinnigheid, voornaamwoord resolutie12, de doorverwijspagina van structurele en thematische rol toewijzing door middel van informatie in de visuele context13,14,16, en pragmatische processen15, onder vele anderen4. Duidelijk, kunnen de oogbewegingen tot objecten tijdens taalbegrip informatieve van het geïmpliceerd processen.
De eye-tracking-methode is niet-invasief en kan worden gebruikt met zuigelingen, jonge en oudere taal gebruikers. Een belangrijk voordeel is dat, in tegenstelling tot punctate reacties op sondes of antwoord knop indrukt in verificatie taken, het biedt inzichten na verloop van tijd in de resolutie van een milliseconde in hoe taal aandacht en hoe gidsen het visuele context (in de vorm van objecten, acties, evenementen, van een spreker blik, en emotionele gezichtsuitdrukkingen, evenals ruimtelijk object configuraties) draagt bij aan taalverwerking. De continuïteit van de maatregel tijdens zin begrip vult goed met andere maatregelen van het post zin en na experiment zoals uit geheugen terugroepen taken, openlijke foto/video-zin verificatie en begrip vragen. Openlijke reacties bij deze taken kunnen de interpretatie van de ogen blik record verrijken door het verstrekken van inzicht in de resultaten van het begrip proces, geheugen en leren2. Het combineren van eye tracking met deze andere taken heeft ontdekt welke mate verschillende aspecten van de visuele context visuele aandacht en begrip (directe, evenals vertraagde) over de levensduur moduleren.
De presentatie van taal (gesproken of geschreven) en de scènes kunnen gelijktijdige of opeenvolgende. Bijvoorbeeld, Knoeferle en medewerkers17 gepresenteerd de scène 1000 ms voor de gesproken zin, en het bleef aanwezig tijdens begrip. Ze gemeld bewijs dat clipart-afbeeldingen van actie gebeurtenissen bijdragen aan de oplossing van lokale structurele dubbelzinnigheid in onderwerp-werkwoord-voorwerp van de Duitse (SVO) vergeleken met object-werkwoord-onderwerp (OVS) zinnen. Knoeferle en Crocker18 gepresenteerd een clipart scène vóór een schriftelijke zin en getest de incrementele integratie van clipart gebeurtenissen tijdens zin begrip. Ze waargenomen incrementele congruentie effecten, wat betekent dat de deelnemers lezing tijden van zin kiezers langer waren toen deze verkeerde (vs. gematched) de gebeurtenis afgebeeld in de vorige scene. In een andere stimulans presentatie variant, de deelnemers eerst een zinsnede die beschrijft wat een ruimtelijke relatie gelezen en toen zag een scène van een bepaalde ruimtelijke rangschikking waarbij object lijntekeningen19. Deze studie beoordeeld de voorspellingen van computationele ruimtelijke taalmodellen door te vragen van de deelnemers aan de stem van de pasvorm van de zin gegeven aan de scène, met de oogbewegingen worden geregistreerd tijdens de ondervraging van de scène. De deelnemers blik patronen waren gemoduleerd door de vorm van het object dat ze werden geconfronteerd met — gedeeltelijk bevestigen de modelvoorspellingen en gegevens ter verfijning van het model.
Hoewel tal van studies hebben gebruikt clipart voorstellingen17,18,19,20,21,22,23, is het ook mogelijk om te combineren van de echte wereld objecten, video's van deze objecten of statische foto's met gesproken taal1,21,24,25,26,46. Knoeferle en collega's gebruikte een realistische instelling24 en Abasjidze en collega's een gefilmd presentatie-indeling gebruikt voor de behandeling van actie gebeurtenissen en gespannen effecten25. Variërend van de exacte inhoud van de scènes (bijvoorbeeldbeeltenis van acties of niet)22,27,38 is mogelijk en ook visuele context effecten kan onthullen. Een gerelateerde studie door Rodríguez en medewerkers26 onderzocht de invloed van visuele geslacht gefilmd signalen op het begrip van vervolgens gepresenteerd gesproken zinnen. Deelnemers keek naar de video's weergeven of vrouwelijke als mannelijke handen een stereotiep genderspecifieke actie te kunnen uitvoeren. Vervolgens hoorden zij een zin over beide een stereotiep mannelijke of vrouwelijke actie gebeurtenis terwijl het tegelijkertijd inspecteren op een beeldscherm tonen twee foto's naast elkaar, tot een man en de andere van een vrouw. Deze rijke visuele en taalkundige omgeving toegestaan de auteurs om pesten elkaar de gevolgen van taal-gemedieerde stereotiepe kennis op begrip van de gevolgen van de signalen van de gender visueel gepresenteerd (hand).
Developmental wijzigingen in taalverwerking was gericht tegen een verdere toepassing van dit paradigma. Oogbewegingen tot objecten tijdens gesproken taalbegrip bleek de effecten van afgebeelde gebeurtenissen in 4 - 5 - jarigen27,28 en in oudere volwassenen29 in real-time, maar enigszins vertraagd in vergelijking met jonge volwassenen. Kröger en medewerkers22 onderzocht de effecten van prosodische signalen en case markering binnen een experiment en vergeleken dit over experimenten bij volwassenen en kinderen. Deelnemers geïnspecteerd een dubbelzinnige actie-event scène terwijl u luistert naar een verwante ondubbelzinnig geval-gemerkt Duitse zin. Oogbewegingen bleek dat de verschillende prosodische patronen hielp de volwassenen noch de 4 - of 5-jarigen, wanneer disambiguating die-doet-wat-te-wie. Zin-eerste geval markering, echter beïnvloed volwassenen maar niet Kinder oogbewegingen. Dit suggereert dat de 5-jarigen inzicht in geval markering niet robuust genoeg is om thematische roltoewijzing (Zie de studie door Özge en medewerkers30), tenminste niet wanneer actie gebeurtenissen deed niet eenduidig thematische rol betrekkingen. Deze resultaten zijn interessant, gezien het feit dat zij in tegenstelling tot de resultaten van de vorige prosodische effecten op thematische rol toewijzing31. Kröger en medewerkers22 voorgesteld dat de (min of meer ondersteunende) visuele context verantwoordelijk voor de tegenstrijdige bevindingen is. In de mate dat deze interpretaties houden, wijzen ze op de rol van context in taalbegrip over de levensduur.
De eye-tracking-methode combineert goed met de maatregelen uit het beeld - (of video-) zin verificatie taken18,20,26, PIP verificatie taken32, corpus studies24, rating taken19, of post experimentele terugroepen taken25,33. Abasjidze en medewerkers34 en Kreysa en medewerkers33 onderzocht het samenspel van spreker blik en realistische actie video's34 en spreker blik en actie voorstellingen33, respectievelijk als signalen voor Aankomende zin de inhoud. Door het volgen van oog blik in een scène tijdens taalbegrip te combineren met een taak na experimentele geheugen, kregen ze een beter begrip van de manier waarop de luisteraars perceptie van een spreker de blik en de afgebeelde acties communiceren en beïnvloeden beide onmiddellijke taalverwerking en geheugen terugroepen. De resultaten bekend gemaakt van de afzonderlijke bijdrage van acties ten opzichte van de blik van de spreker tot real-time begrip versus na experiment geheugen terugroepen processen.
Terwijl de eye-tracking-methode kan worden gebruikt met grote flexibiliteit, zijn bepaalde normen sleutel. Het volgende protocol bevat een overzicht van een algemene procedure die kan worden aangepast aan verschillende soorten onderzoeksvragen volgens de specifieke behoeften van de onderzoekers. Dit protocol is een gestandaardiseerde procedure werkzaam in de psycholinguïstiek laboratorium aan de Humboldt-Universität zu Berlin, evenals in het voormalige taal en cognitie laboratorium op de cognitieve interactie technologie Excellence Cluster (CITEC) op Bielefeld-universiteit. Het protocol beschrijft een desktop en een installatie op afstand. De laatste wordt aanbevolen voor gebruik in studies met kinderen of oudere volwassenen. Alle experimenten in de Vertegenwoordiger resultaten vermeld gebruiken een eye tracker apparaat die een sampling-frequentie van 1000 Hz en is gebruikt in combinatie met een hoofd stabilisator, een PC voor het testen van de deelnemers (Display PC) en een PC voor het toezicht op het experiment en de deelnemers oogbewegingen (Host PC). Het belangrijkste verschil van dit apparaat zijn voorganger is dat het mogelijk voor verrekijker eye tracking maakt. Het protocol is bedoeld als voldoende algemeen voor gebruik met andere eye-tracking-apparaten die uit een hoofd stabilisator en gebruik maken van een dubbele PC setup (Host + scherm). Het is echter belangrijk in gedachten te houden dat andere opstellingen waarschijnlijk verschillende methoden hebben zal voor de behandeling van problemen zoals kalibratie storingen of verlies van de track, in dat geval de experimentator naar de gebruiker verwijzen moet handmatig voor hun specifieke apparaat.
Protocol
Dit protocol volgt de richtsnoeren van de ethiek van de instelling waar de gegevens zijn verzameld, dat wil zeggen, de cognitieve interactie technologie Excellence Cluster (CITEC) van de Bielefeld universiteit en Humboldt-Universität zu Berlin. De experimenten aan de Bielefeld universiteit zijn individueel door van de Bielefeld universiteit ethisch comité goedgekeurd. De psycholinguïstiek laboratorium aan de Humboldt-Universität zu Berlin heeft een laboratorium ethiek-protocol, dat werd goedgekeurd door de ethische commissie van de Deutsche Gesellschaft für Sprachwissenschaft, de Duitse linguïstiek Society (DGfS).
1. desktop Setup
Opmerking: De volgende zijn de belangrijkste stappen in een eye-tracking-experiment.
- Instrument voorbereiding
- Zet de eye-tracking camera en de Host-PC (Zie Figuur 1 ter een illustratie van de gegevensverzameling van in-lab en de voorbewerkend setup).
- De eye tracker software te starten.
- De weergave van de PC inschakelen. Open de map waarin de experimenten.
- Start de 'ingezet' versie met de extensie .exe door erop te dubbelklikken.
- Afhankelijk van de instellingen, mogelijk een prompt voor het selecteren van een experimentele lijst weergegeven, die is meestal een.csv/.txt tabgescheiden bestand met de voorwaarden, geluidsbestand namen, schriftelijke zinnen, en/of afbeeldingen die een deelnemer zal worden blootgesteld aan. Selecteer de lijst en wordt het programma gestart. De naam van het uitvoerbestand waarin de resultaten worden opgeslagen.
Opmerking: De output-bestand wordt opgeslagen op de PC van de Display en een back-up is opgeslagen op de Host-PC. - Het eerste scherm van het experiment (inleiding of welkomstscherm) open laten.
- Verwijder de beschermende kap van de eye tracker camera.
- Voor hygiënische doeleinden, een weefsel op de kin houder te plaatsen.
- Optioneel: Bereiden een reactie pad en/of een toetsenbord zoals vereist door het experiment.
- Optioneel: Als presentatie van auditieve stimuli, het volume van de luidsprekers aanpassen en testen voordat u het experiment uitvoert. Als alternatief, test de functionaliteit van de hoofdtelefoon moet worden gebruikt door de deelnemer.
- Bereid de noodzakelijke formulieren moeten worden ondertekend door de deelnemer.
- Stel de lichtintensiteit in het laboratorium om een slecht verlichte kamer met een constante luminantie voor de gehele duur van de gegevensverzameling correct verloopt.
- Voorbereiding voor de deelnemers
- Nadat de deelnemers zijn aangekomen, introduceer jezelf.
- Plaats een niet storen teken op de deur van het laboratorium.
- Vraag de deelnemer plaatsnemen.
- Begeleiden van de deelnemer door middel van het inlichtingenblad en de benodigde toestemmingen en demografische vormen.
- Laat de deelnemer lezen en ondertekenen van het toestemmingsformulier.
- Leg kort uit wat de algemene aspecten van het experiment en de duur. Bieden niet teveel informatie voorafgaand aan het experiment, aangezien dit van de deelnemer blik gedrag en de resulterende gegevens beïnvloeden kan.
- Schriftelijke instructies geven en geven de deelnemer de gelegenheid om vragen te stellen.
- Leg kort uit wat de functie van de oog-tracker.
- Indien nodig, het verduidelijken van de taak en knoppen/toetsen die worden ingedrukt tijdens het experiment zal moeten wijzen.
- Uitleggen hoe de kin rest is bedoeld om te minimaliseren van hoofd beweging tijdens het experiment. Vermelden dat het apparaat functioneert het beste als de deelnemer eventuele bewegingen vermijdt.
- Instellen van de oog-tracker
- De deelnemer voorbereiden op het experiment: vraag hen om te zitten aan de tafel en plaats van hun kin op de kin rest. Vraag hen te leunen op hun voorhoofd tegen de hoofdsteun.
- De deelnemer aan het aanpassen van de hoogte en de positie van de stoel, indien nodig vragen: de deelnemer moet comfortabel voelen met hun kin op de kin rest en hun voorhoofd tegen de hoofdsteun.
- Uitleggen dat het is gebruikelijk om per ongeluk het hoofd te verplaatsen tijdens het experiment en dat dit moet worden vermeden. Leg uit dat de hoofd houding zou moeten worden gecorrigeerd tijdens het experiment.
- Als het experiment vereist een druk op de knop (bijvoorbeeld via de reactie-pad), opdracht geven de deelnemer te laten hun vingers rusten op de knoppen ingedrukt worden en om te voorkomen dat kijkt neer op het pad van de reactie bij het indrukken van een knop.
- Vraag de deelnemer om te lezen het Welkom/inleidingsscherm.
- Zitten voor de Host-PC. Als het scherm nog niet op Camera setup, klikt u op Camera setup om naar het rechter scherm. Als de beschermkap is verwijderd uit de cameralens en de deelnemer juist gepositioneerd op de kin rest, het scherm drie beelden van de ogen van de deelnemer moet weergeven: een groter beeld bij de bovenkant, en twee kleinere onderaan links en rechts. Deze kleinere beelden tonen een oog elk, overeenkomen met de linker- en het rechteroog.
- Selecteer het oog worden bijgehouden. Het is gebruikelijk om bij te houden van de deelnemer dominante oog. Als de deelnemer niet welke oog is dominant weet, voeren een oogbeschadigingen en/of dominantie-test (stap 1.3.8).
- Oogbeschadigingen en/of dominantie te bepalen. Vraag de deelnemer zich uitstrekken van een arm en uitlijnen van de duim met een verre object met beide ogen open. Vraag de deelnemer op de alternatieve afsluiting van de linker of rechter oog. Het dominante oog is degene waarvoor de duim uitgelijnd met het object blijft wanneer het oog open35,,36 is.
- Klik op afbeelding | Display pc (of druk op Enter) en de beelden die zijn beschreven in stap 1.3.6 wordt ook weergegeven op het scherm van de deelnemer, maar slechts één filter tegelijk.
- Druk op pijl-links/rechts op het toetsenbord van de computer van de experimentator of van de deelnemer om te schakelen tussen het kleinere en grotere beeld van het oog. Focus op de kleinere afbeelding (het oog).
- Druk op A (Uitlijnen oog venster) op een toetsenbord om te midden van het vak Zoeken grenzen op de positie van de leerling. Vervolgens moet een rood vierkantje rond de ogen worden weergegeven met een turquoise cirkel [de 'hoornvlies reflection', (cr)] in de buurt van de onderkant van de leerling. De leerling zelf moet blauw zijn.
- Ervoor zorgen dat twee kruisen ('crosshairs') worden weergegeven op het scherm — één in het midden van de leerling en één in het midden van de cornea reflectie. Het rode vak en de twee kruisen betekenen dat de eye tracker is het opsporen van de leerling en de cr.
Opmerking: Als het rode vak of de kruizen die afwezig zijn, het oog is niet meer bijgehouden — als dit gebeurt, geen leerling zal verschijnen op de experimentator van computer. - Aanpassen focus van de camera door de brandpuntsafstand handmatig te draaien. Wees voorzichtig niet aan te raken de voorkant van de lens. Draai de lens tot de beste focuspunt is bereikt.
Opmerking: De beste focuspunt is bereikt wanneer de turquoise cirkel (het hoornvlies reflectie) zo klein is mogelijk (dat wil zeggen, wanneer deze cirkel scherpgesteld is). - De leerling-drempel instellen Ervoor zorgen dat alleen het beeld van de leerling blauw is (bijvoorbeeldde wimpers moeten niet worden blauw) op de Host-PC. Zorg er bovendien voor dat de gehele leerling (niet alleen de centrale deel) blauw is. Alleen zorgen over wat er binnen het Rode plein.
- Druk op A. Dit stelt automatisch de drempel van de leerling. Als de leerling niet nauwkeurig in het blauw wordt weergegeven, past u de drempel handmatig met behulp van de omhoog -toets om te vergroten en de sleutel naar beneden tot vermindering van de hoeveelheid blauwe deel van het oppervlak van de afbeelding.
Opmerking: Mascara (dat is meestal zwart, als de leerling) kunnen interfereren met de drempel instellen — de eye tracker de donkere wimpers kan duren voordat de leerling. In dit geval, vraag de deelnemer om hun make-up door hen met make-up remover weefsels. - De cr-drempelinstellen Als A is ingedrukt in stap 1.3.15, moeten de cr drempel automatisch zijn ingesteld.
Opmerking: De numerieke waarden voor alle instellingen van de drempel moeten worden weergegeven. Als er een vraagteken wordt weergegeven in elk van hen, er was een probleem in een van de voorgaande stappen en de drempels moeten handmatig worden ingesteld.
- Kalibreren van de oog-tracker
Opmerking: Controleer of de eye tracker consequent de positie van het oog herkent wanneer de deelnemer naar andere delen van het scherm kijkt.- Vraag de deelnemer om te zoeken op de vier hoeken van het scherm een tegelijk, terwijl het instellingenvenster van de camera in de weergave is. Zorgvuldig kijken voor eventuele onregelmatige reflecties (deze zal verschijnen als turkoois 'vlekken' op het scherm) die met de cornea reflectie interfereren wanneer de ogen-blik is gericht op de hoek.
- Vraag de deelnemer om te kijken in het midden van het scherm en vervolgens direct hun blik naar de hoek problematisch als het rode vak rond het oog en een van het vizier niet zichtbaar op elk gewenst moment tijdens stap 1.4.1 zijn. Dit zal helpen de oorzaak van het probleem.
- De positie van de deelnemer hoofd opnieuw aanpassen en controleren als dit geen verbetering oplevert. Herhaal deze stap indien nodig. Als het apparaat nog steeds niet in staat om nauwkeurig bijhouden van de deelnemer blik na verschillende pogingen, breken het experiment.
- De deelnemer op de hoogte dat de eye tracker zal worden gekalibreerd en dat ze gaan zien van een zwarte cirkel (met een kleine grijze stip) verplaatsen naar verschillende delen van het scherm. Instrueer de deelnemer aan het fixeren van de cirkel totdat het wordt verplaatst naar een nieuwe locatie. Instrueer de deelnemer om te voorkomen dat het uitpersen van hun ogen en te richten op de kleine grijze stip binnen de zwarte cirkel voor optimale resultaten.
- Vertellen de deelnemer dat er nog steeds houden en niet te proberen om te anticiperen op de positie van de volgende cirkel tijdens de kalibratie. Instrueren hen te volgen van de cirkels met hun ogen en niet hun hoofd. Klik op kalibreren om te beginnen met het kalibratieproces. Een 9-punts kalibratieprocedure wordt normaal gesproken gebruikt waarin de zwarte cirkel wordt verplaatst naar negen locaties in een seriële wijze.
- Voor een automatische kalibratie, druk op ENTER nadat de deelnemer heeft de eerste stip in het midden van het scherm nauwkeurig gefixeerd. Voor handmatige kalibratie (bijvoorbeeldwanneer er problemen bijhouden van de deelnemer oog of wanneer omgaan met speciale deelnemer groepen zoals kinderen), elke fixatie te accepteren door op ENTER te drukken (of door te klikken op accepteren fixatie/ drukken op de SPATIEBALK).
Opmerking: Aan het einde van het kalibratieproces, een bijna rechthoekig patroon op van de experimentator scherm zichtbaar moet zijn. Dit vertegenwoordigt de ogen blik patronen van de deelnemer. Daarnaast moeten de resultaten van een goede kalibratie worden gemarkeerd in het groen. Als zij niet zijn, herhaalt u de kalibratieprocedure (d.w.z., klik op kalibratie). - Valideren van de resultaten. Vertellen de deelnemer te gaan via dezelfde procedure (kijken naar puntjes) om de resultaten van het kalibratieproces valideren. Herinneren hen om te kijken naar de stip en nog steeds.
Opmerking: Het proces van validatie is vergelijkbaar met die van de kalibratie en beide resultaten worden vergeleken met de eye tracker software om ervoor te zorgen dat het oog nauwkeurig wordt bijgehouden. - Klik op valideren.
- Accepteren elk fixatie door op ENTER te drukken (of door te klikken op accepterenfixatie/drukken op de SPATIEBALK).
- Na de validatie, worden de resultaten weergegeven op het scherm van de experimentator. Bijzondere aandacht besteden aan de maatregelen van de twee fout, de gemiddelde fout (b.v., 0,23 °) en de maximale fout (b.v., 0.70 °). Deze vertegenwoordigen de graden waarnaar de bijgehouden afbeelding van het standpunt van de werkelijke blik van een deelnemer afwijkt.
- Houd bij het gebruik van een visuele wereld paradigma, de gemiddelde fout (het eerste nummer) onder 0.5° en de maximumfout (het tweede getal) onder 1°.
- Als de foutwaarden boven de drempel, vraag de deelnemer om te passen, de positie van hun hoofd en herstarten van de kalibratieprocedure. Indien geen verbetering wordt waargenomen, breken het experiment.
Opmerking: Het is gebruikelijk om het observeren van hoge kalibratie fouten wanneer de deelnemer contactlenzen draagt. De deelnemer moet op voorhand worden gevraagd om hun bril recept in plaats van hun contactlenzen. - Na een succesvolle afronding het kalibratieproces, klik op Output/Record te beginnen met het experiment. Informeren van de deelnemer dat het experiment zal nu beginnen.
- Tijdens het experiment
Opmerking: Tijdens het experiment (afhankelijk van hoe een individuele experiment is geprogrammeerd, maar typisch voor elk experimenteel onderzoek), een selectievakje drift of drift juiste scherm verschijnt een stip in het midden van het scherm. Haar doel is om het verslag van de fout van de berekende fixatie voor het huidige proces, en, afhankelijk van het oog tracker model, worden automatisch aangepast.- Tijdens de fase van de instructie, heeft de deelnemer verteld om te fixeren van de centrale stip wanneer het wordt weergegeven. Zorg ervoor dat tijdens elke drift selectievakje/drift juiste fase, deelnemers zijn opnieuw fixering van de stip. Dit kan worden gedaan door het volgen van de deelnemer blik op de Host-PC, waar de blik van de deelnemer wordt weergegeven als een bewegende groen rondje.
- Zodra de drift selectievakje/drift correct is voltooid, drukt u op ENTER (of de SPATIEBALK) om het maken van de dot verdwijnen en het volgende proces weer te geven.
- Bepalen hoe te te behandelen indien niet aan de drift selectievakje fase volgens het model van de eye tracker gebruikt. Afhankelijk van het model, de eye tracker zal ofwel het uitvoeren van een automatische correctie drift door de blik van coördinaten zodat deze overeenkomen met die van de centrale stip aan te passen, of het zal maken een piepen lawaai te vragen de experimentator opnieuw kalibreren voordat u doorgaat de experimenteren (selectievakje drift).
- Als een automatische drift correctie gebruikt, houd er rekening mee dat teveel drift correcties in opeenvolgende proeven en/of te groot een mate van drift correctie zal de resultaten vervormen en een re-kalibratie van het apparaat vereisen.
- Re-kalibratie tijdens het experiment
- Het is mogelijk om opnieuw te kalibreren op elk gewenst moment tijdens het experiment. Tijdens de presentatie van de Drift van correctie/drift selectievakje scherm, klik op Camera setup, klik op kalibreren. De kalibratie en validatie processen doorlopen totdat een bevredigende waarde is bereikt, en klik vervolgens op Output/record. Het experiment zal worden hervat vanaf het punt van de uitgang in de proef volgorde.
- Na het experiment
- De deelnemer voorzien van een vragenlijst om te beoordelen of zij konden denk dat de belangrijkste experimentele manipulaties. Hier, is het ook belangrijk om te vragen over mogelijke strategieën die gedurende het gehele experiment kon zijn ontwikkeld.
- Nabespreking van de deelnemer over het doel van het experiment. Ik dank hen voor hun deelname en bieden van de noodzakelijke monetaire compensatie of cursus credit toewijzen, indien van toepassing.
2. externe Setup: Aanpassen van de installatie voor Studies met kinderen en oudere volwassenen
Opmerking: Deze sectie wordt alleen de verschillen tussen een installatie op afstand en een desktop setup beschreven zoals beschreven in stap 1. Punten vermeld niet expliciet hier moet worden aangenomen dat identiek is aan de procedure die wordt beschreven in stap 1.
- De standaard 35 mm oog tracker cameralens voor een 16 mm lens uit te wisselen.
- Sluit alle benodigde apparatuur (Host-PC, luidsprekers, eye tracker en laptop als een laptop wordt gebruikt).
- De laptop op een laptop-stand en de eye tracker voor het plaatsen (de deelnemer moet zitten kundig voor zien van de top 75% van het scherm).
- Plaats een "doel"-sticker (verkrijgbaar bij de fabrikant van de tracker's) op de deelnemer voorhoofd (boven de wenkbrauw van het rechteroog of op de rechterwang het voorhoofd is te klein (dat wil zeggen, in het geval van de zuigelingen); deze sticker vervangt de kin rest van de Desktop setup en het kan de ogen tracker nauwkeurig bepalen de positie van hoofd van de deelnemer.
- Zorg ervoor dat de deelnemer 550-600 mm weg van de camera (de afstand van de target-sticker op de camera zit).
- Zorg ervoor dat de woorden "grote hoek" of "in de buurt van oog" verschijnen niet op de Host-PC. Als zij dit doen, betekent dit dat de positie van de doel-sticker niet ideaal is. In dit geval passen de doel-sticker. Het kan ook betekenen dat de deelnemer voorhoofd bijzonder klein is. Als dit het geval is, plaatst u de sticker op de Wang van de deelnemer.
Opmerking: Als de sticker wordt geplaatst te dicht bij het oor, het bericht "grote hoek" wordt waarschijnlijk weergegeven en de sticker moet worden verplaatst. - Voordat u begint het kalibratieproces beschreven in stap 1.4, door ervoor te zorgen dat de deelnemer comfortabel zit. Vraag hen te houden dezelfde positie gedurende het hele experiment en verklaren dat de eye tracker zeer gevoelig voor lichaamsbewegingen is. Aandringen dat ze hun hoofd nog steeds houden. Als de deelnemer zich teveel beweegt, zal het apparaat een zoemend geluid uitzenden.
Opmerking: Als de externe eye tracker setup wordt gebruikt voor het testen van kwetsbare bevolkingsgroepen, zoals kinderen of oudere volwassenen, is het raadzaam om een handmatige kalibratieprocedure te gebruiken.
3. het aanpassen van de installatie voor het lezen van de Studies
Opmerking: Bij het onderzoeken van visuele context effecten op lezing, er moet bijzondere aandacht besteden aan de processen kalibratie en re-kalibratie. In tegenstelling tot de studie van de visuele wereld vereist eye tracking tijdens lezing een veel hogere mate van apparaat nauwkeurigheidstoleranties, de nauwkeurigheid voor het opvolgen van de woord-voor-woord en letter-voor-letter lezing patronen.
- Zorg ervoor dat zowel de gemiddelde en maximale fout tijdens de valideringsfase weergegeven onder 0.5° blijven.
- Zorg ervoor dat u ten minste een 9-punts schaal voor kalibratie. Dit zorgt voor een meer nauwkeurige tracking van de ooghoogte blik, die van essentieel belang, gezien de geringe omvang van de gebieden van belang tijdens de lezing.
Representative Results
Een studie door Münster en medewerkers37 onderzocht het samenspel van zinsbouw, acties en gezicht emotionele signalen afgebeeld tijdens taalbegrip. Deze studie is geschikt voor het illustreren van de voordelen en beperkingen van de methode, zoals bleek dat zowel robuuste afgebeeld actie effecten en marginale effecten van gezicht emotionele signalen op begrip van de zin. De auteurs gemaakt 5 s-video's van gelaatsuitdrukking van een vrouw die vanuit een rustende positie in een gelukkig of in een trieste uitdrukking gewijzigd. Ze creëerde ook emotioneel positief valenced Duitse Object-werkwoord-bijwoord-Subject (OVAdvS) zinnen van het formulier ' de [object/patiëntaccusatief] [werkwoord] [positieve bijwoord] [onderwerp/agentnominatieve geval].' Via de positieve bijwoord, de zinnen gematched de 'happy' video en verkeerde de 'trieste' video, in afwachting van het beginsel van de agent (die glimlachte en beschreven als waarnemend gelukkig door de positieve bijwoord) het toelaat. Na de spreker video verscheen de zin met een van de twee versies van een agent-patiënt-afleider clipart scène. In één versie, werd de agent afgeschilderd als het uitvoeren van de genoemde actie op de patiënt, terwijl de afleider teken een andere actie uitgevoerd. De andere scène versie afgebeeld geen acties tussen de personages. Oogbewegingen in de scène bleek het effect van de acties en van de gelaatsuitdrukking van de spreker op begrip van de zin.
De actie afbeelding snel beïnvloed de deelnemers visuele aandacht, wat betekent dat de deelnemers meer bij de agent dan op de afleider keek toen de genoemde actie (vs. was niet) afgebeeld. Deze ziet er waren anticiperende (dat wil zeggen, die zich voordoen voordat de agent werd genoemd), suggereren dat de voorstelling van de actie de agent verduidelijkt voordat de zin heeft. De vroegste effect van de actie-voorstelling naar voren gekomen tijdens het werkwoord (dat wil zeggen, het werkwoord gemedieerde de actie-geassocieerde agent). Daarentegen, de vorige spreker glimlachte of keek ongelukkig hadden geen duidelijk effect op de agent anticipatie (Figuur 2). Het laatste resultaat kon weerspiegelen het meer zwak verband tussen een spreker glimlach en een positieve sentential bijwoord met betrekking tot de afgebeelde agent actie (vergeleken met een referentie van de directe werkwoord-actie een actie-geassocieerde agent bemiddelen). Anderzijds zou het specifiek voor de taak en stimulans presentatie: misschien emotie effecten zou hebben meer uitgesproken in een meer sociaal interactieve taak of in die van de spreker gezicht tijdens (en niet vóór) zin begrip presenteert. Echter, presenteren van de spreker van een lachende gezicht tijdens begrip kan veroorzaken deelnemers te concentreren op het eerste gezicht ten koste van andere inhoud van de scène, misschien maskeren anders waarneembare effecten van de gemanipuleerde variabelen (Bron: ongepubliceerde gegevens).
In een verdere variant van het paradigma, Guerra en Knoeferle32 gevraagd of ruimtelijke-semantische wereldtaal betrekkingen het begrijpen van de abstracte semantische inhoud tijdens de lezing moduleren kunnen. Guerra en Knoeferle leende het idee van de conceptuele metafoor theorie38 dat ruimtelijke afstand (b.v., nabijheid) de betekenis van abstracte semantische relaties (bijvoorbeeldgelijkenis gronden). In overeenstemming met deze hypothese, deelnemers lezen gecoördineerd abstracte zelfstandige naamwoorden sneller wanneer zij vergelijkbaar (vs. tegenovergestelde) in betekenis waren en had zijn voorafgegaan door een video vervoert nabijheid (vs. afstand; speelkaarten stap dichter samen vs. verder uit elkaar liggen). In een tweede reeks van studies39beschreven zinnen de interactie tussen twee personen als intieme of onvriendelijk, wat leidt tot de ontdekking dat de video's van twee kaarten die elkaar naderen de lezing van zin-regio's die sociale overgebracht versneld nabijheid/intimiteit. Opmerking dat de ruimtelijke afstand beïnvloed zin lezen snel en stapsgewijs zelfs wanneer de zinnen deed niet verwijzen naar de objecten in de video. De video's apart gemoduleerd lezing tijden als een functie van de congruentie tussen ruimtelijke afstand en semantische evenals sociale aspecten van de betekenis van de zin. Deze effecten bleek zowel in eerste-pass lezing tijden (de duur van de eerste keuring van een vooraf bepaalde zin regio) en de totale tijd doorgebracht op deze zin regio (Zie Figuur 3 voor een illustratie van de resultaten van de studies door Guerra en Knoeferle)32. De analyses bleek echter ook aanzienlijke variatie tussen deelnemers, wat leidt tot de conclusie dat dergelijke subtiele effecten van de kaart-afstand mogelijk niet zo robuust als de effecten van werkwoord-actie betrekkingen, om een voorbeeld te noemen.
Een nieuwe reeks van studies illustreert hoe variatie in zinsbouw kan helpen evalueren de algemeenheid van de effecten van de visuele context. Abasjidze en medewerkers34 en Rodríguez en medewerkers26 onderzocht de effecten van recente acties inzake de verdere verwerking van de gesproken zinnen. In beide studies, geïnspecteerd de deelnemers eerst een actie video (bijvoorbeeld, een experimentator smaakstof komkommers, of vrouwelijke handen een taart bakken). Vervolgens zij luisterden naar een Duitse zin dat ofwel was gerelateerd aan de recente actie of aan een andere actie die uitgevoerd zou kunnen worden de volgende (smaakstoffen tomaten34; bouwen van een model-26). Tijdens het begrip, de deelnemers geïnspecteerd een scène toont twee objecten (komkommers, tomaten)34 of twee foto's van agent gezichten (een vrouwelijke en een mannelijke agent gezicht, met de naam 'Susanna' en 'Thomas', respectievelijk)26. In de studie van Abasjidze en medewerkers34, de spreker voor het eerst genoemd de experimentator en vervolgens het werkwoord (bijv., smaakstof), aanleiding kunnen geven tot verwachtingen over een thema (b.v., de komkommers of de tomaten). In de studie van Rodríguez en medewerkers26, de spreker voor het eerst genoemd een thema (de cake), waarna het werkwoord (bakken), aanleiding kunnen geven tot verwachtingen over de agent van de actie (vrouwelijke: Susanna, of man: Thomas, afgebeeld via foto's van een vrouwelijke en een mannelijke gezicht).
In beide studies was de vraag of mensen zou (visueel) anticiperen op het thema/agent van de recente gebeurtenis van de actie of de andere thema/agent-gebaseerd op verdere contextuele aanwijzingen tijdens begrip verstrekt. Van de experimentator blik in Abasjidze en medewerkers34, gecued wordt de toekomstige theme-object (de tomaten) vanaf het begin van het werkwoord (letterlijk vertaald uit het Duits: 'de experimentator-agent smaken binnenkort...'). In Rodríguez en medewerkers26, gender kennis van stereotiepe acties beschikbaar werd, toen het thema en het werkwoord zijn genoemd (bijvoorbeeld, de letterlijke vertaling van de Duitse stimuli was: 'de taart-thema bakt binnenkort...'). In beide sets van studies, de deelnemers bij voorkeur geïnspecteerd de target/agent van de recente actie (de komkommers34 of Susanna26) meer dan het de alternatieve (toekomst/andere-geslacht) doel (de tomaten34 of Thomas26) tijdens de zin.
Deze zogenaamde 'recente-event voorkeur', zo lijkt robuust over aanzienlijke variatie in zinsbouw en experimentele materialen. Het was gemoduleerd, echter door visuele beperkingen uit de gelijktijdige scène26, zodanig dat de afhankelijkheid van de gebeurtenissen van onlangs geïnspecteerd actie presenteren plausibel foto's van werkwoord thema's bovendien tot seksegerelateerd foto's van agenten verminderd en gemoduleerde aandacht op basis van gender-stereotype kennis overgebracht door taal. Figuur 4 illustreert de belangrijkste bevindingen van de experimenten door Rodríguez en medewerkers26.
Terwijl deze versie van het visual-wereld paradigma robuuste resultaten opgeleverd, hebben andere studies gewezen op de complexiteit (en beperkingen) van de koppeling hypothese. Burigo en Knoeferle20 ontdekt dat deelnemers — wanneer u luistert naar uitingen zoals Die Box ist über der Wurst ('het vak is boven de worst') — meestal gevolgd de uiting bij de inspectie van clipart-afbeeldingen van deze objecten. Maar op een deel van de proeven, de deelnemers blik losgekoppeld van wat werd genoemd. Bij het horen van de 'worst' en de worst ten minste eenmaal hebben geïnspecteerd, de deelnemers volgende keuring keerde terug naar het vak op ongeveer 21% van de proeven in versneld verificatie (Experiment 1) en in 90% van de proeven in () na zin verificatie Experiment 2). Dit patroon blik suggereert dat de verwijzing (hoorzitting ' worst') alleen sommige begeleide (inspectie van de worst), maar niet alle oog bewegingen (inspectie van het vak). Dit soort ontwerp kan worden gebruikt om de plagen uit elkaar lexicale-referentiële processen van andere (met inbegrip van-zinsniveau interpretatieve) processen. Onderzoekers moeten echter voorzichtig zijn wanneer vorderingen over verschillende niveaus van taalkundige verwerking gebaseerd op relatieve verschillen in oog-beweging proporties, gezien de ambiguïteit in oog blik te koppelen cognitieve en begrip processen.
Figuur 1: overzicht van de omgeving met gegevensverzameling. De grafiek toont hoe de verschillende software en hardware elementen voor gegevensverzameling gebruikt en voorbewerken zich tot elkaar verhouden. Klik hier voor een grotere versie van dit cijfer.
Figuur 2: Representatieve resultaten van Münster en medewerkers37. Deze panelen tonen de door-onderwerp gemiddelde log-blik waarschijnlijkheid ratio's per voorwaarde in de regio van het werkwoord (voor de afgebeelde actie) en in de regio van de werkwoord-bijwoord gecombineerd (voor het effect voor emotionele prime). Uit de resultaten blijkt een aanzienlijk hoger aandeel van kijkt naar de doelafbeelding wanneer de actie in de zin genoemde werd afgebeeld dan wanneer het niet was afgebeeld. De resultaten voor het effect van emotionele gezicht priemgetallen waren minder overtuigend: ze suggereren slechts een lichte stijging van de verhouding van de gemiddelde-log van kijkt naar het doel als het gezicht priemgetal had een positieve emotionele valence (een glimlach) dan had een negatieve valence (een triest gezicht). De foutbalken vertegenwoordigen de standaardfout van het gemiddelde. Dit cijfer is gewijzigd van Münster et al. 37. Klik hier voor een grotere versie van dit cijfer.
Figuur 3: Representatieve resultaten Guerra en Knoeferle32. Dit paneel toont de gemiddelde eerste-pass lezing tijd (in milliseconden) van het (dis) gelijkenis bijvoeglijk naamwoord. De resultaten tonen kortere lezing tijden voor gelijkenis zinnen na het zien van twee spelen kaarten dichter bij elkaar plaatsen met verder uit elkaar vergeleken. De foutbalken vertegenwoordigen de standaardfout van het gemiddelde. Dit cijfer is gewijzigd van Guerra en Knoeferle32. Klik hier voor een grotere versie van dit cijfer.
Figuur 4: Representatieve resultaten van Rodríguez en medewerkers26. Dit paneel toont de blik van-onderwerp gemiddelde log waarschijnlijkheid ratio's per voorwaarde in de regio werkwoord. De verhoudingen van ziet er boven 0 Toon een voorkeur voor de doelafbeelding voor de agent en de verhoudingen onder 0 Toon een voorkeur voor de concurrent agent afbeelding. De resultaten blijkt dat deelnemers meer kans om te inspecteren de doelafbeelding agent wanneer het object en het werkwoord in de zin genoemde gematched de vorige videotaped gebeurtenissen dan wanneer ze niet waren. Daarnaast waren er meer kijkt naar de doelafbeelding agent wanneer de actie beschreven door de zin gelijkvormig genderstereotypen. De foutbalken vertegenwoordigen de standaardfout van het gemiddelde. Dit cijfer is gewijzigd van Rodríguez et al. 26. Klik hier voor een grotere versie van dit cijfer.
Discussion
Kortom, hebben de herziene varianten van eye tracking in een visuele context ontdekt vele manieren waarop een visuele scène taalbegrip kan beïnvloeden. Deze methode biedt cruciale voordelen ten opzichte van methoden zoals het meten van reactiesnelheid. Bijvoorbeeld voorzien lopende oogbewegingen ons van een venster in taal begrip processen en hoe deze samenwerken met onze perceptie van de visuele wereld na verloop van tijd. Deelnemers zijn bovendien niet noodzakelijkerwijs vereist voor het uitvoeren van een expliciete taak tijdens het taalbegrip (zoals te oordelen de grammaticaliteit van een zin via een druk op de knop). Hierdoor kunnen onderzoekers met behulp van de methode met populaties die met openlijke gedrags reacties dan oog blik, zoals zuigelingen moeite, kinderen en, in sommige gevallen, oudere volwassenen. Eye tracking is ecologisch geldig in dat hierin deelnemers aandacht reacties — niet in tegenstelling tot de mens visuele ondervraging van communicatie-relevante dingen in de wereld om hen heen tijdens het min of meer aandachtig luisteren naar ontplooiing uitingen.
Een van de grenzen (of misschien kenmerken) van de visuele wereld paradigma is dat niet alle gebeurtenissen rechtlijnig en ondubbelzinnig kunnen worden afgebeeld. Concrete objecten en gebeurtenissen kunnen, natuurlijk, zijn afgebeeld. Maar hoe abstracte concepten beste zijn afgebeeld is minder duidelijk. Dit kan beperken (of definieer) inzicht in de interactie tussen taalverwerking en de perceptie van de visuele wereld met behulp van een eye-tracking visuele wereld paradigma. Verdere uitdagingen hebben betrekking op de koppeling hypothesen tussen waargenomen gedrag en begrip processen. Oog fixaties zijn gedrags één antwoord dat waarschijnlijk vele subprocessen tijdens taalbegrip (bijvoorbeeldlexicale toegang, referentiële processen, taal-gemedieerde verwachtingen, visuele context effecten, onder andere weerspiegelt). Gezien dit inzicht, onderzoekers moeten oppassen niet te over - of interpreteren van de blik van de waargenomen patroon. Om aan te pakken dit probleem, heeft voorafgaande onderzoek benadrukte de rol van begrip subtaken ter verduidelijking van de interpretatie van de blik registreren40.
Een manier om het verbeteren van de interpretability van oogbewegingen is om deze te integreren met andere maatregelen, zoals gebeurtenis-gerelateerde hersenen potentieel (ERPs). Door het onderzoeken van hetzelfde fenomeen met twee methoden die vergelijkbaar in hun temporele granulatie en complementair in hun koppelen hypothesen zijn, kunnen onderzoekers uitsluiten van alternatieve uitleg van hun resultaten en verrijken van de interpretatie van elk individuele maatregel41. Deze aanpak heeft uitgeoefend over experimenten43, maar meer recentelijk, ook binnen een enkele experiment (zij het in strikt taalkundige contexten)44. Toekomstig onderzoek kan veel baat hebben bij deze methodologische integratie en bleef combinatie met na proef en na experimentele taken.
De eye-tracking-methode kan repliceren gevestigde resultaten, evenals het testen van nieuwe hypothesen, over de interactie van de visuele aandacht in scènes met taalbegrip. De procedure die wordt beschreven in het protocol moet zorgvuldig worden gevolgd omdat zelfs kleine experimentator fouten kunnen invloed hebben op de kwaliteit van de gegevens. Bij het lezen van studies, bijvoorbeeld zijn de analyse van de relevante regio's vaak afzonderlijke woorden of zelfs letters, wat betekent dat zelfs kleine kalibratie fouten kunnen het verstoren van de resultaten (Zie het artikel door Raney en collega's42). Stap 1.4 en 1.5 van het protocol, de kalibratie van de eye tracker en de drift selectievakje/drift juist is, zijn van bijzonder belang omdat ze rechtstreeks van invloed zijn de nauwkeurigheid van de opname. Niet correct kalibreren de eye tracker kan resulteren in de tracker niet nauwkeurig bijhouden van oogbewegingen aan de vooraf vastgestelde gebieden van belang. Dergelijke tracking niet zal leiden tot ontbrekende gegevenspunten en een verlies aan de statistische macht die kan problematisch zijn bij het onderzoeken van de wereld-tot-taal relaties die zijn heel subtiel en opbrengst kleine statistisch effect maten (Zie de beschrijving van de experimenten door Guerra en Knoeferle32 en Münster en collega's37 onder de Vertegenwoordiger resultaten).
Gezien de noodzaak om macht en gevoeligheid van de apparatuur te maximaliseren, is het belangrijk dat onderzoekers weten hoe om te gaan met problemen die regelmatig tijdens een experimentele sessie optreden. Bijvoorbeeld, de leerling positie en beweging van de deelnemers dragen van een bril kunnen leiden tot kalibratie problemen als gevolg van lichtreflecties op de lenzen van een deelnemer bril. Unidirectioneel dit probleem op te lossen moet de spiegel het beeld van de deelnemer in de gaten de Display-PC en hen aanmoedigen te verplaatsen van hun hoofd totdat de weerkaatsing van het licht op de glazen niet langer zichtbaar op hun scherm is, wat betekent dat het niet langer wordt gevangen door de camera. Een verdere oorzaak van kalibratie storing kunnen vernauwing van de leerling, die mogelijk een gevolg van een overmatige blootstelling aan licht. In dat geval zal dimmen het licht in het laboratorium verhogen leerling dilatatie en zo helpen de eye tracker in nauwkeurig opsporen van de leerling.
Als een laatste gedachte, wil we graag de mogelijkheden die het paradigma visual-wereld voor onderzoek naar tweede-taalonderwijs heeft. Het paradigma heeft al met succes gebruikt in psycholinguïstisch onderzoek te onderzoeken verschijnselen zoals cross-taal lexicale en fonologische interactie46,47,48. Bovendien, het nauwe verband tussen de visuele aandacht en leren van talen heeft vaak naar voren in de toegepaste-taalwetenschap literatuur over tweede-taalverwerving49,50,51. Toekomstig onderzoek op tweede taal leren zal waarschijnlijk blijven profiteren van de voordelige positie van eye tracking als een methode waarmee een index van de visuele aandacht in milliseconde resolutie.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
Dit onderzoek werd gefinancierd door de ZuKo (Excellence Initiative, Humboldt-Universität zu Berlin), de Excellence Cluster 277 'Cognitieve interactie Technology' (Duits Research Council, DFG), en door de Europese Unie zevende kader programma voor onderzoek, technologische ontwikkeling en demonstratie onder grant overeenkomst n ° 316748 (LanPercept). De auteurs erkennen ook ondersteuning van de basale fondsen voor Centers of Excellence, Project FB0003 van de associatief onderzoek programma van CONICYT (regering van Chili) en van het Project "FoTeRo" in het centrum van de Focus XPrag (DFG). Pia Knoeferle mits een eerste ontwerp van het artikel op de hoogte door een laboratorium protocol dat instantievorming van Helene Kreysa aan de Bielefeld universiteit en die nog steeds worden gebruikt bij de Humboldt-Universität zu Berlin. Alle schrijvers bijgedragen aan de inhoud door het leveren van informatie over de methoden en resultaten in een of andere vorm. Camilo Rodríguez Ronderos Pia Knoeferle gecoördineerd de inbreng van de auteurs en in twee iteraties, aanzienlijk herziene versie van het oorspronkelijke ontwerp. Ernesto Guerra geproduceerd figuren 2 - 4 op basis van input van Katja Münster, Alba Rodríguez en Ernesto Guerra. Helene Kreysa geboden Figuur 1 en Pia Knoeferle bijgewerkt. Delen van de gerapporteerde resultaten zijn gepubliceerd in de Proceedings van de jaarvergadering van de Cognitive Science Society.
Materials
| Name | Company | Catalog Number | Comments |
| Desktop mounted eye-tracker including head/chin rest | SR Research Ltd. | EyeLink 1000 plus | http://www.sr-research.com/eyelink1000plus.html |
| Software for the design and execution of an eye-tracking experiment | SR Research Ltd. | Experiment Builder | http://www.sr-research.com/eb.html |
References
- Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
- Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
- Knoeferle, P., Guerra, E. What is non-linguistic context? A view from language comprehension. In What is a Context? Linguistic Approaches and Challenges. Finkbeiner, R., Meibauer, J., Schumacher, P. B. , John Benjamins Publishing Company. Amsterdam, The Netherlands. 129-150 (2012).
- Knoeferle, P., Guerra, E. Visually situated language comprehension. Language and Linguistics Compass. 10 (2), 66-82 (2016).
- Just, M. A., Carpenter, P. A. A theory of reading: From eye fixations to comprehension. Psychological Review. 87 (4), 329-354 (1980).
- Deubel, H., Schneider, W. X. Saccade target selection and object recognition: Evidence for a common attentional mechanism. Vision Research. 36 (12), 1827-1837 (1996).
- Rayner, K. Eye movements in reading and information processing: 20 years of research. Psychological Bulletin. 124 (3), 372-422 (1998).
- Sedivy, J. C., Tanenhaus, M. K., Chambers, C. G., Carlson, G. N. Achieving incremental semantic interpretation through contextual representation. Cognition. 71 (2), 109-147 (1999).
- Kamide, Y., Scheepers, C., Altmann, G. T. Integration of syntactic and semantic information in predictive processing: Cross-linguistic evidence from German and English. Journal of Psycholinguistic Research. 32 (1), 37-55 (2003).
- Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
- Tanenhaus, M. K., Magnuson, J. S., Dahan, D., Chambers, C. Eye movements and lexical access in spoken-language comprehension: Evaluating a linking hypothesis between fixations and linguistic processing. Journal of Psycholinguistic Research. 29 (6), 557-580 (2000).
- Arnold, J. E., Eisenband, J. G., Brown-Schmidt, S., Trueswell, J. C. The rapid use of gender information: Evidence of the time course of pronoun resolution from eyetracking. Cognition. 76 (1), B13-B26 (2000).
- Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology: Learning, Memory, and Cognition. 30 (3), 687-696 (2004).
- Spivey, M. J., Tanenhaus, M. K., Eberhard, K. M., Sedivy, J. C. Eye movements and spoken language comprehension: Effects of visual context on syntactic ambiguity resolution. Cognitive Psychology. 45 (4), 447-481 (2002).
- Huang, Y. T., Snedeker, J. Online interpretation of scalar quantifiers: Insight into the semantics-pragmatics interface. Cognitive Psychology. 58 (3), 376-415 (2009).
- Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying online sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
- Knoeferle, P., Crocker, M. W., Scheepers, C., Pickering, M. J. The influence of the immediate visual context on incremental thematic role-assignment: evidence from eye movements in depicted events. Cognition. 95 (1), 95-127 (2005).
- Knoeferle, P., Crocker, M. W. Incremental Effects of Mismatch during Picture-Sentence Integration: Evidence from Eye-tracking. Proceedings of the 26th Annual Conference of the Cognitive Science Society. , Stresa, Italy. 1166-1171 (2005).
- Kluth, T., Burigo, M., Schultheis, H., Knoeferle, P. The role of the center-of-mass in evaluating spatial language. Proceedings of the 13th Biannual Conference of the German Society for Cognitive Science. , Bremen, Germany. 11-14 (2016).
- Burigo, M., Knoeferle, P. Visual attention during spatial language comprehension. PLoS One. 10 (1), (2015).
- Münster, K., Carminati, M. N., Knoeferle, P. How Do Static and Dynamic Emotional Faces Prime Incremental Semantic Interpretation? Comparing Older and Younger Adults. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2675-2680 (2014).
- Kroeger, J. M., Münster, K., Knoeferle, P. Do Prosody and Case Marking influence Thematic Role Assignment in Ambiguous Action Scenes? Proceedings of the 39th Annual Meeting of the Cognitive Science Society. , London, UK. 2463-2468 (2017).
- Knoeferle, P., Crocker, M. W. The influence of recent scene events on spoken comprehension: evidence from eye movements. Journal of Memory and Language. 57 (4), 519-543 (2007).
- Knoeferle, P., Carminati, M. N., Abashidze, D., Essig, K. Preferential inspection of recent real-world events over future events: evidence from eye tracking during spoken sentence comprehension. Frontiers in Psychology. 2, 376 (2011).
- Abashidze, D., Knoeferle, P., Carminati, M. N. How robust is the recent-event preference? Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 92-97 (2014).
- Rodríguez, A., Burigo, M., Knoeferle, P. Visual constraints modulate stereotypical predictability of agents during situated language comprehension. Proceedings of the 38th Annual Meeting of the Cognitive Science Society. , Philadelphia, USA. 580-585 (2016).
- Zhang, L., Knoeferle, P. Visual Context Effects on Thematic Role Assignment in Children versus Adults: Evidence from Eye Tracking in German. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 2593-2598 (2012).
- Zhang, L., Kornbluth, L., Knoeferle, P. The role of recent versus future events in children's comprehension of referentially ambiguous sentences: Evidence from eye tracking. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1227-1232 (2012).
- Münster, K., Knoeferle, P. Situated language processing across the lifespan: A review. International Journal of English Linguistics. 7 (1), 1-13 (2017).
- Özge, D., et al. Predictive Use of German Case Markers in German Children. Proceedings of the 40th Annual Boston University Conference on Language Development. , Somerville, USA. 291-303 (2016).
- Weber, A., Grice, M., Crocker, M. W. The role of prosody in the interpretation of structural ambiguities: A study of anticipatory eye movements. Cognition. 99 (2), B63-B72 (2006).
- Guerra, E., Knoeferle, P. Effects of object distance on incremental semantic interpretation: similarity is closeness. Cognition. 133 (3), 535-552 (2014).
- Kreysa, H., Knoeferle, P., Nunnemann, E. Effects of speaker gaze versus depicted actions on visual attention during sentence comprehension. Proceedings of the 36th Annual Meeting of the Cognitive Science Society. , Quebec City, Canada. 2513-2518 (2014).
- Abashidze, D., Knoeferle, P., Carminati, M. N. Eye-tracking situated language comprehension: Immediate actor gaze versus recent action events. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 31-36 (2015).
- Crovitz, H. F., Zener, K. A Group-Test for Assessing Hand- and Eye-Dominance. The American Journal of Psychology. 75 (2), 271-276 (1962).
- Ehrenstein, W. H., Arnold-Schulz-Gahmen, B. E., Jaschinski, W. Eye preference within the context of binocular functions. Graefe's Arch Clin Exp Ophthalmol. 243, 926 (2005).
- Münster, K., Carminati, M. N., Knoeferle, P. The Effect of Facial Emotion and Action Depiction on Situated Language Processing. Proceedings of the 37th Annual Meeting of the Cognitive Science Society. , Pasadena, USA. 1673-1678 (2015).
- Lakoff, G., Johnson, M. Metaphors We Live By. , University of Chicago Press. Chicago, USA. (1980).
- Guerra, E., Knoeferle, P. Visually perceived spatial distance affects the interpretation of linguistically mediated social meaning during online language comprehension: An eye tracking reading study. Journal of Memory and Language. 92, 43-56 (2017).
- Kreysa, H., Knoeferle, P. Effects of speaker gaze on spoken language comprehension: task matters. Proceedings of the Annual Meeting of the Cognitive Science Society. , Boston, USA. 1557-1562 (2012).
- Knoeferle, P. Language comprehension in rich non-linguistic contexts: Combining eye tracking and event-related brain potentials. Towards a cognitive neuroscience of natural language use. Roel, W. , Cambridge University Press. Cambridge, UK. 77-100 (2015).
- Raney, G. E., Campell, S. J., Bovee, J. C. Using eye movements to evaluate cognitive processes involved in text comprehension. Journal of Visualized Experiments. (83), e50780 (2014).
- Knoeferle, P., Habets, B., Crocker, M. W., Muente, T. F. Visual scenes trigger immediate syntactic reanalysis: evidence from ERPs during situated spoken comprehension. Cerebral Cortex. 18 (4), 789-795 (2008).
- Dimigen, O., Sommer, W., Hohlfeld, A., Jacobs, A. M., Kliegl, R. Coregistration of eye movements and EEG in natural reading: Analyses and review. Journal of Experimental Psychology: General. 140 (4), 552-572 (2011).
- Knoeferle, P., Kreysa, H. Can speaker gaze modulate syntactic structuring and thematic role assignment during spoken sentence comprehension? Frontiers in Psychology. 3, 538 (2012).
- Chambers, C. G., Cooke, H. Lexical competition during second-language listening: Sentence context, but not proficiency, constrains interference from the native lexicon. Journal of Experimental Psychology: Learning, Memory, and Cognition. 35 (4), 1029 (2009).
- Duyck, W., Van Assche, E., Drieghe, D., Hartsuiker, R. J. Visual word recognition by bilinguals in a sentence context: Evidence for nonselective lexical access. Journal of Experimental Psychology: Learning, Memory, and Cognition. 33 (4), 663 (2007).
- Weber, A., Cutler, A. Lexical competition in non-native spoken-word recognition. Journal of Memory and Language. 50 (1), 1-25 (2004).
- Verhallen, M. J., Bus, A. Young second language learners' visual attention to illustrations in storybooks. Journal of Early Childhood Literacy. 11 (4), 480-500 (2011).
- Robinson, P., Mackey, A., Gass, S. M., Schmidt, R. Attention and awareness in second language acquisition. The Routledge Handbook of Second Language Acquisition. , 247-267 (2012).
- Tomlin, R. S., Villa, V. Attention in cognitive science and second language acquisition. Studies in Second Language Acquisition. 16 (2), 183-203 (1994).
