Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée

Published: October 13, 2018 doi: 10.3791/58086
Automatic Translation
1
1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

Le paradigme de l’univers visuel surveille les mouvements des yeux des participants dans l’espace de travail visuel car ils sont à l’écoute ou parlant une langue parlée. Ce paradigme peut servir à enquêter sur le traitement en ligne d’un large éventail de questions psycholinguistiques, y compris les instructions sémantiquement complexes, telles que les instructions disjonctives.

Abstract

Dans un typique oculométrique étude utilisant le paradigme de l’univers visuel, des participants des yeux les mouvements d’objets ou images dans l’espace de travail visuel sont enregistrées via un traqueur d’oeil comme le participant produit ou comprend un langage parlé décrivant le visuel simultané monde. Ce paradigme a grande polyvalence, car il peut être utilisé dans un large éventail de populations, y compris celles qui ne peuvent pas lire ou qui ne peuvent pas donner ouvertement leurs réponses comportementales, telles que les enfants illettrées, âgées et les patients. Plus important encore, le paradigme est extrêmement sensible aux manipulations à grain fin du signal de parole, et il peut être utilisé pour étudier le traitement en ligne de la plupart des sujets dans la compréhension de la langue à plusieurs niveaux, tels que l’acoustique à grains fins phonétique caractéristiques, les propriétés de mots et les structures linguistiques. Le protocole décrit dans cet article illustre comment une étude d’oculométrique univers visuel typique est réalisée, avec un exemple qui indique comment le traitement en ligne de certaines déclarations sémantiquement complexes peut être exploré avec le paradigme du monde visuel.

Introduction

La langue parlée est un flux d’informations rapide et continu, qui disparaît tout de suite. C’est un défi d’étudier expérimentalement ce temporelle, de changer rapidement le signal de parole. Mouvements oculaires enregistrées dans le paradigme de l’univers visuel peuvent être utilisés pour relever ce défi. Dans un typique oculométrique étude utilisant le paradigme de l’univers visuel, les mouvements des yeux des participants aux images sur un écran ou à des objets réels dans un espace de travail visual sont surveillés qu’ils écoutent, ou produisent, langue parlée en décrivant le contenu de l’univers visuel1 ,2,3,4. La logique de base, ou l’hypothèse reliant, derrière ce paradigme est que comprendre ou qui prévoient un énoncé (ouvertement ou secrètement) passera attention visuelle des participants sur un certain objet dans l’univers visuel. Ce changement d’attention aura une probabilité élevée d’initier un mouvement par saccades des yeux pour amener la région fréquentée dans la vision fovéale. Avec ce paradigme, les chercheurs ont l’intention de déterminer à quel moment temporel, en ce qui concerne certains point de repère acoustique du signal de parole, un changement dans l’attention visuelle du participant se produit, tel que mesuré par un mouvement par saccades des yeux un objet ou une image dans le visuel monde. Quand et où les mouvements par saccades des yeux sont lancées en ce qui concerne le signal de parole sont ensuite utilisés pour déduire le traitement automatique des langues en ligne. Le paradigme de l’univers visuel peut être utilisé pour étudier la langue parlée compréhension1,2 et la production5,6. Cet article méthodologique se concentrera sur les études de compréhension. Dans une étude de la compréhension en utilisant le paradigme de l’univers visuel, les yeux des participants sur l’affichage visuel, les mouvements sont surveillés comme ils écoutent les paroles parlées parle l’affichage visuel.

Systèmes de suivi des yeux différents ont été conçus dans l’histoire. Le plus simple, moins coûteux et plus portable système est juste une caméra vidéo normale, qui enregistre une image des yeux du participant. Les mouvements oculaires sont ensuite manuellement codés par un examen de l’enregistrement vidéo image par image. Toutefois, le taux d’échantillonnage de tel un eye-tracker est relativement faible, et la procédure de codage prend du temps. Ainsi, un œil commercial contemporain normalement le système de suivi utilise des capteurs optiques de mesure l’orientation de le œil dans son orbite7,8,9. Pour comprendre comment fonctionne un système de suivi oculaire commercial contemporain, on devraient considérer les points suivants. Premièrement, pour mesurer correctement la direction de la vision fovéale, un illuminateur infrarouge (normalement avec la longueur d’onde autour de 780-880 nm) est normalement posée le long ou hors de l’axe optique de la caméra, ce qui rend l’image de la pupille distinguishably plus ou moins clairs que l’iris environnantes. L’image de l’élève ou du reflet cornéen (normalement la première image Purkinje) élève est ensuite utilisée pour calculer l’orientation de le œil dans son orbite. En second lieu, l’emplacement du regard dans l’univers visuel est en fait subordonnée non seulement sur l’orientation de l’oeil en ce qui concerne la tête, mais aussi sur l’orientation de tête en ce qui concerne l’univers visuel. Pour en déduire exactement le regard du respect de l’orientation de l’oeil, la source lumineuse et la caméra de l’oeil-trackers sont fixés en ce qui concerne la tête des participants (visiocasques eye-Tracker) ou ont été fixés en ce qui concerne l’univers visuel (monté sur table ou distance œil-trackers). Troisièmement, orientation tête des participants doit être attachée à l’égard de l’univers visuel ou être indemnisée par le calcul si la tête des participants est libre de ses mouvements. Quand un eye-tracker distant est utilisé dans un mode de tête-libre-à-coup, position de la tête des participants est généralement enregistrée en plaçant un petit autocollant sur le front des participants. L’orientation de la tête est ensuite par le calcul soustrait de l’orientation de l’oeil pour récupérer l’emplacement du regard dans l’univers visuel. Quatrièmement, un étalonnage et un processus de validation sont alors tenus pour mapper l’orientation de l’oeil au regard du respect dans le monde visuel. Dans le processus d’étalonnage, échantillons de fixation des participants provenant de points cibles connues sont enregistrées pour mapper les données brutes oeil pour contempler la position dans l’univers visuel. Dans le processus de validation, les participants sont présentent les mêmes points de la cible que le processus d’étalonnage. La différence existant entre la position de fixation calculée d’après les résultats étalonnés et la position réelle de l’objectif fixé dans l’univers visuel sont ensuite utilisés pour juger de la précision de l’étalonnage. De plus confirmer l’exactitude du processus de mappage, à une vérification de la dérive est normalement appliquée sur chaque procès, où une cible de fixation unique est présentée aux participants de mesurer la différence entre la position de la fixation et la position réelle de la cible actuelle.

Les données primaires d’une étude de l’univers visuel sont un ruisseau de regard lieux dans l’univers visuel enregistré à la fréquence d’échantillonnage de l’eye-tracker, s’étendant sur tout ou partie de la durée du procès. La variable dépendante, utilisée dans une étude de l’univers visuel est généralement la proportion des échantillons que les fixations des participants sont placées certaine région spatiale dans l’univers visuel à travers une fenêtre de temps certain. Pour analyser les données, une fenêtre de temps a tout d’abord d’être choisi, souvent appelées périodes d’intérêt. La durée de validité est généralement temps fermée à la présentation de certains événements linguistiques dans l’entrée auditive. En outre, l’univers visuel est également nécessaire de diviser en plusieurs zones d’intérêt (ROIs), dont chacun est associé à un ou plusieurs objets. Une telle région contient l’objet correspondant à la bonne compréhension de la langue parlée et donc est souvent appelée la zone cible. Une façon typique de visualiser les données est une parcelle de proportion-de-fixation, où à chaque emplacement dans une fenêtre de temps, la proportion des échantillons avec un coup d’oeil à chacune des régions d’intérêt sont en moyenne à travers les participants et les éléments.

En utilisant les données provenant d’une étude de l’univers visuel, recherche différentes questions peuvent être répondues : un) sur le niveau de céréales secondaires, sont des mouvements oculaires des participants dans l’univers visuel touchés par différentes entrées linguistiques auditives ? b) si il y a un effet, quelle est la trajectoire de l’effet au cours du procès ? Est-ce un effet linéaire ou ordre élevé ? et c) s’il y a un effet, puis sur le niveau de grain fin, quelle est le plus ancien point temporel où émerge un tel effet et combien cet effet en dernier ?

Pour analyser statistiquement les résultats, les points suivants devraient être considérés. Tout d’abord, la variable de réponse, c'est-à-dire, des proportions de fixations, est aussi bien inférieures et supérieures délimitée (entre 0 et 1), qui suivra une distribution multinomiale plutôt qu’une distribution normale. Désormais, des méthodes statistiques traditionnelles, basés sur une distribution normale comme t-test, analyse de la variance et des modèles linéaires (effet mélangé)10, ne peuvent pas être directement utilisés jusqu'à ce que les proportions ont été transformées aux variables illimitées comme avec formule empirique logit11 ou ont été remplacés par unbounded variables dépendantes telles que la distance euclidienne12. Techniques statistiques qui ne nécessitent pas que l’hypothèse d’une distribution normale telle généralisée des modèles linéaires (effet mélangé)13 peuvent également être utilisés. En second lieu, afin d’étudier la trajectoire changeante de l’effet observé, une variable indiquant la série chronologique doit être ajouté dans le modèle. Cette variable de série chronologique est à l’origine l’eye-tracker de points remises à l’apparition de la langue d’entrée de prélèvement. Puisque la trajectoire changeante en général n’est pas linéaire, une fonction polynomiale d’ordre élevé de la série chronologique est généralement incorporée dans le () modèle linéaire généralisé (effet mélangé), c'est-à-direla croissance courbe analyses14. En outre, postes oeil des participants dans le point d’échantillonnage actuel dépend fortement précédents points d’échantillonnage, surtout lorsque la fréquence d’enregistrement est élevée, ce qui entraîne le problème de l’autocorrélation. Pour réduire l’autocorrélation entre les points d’échantillonnage adjacent, données d’origine sont souvent sous-échantillonnée ou jumelées. Ces dernières années, les modèles d’effets mixtes additif généralisé (GAMM) ont également servis pour s’attaquer à l’autocorrélation erreurs12,15,16. La largeur des bacs varie selon les différentes études, allant de plusieurs millisecondes à plusieurs centaines de millisecondes. Le bac plus étroit que peut choisir une étude est limité par le taux d’échantillonnage du Traqueur oculaire utilisé dans l’étude spécifique. Par exemple, si un traqueur d’oeil a une fréquence d’échantillonnage de 500 Hz, alors la largeur de la fenêtre de temps ne peut pas être plus petite que 2 ms = 1000/500. Troisièmement, lorsqu’une analyse statistique est appliquée à plusieurs reprises à chaque emplacement de temps des périodes d’intérêt, l’erreur familywise induits à partir de ces que comparaisons multiples devraient être réglés. Comme nous avons décrit précédemment, l’analyse de la trajectoire informe le chercheur si l’effet observé sur le niveau de céréales secondaires est linéaire par rapport à l’évolution du temps, mais ne s’affiche ne pas lorsque l’effet observé commence à émerger et comment longtemps l’observé effet dure. Pour déterminer la position temporelle quand la différence observée commence à diverger et pour déterminer la durée de la période temporelle qui dure l’effet observé, une analyse statistique doit être appliqué à plusieurs reprises à chaque emplacement de temps. Ces comparaisons multiples introduira la dite erreur familywise, n’importe quelle méthode statistique est utilisée. Traditionnellement, l’erreur familywise est corrigée avec ajustement de Bonferroni17. Récemment, une méthode appelée test de permutation non paramétriques utilisé à l’origine en neuro-imagerie ont déposé18 a été appliquée au mot visual paradigm19 au contrôle de l’erreur familywise.

Chercheurs en utilisant le paradigme de l’univers visuel ont l’intention d’en déduire la compréhension d’une langue parlée de mouvements oculaires des participants dans l’univers visuel. Pour s’assurer de la validité de cette déduction, autres facteurs éventuellement influencer les mouvements des yeux devraient être écartées ou contrôlées. Les deux facteurs suivants sont parmi les plus communs qui doivent être prises en considération. Le premier facteur implique certaines tendances systématiques sur fixations explicatives des participants indépendants de la langue d’entrée, tels que la tendance à se focaliser sur la partie supérieure gauche de quadrat de l’univers visuel et les yeux mobiles dans le sens horizontal étant plus facile que dans la direction verticale, etc.12,20 pour s’assurer que les modes de fixation observées sont liées aux objets, pas aux emplacements spatiales où se trouvent les objets, les positions spatiales d’un objet doivent être contrebalancées travers différents procès ou à travers les différents participants. Le deuxième facteur pouvant affecter les mouvements des yeux des participants est les caractéristiques de l’image de base des objets dans l’univers visuel, comme l’orientation de contraste, couleur et edge luminance, entre autres21. Pour diagnostiquer ce potentiel de confusion, l’affichage est normalement présenté avant l’apparition de la langue parlée ou avant l’apparition du marqueur acoustique critique de la langue parlée, pour environ 1000 m au cours de la période temporelle de l’apparition de la image de test pour le début de l’essai audio, la langue d’entrée ou le point de l’homonymie de la langue d’entrée n’a pas encore été entendu. Toute différence observée entre les différentes conditions devrait être déduite d’autres facteurs de confusion tels que l’affichage visuel en soi, plutôt que la langue d’entrée. Désormais, les mouvements oculaires observées dans cette période d’essai a fournir une base pour déterminer l’effet de l’apport linguistique. Cette période d’essai permet également aux participants de se familiariser avec l’affichage visuel et afin de réduire le biais systématique des fixations explicatives quand la langue parlée est présentée.

Pour illustrer comment une étude utilisant le paradigme de l’univers visuel d’oculométrique typique se déroule, le protocole suivant décrit une expérience adaptée de L. Zhan17 pour explorer le traitement en ligne des instructions sémantiquement complexes, c'est-à-dire, les déclarations disjonctives (S1 ou S2), déclarations conjonctive (S1 et S2) et mais-déclarations (S1 mais non-S2). Dans la conservation de l’ordinaire, les informations exprimées par certaines déclarations sont réellement plus fortes que son sens littéral. Disjonctives déclarations comme boîte de Xiaoming contient une vache ou un coq sont ces énoncés. Logiquement, l’instruction disjonctive est vraie tant que le disposera de deux boîte de Xiaoming contient une vache et boîte de Xiaoming un coq n’est pas tous les deux false. Par conséquent, l’instruction disjonctive est true lorsque la disposera de deux est les deux vrai, où l’instruction correspondante de conjonctive boîte de Xiaoming contient une vache et un coq est également vraie. Dans la conversation ordinaire, cependant, entendant que la déclaration disjonctive souvent suggère que l’instruction conjonctive correspondante a la valeur false (implicature scalaire) ; et suggère que les valeurs de vérité de la disposera de deux sont ignorées par l’orateur (inférence de l’ignorance). Comptes dans la littérature se distinguent par deux conclusions sont grammaticale ou pragmatique des processus22,23,24,25,26. L’expérience montre comment le paradigme de l’univers visuel peut être utilisé pour trancher entre ces comptes, en explorant le traitement en ligne de trois instructions complexes.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Tous les sujets doivent donner consentement éclairé avant l’administration des protocoles expérimentaux. Toutes les procédures, formulaires de consentement et le protocole expérimental ont été approuvées par le Comité d’éthique de recherche du Beijing Language and Culture University.

Remarque : Une étude de la compréhension en utilisant le paradigme de l’univers visuel normalement se compose des étapes suivantes : introduire les problèmes théoriques à explorer ; Former un plan expérimental ; Préparer les stimuli visuels et auditifs ; Cadrer le problème théorique en ce qui concerne le protocole expérimental ; Sélectionnez un eye-tracker pour suivre les mouvements des yeux des participants ; Sélectionnez un logiciel et créez un script avec le logiciel pour présenter les stimuli ; Code et analyser les données enregistrées de mouvements des yeux. Une expérience spécifique peut différer les uns des autres dans toutes les étapes décrites. À titre d’exemple, un protocole est introduit pour faire l’expérience et discuter certains points que les chercheurs doivent garder à l’esprit lorsqu’ils construisent et réalisent leur propre expérience utilisant le paradigme du monde visuel.

1. préparer le Test stimulus

  1. Stimuli visuels
    1. Télécharger 60 cliparts d’animaux qui sont libres de droit de l’internet. Ouvrez chaque image une par une avec un éditeur d’image (par exemple, Pixelmator), cliquez sur outils de | Outil Sélection rapide pour sélectionner et supprimer l’arrière-plan. Cliquez sur l’Image de | Taille de l’image de les redimensionner à 120 x 120 pixels.
    2. Inviter un étudiant qui se spécialise dans la peinture dessiner quatre caissons lumineux Verts, comme illustré à la Figure 1. Utilisez l’éditeur d’images à redimensionner la grande boîte ouverte à 320 x 240 pixels, la petite boîte fermée avec la taille de 160 x 160 pixels et les deux petites boîtes ouvertes à 160 x 240 pixels, respectivement.
    3. Cliquez sur Pixelmator | Fichier | Nouveau de construire un modèle de l’image de test avec une taille de 1024 768 pixels. Faites glisser les cases et les animaux aux emplacements de correction étant illustrées à la Figure 1.
      Remarque : La mise en page de l’image test varie selon les études, mais la meilleure façon est d’utiliser quatre objets et de les mettre dans les quatre quadrants de l’image de test. De cette façon, il est plus facile contrebalancer la position spatiale des objets.
    4. Créer 60 images de test comme la Figure 1, avec chaque image animale utilisée deux fois. Contrebalancer les emplacements spatiaux des quatre cases entre les images.
      Remarque : Le nombre d’images n’a pas à être exact 60, tant que leur effet est dissociable de celui des manipulations expérimentales.
  2. Langue parlée des stimuli
    1. Conception de quatre phrases de test correspondant à chaque image de test et des phrases de test 240 au total à enregistrer. Veiller à ce que trois des quatre phrases sont sous la forme de la Figure 2; et la phrase de remplissage est sous forme de boîte de Xiaoming ne contient pas un coq mais une vache.
      Remarque : Les phrases de test devraient être présentés dans la langue que parlent les participants. Les participants à cette expérience sont chinois de Pékin, la Chine continentale, donc la langue du test est le chinois Mandarin.
    2. Recruter un locuteur natif femelle (un locuteur natif du mandarin dans cette expérience) pour enregistrer quatre déclarations d’exemple comme Figure 2, mais aussi audio de tous les animaux utilisés dans l’expérience. Lorsque vous enregistrez les noms d’animaux isolés, demander à l’orateur d’imaginer que les noms des animaux sont des constituants intacts d’une phrase simple, tels que boîte de Xiaoming contient un/une ___, mais elle n’a pas besoin de prononcer le nom de l’animal ouvertement.
    3. Remplacer les segments audio des deux animaux dans les déclarations de l’exemple avec l’audio des deux animaux utilisés pour chaque essai pour créer la liste complète des audios de test. Tout d’abord, ouvrez Praat (n’importe quel autre logiciel d’édition audio est une alternative admissible) et cliquez sur ouvert | Lire fichier | Naviguez jusqu’au fichier | Ouvrir et éditer des, , accédez à un élément à remplacer, puis cliquez sur visualiser et Editer | Modifier | Copier la sélection dans le presse-papiers sonore. Ensuite, suivez les mêmes étapes pour ouvrir une instruction de l’exemple, cliquez sur coller après sélection. En troisième lieu, cliquez sur Enregistrer | Enregistrer comme fichier wav pour enregistrer la déclaration éditée. Répétez le processus pour tous les éléments à modifier et toutes les phrases de test.
    4. Recruter environ 10 locuteurs natifs de la langue de test (chinois Mandarin ici) afin de déterminer si oui ou non le son témoin construit est comprΘhensible et transparent.
      Remarque : Le test audio est traditionnellement enregistrée dans son ensemble, plutôt que comme des mots distincts. Cette méthode d’enregistrement traditionnel est raisonnable que si l’audio de test est eux-mêmes séparent les mots. Si les stimuli de la langue parlée sont des phrases plutôt que des mots distincts, cependant, cette méthode traditionnelle a plusieurs défauts : tout d’abord, une propriété omniprésente d’un discours continu est que deux ou plusieurs phonèmes ont tendance à temporellement et spatialement se chevauchent, ce qui rend difficile de déterminer l’apparition du mot critique. En second lieu, l’écart entre la longueur des différents procès rend également difficile de combiner toutes les épreuves ensemble pour des analyses statistiques. En troisième lieu, la méthode d’enregistrement traditionnel est souvent beaucoup de temps surtout quand les chiffres de l’audio de test sont relativement importantes, telles que les expériences que nous avons signalé dans le protocole. Pour remédier aux insuffisances de la méthode d’enregistrement traditionnel, une méthode différente est proposée pour construire les test oral audios. Tout d’abord, une liste de phrases d’exemple contenant les mots qui sont courants parmi toutes les données audio test a été enregistrée. Deuxièmement, tous les mots que le changement entre les essais ont également été enregistrées dans l’isolement. Enfin, phrases de l’échantillon ont été remplacés par les mots enregistrés pour construire la liste complète des audios de test. Par rapport aux méthodes traditionnelles, la nouvelle méthode a plusieurs avantages. Tout d’abord, tout le test audio est exactement le même, sauf pour les mots essentiels et tous les effets confondants potentiels dans l’audio de test sont désormais contrôlées. Deuxièmement, étant les mêmes longueur facilite également la segmentation de l’essai audios que lorsque les test audios sont enregistrées dans l’ensemble. Un inconvénient potentiel de cette méthode est que l’audio construit peut n’être pas naturel. Désormais, la naturalité de l’audio de test doit être évaluée avant d’être admissibles pour les essais...
  3. Diviser les 240 phrases de test en quatre groupes, chaque groupe contenant 15 déclarations conjonctive, 15 déclarations disjonctives, 15 déclarations mais et phrases de remplissage 15. Veiller à ce que chaque participant ne rencontre qu’un seul groupe de 240 essais : il/elle voit tous le test images mais entend qu’un seul groupe de l’essai audios.
    Remarque : Il s’agit d’apaiser la crainte que si un même stimulus est répété, les participants peuvent obtenir habitués à ces stimuli et peut-être même devenir stratégique sur comment ils ont réagi aux stimuli.
  4. Enregistrer toutes les informations importantes concernant les stimuli de test dans un fichier txt délimité par des tabulations, avec chaque ligne correspondant à chacun des 240 essais. Vérifiez que le fichier inclut au moins les colonnes suivantes : experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ image, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    Remarque : experiment_group est utilisé pour découper les 240 essais en 4 groupes. sentential_connective correspond à différentes conditions expérimentales. animal_1_image correspond à l’image de l’animal qui sera d’abord présenté pour familiariser les participants avec les animaux utilisés dans l’image de test. test_image, test_audioet test_audio_length référer à l’image de test et le test audio ainsi sa longueur utilisé dans le procès actuel. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right consulter le nom des zones dans le cours du procès, c’est à direquatre intérêt., que ce soit une boîte de « Grande ouverte », « petit clos », la petite ouverture boîte contenant l’animal « la première fois » dans le test audio, ou la petite boîte ouverte contenant l’animal « deuxième mentionnés » dans l’essai audio. animal_1_audio et animal_1_audio_length font référence à l’audio et la longueur de l’audio correspondant à animal_1_image. animal_2_image, animal_2_audioet animal_2_audio_length correspondent le second animal qui est présenté. Une chose à souligner est que la séquence de présenter les deux animaux est compensée en ce qui concerne la question de savoir si l’animal est mentionné dans la première ou dans la seconde moitié de l’essai audios.

2. Cadrez la prédiction théorique en ce qui concerne le protocole expérimental.

  1. S’assurer que les réponses comportementales et les mouvements oculaires dans le protocole expérimental des participants peuvent être utilisés pour différencier les compréhensions des phrases test et peuvent être utilisés pour trancher entre les différents comptes à tester.
    Remarque : Étant donné la conception expérimentale, la bonne réponse à une déclaration conjointe est la grande boîte ouverte, comme la boîte A sur la Figure 1. La bonne réponse à un mais-déclaration est la petite boîte ouverte contenant l’animal soit mentionnée dans la première moitié de l’essai audios, tels que boîte D sur la Figure 1. Les réponses des participants à l’instruction disjonctive, dépendent cependant, si ou comment les deux inférences discutés sont traitées. Si les participants Calculez l’implicitation scalaire ni l’inférence de l’ignorance, puis toutes les quatre cases sont les options admissibles. Si les participants Calculez que l’implicitation scalaire mais pas l’inférence de l’ignorance, puis la grande ouverte, comme dans la Figure 1, la case A sera écartée, et les trois autres cases B, C et D sont toutes options admissibles. Si les participants calculer la déduction de l’ignorance mais pas l’implicitation scalaire, les petites boîtes ouvertes seront écartées, i.e., boîtes C et D seront écartées. Pour résumer, la petite boîte fermée, comme la zone B de la Figure 1, pas on choisira l’option finale d’une instruction disjonctive jusqu'à l’implicitation scalaire et les inférences de l’ignorance sont les deux calculés.

3. construire le Script expérimental

  1. Ouvrir le Générateur de l’expérience, , cliquez sur fichier | Nouvelle pour créer un projet d’expérimentation. Saisissez le nom de projet tels que vwp_disjunction. Sélectionnez l' emplacement du projet. Vérifiez EyeLink Experiment et choisissez Eyelink 1000plus dans la liste déroulante. Ces opérations vont créer un sous-répertoire contenant que tous les fichiers associés à l’expérience, qu'il va créer un sous-répertoire nommé vwp_disjunction avec un fichier nommé « graph.ebd » dans le dossier.
    NOTE : Expérience constructeur est utilisé pour générer le script expérimental pour présenter les stimuli de test et d’enregistrer les mouvements oculaires des participants ainsi que leurs réponses comportementales. L’expérience Builder est un outil de What-You-See-Is-What-You-Get pour générer le script expérimentale. Il est facile à utiliser, mais tout autre logiciel de présentation des stimuli est une alternative admissible.
  2. Visualiser la structure hiérarchique d’une expérience d’oculométrie typique en utilisant le paradigme de l’univers visuel, comme on le voit à la Figure 3. Chaque rectangle rose sur la figure est implémenté comme un objet de séquence par Expérience Builder; et chaque objet avec fond gris est implémenté comme un objet de nœud.
    Remarque : Une séquence dans le générateur d’expérience est un contrôleur de boucle expérimental utilisé pour enchaîner des différents objets comme un noeud complexe. Une séquence commence toujours par un nœud début . Et une source de données peut être attachée à un nœud de séquence pour fournir des paramètres différents pour chaque essai.
  3. Construire la séquence de l’expérience
    1. Cliquez sur le fichier | Ouvrir, accédez au répertoire d’experience et double-cliquez sur le fichier graph.ebd dans le répertoire de projet pour ouvrir le projet expérience enregistrée.
    2. Cliquez sur modifier | Gestionnaire de bibliothèques | Image | Ajouter pour charger les images dans l’expérience de projet. De même, cliquez sur Edition | Gestionnaire de bibliothèques | Son | Ajouter pour charger l’audio dans le projet de l’expérience.
    3. Faites glisser un objet DISPLAY_SCREEN dans l’espace de travail et changez sa valeur de l’étiquette sur le panneau de propriétés pour renommer en Instruction. Double-cliquez dessus pour ouvrir le nœud d’Instruction et cliquez sur le bouton Ajouter une ressource de texte multiligne pour entrer l’instruction expérimentale. Assurer que l’instruction contient les informations suivantes :
      Dans chaque essai, tout d’abord vous pourrez voir des images de deux animaux, un animal de chaque imprimé à l’écran à son tour, ainsi que de l’audio des animaux a joué sur les deux haut-parleurs situés sur les deux côtés de l’écran. Un point noir sera ensuite présenté au centre de l’écran. Vous devriez appuyer sur la touche espace tandis que la fixation sur le point. Ensuite, vous verrez une image de test se compose de quatre boîtes imprimées sur l’écran et entendre une phrase d’essai étant jouée par les deux orateurs. Votre tâche consiste à localiser la boîte de Xiaoming selon la phrase de test vous a entendu et appuyez sur le bouton correspondant dès que possible :
      Flèche vers la gauche en haut à gauche boîte---
      Top case de droite---Flèche vers le haut
      Flèche vers la gauche en bas à gauche boîte---
      Case de droite bas---flèche vers la droite
      Dans chaque image de test, vous verrez quatre boîtes situées à quatre quadrants et deux animaux contenant dans les boîtes. Les quatre cases peuvent varier en deux dimensions : sa proximité et sa taille. Si une boîte est fermée ou non influe sur notre connaissance épistémique sur cette boîte, mais pas l’animal qu’il contient. Si une boîte est ouverte, puis l’animal figurant dans cette zone est connue. Si une boîte est fermée, puis l’animal figurant dans cette boîte est inconnue. La taille d’une boîte définit le nombre d’animaux contenus dans la boîte, mais pas notre connaissance épistémique sur cette case. Aucune matière la boîte n’est fermée ou non, une petite boîte seulement et toujours contient un animal et une grosse boîte contient toujours deux animaux différents.
      Si vous êtes à l’aise avec le but expérimental et de la procédure, s’il vous plaît informez l’expérimentateur et nous allons vous aider à effectuer le standard oculométrique de routines d’étalonnage et de validation. Si vous avez des questions, n’hésitez pas à demander.
      Remarque : Il s’agit d’une instruction qui s’imprimera sur l’écran avant l’expérience (les instructions doivent être écrits dans la langue maternelle que les participants parlent, telles que le chinois Mandarin ici).
    4. Faites glisser un objet de clavier dans l’espace de travail.
      Remarque : Cette étape est utilisée pour terminer l’Instruction écran
    5. Faites glisser une séquence d’objet dans l’espace de travail et renommez-le en bloc.
    6. Sélectionnez la séquence de bloc , cliquez sur le champ de valeur de la propriété de Source de données pour afficher l' Éditeur de Source de données. Cliquez sur Importer des données dans l’écran des données source editor, sourcils au fichier .txt créé à l’étape 1.4 pour importer de la source de données.
    7. Cliquez sur le bouton de Réglage de la randomisation dans l’éditeur de source de données, cochez Activer la randomisation de procès, sélectionnez trial_number dans le champ valeur de la colonne field et sélectionnez experimental_group de la liste déroulante du champ de Colonne de fractionnement .
    8. Faites glisser la deuxième DISPLAY_SCREEN s’opposer à l’espace de travail et renommez-le en au revoir. Double-cliquez sur le nœud au revoir et insérer les informations suivantes : dans la langue maternelle des participants (du chinois Mandarin dans le présent protocole) :l’expérience est terminée et vous remercions vivement de votre participation.
    9. Cliquez sur le nœud début , faites glisser la flèche vers le nœud d’Instruction et relâchez le bouton de la souris pour connecter le nœud début vers le nœud d’Instruction . Répétez que la même souris se déplace pour connecter le nœud d’Instruction au nœud clavier , clavier nœud au nœud de bloc , puis bloc nœud au nœud au revoir . Cliquez sur affichage de | Organiser la mise en page pour organiser les nœuds dans l’espace de travail.
  4. Construire la séquence de bloc
    1. Double-cliquez dessus pour ouvrir la séquence de bloc . Faites glisser un nœud de El_CAMERA_SETUP dans la séquence de bloc pour faire apparaître un écran de configuration de caméra sur le PC hôte EyeLink pour l’expérimentateur d’effectuer la validation, l’étalonnage et configuration de la caméra. Cliquez sur le champ Type d’étalonnage dans le panneau Propriétés, puis HV5 dans la liste déroulante.
      Remarque : Le nombre d’endroits dans le processus de mappage varie entre différents modèles expérimentaux. Les plus d’endroits échantillonnés et l’espace plus couverts, plus la précision peut s’attendre. Mais plus d’échantillons signifient plus de temps pour terminer les processus. Donc en pratique, le nombre d’emplacements dans une étude spécifique ne peut pas être très grand, surtout quand les participants sont illettrées enfants ou clinique. Dans le paradigme de l’univers visuel, le nombre des domaines d’intérêt est relativement faible, et les domaines d’intérêt sont habituellement relativement gros. Le processus de mappage peut atteindre un niveau satisfaisant avec un nombre relativement restreint d’emplacements. Dans le protocole que j’ai décrit, j’ai utilisé un cinq points de calibration et de validation.
    2. Faites glisser un nœud de séquence dans la séquence de bloc et renommez-le en première instance. Connectez le nœud début vers le nœud CAMERA_SETUP , puis au nœud SEQUENCE.
  5. Construire la séquence d’essai
    1. Double-cliquez dessus pour ouvrir la séquence d’essai , faites glisser un nœud DISPLAY_SCREEN dans la séquence d’essai et renommez-le en animal_1_image. Double-cliquez dessus pour ouvrir le nœud Générateur de l’écran et cliquez sur Ajouter une ressource Image dans la barre d’outils du générateur de l’écran pour insérer une image animale provenant des sources de l’image téléchargée. Cliquez sur le champ de valeur de la propriété de Nom de fichier Source , accédez à la DataSource , attaché à la séquence de bloc ; puis double-cliquez sur la colonne Animal_1_Image pour relier le DISPLAY_SCREEN avec la colonne correcte de la source de données.
    2. Faites glisser un nœud PLAY_SOUND dans la séquence d’essai et renommez-le en animal_1_audio. Cliquez sur la propriété de Fichier sonore du nœud animal_1_audio et raccorder avec la colonne correcte de la source de données (tel que décrit à l’étape 3.5.1).
    3. Faites glisser un nœud de minuteur dans la séquence d’essai et renommez-le en animal_1_audio_length. Cliquez sur la propriété Duration de le TIMER nœud et accédez à la colonne correcte de la source de données créée en 3.4.1.
    4. Faites glisser un autre nœud DISPLAY_SCREEN , un autre nœud PLAY_SOUND et un autre nœud de minuteur dans la séquence d’essai , les renommer comme animal_2_image, animal_2_audio, et animaux _2_audio_duration, Répétez les étapes décrites dans les étapes 3.5.1 - 3.5.3.
      Remarque : Ces étapes sont inclus pour contrôler la confusion potentielle, que la même image peut être nommée différemment par les différents participants. Contrebalancer la séquence de présenter les deux animaux en ce qui concerne la question de savoir si elle est mentionnée dans la moitié premier ou deuxième de l’épreuve audios.
    5. Faites glisser un objet de Séquence préparer dans la séquence d’essai et modifiez la propriété Draw To Eyelink Host à IMAGE.
      Remarque : Ce noeud est utilisé pour précharger les fichiers image et audio à mémoire pour le dessin de l’image en temps réel et lecture du son. Et il est aussi utilisé pour dessiner des graphiques de la rétroaction sur le PC hôte pour que la précision du regard des participants peut être surveillée.
    6. Faites glisser un nœud DRIFT_CORRECT dans la séquence d’essai d’introduire la correction de dérive.
    7. Faites glisser un nouveau nœud de séquence et renommez-le en enregistrement. Connecter le commencer à ces nœuds un après un.
  6. Construire la séquence d’enregistrement
    1. Vérifier le champ de l’enregistrement dans le panneau de propriété de la séquence de l’enregistrement , puis double-cliquez dessus pour ouvrir la séquence d’enregistrement .
      Remarque : Une séquence avec enregistrement propriété vérifiée signifie que les mouvements des yeux des participants au cours de cette période seront enregistrées.
    2. Faites glisser un nouveau DISPLAY_SCREEN dans la séquence de l’enregistrement , renommez-le en test_image. Ajouter le message test_image_onset dans la propriété Message du nœud test_image .
      Remarque : Au stade des analyses de données, le message dans le nœud de test_image et le message dans le nœud test_audio (section 3.6.6) sont importants à Rechercher l’apparition des images test et le début de l’essai audios dans chaque essai.
    3. Double-cliquez dessus pour ouvrir le nœud Générateur de l’écran et cliquez sur Ajouter une ressource Image dans la barre d’outils Builder écran insérer n’importe quelle image animaux provenant des sources de l’image téléchargée. Cliquez sur le champ de la valeur du Nom du fichier Source propriété, accédez à la DataSource , attaché à la séquence de bloc ; puis double-cliquez sur la colonne test_image pour relier le DISPLAY_SCREEN avec la colonne correcte de la source de données.
    4. Double-cliquez sur le nœud DISPLAY_SCREEN pour ouvrir le Générateur de l’écran, cliquez sur le bouton Insérer Rectangle intérêt régionrégion et tirer quatre zones rectangulaires d’intérêt tel qu’illustré par les cases bleues dans la Figure 1. Modifier les étiquettes des quatre domaines d’intérêt au début, Top_Right, Bottom_Leftet Bottom_Rightet connecter le DataViewer nom déposé avec les colonnes appropriées de la source de données.
      Remarque : Ces zones sont invisibles pour les participants. Pour rendre les domaines d’intérêt plus significatif, l’étiquette le nom du haut à gauche zone dans l’exemple que « Box un (grand ouvert) », en zone droite haut de la page « Boîte b (petit format fermé) », bas gauche zone comme « Boîte C (second mentionné) » et la zone inférieure droite comme « boîte D (première mention) » , parce que les deux petites boîtes ouvertes contiennent les deux animaux étant mentionnés dans la moitié premier et deuxième de l’épreuve audios, respectivement.
    5. Faites glisser un nœud TIMER dans l’espace de travail, renommez-le en Pauseet changer la propriété Duration à 500 ms.
      NOTE : Ce nœud minuterie ajoute un décalage dans le temps entre l’apparition de l’image de test et le début de l’essai audio. Le décalage dans le temps donne aux participants la chance de se familiariser avec les images de test. Mouvements oculaires des participants au cours de cette période d’essai a également fournissent une base pour déterminer les effets de l’entrée de la langue parlée, surtout quand les mots essentiels sont situés au début de l’essai audios.
    6. Faites glisser un nœud PLAY_SOUND vers l’espace de travail et renommez-le en test_audio. Cliquez sur la propriété de Son fichier et raccorder avec la colonne correcte de la source de données (tel que décrit à l’étape 3.5.1) et ajouter le message test_audio_onset dans la propriété Message .
    7. Faites glisser un nœud TIMER dans l’espace de travail, renommez-le en test_audio_length. Modifiez la propriété Duration à 10500 ms.
    8. Ajouter un nouveau nœud de minuterie , renommez-le en record_extensionet modifiez la propriété Duration à 4000 ms.
    9. Ajouter un nouveau nœud de clavier dans l’espace de travail, renommez-le comme réponses comportementaleset remplacez la propriété Keys acceptable «[haut, bas, droite, gauche]».
      Remarque : Choix comportementaux des Participants peut servir à vérifier la validité de la conclusion déduite de mouvements des yeux des participants.
    10. Connectez le nœud début de Pause, test_audio, test_audio_length, puis au nœud de Record_extension . Ajouter une autre connexion de test_audio_length behavioral_responses nœud.
      Remarque : Le procès actuel se terminera en ajoutant ces connexions, et un nouveau procès commencera après que les participants ont formulé une touche enfoncée pour choisir de Xiaomingboîte ou 4000 ms après le décalage de l’essai audio.
    11. Faites glisser un nœud VARIABLE dans l’espace de travail, renommez-le en événements key_pressedet connecter sa propriété value à behavioral_Responses clavier | A déclenché des données |  Clé.
    12. Faites glisser un nœud RESULT_FILE dans l’espace de travail, faites glisser un nœud ADD_TO_RESULT_FILE dans l’espace de travail et se connecter aussi bien les nœuds record_extension et behavioral_responses à la ADD_TO_RESULT_FILE nœud.
  7. Cliquez sur expérience | Construire pour générer le script expérimental, cliquez expérience | Test exécuter pour tester exécuter l’expérience. Une fois que tout est fait, cliquez sur expérience | Déployer pour créer une version exécutable du projet expérimental.
    Remarque : Pour plus d’informations sur la façon d’utiliser le générateur de l’expérience, veuillez consulter le manuel du logiciel27.

4. recruter des Participants

  1. S’assurer que les participants d’avoir une vision normale normale ou corrigée. Recommande que les participants à courte vue pour porter des lentilles de contact, mais les verres sont également acceptables tant que les lentilles sont propres. S’assurer que tous les participants sont des locuteurs natifs de la langue de test, telles que le chinois Mandarin ici.
    Remarque : En règle générale, un participant est considéré comme étant admissibles tant que le participant peut voir les images de test à une distance d’environ 60 centimètres. En ce qui concerne le nombre de participants, selon certaines règles de base, le nombre de participants pour une analyse de régression doit être pas moins de 50. Ici, les trente-sept étudiants de troisième cycle du Beijing Language and Culture University a participé à l’expérience, qui est un peu plus petit que la quantité recommandée.

5. procéder à l’expérimentation

Remarque : Lorsque les participants sont adultes avancés normaux, un expérimentateur est suffisant pour mener la conduite de l’expérience. Mais si les participants sont des populations particulières, comme les enfants, deux ou plusieurs expérimentateurs sont requises.

  1. Sélectionnez un traqueur d’oeil pour enregistrer les mouvements des yeux des participants.
    Remarque : Le traqueur d’oeil utilisé dans cette expérience est Eyelink 1000plus fonctionnant sous le mode tête de libre-à-coup. Il s’agit d’un œil monté sur vidéo, desktop système de suivi, en utilisant le principe de pupille à reflet cornéen (CR) pour suivre la rotation de le œil. Lors de l’exécution sous le mode tête de libre-à-coup, le traqueur d’oeil a le taux d’échantillonnage monoculaire de 500 Hz, avec une résolution spatiale de 0,01 ° et une erreur moyenne de moins de 0,5 °. Pour plus d’informations du système, veuillez consulter sa spécification technique28,29. Trackers alternatives peuvent être utilisées, mais celles avec le mode de suivi distant sont mieux, surtout quand les participants sont illettrées enfants.
  2. Démarrer le système sur le PC hôte pour démarrer l’application hôte de la caméra.
  3. Pour configurer le système en mode bureau distant, cliquez sur le bouton Set Option , définissez l’option de Configuration Desktop--cible autocollant--monoculaire--16/25 mm de longueur--RTARBLER.
  4. Cliquez sur la version exécutable du projet expérimental sur le PC de l’affichage, entrez le nom du participantet choisissez un groupe dans la fenêtre d’invite à sélectionnez valeur de condition d’exécuter.
    Remarque : Chaque session de test va créer un dossier portant le nom entré dans les sous-répertoire des résultats du projet expérience. Le fichier EDF sous le dossier contenait des données de mouvements oculaires pertinentes.
  5. Demandez aux participants de s’asseoir à environ 60 cm d’un 21 pouces, moniteur couleur 4:3 avec une résolution de 1024px de x 769px, où 27 pixels est équivalent à 1 degré de l’angle.
  6. Régler la hauteur du moniteur écran PC, faire en sorte que, lorsque le participant est assis et regarde droit devant lui, ils cherchent verticalement au milieu en haut de 75 % de l’écran.
    Remarque : La chaise, bureau, et/ou le moniteur du PC est préférable si elles sont réglables en hauteur. Le Président et le Bureau à roulettes doivent être évités, car ils ont tendance à provoquer des roulis et déplacement involontaire.
  7. Une petite cible gommette sur le front des participants, pour suivre la position de la tête, même lorsque l’image de l’élève est perdu, comme pendant les clignotements ou de mouvements brusques.
    NOTE : Les trackers oeil différent pourraient utiliser différentes méthodes pour suivre la tête des participants. Afin de maximiser la plage de mouvement latéral du sujet, le œil sur chenilles doit être du même côté que l’illuminateur.
  8. Faire pivoter le bras se concentrant sur le support de bureau pour mettre l’image de le œil au point.
  9. Cliquez sur le bouton de calibrage sur le PC pour conduire le processus d’étalonnage en demandant aux participants de fixer une grille de cinq cibles de fixation dans la succession aléatoire avec aucune des réponses comportementales manifestes, hôte de cartographier les mouvements des yeux des participants au regard du respect des dans l’univers visuel.
  10. Cliquez sur le bouton valider sur l’ordinateur hôte PC pour valider les résultats étalonnés en demandant aux participants de se focaliser la même grille d’objectifs de fixation. Répétez les routines de calibration et de validation, lorsque l’erreur est plus grande que 1°.
  11. Effectuer les deux routines au début de l’expérience, et chaque fois que la précision des mesures est pauvre (e.g., après les forts mouvements de tête ou un changement de posture des participants).
  12. Cliquez sur le bouton Enregistrer sur l’ordinateur hôte PC pour commencer l’expérience.
  13. Effectuer un contrôle de dérive de chaque essai en demandant aux participants d’appuyez sur la touche espace du clavier tout en fixation au point noir présenté dans le centre de l’écran.
    Remarque : Lorsque les participants sont illettrées enfants ou des patients cliniques, explicitement leur demandant d’appuyer sur le clavier en fixer le point noir est normalement impossible. Mais leurs fixations attention et oculaires ont tendance à être automatiquement attirés par le point noir s’affiche. Dans ce cas, l’expérimentateur doit être la personne appuie sur le clavier, alors que le participant est fixer sur le point noir.
  14. Présenter les stimuli visuels via le moniteur d’affichage PC et jouer les stimuli auditifs grâce à une paire de haut-parleurs externes situés à gauche et à droite de l’écran (les écouteurs sont également acceptés).
    Remarque : Les enregistrements sont jouées depuis le disque dur comme des clips audio mono 24 kHz. S’il n’y a aucune raison spéciale, des clips audio mono sont préférés aux clips audio stéréo. Dans un clip audio stéréo, la différence entre les deux pistes sonores, ainsi que la différence entre les deux enceintes susceptibles d’affecter les mouvements des yeux des participants. Pour plus d’informations sur la façon d’utiliser l’eye tracker, veuillez consulter le manuel de l’utilisateur30.

6. les données de codage et d’Analyses

  1. Ouvrir la visionneuse de données, cliquez sur fichier | Importer fichier | Importer plusieurs fichiers de données Eyelink pour importer tous les fichiers de traqueur oculaire enregistré (avec l’extension du FED) et les enregistrer dans un seul . EVS fichier.
  2. Ouvrez le fichier EVS enregistré et cliquez sur analyse | Rapports | Exemple de rapport pour exporter les données de l’échantillon brut avec aucune agrégation.
    Remarque : Si le traqueur d’oeil a une fréquence d’échantillonnage de 500 Hz, les données exportées aura 500 points de données, désormais 500 lignes, par seconde par procès. Si le œil gauche des participants est suivi, s’assurer que les colonnes suivantes ainsi que les variables créées dans la source de données sont exportées : RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ TAILLE, SAMPLE_INDEX, SAMPLE_MESSAGE. Pour plus d’informations sur la façon d’utiliser la visionneuse de données, veuillez consulter le manuel du logiciel31.
  3. Limiter les analyses statistiques à la fenêtre temporelle de l’apparition de l’image de test vers l’offset de l’essai audios, c’est à dire., la fenêtre temporelle avec la durée de 11 s.
  4. Supprimer les exemples où les mouvements des yeux des participants ne sont pas enregistrés, tels que les participants clignotent leurs yeux, qui touche environ 10 % des données enregistrées.
    NOTE : Ceci est une étape facultative, car les résultats sont normalement les mêmes peu importe de savoir si ces échantillons supprimé.
  5. Code les données. Pour construire les données pour une zone spécifique d’intérêt à un certain point d’échantillonnage, code les données sous forme de 1 si la fixation oculaire des participants est située dans la zone d’intérêt pour être analysés à ce point d’échantillonnage. Coder les données 0 si la fixation de le œil n’est pas située dans les zones d’intérêt à ce point d’échantillonnage.
  6. Dessiner une proportion de fixation afin de visualiser les données obtenues. Pour calculer les proportion des fixations sur certaine zone d’intérêt, en moyenne les données codées pour toutes les épreuves et pour tous les participants dans chaque échantillon point à chaque condition. Tracer les proportion-de-fixations calculées sur l’axe des ordonnées contre le point de prélèvement sur l’axe, avec différents panneaux indiquant les zones d’intérêt et les couleurs de traçage qui dénote des conditions expérimentales différentes.
    Remarque : Dans l’expérience, les quatre panneaux dépeint modes de fixation des participants sur les quatre domaines d’intérêt. Les lignes rouges, verts et bleus illustrent modes de fixation des participants lorsque les déclarations de test étaient conjonctions (S1 et S2), mais-déclarations (S1 mais pas S2) et disjonctions (S1 ou S2), respectivement. Le logiciel utilisé pour dessiner le tracé descriptif est le paquet de ggplot2 d’environnement R. Autres logiciels sont également disponibles. Figure 5 illustre un tel complot.
  7. Monter un linéaire généralisé mixte modèle binomial (GLMM) sur chaque zone d’intérêt à chaque point d’échantillonnage, comme les données a été codées comme 1 ou 0, selon si la fixation du participant est située dans ou hors de la zone d’intérêt à ce point d’échantillonnage.
    Remarque : Comme les données ne sont pas mis en cellule, et les données codées ne peuvent être que 1 ou 0, si la distribution des données codées est binaire plutôt que normal. Désormais, un modèle de la GLMM avec la famille de distribution binomiale est utilisé. Le modèle de la GLMM inclut une période déterminée, des participants et deux des conditions aléatoires, expérimentales et éléments. La formule a évalué les deux termes au hasard comprend tant l’intercepte et la pente des conditions expérimentales. Le logiciel utilisé pour faire le montage du modèle est le paquet de lme4 d’environnement R. Autres logiciels sont également disponibles. Convient de mentionner une chose, c’est que la ligne de base des éléments fixes diffèrent lorsque la zone d’intérêt analysées, i.e., les zones analysées, sont différents. Pour être précis, la conjonction (S1 et S2) a été choisi comme référence lors de l’analyse de la boîte de grand ouvert (zone A), la disjonction (A et B) a été choisie comme référence lors de l’analyse de la boîte de petit-fermée (zone B), et l’instruction mais a été choisie comme la ligne de base lors de l’analyse de la zone mentionnée en premier lieu (zone D).
  8. Bonferroni ajuster les valeurs de p obtenus avec le test de Wald z , afin de réduire l’erreur familywise induite par les comparaisons multiples.
    NOTE : Adaptation de Bonferroni est la façon traditionnelle d’aborder la familywise erreur induite par les comparaisons multiples. Autres méthodes sont également disponibles, comme nous avons décrit dans la section introduction.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Les réponses comportementales des participants sont résumées dans la Figure 4. Comme nous avons décrit précédemment, la bonne réponse à une déclaration conjointe (S1 et S2) est la grande boîte ouverte, comme la boîte A sur la Figure 1. La bonne réponse à un mais-déclaration (S1 mais pas S2) est la petite boîte ouverte contenant le premier animal mentionné, tels que boîte D sur la Figure 1. Critique, quelle case a été choisi pour l’instruction disjonctive (S1 ou S2) dépend de comment une déclaration disjonctive est traitée : la petite boîte fermée, comme la zone B de la Figure 1, est choisie uniquement lorsque l’implicitation scalaire et les inférences de l’ignorance relatives à l’instruction disjonctive tous les deux sont calculées. La figure 4 illustre que lorsque comprenant une déclaration disjonctive (S1 ou S2), les participants calculer les deux les deux inférences.

En outre, fixations oculaires des participants sur la petite boîte fermée, surtout quand ces fixations sont suivies par les réponses comportementales sur cette case, suggèrent également que l’implicitation scalaire et les inférences de l’ignorance sont calculés. Les deux conclusions devraient ont été traitées pas plus tard que le premier point temporel lorsque les participants passer leur attention visuelle et les fixations sur la petite boîte fermée. Les mouvements des yeux des participants sont résumées dans la Figure 5. Comme nous pouvons le voir dans le groupe B, oeil-fixations des participants sur la petit clos (boîte B) n’augmentent pas à moins que le conjonctif phraséologiques est la disjonctive conjonctif, ou. En outre, cette augmentation commence plus tard que l’offset du connectif disjonctive no. Cela donne à penser que tant l’implicitation scalaire et les inférences de l’ignorance sont calculés avant le décalage du connectif phraséologiques, c'est-à-dire immédiatement lorsqu’il rencontre le conjonctif disjonctive.

Figure 1
Figure 1 . Un exemple de l’images de test utilisés dans l’expérience. La zone grise est l’image de test étant en fait présenté aux participants. Les boîtes de blues, les pointillés et les pixels qui dénote la largeur des éléments sont uniquement pour des fins d’illustration et sont invisibles pour les participants. (Adapté d’expérience une des L. Zhan 17 avec la permission). S’il vous plaît cliquez ici pour visionner une version agrandie de cette figure.

Figure 2
Figure 2 . Un exemple de la peine de test utilisés dans l’expérience (tiré à part L. Zhan17 avec la permission). S’il vous plaît cliquez ici pour visionner une version agrandie de cette figure.

Figure 3
Figure 3 . La structure hiérarchique d’une expérience d’oculométrie typique utilisant le paradigme du monde visuel. L’audio illustré dans l’image sont les traductions anglaises de l’utilisés dans l’expérience du chinois Mandarin. S’il vous plaît cliquez ici pour visionner une version agrandie de cette figure.

Figure 4
Figure 4 . Les réponses comportementales des participants enregistrement dans l’expérience (adapté d’une expérience de L. Zhan17 avec la permission). S’il vous plaît cliquez ici pour visionner une version agrandie de cette figure.

Figure 5
Figure 5 . Des participants des yeux les mouvements observés dans l’expérience. L’apparition et l’offset des connectifs phraséologiques sont signifiés par deux lignes verticales en pointillés. Une différence significative entre la conjonction disjonctive et l’état initial à certain moment de l’échantillonnage est signifiée par la zone grise (p <.05, Bonferroni ajusté) (adapté de L. Zhan17 avec la permission). S’il vous plaît cliquez ici pour visionner une version agrandie de cette figure.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Pour effectuer une étude de l’univers visuel, il y a plusieurs étapes essentielles à suivre. Tout d’abord, les chercheurs ont l’intention d’en déduire l’interprétation de la langue audition présentée par l’intermédiaire de mouvements oculaires des participants dans l’univers visuel. Désormais, dans la conception de la présentation des stimuli visuels, les propriétés des mouvements des yeux dans une tâche naturelle qui pourrait affectent les mouvements des yeux des participants doivent être contrôlées. L’effet de la langue parlée sur les mouvements des yeux des participants peut ensuite être reconnue. Deuxièmement, acoustiques des repères dans la langue parlée sont transitoires et il n’y a aucune signature acoustique correspondant uniquement à certaines catégories linguistiques. À mouvements correctement cadenas-participants des yeux avec l’apparition de certains marqueurs linguistiques, chercheurs devraient trouver de façon objective et cohérente pour définir la limite d’une structure linguistique. Troisièmement, pour mapper correctement les rotation d’oeil des participants autour de la tête, avec leur regard de considération dans l’univers visuel, les chercheurs doivent effectuer une ou plusieurs séries d’étalonnage, la validation et les processus de correction de dérive. Quatrièmement, les données provenant d’une étude de l’univers visuel ont certaines propriétés particulières, par exemple être inférieure et supérieure délimitée et autocorrélées Erreurs etc.. On envisagera ces propriétés particulières lorsqu’une méthode est sélectionnée pour analyser statistiquement les données.

Une étude de l’univers visuel se compose de trois éléments essentiels : affichage, langue parlée, tâche expérimentale. Modifications peuvent être apportées sur n’importe quel composant pour accomplir des buts spécifiques des chercheurs. Tout d’abord, une présentation visuelle est normalement un écran de projection représentant un tableau de tableaux. Mais il peut aussi être un écran de projection représentant un tableau de mots imprimés32, une scène schématique30,31ou une scène réelle contenant des objets réels1,32. En second lieu, les déclarations orales peuvent être un mot36, une phrase simple30,31, un énoncé sémantiquement complexes17,34,35ou un dialogue39. Troisièmement, en ce qui concerne la tâche expérimentale, les participants sont soit simplement invités à regarder l’univers visuel et écouter attentivement les déclarations auditif30,31; ou sont étant tenus de faire des réponses comportementales, comme intérimaire les mouvements décrits par l' énonciation auditif1, déterminer si oui ou non l’auditif énoncé s’applique à l' affichage visuel38ou en choisissant le bon image dans l’affichage visuel la parole parlée parle de17.

Le paradigme de l’univers visuel, par rapport aux autres techniques psycholinguistiques, présente plusieurs avantages uniques. Tout d’abord, le paradigme de l’univers visuel peut être utilisé dans un ensemble de populations, y compris celles qui ne peuvent pas lire ou qui ne peuvent pas donner ouvertement leurs réponses comportementales, comme illettrées enfants37,38,39, 40 , 41 , 42, âgées de46et les patients (p. ex.., aphasiques)47. C’est parce que les stimuli de la langue sont présentés dans l’auditif, plutôt que sous forme de textes écrits ; et la compréhension de la langue est déduite de mouvements oculaires automatique implicite des participants plutôt que de leurs réactions comportementales manifestes. Deuxièmement, le paradigme de l’univers visuel est extrêmement sensible aux manipulations à grain fin du signal de parole. Ce modèle peut être utilisé pour étudier le traitement en ligne de la plupart des sujets dans la compréhension de la langue à plusieurs niveaux, tels que les traits fins de phonétique acoustique grainé33,45,46, les propriétés de Mots30,31, les structures linguistiques1,47et les structures logiques d’instructions sémantiquement complexes comme les concessives37, biconditionals37, instructions conditionnelles38et disjonctions17.

Le paradigme de l’univers visuel, par rapport aux autres techniques de psycholinguistique, a également quelques limitations potentielles. Tout d’abord, interprétation des participants de la langue parlée est déduite de leurs mouvements oculaires sur l’univers visuel, pas de l’interprétation réelle des stimuli langue par se. dorénavant, les propriétés de langage qui peuvent être étudiées avec l’univers visuel paradigme se limitent à celles qui peuvent être visualisées, i.e., ils devraient être en quelque sorte liés à des entités ou des événements dans l’univers visuel. Deuxièmement, le paradigme de l’univers visuel utilisé est normalement plus restreint que l’univers visuel réel, avec un ensemble limité de référents sur la photo et un ensemble limité d’actions possibles. Ce soi-disant problème ensemble fermé48 pourrait créer des stratégies spécifiques qui le traitement automatique des langues observée ne pas généraliser au-delà des spécificités créées au sein de l’expérience. Désormais, le paradigme ne pourrait ne pas être sensible aux caractéristiques des connaissances linguistiques et l’expérience se trouvant à l’extérieur de l’ensemble fermé qui ont été établis sur un procès donné.

Le paradigme de l’univers visuel explore essentiellement l’intégration de l’information du domaine visuel et l’information du domaine auditif. Théoriquement, toutes les informations qui peuvent être traitées par les deux domaines sensationnels peuvent être potentiellement étudiées à l’aide de ce paradigme. Par exemple, l’univers visuel peut être réalité virtuelle ou des vidéos dynamiques. L’entrée auditive n’est pas nécessairement langue et peut être n’importe quel autre format, tel que la musique et du son du monde naturel, etc.. En outre, ce paradigme peut encore être prolongé pour explorer l’intégration de l’information d’autres domaines, plutôt que le domaine visuel et l’auditif. Par exemple, les chercheurs pourraient utiliser cette technique pour voir comment les fixations des participants dans l’univers visuel sont affectées par des odeurs différentes, différentes touches, etc..

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

L’auteur déclare qu’il n’a aucun intérêts financiers concurrents.

Acknowledgments

Cette recherche a été financée par Science Foundation of Beijing Language et l’Université culturelle au titre des fonds de recherche fondamentale pour les universités de centrale (agrément numéro 15YJ050003).

Materials

Name Company Catalog Number Comments
Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Tags

Comportement numéro 140 oculométrique technique paradigme de l’univers visuel langue parlée traitement en ligne déclaration complexe généralisé linéaire modèle mixte loi binomiale erreur familywise ajustement de Bonferroni
À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhan, L. Using Eye Movements… More

Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter