À l’aide de mouvements oculaires enregistrées dans le paradigme de l’univers visuel d’explorer le traitement en ligne de la langue parlée

Le paradigme de l’univers visuel surveille les mouvements des yeux des participants dans l’espace de travail visuel car ils sont à l’écoute ou parlant une langue parlée. Ce paradigme peut servir à enquêter sur le traitement en ligne d’un large éventail de questions psycholinguistiques, y compris les instructions sémantiquement complexes, telles que les instructions disjonctives.

Cette méthode peut aider à répondre aux questions clés dans le traitement en ligne de la langue parlée, y compris les phrases sémantiquement complexes, telles que les disjonctions et les conditions. Le principal avantage de cette technique est qu’elle peut être effectuée sur un large éventail de populations pour étudier la plupart des sujets dans les domaines du traitement linguistique. Xu Jing, étudiant de troisième cycle, démontrera la procédure.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min et Zhou Xuehan sont les étudiants de mon groupe de recherche. Pour préparer les stimuli visuels, téléchargez 60 images de clip art gratuites d’animaux sur Internet et ouvrez les images dans un éditeur d’images approprié. Cliquez sur Outils et utilisez la sélection rapide pour sélectionner et supprimer l’arrière-plan de chaque image.

Cliquez sur Image et Taille de l’image pour resize les images à 120 par 120 pixels et dessiner une grande boîte ouverte de 320 x 240 pixels, une petite boîte fermée de 160 x 160 pixels, et deux petites boîtes ouvertes de 160 x 240 pixels. Ouvrez un nouveau fichier pour créer un modèle de 1 024 par 768 pixels pour la première image de test, et faites glisser les cases vers les emplacements indiqués. Faites glisser deux images clip art dans la grande boîte ouverte et une chacune des deux mêmes images dans les deux petites boîtes ouvertes.

Créez ensuite 59 images de test supplémentaires comme nous venons de le démontrer avec chaque image animale utilisée deux fois par image de test, contrebalancer les emplacements spatiaux des quatre boîtes parmi les images. Pour préparer les stimuli de la langue parlée, concevoir quatre phrases d’essai correspondant à chaque image d’essai dans la langue maternelle des participants pour un total de 240 phrases d’essai à enregistrer, avec au moins trois des quatre phrases et une de chacune des formes illustrées. Recruter une locutrice autochtone pour enregistrer quatre déclarations d’exemple, ainsi que de l’audio pour tous les animaux utilisés dans l’expérience.

Divisez les 240 phrases d’essai en quatre groupes, chaque groupe contenant 15 déclarations conjonctives, 15 déclarations disjonctives, 15 mais des déclarations et 15 phrases de remplissage. Enregistrez ensuite toutes les informations importantes concernant les stimuli de test dans un fichier texte délimité par onglet, chaque ligne correspondant à chacun des 240 essais. Pour construire la séquence d’expérience, ouvrez le constructeur de l’expérience et créez un nouveau projet.

Faites glisser un objet d’écran d’affichage dans l’espace de travail et renommez l’instruction de l’espace de travail. Cliquez sur Insérer la ressource de texte multi-lignes et double clic pour ouvrir la séquence de bloc pour construire la séquence de bloc. Faites glisser un nœud de configuration de caméra EI dans la séquence de bloc pour faire monter un écran d’installation de la caméra sur le PC hôte EyeLink pour faciliter l’étalonnage et la validation de la configuration de la caméra.

Cliquez sur le champ Type d’étalonnage dans le panneau propriétés et sélectionnez HV5 à partir de la liste de drop down. Pour créer la séquence d’essai, faites glisser un nœud écran d’affichage dans la séquence d’essai et renommez-le Animal_1_Image. Faites glisser un nœud Play Sound dans la séquence d’essai et renommez-le Animal_1_Audio.

Faites glisser un nœud Timer dans la séquence d’essai et renommez-le Animal_1_Audio_Length. Continuez à faire glisser et renommer des nœuds display supplémentaires, play sound et timer dans la séquence d’essai jusqu’à ce que trois nœuds aient été créés pour chaque image clip art. Faites ensuite glisser un nœud Drift Correct dans la séquence d’essai pour introduire la correction de dérive.

Pour créer la séquence d’enregistrement, faites glisser un nouveau nœud display screen dans la séquence d’enregistrement. Renommez le nœud Test_Image. Cliquez deux fois sur le nœud écran d’affichage pour ouvrir le constructeur d’écran, cliquez sur la région espace d’intérêt insert rectangle, et dessiner quatre zones rectangulaires d’intérêt.

Faites glisser un nœud Timer dans l’espace de travail, renommez le nœud Pause et modifiez la propriété de durée en 500 millisecondes. Faites glisser un nœud Play Sound dans l’espace de travail et renommez le nœud Test_Audio, faites glisser un nœud Timer dans l’espace de travail et renommez-le Test_Audio_Length. Ajoutez ensuite un nœud clavier dans l’espace de travail, renommez les réponses comportementales des nœuds et modifiez la propriété Acceptable Keys en Haut, Bas, Droite, Gauche.

Pour mener une expérience, démarrez le système sur le PC hôte pour démarrer l’application hôte de la caméra, et cliquez sur la version exécutable du projet expérimental sur le PC d’affichage. Entrez le nom du participant et cliquez sur Sélectionnez valeur d’état pour exécuter pour sélectionner un groupe à partir de la fenêtre d’invite. Placez un petit autocollant cible sur le front du participant pour suivre la position de la tête même lorsque l’image de la pupille est perdue, par exemple pendant les clignotements ou les mouvements brusques. Placez le participant à environ 60 centimètres d’un moniteur couleur 4:3 de 21 pouces avec une résolution de 1 024 par 769 pixels, pour laquelle 27 pixels équivaut à un angle de degré.

Ajustez la hauteur du moniteur pc d’affichage pour vous assurer que lorsque le participant regarde droit devant, il regarde verticalement du milieu au haut de 75 % du moniteur, puis faites pivoter le bras focalisé sur la monture du bureau pour mettre l’image des yeux au point. Ensuite, cliquez sur Calibrate sur le PC hôte et demandez au participant de se fixer sur une grille de cinq cibles de fixation, en succession aléatoire sans réponses comportementales globales, pour cartographier les mouvements oculaires du participant au regard du regard dans le monde visuel. Cliquez sur Valider et demandez au participant de se fixer sur la même grille de cibles de fixation pour valider les résultats de l’étalonnage.

Effectuez une vérification de dérive en demandant au participant d’appuyer sur la barre d’espace sur le clavier tout en fixant sur le point noir au centre de l’écran. Présentez ensuite les stimuli visuels via le moniteur PC d’affichage tout en jouant les stimuli auditifs via une paire de haut-parleurs externes situés à gauche et à droite du moniteur. Pour le codage et l’analyse des données, ouvrez la visionneuse de données et cliquez sur Fichier, Fichier d’importation et importez plusieurs fichiers de données EyeLink pour importer tous les fichiers de suivi oculaire enregistrés.

Enregistrez les fichiers dans un seul fichier evs, puis ouvrez le fichier evs et cliquez sur Analyse, Rapports et Rapport d’échantillon pour exporter les données brutes de l’échantillon sans agrégation. La bonne réponse à une déclaration conjonctive est la grande boîte ouverte, tandis que la bonne réponse à un mais déclaration est la petite boîte ouverte contenant le premier animal mentionné dans la déclaration. De façon critique, quelle case est choisie pour les énoncés conjonctifs dépend de la façon dont une déclaration conditionnelle est traitée.

Par exemple, la petite boîte fermée n’est choisie que lorsque l’implicature scalaire et les inférences d’ignorance sont calculées, ce qui résulte de la compréhension d’une déclaration disjonctive. Comme illustré dans le panneau, la fixation des yeux sur la petite boîte fermée n’augmente pas à moins que le conjonctif sententiel est le conjonctif disjonctif ou avec l’augmentation commençant au plus tard le décalage du conjonctif disjonctif. Le Visual World Paradigm est une technique polyvalente de suivi oculaire pour déduire la compréhension en ligne du langage parlé par les participants à partir de leurs mouvements oculaires dans le monde réel.

Lorsque vous recrutez des participants, vous vous souvenez qu’ils devraient avoir une capacité visuelle normale ou correcte et une capacité auditive normale. Pour concevoir une étude du monde réel admissible, d’autres facteurs qui pourraient affecter les mouvements oculaires des participants devraient être contrôlés ou exclus. Lors de l’analyse statistique des résultats, problème qui peut résulter de réponses délimitées, toutes les corrélations automatiques ou les comparaisons automatiques devraient être considérées.