Utilizar movimientos oculares registrados en el paradigma de mundo Visual para explorar el procesamiento en línea del lenguaje hablado

Este método puede ayudar a responder preguntas clave en el procesamiento en línea del lenguaje hablado, incluidas las oraciones semánticamente complejas, como disyunciones y condicionales. La principal ventaja de esta técnica es que se puede realizar en una amplia gama de poblaciones para estudiar la mayoría de los temas en áreas de procesamiento del lenguaje. Demostrando el procedimiento estará Xu Jing, un estudiante de posgrado.

Cao Yifan, Wang Meng, Yang Xiaotong, Zhan Min y Zhou Xuehan son los estudiantes de mi grupo de investigación. Para preparar los estímulos visuales, descargue 60 imágenes prediseñadas libres de derechos de autor de animales de Internet y abra las imágenes en un editor de imágenes adecuado. Haga clic en Herramientas y utilice la selección rápida para seleccionar y eliminar el fondo de cada imagen.

Haga clic en Tamaño de imagen e imagen para cambiar el tamaño de las imágenes a 120 por 120 píxeles y dibuje un cuadro grande abierto de 320 x 240 píxeles, un pequeño cuadro cerrado de 160 x 160 píxeles y dos cuadros pequeños abiertos de 160 x 240 píxeles. Abra un nuevo archivo para crear una plantilla de 1, 024 por 768 píxeles para la primera imagen de prueba y arrastre los cuadros a las ubicaciones indicadas. Arrastre dos imágenes prediseñadas al cuadro grande abierto y una de cada una de las mismas dos imágenes a las dos pequeñas cajas abiertas.

A continuación, cree 59 imágenes de prueba más como se acaba de demostrar con cada imagen de animal que se utiliza dos veces por imagen de prueba, contrapesando las ubicaciones espaciales de los cuatro cuadros entre las imágenes. Para preparar los estímulos del lenguaje hablado, diseñe cuatro oraciones de prueba correspondientes a cada imagen de prueba en el idioma nativo de los participantes para un total de 240 oraciones de prueba que se registrarán, con al menos tres de las cuatro oraciones y una de cada una de las formas como se ilustra. Recluta a una oradora nativa femenina para grabar cuatro declaraciones de ejemplo, así como audio para todos los animales que se utilizan en el experimento.

Divida las 240 oraciones de prueba en cuatro grupos, con cada grupo que contiene 15 declaraciones coyuntantes, 15 declaraciones disyuntivas, 15 declaraciones pero y 15 oraciones de relleno. A continuación, guarde toda la información importante sobre los estímulos de prueba en un archivo de texto delimitado por tabulaciones, con cada fila correspondiente a cada uno de los 240 ensayos. Para compilar la secuencia de experimentos, abra el generador de experimentos y cree un nuevo proyecto.

Arrastre un objeto de pantalla de visualización al espacio de trabajo y cambie el nombre de la instrucción del espacio de trabajo. Haga clic en Insertar recurso de texto de varias líneas y haga doble clic para abrir la secuencia de bloques para crear la secuencia de bloques. Arrastre un nodo de configuración de cámara EI a la secuencia de bloques para abrir una pantalla de configuración de cámara en el PC host EyeLink para facilitar la calibración y validación de la configuración de la cámara.

Haga clic en el campo Tipo de calibración en el panel de propiedades y seleccione HV5 en la lista desplegable. Para crear la secuencia de prueba, arrastre un nodo Pantalla de visualización a la secuencia de prueba y cámbiele el nombre Animal_1_Image. Arrastre un nodo Reproducir sonido a la secuencia de prueba y cámbiele el nombre Animal_1_Audio.

Arrastre un nodo Timer a la secuencia de prueba y cámbiele el nombre Animal_1_Audio_Length. Continúe arrastrando y cambiando el nombre de nodos adicionales de Pantalla de visualización, Reproducir sonido y Temporizador a la secuencia de prueba hasta que se hayan creado tres nodos para cada imagen de imagen prediseñada. A continuación, arrastre un nodo Drift Correct a la secuencia de prueba para introducir la corrección de deriva.

Para crear la secuencia de grabación, arrastre un nuevo nodo Pantalla de visualización a la secuencia de registros. Cambie el nombre del Test_Image de nodo. Haga doble clic en el nodo Pantalla de visualización para abrir el constructor de pantallas, haga clic en Insertar región de área de interés rectangular y dibuje cuatro áreas rectangulares de interés.

Arrastre un nodo Timer al área de trabajo, cambie el nombre del nodo Pause y cambie la propiedad duration a 500 milisegundos. Arrastre un nodo Reproducir sonido al espacio de trabajo y cambie el nombre del nodo Test_Audio, arrastre un nodo Temporizador al espacio de trabajo y cámbiele el nombre Test_Audio_Length. A continuación, agregue un nodo Teclado al área de trabajo, cambie el nombre del nodo Respuestas de comportamiento y cambie la propiedad Claves aceptables a Arriba, Abajo, Derecha, Izquierda.

Para llevar a cabo un experimento, inicie el sistema en el PC host para iniciar la aplicación host de la cámara y haga clic en la versión ejecutable del proyecto experimental en el PC de visualización. Introduzca el nombre del participante y haga clic en Seleccionar valor de condición para ejecutar para seleccionar un grupo en la ventana de solicitud. Coloque una pequeña pegatina de objetivo en la frente del participante para rastrear la posición de la cabeza incluso cuando la imagen de la pupila se pierda, como durante parpadeos o movimientos repentinos. Asiento al participante aproximadamente 60 centímetros de un monitor de color de 21 pulgadas 4:3 con una resolución de 1, 024 por 769 píxeles, para el que 27 píxeles equivale a un ángulo de un grado.

Ajuste la altura del monitor de LA pantalla del PC para asegurarse de que cuando el participante está mirando hacia adelante, están mirando verticalmente en el medio hasta el 75% superior del monitor, luego gire el brazo de enfoque en el soporte de escritorio para poner la imagen del ojo en el foco. A continuación, haga clic en Calibrar en el PC anfitrión y pida al participante que se fije en una cuadrícula de cinco objetivos de fijación, en sucesión aleatoria sin respuestas de comportamiento, para asignar los movimientos oculares del participante a la mirada de la vista en el mundo visual. Haga clic en Validar y pida al participante que se fije en la misma cuadrícula de objetivos de fijación para validar los resultados de la calibración.

Realice una comprobación de deriva pidiendo al participante que presione la barra espaciadora en el teclado mientras se fija en el punto negro en el centro de la pantalla. A continuación, presente los estímulos visuales a través del monitor de la pantalla del PC mientras reproduce los estímulos auditivos a través de un par de altavoces externos situados a la izquierda y a la derecha del monitor. Para la codificación y el análisis de datos, abra el visor de datos y haga clic en Archivo, Importar archivo e importar varios archivos de datos de EyeLink para importar todos los archivos de seguimiento ocular grabados.

Guarde los archivos en un único archivo evs, abra el archivo evs y haga clic en Análisis, informes e informe de ejemplo para exportar los datos de ejemplo sin procesar sin agregación. La respuesta correcta a una declaración coyunta es el gran cuadro abierto, mientras que la respuesta correcta a una declaración but es la pequeña caja abierta que contiene el primer animal mencionado dentro de la declaración. Críticamente, qué cuadro se elige para las instrucciones coyuntar depende de cómo se procesa una instrucción condicional.

Por ejemplo, el pequeño cuadro cerrado se elige solo cuando se calculan la implicación escalar y las inferencias de ignorancia, lo que resulta de la comprensión de una instrucción disyuntiva. Como se ilustra en el panel, la fijación ocular en la pequeña caja cerrada no aumenta a menos que el conectivo sensible sea el conectivo disyuntivo o con el aumento que comienza no más tarde que el desplazamiento del conectivo disyuntivo. El paradigma del mundo visual es una técnica versátil de seguimiento ocular para inferir la comprensión en línea del lenguaje hablado por parte de los participantes a partir de sus movimientos oculares en el mundo real.

Al reclutar participantes recuerde que deben tener una capacidad visual normal o correcta y una capacidad auditiva normal. Para diseñar un estudio del mundo real elegible, se deben controlar o descartar otros factores que podrían afectar los movimientos oculares de los participantes. Al analizar estadísticamente los resultados, el problema que puede surgir de las respuestas limitadas, se deben considerar todas las comparaciones automáticas o de correlación automática.