Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Behavior
Click here for the English version

Behavior

Utilizar movimientos oculares registrados en el paradigma de mundo Visual para explorar el procesamiento en línea del lenguaje hablado

Published: October 13, 2018 doi: 10.3791/58086
Automatic Translation
1
1Institute for Speech Pathology and the Brain Science, School of Communication Science, Beijing Language and Culture University

Summary

El paradigma de mundo visual controla movimientos oculares de los participantes en el espacio de trabajo visual que están escuchando o hablando una lengua hablada. Este paradigma puede utilizarse para investigar el procesamiento en línea de una amplia gama de preguntas psicolingüísticas, incluyendo instrucciones semánticamente complejas, como disyuntiva.

Abstract

En un ojo típico utilizando el paradigma de mundo visual estudio de seguimiento, los participantes ojo movimientos a los objetos o imágenes en el espacio de trabajo visual se registran por medio de un rastreador de ojos como el participante produce o comprende una lengua hablada describiendo el visual simultánea mundo. Este paradigma tiene gran versatilidad, que puede ser utilizado en una amplia gama de poblaciones, los que no pueden leer o que no dan abiertamente sus respuestas conductuales, tales como preliterate niños, adultos mayores y pacientes incluidos. Lo más importante, el paradigma es extremadamente sensible a manipulaciones de la señal de discurso de grano fino, y puede ser utilizado para estudiar el procesamiento en línea de la mayoría de los temas en la comprensión del lenguaje en múltiples niveles, como el grano fino acústica fonética características, las propiedades de las palabras y las estructuras lingüísticas. El protocolo descrito en este artículo ilustra cómo un ojo típico mundo visual estudio de seguimiento se lleva a cabo, con un ejemplo que muestra cómo el procesamiento en línea de algunas declaraciones semánticamente complejos puede ser explorado con el paradigma de mundo visual.

Introduction

Lengua hablada es un flujo de información rápido y continuo, que desaparece enseguida. Es un reto estudiar experimentalmente este temporal, cambiar rápidamente la señal de discurso. Movimientos oculares registrados en el paradigma de mundo visual se pueden utilizar para superar este desafío. En un ojo típico seguimiento estudio utilizando el paradigma de mundo visual, movimientos oculares de los participantes a los cuadros en una exhibición o a objetos reales en un espacio de trabajo visual se controlan como escucha, o produce, lengua hablada que representa el contenido del mundo visual1 ,2,3,4. La lógica básica, o la hipótesis de vinculación, detrás de este paradigma es que comprender o planificación de una elocución (abiertamente o secretamente) cambiarán la atención visual de los participantes hacia un cierto objeto del mundo visual. Este cambio de atención tendrá una alta probabilidad de iniciar un movimiento de ojo sacádicos para incorporar el área asistió a la visión foveal. Con este paradigma, los investigadores pretenden determinar en qué momento temporal, con respecto a alguna señal acústica en fonía, se produce un cambio en la atención visual del participante, según lo medido por un movimiento de ojo sacádicos a un objeto o una imagen en visual mundo. Cuándo y dónde se inician movimientos de ojo sacádicos en relación con la señal de voz se utilizan para deducir el procesamiento del lenguaje en línea. El paradigma del mundo visual se puede utilizar para estudiar el lenguaje hablado comprensión1,2 y producción5,6. Este artículo metodológico se centrará en los estudios de comprensión. En un estudio de comprensión utilizando el paradigma de mundo visual, ojo los participantes vigilan movimientos en la pantalla visual mientras escuchan las elocuciones habladas hablando sobre la presentación visual.

Sistemas de seguimiento de ojo diferentes han sido diseñados en la historia. El más simple, menos costoso y más portátil el sistema es sólo es una normal de la cámara de video, que registra una imagen de los ojos del participante. Movimientos de los ojos luego se codifican manualmente a través del examen de fotograma a fotograma de la grabación de vídeo. Sin embargo, la tasa de muestreo de tal un eye-tracker es relativamente baja, y el procedimiento de codificación es desperdiciador de tiempo. Así, un ojo comercial contemporáneo sistema de seguimiento normalmente utiliza sensores ópticos miden la orientación del ojo en su órbita7,8,9. Para entender cómo funciona un sistema de seguimiento de ojo comercial contemporáneo, se deben considerar los siguientes puntos. Primero, para medir correctamente la dirección de la visión foveal, un iluminador infrarrojo (normalmente con la longitud de onda alrededor 780-880 nm) normalmente se coloca a lo largo o apagar el eje óptico de la cámara, haciendo la imagen de la pupila distinguible más brillante o más oscuro que del iris circundante. La imagen de la pupila o de la reflexión corneal de la pupila (normalmente la primera imagen de Purkinje) entonces se utiliza para calcular la orientación del ojo en su órbita. En segundo lugar, la ubicación de la mirada en el mundo visual es en realidad contingente no sólo en la orientación del ojo con respecto a la cabeza sino también en la orientación principal en relación con el mundo visual. Para deducir con exactitud la mirada del sentido de la orientación del ojo, la fuente de luz y la cámara de los eye-trackers son fijos con respecto a la cabeza de los participantes (montado en la cabeza eye-trackers) o son fijos en relación con el mundo visual (montada en mesa o ojo remotos-trackers). En tercer lugar, orientación principal de los participantes debe fijarse bien en relación con el mundo visual o cómputo compensarse si la cabeza de los participantes es libre para moverse. Cuando se utiliza un eye-tracker remoto en forma de cabeza-libre-a-move, posición de la cabeza los participantes normalmente se registra colocando una pegatina pequeña en frente de los participantes. La orientación principal de cómputo entonces se resta de la orientación del ojo para recuperar la ubicación de la mirada en el mundo visual. En cuarto lugar, una calibración y un proceso de validación se requieren entonces para asignar la orientación del ojo a la mirada de respeto en el mundo visual. En el proceso de calibración, muestras de la fijación de los participantes desde los puntos de destino conocido se registran para los datos crudos ojos para contemplar la posición en el mundo visual. En el proceso de validación, los participantes se presentan con los mismos puntos de destino como el proceso de calibración. La diferencia existente entre la posición computada la fijación de los resultados calibrados y la posición real del objetivo determinada en el mundo visual se utilizan para juzgar la exactitud de la calibración. Para confirmar aún más la precisión del proceso de asignación, un control de deriva se aplica normalmente en cada ensayo, donde un objetivo de fijación solo se presenta a los participantes para medir la diferencia entre la posición computada la fijación y la posición real de la objetivo actual.

Los datos primarios de un estudio de mundo visual están una secuencia de localizaciones de la mirada en el mundo visual en la frecuencia de muestreo de la eye-tracker, que se extienden sobre la totalidad o parte de la duración del ensayo. La variable dependiente utilizada en el estudio de un mundo visual es típicamente la proporción de muestras que fijaciones de los participantes se encuentran en cierta región espacial en el mundo visual a través de un cierto intervalo de tiempo. Para analizar los datos, una ventana de tiempo tiene en primer lugar ser seleccionado, refiere a menudo como períodos de interés. La ventana de tiempo es generalmente tiempo-bloqueada a la presentación de algunos eventos lingüísticos en la entrada auditiva. Además, el mundo visual también es necesario dividir en varias regiones de interés (ROIs), cada una de ellas está asociada a uno o más objetos. Una de estas regiones contiene el objeto correspondiente a la correcta comprensión de la lengua hablada y así se denomina la zona de destino. Una manera típica para visualizar los datos es un complot de parte de la fijación, donde en cada compartimiento en una ventana de tiempo, la proporción de muestras con una mirada a cada región de interés son un promedio de los participantes y elementos.

¿Utilizando los datos obtenidos de un estudio de mundo visual, se pueden contestar preguntas de investigación diferentes: a) en el nivel de grano grueso, son movimientos del ojo de los participantes en el mundo visual afectados por la entrada lingüística auditiva diferente? b) si hay un efecto, ¿cuál es la trayectoria del efecto en el transcurso del juicio? ¿Es un efecto lineal o efecto de orden superior? y c) si hay un efecto, entonces en el nivel de grano fino, cuando es el primer punto temporal donde surge ese efecto y este efecto ¿cuánto pasado?

Para analizar estadísticamente los resultados, se deben considerar los siguientes puntos. En primer lugar, la variable de respuesta, es decir, proporciones de las fijaciones, tanto abajo como arriba limita (entre 0 y 1), que seguirá una distribución multinomial, en lugar de una distribución normal. En adelante, métodos estadísticos tradicionales basados en la distribución normal como el t-test, ANOVA y modelos lineales (efecto de mezcla)10, no pueden directamente utilizar hasta las proporciones han sido transformadas a variables ilimitadas con fórmula empírica logit11 o han sido reemplazados con ilimitada dependiente de variables como la distancia euclidiana12. También pueden utilizar técnicas estadísticas que no requieran que la asunción de la distribución normal tal generalizada modelos lineales (efecto de mezcla)13 . En segundo lugar, para explorar la trayectoria cambiante del efecto observado, una variable que denota la serie de tiempo tiene que ser añadido en el modelo. Esta variable de series de tiempo es el eye-tracker de muestreo puntos realineados a la aparición de la lengua de la entrada. Puesto que la trayectoria cambiante suele ser no lineal, una función polinómica de orden superior de la serie de tiempo se agrega normalmente en el () modelo lineal generalizado (efecto de mezcla), es decir, de análisis de curva de crecimiento14. Además, posiciones del ojo de los participantes en el punto de muestreo es altamente dependiente de puntos de muestreo anterior, especialmente cuando la frecuencia de grabación es alta, lo que resulta en el problema de la autocorrelación. Para reducir la autocorrelación entre los puntos de muestreo adyacentes, datos originales son a menudo abajo-muestreado o desechado. En los últimos años, los modelos de efecto mixto aditivo generalizado (GAMM) han utilizado también para hacer frente a los errores de autocorrelated12,15,16. El ancho de contenedores varía entre diversos estudios, que van desde varios milisegundos a varias centenas de milisegundos. El recipiente más estrecho que puede elegir un estudio está limitado por la frecuencia de muestreo del rastreador ocular utilizado en el estudio específico. Por ejemplo, si un perseguidor del ojo tiene una frecuencia de muestreo de 500 Hz, entonces el ancho de la ventana de tiempo no puede ser menor que 2 ms = 1000/500. En tercer lugar, cuando un análisis estadístico se aplica repetidamente a cada compartimiento de tiempo de los períodos de interés, el error del familywise inducida de éstos que deben acometerse las comparaciones múltiples. Como hemos descrito anteriormente, el análisis de trayectoria informa el investigador si el efecto observado en el nivel de grano grueso es lineal con respecto a los cambios del tiempo, pero no se presenta cuando el efecto observado comienza a surgir y cómo durante mucho tiempo observado efecto dura. Para determinar la posición temporal cuando la diferencia observada comienza a divergir y averiguar la duración del periodo temporal que dura el efecto observado, un análisis de la estadística debe ser aplicada repetidamente para cada compartimiento de tiempo. Estas comparaciones múltiples introducirá el supuesto error familywise, sin importar se utiliza qué método estadístico. Tradicionalmente se corrige el error del familywise con ajuste de Bonferroni17. Recientemente, se ha aplicado un método denominado prueba de permutación no paramétrico utilizado originalmente en Neuroimagen presentada18 a la palabra visual paradigma19 para controlar el error del familywise.

Los investigadores utilizando el paradigma de mundo visual pretenden inferir la comprensión de alguna lengua hablada de los movimientos de ojo de los participantes en el mundo visual. Para asegurar la validez de esta deducción, otros factores que posiblemente influyen en los movimientos del ojo deben descartar o controlar. Los siguientes dos factores están entre los más comunes que deben ser considerados. El primer factor involucra algunos patrones sistemáticos en fijaciones explicativo de los participantes independientemente de la lengua de entrada, como la tendencia a fijar en la parte superior izquierda quadrat del mundo visual y los ojos móviles en la dirección horizontal es más fácil que en la dirección vertical, etc.12,20 para asegurarse de que los patrones de fijación observada se relacionan con los objetos, no a las ubicaciones espaciales donde están situados los objetos, las posiciones espaciales de un objeto deben ser contrapesadas a través de diferentes ensayos o a través de los diferentes participantes. El segundo factor que pudiera influir en los movimientos de ojo de los participantes es las características básicas de imágenes de los objetos del mundo visual, como orientación de contraste, color y borde la luminancia, entre otros21. Para diagnosticar esta potencial confusión, la presentación visual normalmente se presenta antes del inicio de la lengua hablada o antes de la aparición del marcador acústico crítico de la lengua hablada, para cerca de 1000 Sra. durante el período temporal del inicio de la imagen de prueba para el inicio del prueba de audio, el idioma de entrada o el punto de desambiguación de la lengua de entrada no se ha escuchado todavía. Cualquier diferencia observada entre diferentes condiciones debe deducirse a otros factores de confusión tales como la exhibición visual propiamente, más que el idioma de entrada. En adelante, observados en este período de escuchar los movimientos de ojo proporcionan una base para determinar el efecto de la entrada lingüística. Este período de escuchar también permite a los participantes a familiarizarse con la representación visual y a reducir el sesgo sistemático de las fijaciones explicativos cuando se presenta la lengua hablada.

Para ilustrar cómo se realiza un ojo típico seguimiento estudio utilizando el paradigma de mundo visual, el siguiente protocolo describe un experimento adaptado de L. Zhan17 para explorar el procesamiento en línea de instrucciones complejas semánticamente, es decir, declaraciones disyuntivas (S1 o S2), declaraciones de conjuntivas (S1 y S2) y-declaraciones (S1 pero no-S2). En la conservación ordinaria, la información expresada por algunas expresiones es realmente más fuerte que su significado literal. Disyuntiva como caja de Xiaoming contiene una vaca o un gallo son tales declaraciones. Lógicamente, la declaración disyuntiva es cierto como los dos disjuncts caja de Xiaoming contiene una vaca y caja de Xiaoming contiene un gallo no son ambos falsos. Por lo tanto, lo disyuntivo es verdadero cuando los dos disjuncts son ambos verdaderos, donde la instrucción conjunta correspondiente caja de Xiaoming contiene una vaca y un gallo también es cierto. En ordinaria conversación, sin embargo, la audiencia que la declaración disyuntiva a menudo sugiere que la instrucción conjunta correspondiente es falsa (Implicatura escalar); y sugiere que los valores de verdad de los dos disjuncts son desconocidos por el altavoz (inferencia de ignorancia). Cuentas en la literatura difieren en si los dos inferencias son procesos gramaticales o pragmáticas22,23,24,25,26. El experimento muestra cómo el paradigma del mundo visual se puede utilizar para adjudicar entre estas cuentas, al explorar el procesamiento en línea de tres instrucciones complejas.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Todos los temas deben dar consentimiento informado por escrito antes de la administración de los protocolos experimentales. El protocolo experimental, todos los procedimientos y formas de consentimiento fueron aprobados por el Comité de ética de investigación de la Beijing Universidad de lengua y cultura.

Nota: Un estudio de comprensión utilizando el paradigma de mundo visual normalmente consta de los siguientes pasos: introducir los problemas teóricos a ser explorada; Formar un diseño experimental; Preparar los estímulos visuales y auditivos; Enmarcar el problema teórico en relación con el diseño experimental; Seleccione un eye-tracker para seguir los movimientos del ojo de los participantes; Seleccionar un software y crear un script con el software para presentar los estímulos; Código y analizar los datos registrados de movimientos oculares. Un experimento específico puede diferir unos de otros en alguno de los pasos descritos. Por ejemplo, se presenta un protocolo para realizar el experimento y discutir algunos puntos que los investigadores deben tener en cuenta al construir y realizar su propio experimento utilizando el paradigma de mundo visual.

1. prepare la prueba estímulos

  1. Estímulos visuales
    1. Descargar 60 artes de clip de animales que están libres de derechos de autor de internet. Abrir cada imagen una por una con un editor de imágenes (por ejemplo, Pixelmator), haga clic en herramientas de | Herramienta de selección rápida para seleccionar y borrar el fondo. Haga clic en imagen | Tamaño de la imagen para cambiar el tamaño a 120 x 120 píxeles.
    2. Invitar a un estudiante con especialización en pintura para dibujar cuatro cajas de verdes luz, como se ilustra en la figura 1. Utilizar el editor de imagen para cambiar la escala de la caja abierta grande 320 x 240 píxeles, la pequeña caja cerrada con el tamaño de 160 x 160 píxeles, y las dos pequeñas cajas abiertas 160 x 240 píxeles, respectivamente.
    3. Haga clic en Pixelmator | Archivo | Nuevo de construir una plantilla de la prueba de imagen con el tamaño de 1024 768 píxeles. Arrastre los animales y las cajas a lugares de corrección se muestra en la figura 1.
      Nota: El diseño de la imagen de la prueba varía entre los estudios, pero lo óptimo es utilizar cuatro objetos y ponerlos en los cuatro cuadrantes de la imagen de prueba. De esta manera, es más fácil contrarrestar la posición espacial de los objetos.
    4. Crear imágenes de prueba de 60 como figura 1, con cada imagen animal se utiliza dos veces. Contrarrestar la ubicación espacial de las cuatro cajas entre las imágenes.
      Nota: El número de las imágenes debe ser exacto 60, siempre y cuando su efecto es disociable del de las manipulaciones experimentales.
  2. Estímulos de lenguaje hablado
    1. Diseño de cuatro oraciones de prueba correspondiente a cada imagen de prueba y prueba 240 frases en total a registrar. Asegurar que tres de las cuatro frases en forma de figura 2; y la frase de relleno en forma de caja de Xiaoming no contiene un gallo pero una vaca.
      Nota: Las frases de prueba deben presentarse en el idioma que hablan los participantes. Los participantes en este experimento son chino de Beijing, China continental, por lo que la lengua de la prueba es chino.
    2. Reclutar a un locutor nativo femenino (hablante nativo de chino mandarín en este experimento) para grabar cuatro declaraciones de ejemplo como figura 2, así como audio de todos los animales que se utilizan en el experimento. Al grabar los nombres de animales aislados, pregunte al orador a imaginar que los nombres de los animales son componentes intactos de una oración simple, como caja de Xiaoming contiene un/una ___, pero ella sólo necesita pronunciar abiertamente el nombre del animal.
    3. Reemplazar los segmentos de audio de los dos animales en las declaraciones de ejemplo con el audio de los dos animales usados en cada ensayo para crear la lista completa de los audios de la prueba. En primer lugar, abrir Praat (cualquier otro software de edición de audio es una alternativa elegible) y haga clic en abierto | Leer desde archivo | Desplácese hasta el archivo | Abrir y editar, vaya a un elemento a ser reemplazado y , haga clic en ver y editar | Editar | Copiar la selección al portapapeles sonido. En segundo lugar, utilice los mismos pasos para abrir una instrucción de ejemplo, haga clic en pegar después de la selección. En tercer lugar, haga clic Guardar | guardar como archivo wav para guardar la declaración corregida. Repita el proceso para todos los elementos a cambiar y todas las frases de prueba.
    4. Reclutar 10 nativos de la lengua de la prueba (Chino aquí) para determinar si es o no el audio de prueba construida inteligible y natural.
      Nota: El audio de prueba tradicionalmente se registra como un todo, y no como palabras separadas. Este método de grabación tradicional es razonable que si el audio de prueba es ellos mismos separan palabras. Si los estímulos del lenguaje hablado son frases en lugar de palabras sueltas, sin embargo, este método tradicional tiene varias deficiencias: en primer lugar, una característica ubicua de un discurso continuo es que dos o más sonidos tienden a superponer temporal y espacial, que hace difícil determinar el inicio de la palabra crítica. En segundo lugar, la diferencia entre la longitud de distintos ensayos también hace difícil combinar todos los ensayos juntos para análisis estadísticos. En tercer lugar, el método de grabación tradicional es a menudo mucho tiempo especialmente cuando los números de la prueba de audio son relativamente grandes, como los experimentos que nos informan en el protocolo. Para superar las deficiencias del método tradicional de la grabación, se propone un método diferente para construir los audios de la prueba oral. En primer lugar, se registró una lista de frases de muestra que contiene las palabras que son comunes entre todo el audio de la prueba. En segundo lugar, todas las palabras que el cambio entre los ensayos se registraron también en aislamiento. Finalmente, las oraciones de la muestra fueron substituidas por las palabras grabadas para construir la lista completa de los audios de la prueba. En comparación con el método tradicional, el nuevo método tiene varias ventajas. En primer lugar, todo el audio de la prueba es exactamente el mismo excepto para las palabras importantes y todos los efectos de confusión potencial en la prueba de audio son controlados en adelante. En segundo lugar, es el mismo en longitud también facilita la segmentación de los audios de la prueba de Cuándo se registran los audios de prueba como un todo. Una desventaja potencial de este método es que el audio construido podría no ser natural. En adelante, la naturalidad de la prueba de audio tiene que ser evaluado antes de ser elegibles para la prueba real...
  3. Las frases de prueba 240 se dividen en cuatro grupos, cada grupo que contiene 15 declaraciones conjuntivas, 15 declaraciones disyuntivas, 15 pero declaraciones y relleno 15 oraciones. Asegurar que cada participante encuentra solamente un grupo de 240 ensayos: él o ella ve la prueba imágenes pero oye solamente un grupo de los audios de la prueba.
    Nota: Se trata de abordar la preocupación que si se repite el mismo estímulo, los participantes podrían ser conseguir acostumbrado a estos estímulos y, posiblemente, incluso convertirse en estratégico sobre cómo han respondido a los estímulos.
  4. Guarde toda la información importante con respecto a los estímulos de la prueba en un archivo txt delimitado por tabulaciones, con cada fila correspondiente a cada uno de los ensayos de 240. Asegúrese de que el archivo por lo menos las siguientes columnas: experiment_group, sentential_connective, trial_number, test_image, test_audio, test_audio_length, ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right, animal_1_ imagen, animal_1_audio, animal_1_audio_length, animal_2_image, animal_2_audio, animal_2_audio_length.
    Nota: experiment_group se usa para dividir los 240 ensayos en 4 grupos. sentential_connective corresponde a diferentes condiciones experimentales. animal_1_image corresponde a la imagen del animal que se presentarán en primer lugar para familiarizar a los participantes con los animales utilizados en la prueba de imagen. test_image, test_audioy test_audio_length refieren a la imagen de prueba y el prueba de audio como de su longitud usado en la prueba actual. ia_top_left, ia_top_right, ia_bottom_left, ia_bottom_right se refieren al nombre de las áreas de interés de cuatro en el actual ensayo, es decir., si se trata de una "Gran apertura" "pequeño cerrado" caja, abierto pequeño caja que contiene el animal "mencionado por primera vez" en el audio de prueba, o la pequeña caja abierta que contiene el animal "en segundo lugar menciona" en el audio de la prueba. animal_1_audio y animal_1_audio_length se refieren al audio y la longitud del audio correspondiente a la animal_1_image. animal_2_image, animal_2_audioy animal_2_audio_length corresponden al segundo animal que se presentarán. Una cosa a destacar es que la secuencia para presentar los dos animales se contrapesa con respecto a si el animal se menciona en la primera o en la segunda mitad de los audios de la prueba.

2. marco de la predicción teórica en relación con el diseño Experimental.

  1. Asegurar las respuestas del comportamiento de los participantes y movimientos del ojo en el diseño experimental se pueden utilizar para distinguir la comprensión de las frases de prueba y pueden utilizarse para arbitrar entre las diferentes cuentas a analizarse.
    Nota: Teniendo en cuenta el diseño experimental, la respuesta correcta de una declaración conjunta es la gran caja abierta, como un cuadro en la figura 1. La respuesta correcta a un pero-declaración es la pequeña caja abierta que contiene el animal siendo mencionado en la primera mitad de los audios de la prueba, como la caja de D en la figura 1. Las respuestas de los participantes a la declaración de la disyuntiva, sin embargo, dependen de si o cómo se procesan las inferencias discutidas dos. Los participantes calcular la Implicatura escalar ni la inferencia de la ignorancia, las cuatro cajas son opciones elegibles. Si los participantes calcular que la Implicatura escalar pero no la inferencia de la ignorancia, entonces la gran abra, como caja A en la figura 1, se puede descartar, y las tres cajas restantes B, C y D son elegibles todas las opciones. Si los participantes calcular la inferencia de la ignorancia pero no la Implicatura escalar, entonces las cajas abiertas pequeñas se puede descartar, es decir., cajas C y D se puede descartar. Para resumir, la pequeña caja cerrada, como la caja de B en la figura 1, no se escogerán la opción final de un enunciado disyuntivo hasta la Implicatura escalar y las inferencias de ignorancia tanto se computan.

3. construir la escritura Experimental

  1. Abrir el Experimento Builder, clic archivo | Nuevo para crear un proyecto de experimento. De entrada el nombre del proyecto como vwp_disjunction. Seleccione la Ubicación del proyecto. Compruebe EyeLink experimento y elija 1000plus Eyelink en la lista desplegable. Estas operaciones crearán un subdirectorio que contiene todos los archivos relacionados con el experimento que creará un subdirectorio llamado vwp_disjunction con un archivo llamado "graph.ebd" en la carpeta.
    Nota: Experimento constructor se utiliza para construir la escritura experimental para presentar los estímulos de la prueba y registrar los movimientos oculares de los participantes, así como sus respuestas conductuales. El experimento Builder es una herramienta de What-You-See-Is-What-You-Get construir escritura experimental. Es fácil de usar, pero cualquier otro software de presentación de estímulos es una alternativa elegible.
  2. Visualizar la estructura jerárquica de un típico experimento de eye-tracking usando el paradigma de mundo visual como se ve en la figura 3. Cada rectángulo rosado en la figura se implementa como un objeto de secuencia de Experimento generador; y cada objeto con fondo gris se implementa como un objeto de nodo.
    Nota: Una secuencia en el generador del experimento es un controlador de lazo experimental usado para encadenar diferentes objetos como un nodo complejo. Una secuencia siempre comienza con un nodo de Inicio . Y un origen de datos puede adjuntarse a un nodo de secuencia para suministrar diferentes parámetros para cada ensayo.
  3. Construir la secuencia del experimento
    1. Haga clic en archivo de | Abrir, busque el directorio de experimento y haga doble clic en el archivo graph.ebd en el directorio del proyecto para abrir el proyecto de experimento guardados.
    2. Haga clic en Editar | Gerente de biblioteca | Imagen | Agregar para cargar las imágenes en el proyecto de experimento. Del mismo modo, haga clic en edición | Gerente de biblioteca | Sonido | Agregar para cargar el audio en el proyecto de experimento.
    3. Arrastre un objeto DISPLAY_SCREEN en el espacio de trabajo y cambiar su valor de etiqueta en el panel de propiedades para cambiarle el nombre como instrucción. Haga doble clic para abrir el nodo de instrucción y pulse el botón de Insertar recurso de texto Multiline para introducir la instrucción experimental. Garantizar que la instrucción contiene la siguiente información:
      En cada ensayo, primero verá imágenes de dos animales, un animal impreso en la pantalla a su vez, junto con el audio de los animales en los dos altavoces situados a ambos lados de la pantalla. A continuación se presentará un punto negro en el centro de la pantalla. Debe presionar la tecla espacio y fijación en el punto. A continuación, podrás ver una imagen de prueba que consiste en cuatro cajas impresas en la pantalla y oír una frase de prueba está siendo reproducida por los dos oradores. Su tarea es localizar la caja de Xiaoming según la frase de prueba tú oído y presione el botón correspondiente tan pronto como sea posible:
      Parte superior izquierda de la caja---flecha izquierda
      Superior derecha caja---flecha arriba
      Parte inferior izquierda de la caja---flecha izquierda
      Cuadro derecha inferior---flecha derecha
      En cada imagen de prueba, verá cuatro cuadros en los cuatro cuadrantes y dos animales que contienen en los cuadros. Las cuatro cajas pueden variar en dos dimensiones: su cercanía y su tamaño. Si una caja se cierra o no influye en nuestro conocimiento epistémico sobre esa caja, pero no los animales que contiene. Si un cuadro está abierto, es conocido el animal contenida en esa caja. Si una caja se cierra, entonces los animales contenidos en esa caja es desconocido. El tamaño de una caja afecta el número de animales que figuran en el cuadro, pero no nuestro conocimiento epistémico sobre la caja. No importa la caja está cerrada o no, una pequeña caja sólo y siempre contiene un animal, y una caja grande contiene siempre dos animales diferentes.
      Si estás cómodo con el objetivo experimental y el procedimiento, por favor infórmele al experimentador y le ayudaremos a realizar el ojo estándar sigue las rutinas de calibración y validación. Si usted tiene alguna pregunta, por favor no dude en preguntar.
      Nota: Esta es una instrucción que se imprimirá en la pantalla antes del experimento (las instrucciones se escribirán en la lengua materna de que los participantes hablan, como el chino aquí).
    4. Arrastre un objeto de teclado en el espacio de trabajo.
      Nota: Este paso se utiliza para poner fin a la pantalla de instrucciones
    5. Arrastre un objeto de secuencia en el espacio de trabajo y cambie como bloque.
    6. Seleccione la secuencia de bloques , haga clic en el campo de valor de la propiedad de Origen de datos para abrir el Editor de origen de datos. Haga clic en el botón Importar datos en la pantalla de editor de fuente de datos, frente al archivo .txt creado en el paso 1.4 para importar el origen de datos.
    7. Haga clic en el botón de Ajuste de la asignación al azar en el editor de fuentes de datos, comprobar Permitir ensayo aleatorio, seleccione trial_number en el campo de valor de la columna campo, seleccione experimental_group de la lista desplegable del campo Columna de separación .
    8. Arrastre el segundo DISPLAY_SCREEN objeto en el espacio de trabajo y renombrarlo como adios. Haga doble clic en el nodo adiós e introduzca la siguiente información: en la lengua materna de los participantes (chino en este protocolo):el experimento está terminado y le agradecemos mucho su participación.
    9. Haga clic en el nodo de Inicio , arrastre la flecha hasta el nodo de instrucción y suelte el botón del ratón para conectar el nodo de Inicio al nodo de instrucción . Repita que el mismo ratón se mueve para conectar instrucción nodo al nodo de teclado , teclado de nodo al nodo del bloque , luego bloque de nodo para el nodo de adiós . Haga clic en ver | Organizar el diseño de para organizar los nodos en el espacio de trabajo.
  4. Construir la secuencia de bloque
    1. Haga doble clic para abrir la secuencia de bloques . Arrastre un nodo de El_CAMERA_SETUP en la secuencia de bloque para que aparezca una pantalla de configuración de la cámara en el PC Host de EyeLink para el experimentador realizar la validación, calibración y configuración de la cámara. Haga clic en el campo tipo de calibración en el panel Propiedades y seleccione HV5 de la lista desplegable.
      Nota: El número de lugares en el proceso de asignación varía entre diversos diseños experimentales. Más localizaciones muestreadas y el más espacio cubren, mayor será la exactitud puede esperarse. Pero las muestras más significan más tiempo para terminar los procesos. Así que prácticamente, el número de lugares en un estudio específico no puede ser muy grande, especialmente cuando los participantes son niños preliterate o pacientes clínicos. En el paradigma del mundo visual, el número de las áreas de interés es relativamente pequeño, y las áreas de interés son normalmente relativamente grandes. El proceso de asignación puede alcanzar un nivel satisfactorio con un número relativamente pequeño de lugares. En el protocolo descrito, usé un cinco puntos de calibración y validación.
    2. Arrastre un nodo de secuencia a la secuencia del bloque y renómbrelo como ensayo. Conecte el nodo de Inicio al nodo CAMERA_SETUP , entonces para el nodo de SEQUENCE.
  5. Construir la secuencia de ensayo
    1. Haga doble clic para abrir la secuencia de ensayo , arrastre un nodo DISPLAY_SCREEN en la secuencia de ensayo y renombrarlo como animal_1_image. Haga doble clic para abrir el nodo Generador de pantalla y haga clic en el botón Insertar recurso de imagen en la barra de herramientas del constructor de la pantalla para insertar una imagen de animal de las fuentes de imágenes cargadas. Haga clic en el campo de valor de la propiedad de Nombre de archivo de fuente , desplácese hasta el origen de datos conectado a la secuencia de bloque ; y haga doble clic en la columna de Animal_1_Image para conectar DISPLAY_SCREEN con columna correcta de la fuente de datos.
    2. Arrastre un nodo PLAY_SOUND en la secuencia de ensayo y renombrarlo como animal_1_audio. Haga clic en la propiedad de Archivo de sonido del nodo animal_1_audio y conectar con la columna correcta de la fuente de datos (como se describe en el paso 3.5.1).
    3. Arrastre un nodo de temporizador en la secuencia de ensayo y renombrarlo como animal_1_audio_length. Haga clic en la propiedad de la duración de la temporizador nodo y desplácese hasta la columna correcta de la fuente de datos creada en 3.4.1.
    4. Arrastre otro nodo DISPLAY_SCREEN , otro nodo PLAY_SOUND y otro nodo de temporizador a la secuencia de ensayo , renombrar como animal_2_image, animal_2_audio, y animal _2_audio_duration, repetir los pasos descritos en pasos 3.5.1 - 3.5.3.
      Nota: Estos pasos son para control de la confusión potencial que la misma imagen podría ser nombrada diferentemente por diferentes participantes. Contrarrestar la secuencia de presentación de los dos animales con respecto a si se menciona en la primera o segunda mitad de los audios de la prueba.
    5. Arrastre un objeto de Secuencia de preparar en la secuencia de prueba y cambiar la propiedad Llamar al Eyelink Host a imagen.
      Nota: Este nodo se utiliza para cargar los archivos de imagen y audio a la memoria para el dibujo de la imagen en tiempo real y reproducción de sonido. Y también se utiliza para dibujar gráficos de retroalimentación en el PC Host que puede controlar la precisión de la mirada de los participantes.
    6. Arrastre un nodo DRIFT_CORRECT en la secuencia de prueba a introducir la corrección de deriva.
    7. Arrastre un nuevo nodo de secuencia y renómbrelo como grabación. Conecte el Inicio a estos nodos uno después de uno.
  6. Construir la secuencia de grabación
    1. Compruebe el campo de registro en el panel de propiedades de la secuencia de grabación y haga doble clic para abrir la secuencia de grabación .
      Nota: Una secuencia con registro propiedad marcada significa que se registrarán movimientos oculares de los participantes durante este período.
    2. Arrastre una nueva DISPLAY_SCREEN a la secuencia de registro , renombrarlo como test_image. Añadir el mensaje test_image_onset en la propiedad Message del nodo test_image .
      Nota: En la etapa de análisis de datos, el mensaje en el nodo de test_image y el mensaje en el nodo test_audio (sección 3.6.6) son importantes para situar la aparición de las imágenes de prueba y la aparición de los audios de prueba en cada ensayo.
    3. Haga doble clic para abrir el nodo Generador de pantalla y haga clic en el botón Insertar recurso de imagen en la barra de herramientas del constructor de la pantalla para insertar cualquier imagen de animal de las fuentes de imágenes cargadas. Haga clic en el campo valor del Nombre de archivo de origen propiedad, desplácese hasta el origen de datos conectado a la secuencia de bloque ; y haga doble clic en la columna de test_image para conectar DISPLAY_SCREEN con columna correcta de la fuente de datos.
    4. Haga doble clic en el nodo DISPLAY_SCREEN para abrir el Generador de pantalla, haga clic en el botón de Insertar rectángulo interés área regióny dibujar cuatro áreas rectangulares de interés según lo ilustrado por las casillas azules en la figura 1. Cambie las etiquetas de las cuatro áreas de interés Top_Left, Top_Right, Bottom_Lefty Bottom_Righty conectar el Nombre de DataViewer ante las columnas correctas de la fuente de datos.
      Nota: Estas áreas son invisibles para los participantes. Para hacer las áreas de interés más significativos, etiqueta el nombre de la parte superior izquierda de la zona en el ejemplo como "Caja (abierto grande)", área derecha superior "Caja b (pequeño cerrado)", la parte inferior izquierda área como "Caja C (segunda mención)" y zona inferior derecha como "caja D (primera mención)" , porque las dos pequeñas cajas abiertas contienen los dos animales se mencionan en la primera y segunda mitad de los audios de la prueba, respectivamente.
    5. Arrastre un nodo de tiempo en el espacio de trabajo, cambie como pausay cambiar la propiedad Duration a ms de 500.
      Nota: Este nodo de tiempo agrega un desfase temporal entre el inicio de la imagen de prueba y el inicio de la prueba de audio. El retraso permite a los participantes la oportunidad de familiarizarse con las imágenes de prueba. Movimientos oculares de los participantes durante este período de escuchar también proporcionan una base para determinar los efectos de la entrada de la lengua hablada, especialmente cuando las palabras esenciales están situadas al principio de los audios de la prueba.
    6. Arrastre un nodo PLAY_SOUND el espacio de trabajo y renombrarlo como test_audio. Haga clic en la propiedad de Archivo de sonido y conecte con la columna correcta de la fuente de datos (como se describe en paso 3.5.1) y añadir el mensaje test_audio_onset en la propiedad Message .
    7. Arrastre un nodo de tiempo en el espacio de trabajo, renombrarlo como test_audio_length. Cambiar la propiedad Duration MS 10500.
    8. Añadir un nuevo nodo de temporizador , renombrarlo como record_extensiony cambiar la propiedad Duration ms 4000.
    9. Añadir un nuevo nodo de teclado en el espacio de trabajo, cambiarle el nombre como las respuestas del comportamientoy cambiar la propiedad Keys aceptable "[arriba, abajo, derecha, izquierda]".
      Nota: Opciones de comportamiento de los participantes pueden utilizarse para Compruebe la validez de la conclusión deducida de los movimientos oculares de los participantes.
    10. Conecte el nodo Inicio pausa, test_audio, test_audio_length, luego al nodo Record_extension . Añadir otra conexión de test_audio_length a behavioral_responses nodo.
      Nota: Mediante la adición de estas conexiones, juicio actual terminará y comenzará un nuevo juicio después de que los participantes hicieron una tecla para elegir caja de Xiaoming, o 4000 ms tras el desplazamiento de la prueba de audio.
    11. Arrastre un nodo de la VARIABLE en el espacio de trabajo, cambiarle el nombre como key_pressedy conecte su propiedad value a behavioral_Responses teclado | Activa de datos |  Clave.
    12. Arrastre un nodo RESULT_FILE en el espacio de trabajo, arrastre un nodo ADD_TO_RESULT_FILE en el espacio de trabajo y conectar el nodo record_extension y el nodo de behavioral_responses a la ADD_TO_RESULT_FILE nodo.
  7. Haz clic en el experimento de | Construir para construir la escritura experimental, haga clic en experimento | Prueba run para probar ejecutar el experimento. Después de todo, haga clic en experimento | Implementar para crear una versión ejecutable del proyecto experimental.
    Nota: Para obtener más información sobre cómo utilizar el constructor de la experiencia, por favor consulte el manual del software27.

4. reclutar a los participantes

  1. Asegúrese de que los participantes para tener visión normal normal o corregida. Recomendamos que los participantes miope para usar lentes de contacto y gafas también son aceptables siempre y cuando las lentes estén limpias. Asegúrese de que todos los participantes son hablantes nativos de la lengua prueba, tales como chino aquí.
    Nota: Como pauta general, un participante se considerará elegibles siempre y cuando el participante puede ver las imágenes de la prueba a una distancia de cerca de 60 centímetros. En cuanto al número de participantes, según algunas reglas del pulgar, el número de participantes para el análisis de regresión debe ser no menos de 50. Aquí, treinta y siete estudiantes de postgrado de la Beijing Universidad de lengua y cultura participaron en el experimento, que es un poco menor que la cantidad recomendada.

5. realizar el experimento

Nota: Cuando los participantes son adultos normales desarrollados, un experimentador es suficiente para llevar a cabo la realización del experimento. Pero si los participantes son poblaciones especiales, tales como niños, experimentadores de dos o más se requiere.

  1. Seleccione un rastreador de ojos para grabar los movimientos oculares de los participantes.
    Nota: El ojo utilizado en este experimento es Eyelink 1000plus ejecuta en el modo principal del libre-a-move. Se trata de un vídeo, escritorio ojo montado sistema de seguimiento, utilizando el principio de la pupila con reflejo corneal (CR) para seguir la rotación del ojo. Cuando se ejecuta en el modo principal de libre-a-move, el rastreador de ojos tiene el monocular de muestreo de 500 Hz, con una resolución espacial de 0,01 ° y un error promedio de menos de 0,5 °. Para información más detallada del sistema, consulte la especificación técnica28,29. Rastreadores de alternativa se pueden utilizar, pero con modo de seguimiento remoto es mejores, especialmente cuando los participantes son niños preliterate.
  2. El sistema de arranque en el PC Host al iniciar la aplicación Host de la cámara.
  3. Para configurar el sistema a modo de escritorio remoto, haga clic en el botón de Opción ajustar , defina la opción de configuración escritorio--destino etiqueta - Monocular - 16/25 mm de longitud - RTARBLER.
  4. Haga clic en el ejecutable del proyecto experimental en el PC de la pantalla, introducir nombre del participantey elija un Grupo en la ventana inmediata a seleccione valor de la condición para ejecutar.
    Nota: Cada sesión de la prueba creará una carpeta con el nombre introducido en los resultados del subdirectorio del proyecto experimento. El archivo de la Fed bajo la carpeta contenía datos de movimientos oculares pertinentes.
  5. Pregúntele a los participantes sentarse aproximadamente 60 cm de un 21 pulgadas, monitor de color de 4:3 con resolución de 1024px x 769px, donde 27 píxeles es igual a 1 grado de ángulo.
  6. Ajuste la altura del monitor pantalla PC, para asegurarse de que el participante está sentado y mirando hacia adelante, se busca verticalmente en el centro al comienzo del 75% del monitor.
    Nota: La silla, escritorio y el monitor de la PC se prefieren si son regulables en altura. La silla y el escritorio con ruedas deben evitarse, ya que tienden a causar roll y movimiento involuntario.
  7. Coloque una etiqueta engomada pequeña blanco en frente de los participantes, para seguir la posición de la cabeza, incluso cuando la imagen de alumno se pierde, como parpadeos o movimientos bruscos.
    Nota: Seguidores de ojos de diferente pueden utilizar diferentes métodos para rastrear la cabeza de los participantes. Para maximizar la gama de movimiento lateral de la materia, orugas ojo debe estar en el mismo lado que el iluminador.
  8. Gire el brazo de enfoque en el soporte de escritorio para llevar la imagen del ojo en foco.
  9. Haga clic en el botón de Calibrate en el host PC para llevar a cabo el proceso de calibración por pedirles participantes para fijar una red de cinco objetivos de la fijación en la sucesión al azar con ninguna respuestas conductuales manifiestas, para asignar movimientos oculares de los participantes a la mirada de respeto en el mundo visual.
  10. Haga clic en el botón de validar en el host PC para validar los resultados calibrados por pedirles participantes para fijar la rejilla misma de los objetivos de la fijación. Repetir las rutinas de calibración y validación, cuando el error es más grande que 1°.
  11. Realizar dos rutinas al inicio del experimento y cada vez que la precisión de la medición es pobre (por ej., después de fuertes movimientos de la cabeza o un cambio en la postura de los participantes).
  12. Haga clic en el botón de registro en el host PC para comenzar el experimento.
  13. Realizar un control de deriva en cada ensayo solicitando a los participantes a Pulse la tecla espacio del teclado mientras la fijación en el punto negro en el centro de la pantalla.
    Nota: Cuando los participantes son preliterate niños o pacientes clínicos, explícitamente instruyéndolos para presionar el teclado mientras fijación el punto negro es normalmente impráctico. Pero sus fijaciones de ojo y atención tienden a ser automáticamente atraídas por el punto negro muestra. En este caso, el experimentador debe ser la persona que pulsa el teclado mientras el participante es fijación en el punto negro.
  14. Presentar los estímulos visuales mediante el monitor de pantalla PC y jugar los estímulos auditivos a través de un par de altavoces externos situados a la izquierda y derecha del monitor (auriculares también son aceptables).
    Nota: Las grabaciones se juegan desde el disco duro como clips de sonido mono de 24 kHz. Si no hay ninguna razón especial, clips de sonido mono son preferibles a los clips de sonido estéreos. En un clip de sonido estéreo, la diferencia entre las dos pistas de sonido, así como la diferencia entre los dos altavoces puede afectar movimientos oculares de los participantes. Para obtener más información sobre cómo usar el rastreador de ojos, por favor consulte el manual del usuario30.

6. los datos de codificación y análisis

  1. Abrir el visor de datos, haga clic en archivo | Importar archivo | Importar varios archivos de datos de Eyelink para importar todos los archivos de tracker ojo grabado (con la extensión de la Fed) y guardarlas en una sola . EVS archivo.
  2. Abrir el archivo guardado de EVS y haga clic en análisis | Informes | Informe de la muestra para exportar los datos de la muestra cruda con la no agregación.
    Nota: Si el perseguidor del ojo tiene una frecuencia de muestreo de 500 Hz, los datos exportados tendrá 500 puntos de datos, en adelante 500 filas, por segundo por ensayo. Si se realiza un seguimiento el ojo izquierdo de los participantes, asegurar las siguientes columnas, así como las variables creadas en el origen de datos se exportan: RECORDING_SESSION_LABEL, LEFT_GAZE_X, LEFT_GAZE_Y, LEFT_INTEREST_AREA_LABEL, LEFT_IN_BLINK, LEFT_IN_SACCADE, LEFT_PUPIL_ TAMAÑO, SAMPLE_INDEX, SAMPLE_MESSAGE. Para obtener más información sobre cómo utilizar el visor de datos, consulte el manual del software31.
  3. Limitar los análisis estadísticos a la ventana temporal desde el inicio de la prueba de imagen para el desplazamiento de los audios de la prueba, es decir., la ventana temporal con una duración de 11 s.
  4. Eliminar las muestras donde no se registran movimientos oculares de los participantes, tales como los participantes parpadean sus ojos, que afecta aproximadamente al 10% de los datos registrados.
    Nota: Este es un paso opcional, como los resultados normalmente son los mismos independientemente de si se eliminan estas muestras.
  5. El código de los datos. Para la construcción de los datos para un área específica de interés en un determinado punto de muestreo, código los datos como 1 si la fijación del ojo de los participantes está situada en la zona de interés para analizar en punto de muestreo. Código de los datos como 0 si la fijación del ojo no se encuentra en las áreas de interés en ese punto de muestreo.
  6. Dibujar una proporción de fijación para visualizar los datos obtenidos. Para calcular las proporción de fijaciones sobre cierta área de interés, medio punto de los datos codificados para todos los ensayos y para todos los participantes en cada muestra bajo cada condición. Parcela las proporción calculada de fijaciones en el eje y contra el punto de muestreo en el eje, con diferentes paneles que denotan las áreas de interés y con el trazado colores que denotan diferentes condiciones experimentales.
    Nota: En el experimento, los cuatro paneles representan patrones de fijación de los participantes en las cuatro áreas de interés. Las líneas rojizas, verdes y azules ilustran patrones de fijación de los participantes cuando las declaraciones de prueba eran conjunciones (S1 y S2), pero-declaraciones (S1 pero no S2) y disyuntivas (S1 o S2), respectivamente. El software utilizado para dibujar la trama descriptiva es el paquete ggplot2 del entorno R. Otro software también está disponible. Figura 5 es un ejemplo de dicha parcela.
  7. Ajustar un modelo mixto lineal generalizado binomial (GLMM) en cada área de interés en cada punto de muestreo, tal como los datos se codificó como 1 o 0, dependiendo de si la fijación del participante se encuentra dentro o fuera del área de interés en ese punto de muestreo.
    Nota: Los datos no es desechados, y los datos codificados sólo pueden ser 1 o 0, así que la distribución de los datos codificados es binario en lugar de normal. En adelante, se utiliza un modelo GLMM con la familia de la distribución binomial. El modelo GLMM incluye un plazo fijo, el experimental y dos condiciones al azar, los participantes y elementos. La fórmula evaluada a los dos términos al azar incluye la intercepta y la pendiente de las condiciones experimentales. El software utilizado para hacer el ajuste del modelo es el paquete de lme4 de medio ambiente R. Otro software también está disponible. Una cosa debe ser mencionada que es la base de los elementos fijos difieren cuando el área de interés analizados, es decir., las cajas analizadas, son diferentes. Para ser específicos, la conjunción (S1 y S2) fue elegido como base al analizar el cuadro de abrir grandes (cuadro A), la disyunción (A y B) fue elegida como base al analizar el cuadro cerrado (caja B), y lo pero fue elegido como la línea de fondo al analizar el cuadro mencionado en primer lugar (cuadro D).
  8. Bonferroni ajustar los valores de p obtenidos con la prueba de z de Wald, para reducir el error de familywise inducido por comparaciones múltiples.
    Nota: El ajuste de Bonferroni es la forma tradicional de abordar el error familywise inducido por comparaciones múltiples. Otros métodos también están disponibles, como describe en la sección de introducción.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Respuestas conductuales de los participantes se resumen en la figura 4. Como hemos descrito anteriormente, la respuesta correcta de una declaración conjunta (S1 y S2) es la gran caja abierta, como un cuadro en la figura 1. La respuesta correcta a un pero-declaración (S1 pero no S2) es la pequeña caja abierta que contiene el primer animal citado, como la caja de D en la figura 1. Críticamente, que caja es elegida para la declaración disyuntiva (S1 o S2) depende de cómo se procesa una declaración disyuntiva: la pequeña caja cerrada, como la caja de B en la figura 1, se elige sólo cuando la Implicatura escalar y las inferencias de la ignorancia relativos a la declaración de la disyuntiva son ambos calculados. Figura 4 ilustra que al comprender una declaración disyuntiva (S1 o S2), los participantes calcular tanto las dos inferencias.

Además, fijaciones de ojo de los participantes en la pequeña caja cerrada, especialmente cuando estas fijaciones son seguidas por las respuestas de comportamiento en dicha casilla, también sugieren que se computan la Implicatura escalar y las inferencias de la ignorancia. Las dos inferencias deben han sido procesadas no más adelante que el punto temporal más temprano cuando los participantes cambiar su atención visual y fijaciones en la pequeña caja cerrada. Movimientos oculares de los participantes se resumen en la figura 5. Como podemos ver en el panel B, no aumentan ojo-fijaciones los participantes de la cerrado caja (B) a menos que el conectivo oraciones está la disyuntiva, conectiva o. Además, este aumento comienza no más adelante que el desplazamiento de los conectivos disyuntivos. Esto sugiere que la Implicatura escalar y las inferencias de la ignorancia se calculan antes de la compensación de los conectivos de oraciones, es decir, inmediatamente al encontrarse el conectivo disyuntivo.

Figure 1
Figura 1 . Un ejemplo de las imágenes de prueba utilizadas en el experimento de. La zona gris es la imagen de prueba de realidad se presenta a los participantes. Las cajas azules, las líneas punteadas y los píxeles que denota el ancho de los elementos son sólo para los propósitos de la ilustración y son invisibles a los participantes. (Adaptado de experimento uno de Zhan L. 17 con el permiso). Haga clic aquí para ver una versión más grande de esta figura.

Figure 2
Figura 2 . Un ejemplo de las frases de prueba utilizados en el experimento (reimpreso de Zhan L.17 con el permiso). Haga clic aquí para ver una versión más grande de esta figura.

Figure 3
Figura 3 . La estructura jerárquica de un típico experimento de eye-tracking utilizando el paradigma de mundo visual. El audio que se muestra en la imagen son las traducciones al inglés del chino utilizado en el experimento. Haga clic aquí para ver una versión más grande de esta figura.

Figure 4
Figura 4 . Respuestas conductuales de los participantes registran en el experimento (adaptado de experimento uno de Zhan L.17 con el permiso). Haga clic aquí para ver una versión más grande de esta figura.

Figure 5
Figura 5 . Los participantes del ojo los movimientos observados en el experimento de. El inicio y el desplazamiento de las conectivas oraciones están representados por dos líneas verticales discontinuas. Una diferencia significativa entre la disyuntiva y la condición de línea base en cierto punto de muestreo está representada por la zona gris (p <.05, ajustado de Bonferroni) (adaptado de L. Zhan17 con permiso). Haga clic aquí para ver una versión más grande de esta figura.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

Para llevar a cabo un estudio de mundo visual, hay varios pasos importantes a seguir. En primer lugar, los investigadores pretenden deducir la interpretación de la lengua presentada auditorily mediante movimientos oculares de los participantes en el mundo visual. En adelante, en el diseño de la disposición de los estímulos visuales, deben controlarse las propiedades de los movimientos del ojo en una tarea de natural que potencialmente afectan los movimientos de ojo de los participantes. Entonces se puede reconocer el efecto de la lengua hablada en movimientos oculares de los participantes. Señales acústicas, segundo en la lengua hablada son transitorios y no hay firmas acústicas correspondientes exclusivamente a determinada categoría lingüística. A movimientos los participantes correctamente tiempo de bloqueo de ojo con la aparición de algunos marcadores lingüísticos, los investigadores deben encontrar una forma objetiva y consistente para definir los límites de una estructura lingüística. En tercer lugar, para asignar correctamente rotación de ojo los participantes alrededor de la cabeza con la mirada de respeto en el mundo visual, los investigadores deben realizar una o varias corridas de calibración, validación y procesos de corrección de deriva. En cuarto lugar, los datos obtenidos de un estudio de mundo visual tienen algunas propiedades peculiares, tales como ser inferior y superior delimitado y de tener errores autocorrelated etcetera. Estas peculiares características se deben considerar cuando se selecciona un método para analizar estadísticamente los datos.

Un estudio de mundo visual consta de tres componentes esenciales: representación visual, lenguaje hablado, la tarea experimental. Modificaciones pueden hacerse en cualquiera de los componentes para cumplir con fines específicos los investigadores. En primer lugar, una exposición visual suele ser una pantalla de proyección que representa a un conjunto de cuadros. Pero también puede ser una pantalla de proyección que representa a un conjunto de palabras impresas32, una escena esquemática30,31o una escena del mundo real que contengan objetos reales1,32. En segundo lugar, las elocuciones habladas pueden ser una palabra36, una oración simple30,31, una declaración semánticamente complejo17,34,35o un diálogo39. En tercer lugar, en términos de la tarea experimental, son o bien simplemente se pidió a los participantes mirar el mundo visual y escucha con atención las expresiones auditivas30,31; o se requieren hacer algunas respuestas conductuales, tales como actuando hacia fuera los movimientos descritos por la elocución auditiva1, determinar o no la expresión auditiva se aplica a la representación visual de la38o elegir el correcto imagen en la pantalla visual de la palabra hablada es hablar de17.

El paradigma de mundo visual, en comparación con otras técnicas psicolingüísticas, tiene varias ventajas únicas. En primer lugar, el paradigma de mundo visual puede ser utilizado en una variedad de poblaciones, los que no pueden leer o que no dan abiertamente sus respuestas conductuales, como los niños preliterate37,38,39, incluidos 40 , 41 , 42,46de adultos mayores y pacientes (por ej., aphasics)47. Esto es porque los estímulos de lenguaje se presentan en el auditorio en lugar de en forma de textos escritos; y la comprensión del lenguaje se infiere de los movimientos de ojo automático implícito de los participantes y no de sus respuestas conductuales abiertas. En segundo lugar, el paradigma de mundo visual es extremadamente sensible a manipulaciones de grano fino de la señal de discurso. Este paradigma se puede utilizar para estudiar el procesamiento en línea de la mayoría de los temas en la comprensión del lenguaje en múltiples niveles, como el fino grano acústico fonético características33,45,46, las propiedades de palabras30,31, el1,las estructuras lingüísticas del47y las estructuras lógicas de instrucciones semánticamente complejas como concessives37, biconditionals37, condicionales38y disyuntivas17.

El paradigma de mundo visual, en comparación con otra técnica psicolingüística, también tiene algunas limitaciones potenciales. En primer lugar, la interpretación de los participantes de la lengua hablada se deduce de sus movimientos de ojo en el mundo visual, no de la interpretación real de los estímulos de la lengua por se de aquí en adelante, las propiedades del lenguaje que se pueden estudiar con el mundo visual paradigma se limitan a los que pueden visualizarse, es decir., deben estar de alguna manera relacionadas con las entidades o acontecimientos en el mundo visual. En segundo lugar, el paradigma de mundo visual utilizado es normalmente más restringido que el actual mundo visual, con un conjunto limitado de referentes en la imagen y un conjunto limitado de acciones potenciales. Este supuesto problema conjunto cerrado48 puede crear estrategias de tareas específicas que el procesamiento del lenguaje observados no generalizar más allá de las situaciones específicas en el experimento. En adelante, el paradigma puede no ser sensible a las características de conocimientos lingüísticos y experiencia miente fuera de conjunto cerrado que se han establecido en un juicio determinado.

El paradigma de mundo visual estudia esencialmente la integración de la información de dominio visual y la información del dominio auditivo. Teóricamente, cualquier información que pueda ser procesado por los dos dominios sensacionales puede ser potencialmente estudiado utilizando este paradigma. Por ejemplo, el mundo visual puede ser realidad virtual o dinámicas videos. La entrada auditiva no es necesariamente la lengua y puede ser cualquier otro formato, como la música y el sonido del mundo natural, etcetera. Además, este paradigma puede ser ampliado para explorar la integración de información desde otros dominios, en lugar del dominio visual y el dominio auditivo. Por ejemplo, los investigadores podrían usar esta técnica para ver cómo fijaciones de los participantes en el mundo visual se ven afectados por diferentes olores, diferentes toques, etcetera.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

El autor declara que él no tiene competencia financieras intereses.

Acknowledgments

Esta investigación fue apoyada por Ciencia Fundación de Beijing Universidad de lengua y cultura en los fondos de Investigación Fundamental para las universidades Central (autorización número 15YJ050003).

Materials

Name Company Catalog Number Comments
Pixelmator Pixelmator Team http://www.pixelmator.com/pro/ image editing app
Praat Open Sourse http://www.fon.hum.uva.nl/praat/ Sound analyses and editting software
Eyelink 1000plus SR-Research, Inc https://www.sr-research.com/products/eyelink-1000-plus/ remote infrared eye tracker 
Experimental Builder SR-Research, Inc https://www.sr-research.com/experiment-builder/ eye tracker software 
Data Viewer SR-Research, Inc https://www.sr-research.com/data-viewer/ eye tracker software 
R Open Sourse https://www.r-project.org free software environment for statistical computing and graphics

DOWNLOAD MATERIALS LIST

References

  1. Tanenhaus, M. K., Spivey-Knowlton, M. J., Eberhard, K. M., Sedivy, J. C. Integration of visual and linguistic information in spoken language comprehension. Science. 268 (5217), 1632-1634 (1995).
  2. Cooper, R. M. The control of eye fixation by the meaning of spoken language: A new methodology for the real-time investigation of speech perception, memory, and language processing. Cognitive Psychology. 6 (1), 84-107 (1974).
  3. Salverda, A. P., Tanenhaus, M. K. Research methods in psycholinguistics and the neurobiology of language: A practical guide. de Groot, A. M. B., Hagoort, P. , Wiley. (2017).
  4. Huettig, F., Rommers, J., Meyer, A. S. Using the visual world paradigm to study language processing: A review and critical evaluation. Acta Psychologica. 137 (2), 151-171 (2011).
  5. Meyer, A. S., Sleiderink, A. M., Levelt, W. J. M. Viewing and naming objects: Eye movements during noun phrase production. Cognition. 66 (2), B25-B33 (1998).
  6. Griffin, Z. M., Bock, K. What the eyes say about speaking. Psychological Science. 11 (4), 274-279 (2000).
  7. Young, L. R., Sheena, D. Survey of eye movement recording methods. Behavior Research Methods & Instrumentation. 7 (5), 397-429 (1975).
  8. Conklin, K., Pellicer-Sánchez, A., Carrol, G. Eye-tracking: A guide for applied linguistics research. , Cambridge University Press. (2018).
  9. Duchowski, A. Eye tracking methodology: Theory and practice. , 2, Springer. (2007).
  10. Baayen, R. H., Davidson, D. J., Bates, D. M. Mixed-effects modeling with crossed random effects for subjects and items. Journal of Memory and Language. 59 (4), 390-412 (2008).
  11. Barr, D. J. Analyzing 'visual world' eyetracking data using multilevel logistic regression. Journal of Memory and Language. 59 (4), 457-474 (2008).
  12. Nixon, J. S., van Rij, J., Mok, P., Baayen, R. H., Chen, Y. The temporal dynamics of perceptual uncertainty: eye movement evidence from Cantonese segment and tone perception. Journal of Memory and Language. 90, 103-125 (2016).
  13. Bolker, B. M., et al. Generalized linear mixed models: A practical guide for ecology and evolution. Trends in Ecology and Evolution. 24 (3), 127-135 (2009).
  14. Mirman, D., Dixon, J. A., Magnuson, J. S. Statistical and computational models of the visual world paradigm: Growth curves and individual differences. Journal of Memory and Language. 59 (4), 475-494 (2008).
  15. Baayen, H., Vasishth, S., Kliegl, R., Bates, D. The cave of shadows: Addressing the human factor with generalized additive mixed models. Journal of Memory and Language. 94, 206-234 (2017).
  16. Baayen, R. H., van Rij, J., de Cat, C., Wood, S. Mixed-Effects Regression Models in Linguistics. Speelman, D., Heylen, K., Geeraerts, D. 4, Ch 4 49-69 (2018).
  17. Zhan, L. Scalar and ignorance inferences are both computed immediately upon encountering the sentential connective: The online processing of sentences with disjunction using the visual world paradigm. Frontiers in Psychology. 9, (2018).
  18. Maris, E., Oostenveld, R. Nonparametric statistical testing of EEG- and MEG-data. Journal of Neuroscience Methods. 164 (1), 177-190 (2007).
  19. Barr, D. J., Jackson, L., Phillips, I. Using a voice to put a name to a face: The psycholinguistics of proper name comprehension. Journal of Experimental Psychology-General. 143 (1), 404-413 (2014).
  20. van Gompel, R. P. G., Fischer, M. H., Murray, W. S., Hill, R. L. Eye movements: A window on mind and brain. , Elsevier. Ch. 21 471-486 (2007).
  21. Parkhurst, D., Law, K., Niebur, E. Modeling the role of salience in the allocation of overt visual attention. Vision Research. 42 (1), 107-123 (2002).
  22. Grice, H. P. Vol. 3 Speech Acts. Syntax and semantics. Cole, P., Morgan, J. L. , Academic Press. 41-58 (1975).
  23. Sauerland, U. Scalar implicatures in complex sentences. Linguistics and Philosophy. 27 (3), 367-391 (2004).
  24. Chierchia, G. Scalar implicatures and their interface with grammar. Annual Review of Linguistics. 3 (1), 245-264 (2017).
  25. Fox, D. Presupposition and Implicature in Compositional Semantics. Sauerland, U., Stateva, P. , Palgrave Macmillan. Ch. 4 71-120 (2007).
  26. Meyer, M. C. Ignorance and grammar. , Massachusetts Institute Of Technology. Unpublished PhD Thesis (2013).
  27. SR Research Ltd. SR Research Experiment Builder User Manual (Version 2.1.140). , Ottawa, Canada. (2017).
  28. SR Research Ltd. EyeLink® 1000 Plus Technical Specifications. , Mississauga, Canada. (2017).
  29. SR Research Ltd. EyeLink-1000-Plus-Brochure. , Mississauga, Canada. (2017).
  30. SR Research Ltd. EyeLink® 1000 Plus User Manual (Version 1.0.12). , Ottawa, Canada. (2017).
  31. SR Research Ltd. EyeLink® Data Viewer User’s Manual (Version 3.1.97). , Ottawa, Canada. (2017).
  32. McQueen, J. M., Viebahn, M. C. Tracking recognition of spoken words by tracking looks to printed words. The Quarterly Journal of Experimental Psychology. 60 (5), 661-671 (2007).
  33. Altmann, G. T. M., Kamide, Y. Incremental interpretation at verbs: restricting the domain of subsequent reference. Cognition. 73 (3), 247-264 (1999).
  34. Altmann, G. T. M., Kamide, Y. The real-time mediation of visual attention by language and world knowledge: Linking anticipatory (and other) eye movements to linguistic processing. Journal of Memory and Language. 57 (4), 502-518 (2007).
  35. Snedeker, J., Trueswell, J. C. The developing constraints on parsing decisions: The role of lexical-biases and referential scenes in child and adult sentence processing. Cognitive Psychology. 49 (3), 238-299 (2004).
  36. Allopenna, P. D., Magnuson, J. S., Tanenhaus, M. K. Tracking the time course of spoken word recognition using eye movements: Evidence for continuous mapping models. Journal of Memory and Language. 38 (4), 419-439 (1998).
  37. Zhan, L., Crain, S., Zhou, P. The online processing of only if and even if conditional statements: Implications for mental models. Journal of Cognitive Psychology. 27 (3), 367-379 (2015).
  38. Zhan, L., Zhou, P., Crain, S. Using the visual-world paradigm to explore the meaning of conditionals in natural language. Language, Cognition and Neuroscience. 33 (8), 1049-1062 (2018).
  39. Brown-Schmidt, S., Tanenhaus, M. K. Real-time investigation of referential domains in unscripted conversation: A targeted language game approach. Cognitive Science. 32 (4), 643-684 (2008).
  40. Fernald, A., Pinto, J. P., Swingley, D., Weinberg, A., McRoberts, G. W. Rapid gains in speed of verbal processing by infants in the 2nd year. Psychological Science. 9 (3), 228-231 (1998).
  41. Trueswell, J. C., Sekerina, I., Hill, N. M., Logrip, M. L. The kindergarten-path effect: studying on-line sentence processing in young children. Cognition. 73 (2), 89-134 (1999).
  42. Zhou, P., Su, Y., Crain, S., Gao, L. Q., Zhan, L. Children's use of phonological information in ambiguity resolution: a view from Mandarin Chinese. Journal of Child Language. 39 (4), 687-730 (2012).
  43. Zhou, P., Crain, S., Zhan, L. Grammatical aspect and event recognition in children's online sentence comprehension. Cognition. 133 (1), 262-276 (2014).
  44. Zhou, P., Crain, S., Zhan, L. Sometimes children are as good as adults: The pragmatic use of prosody in children's on-line sentence processing. Journal of Memory and Language. 67 (1), 149-164 (2012).
  45. Moscati, V., Zhan, L., Zhou, P. Children's on-line processing of epistemic modals. Journal of Child Language. 44 (5), 1025-1040 (2017).
  46. Helfer, K. S., Staub, A. Competing speech perception in older and younger adults: Behavioral and eye-movement evidence. Ear and Hearing. 35 (2), 161-170 (2014).
  47. Dickey, M. W., Choy, J. W. J., Thompson, C. K. Real-time comprehension of wh-movement in aphasia: Evidence from eyetracking while listening. Brain and Language. 100 (1), 1-22 (2007).
  48. Magnuson, J. S., Nusbaum, H. C. Acoustic differences, listener expectations, and the perceptual accommodation of talker variability. Journal of Experimental Psychology-Human Perception and Performance. 33 (2), 391-409 (2007).
  49. Reinisch, E., Jesse, A., McQueen, J. M. Early use of phonetic information in spoken word recognition: Lexical stress drives eye movements immediately. Quarterly Journal of Experimental Psychology. 63 (4), 772-783 (2010).
  50. Chambers, C. G., Tanenhaus, M. K., Magnuson, J. S. Actions and affordances in syntactic ambiguity resolution. Journal of Experimental Psychology-Learning Memory and Cognition. 30 (3), 687-696 (2004).
  51. Tanenhaus, M. K., Trueswell, J. C. Approaches to Studying World-Situated Language Use: Bridging the Language-as-Product and Language-as-Action Traditions. Trueswell, J. C., Tanenhaus, M. K. , The MIT Press. (2005).

Tags

Comportamiento número 140 ojo seguimiento técnica paradigma de mundo visual lenguaje hablado procesamiento en línea declaración complejo generalizado modelo lineal mixto distribución binomial error del familywise ajuste de Bonferroni
Utilizar movimientos oculares registrados en el paradigma de mundo Visual para explorar el procesamiento en línea del lenguaje hablado
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zhan, L. Using Eye Movements… More

Zhan, L. Using Eye Movements Recorded in the Visual World Paradigm to Explore the Online Processing of Spoken Language. J. Vis. Exp. (140), e58086, doi:10.3791/58086 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter