Name: Eye Tracking durante la comprensión del lenguaje visual situado: Flexibilidad y las limitaciones de descubrir efectos de contexto Visual (Video) | JoVE Journal
Uploaded: 2018-11-30T12:30:00.000+00:00
Duration: 7 min 36 s
Description: Aprende el seguimiento ocular para estudiar la comprensión del lenguaje en psicolingüística. Este método analiza patrones de mirada y el efecto del contexto visual en el procesamiento lingüístico con alta resolución temporal.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Esta investigación fue financiada por el ZuKo (iniciativa de excelencia, Humboldt-Universität zu Berlin), la excelencia Cluster 277 'Interacción tecnología cognitiva' (Consejo alemán de investigación, DFG) y por el séptimo programa marco de la Unión Europea para la investigación, el desarrollo tecnológico y demostración bajo contrato de concesión n ° 316748 (LanPercept). Los autores también reconocen apoyo de los fondos basales para centros de excelencia, proyecto FB0003 desde el programa de investigación asociativa de CONICYT (Gobierno de Chile) y desde el proyecto "FoTeRo" en el centro de atención XPrag (DFG). Pia Knoeferle siempre un primer borrador del artículo había informado por un protocolo de laboratorio que Helene Kreysa instanciado en la Universidad de Bielefeld y continúa siendo utilizado en la Humboldt-Universität zu Berlín. Todos los autores contribuyeron a los contenidos por ofrecer aportes en métodos y resultados de una forma u otra. Camilo Rodríguez Ronderos y Pia Knoeferle coordinación la entrada de los autores y, en dos repeticiones, revisaron sustancialmente el proyecto inicial. Ernesto Guerra produjo figuras 2 - 4 basado en el aporte de Katja Münster, Alba Rodríguez y Ernesto Guerra. Helene Kreysa proporcionada figura 1 y Pia Knoeferle actualizan. Partes de los resultados informados han sido publicadas en las actas de la reunión anual de la sociedad de ciencia cognitiva.

Los autores no tienen nada que revelar.

En Resumen, las variantes ha comentado de eye tracking en contextos visuales han descubierto muchas formas en que una escena visual puede afectar la comprensión del lenguaje. Este método ofrece ventajas cruciales en comparación con métodos como la medición de tiempos de reacción. Por ejemplo, movimientos del ojo continua nos proporcionan una ventana en los procesos de comprensión del idioma y cómo estos interactúan con nuestra percepción del mundo visual en el tiempo. Por otra parte, los participantes se requieren necesariamente para realizar una tarea explícita durante la comprensión del lenguaje (por ejemplo, juzgar la gramaticalidad de una oración a través de una prensa del botón). Esto permite a los investigadores a utilizar el método con las poblaciones que podrían luchar con respuestas conductuales manifiestas que no sea la mirada, como los lactantes, los niños y, en algunos casos, los adultos mayores. Eye tracking es ecológicamente válida, ya que refleja las respuestas de atención de los participantes, no a diferencia de interrogatorio visual de los seres humanos de comunicación relevantes cosas en el mundo alrededor de ellos durante más o menos atento escuchando expresiones despliegue.
Uno de los límites (o tal vez características) del paradigma de mundo visual es que no todos los eventos pueden representarse directamente y sin ambigüedades. Por supuesto, pueden, representar acontecimientos y objetos concretos. Pero cómo conceptos abstractos son mejor representados es menos clara. Esto puede limitar o definir conocimientos sobre la interacción entre el procesamiento del lenguaje y la percepción del mundo visual utilizando un paradigma de mundo visual eye-tracking. Otros desafíos se relacionan con las hipótesis de vinculación entre el comportamiento observado y los procesos de comprensión. Fijaciones de ojo son una respuesta conductual solo que probablemente refleja muchos subprocesos durante la comprensión del lenguaje (p. ej., acceso léxico, procesos referenciales, expectativas mediada por el lenguaje, efectos de contexto visual, entre otros). Teniendo en cuenta esta idea, los investigadores deben tener cuidadosos para no sobre - o interpretar el patrón observado de la mirada. Para resolver este problema, investigaciones previas ha destacó el papel de comprensión subtareas para aclarar la interpretación de los registros de mirada40.
Una forma para mejorar la interpretabilidad de los movimientos de los ojos es integrarlas con otras medidas como potenciales acontecimiento-relacionados del cerebro (ERP). Por investigar el mismo fenómeno con dos métodos que son comparables en su granularidad temporal y complementario en sus hipótesis de vinculación, los investigadores pueden descartar explicaciones alternativas de sus resultados y enriquecer la interpretación de cada uno medida individual de41. Este enfoque se ha seguido a través de experimentos43, pero, más recientemente, también en un solo experimento (aunque en contextos estrictamente lingüístico)44. Futuras investigaciones podrían beneficiarse enormemente de esta integración metodológica y continuaron combinación con tareas después del juicio y la experimentales.
El método de seguimiento de ojo puede replicar resultados establecidos, así como probar nuevas hipótesis, acerca de la interacción de la atención visual en escenas con la comprensión del lenguaje. El procedimiento descrito en el protocolo debe seguirse ya que experimentador incluso menores errores pueden afectar la calidad de los datos. En la lectura de estudios, por ejemplo, las regiones de análisis relevantes suelen ser palabras individuales o incluso letras, lo que significa que la calibración incluso los pequeños errores podrían distorsionar los resultados (véase el artículo de Raney y colegas42). Pasos 1.4 y 1.5 del Protocolo, la calibración del perseguidor del ojo y la deriva check/deriva correcta, son de particular importancia ya que impactan directamente la exactitud de la grabación. Para calibrar correctamente el perseguidor del ojo pueden fallar en el tracker no precisa seguimiento movimientos oculares a las zonas previamente establecidas de interés. Tal falta de seguimiento dará lugar a falta de puntos de datos y una pérdida de poder estadístico que puede ser problemático al investigar las relaciones de lengua de mundo que son muy sutiles y rendimiento tamaños pequeño efecto estadístico (véase la descripción de la experimentos de Guerra y Knoeferle32 y Münster y sus colegas37 entre los Resultados de representante).
Dada la necesidad de maximizar la potencia y sensibilidad del equipo, es importante que experimentadores saben cómo lidiar con los problemas que habitualmente se producen durante una sesión experimental. Por ejemplo, la posición de la pupila y movimiento de los participantes con gafas pueden provocar dificultades de calibración debido a reflejos de luz en las lentes de gafas de un participante. Una manera de resolver este problema es la imagen del ojo del participante en el PC de la pantalla del espejo y animarles a mover su cabeza hasta que la reflexión de la luz en los vidrios ya no es visible en su pantalla, lo que significa que ya no es capturado por la cámara. Otra causa de la falta de calibración puede ser constricción de la pupila, que puede ser una consecuencia de una sobreexposición a la luz. En ese caso, oscurecimiento de la luz en el laboratorio será aumentar la dilatación de la pupila y, así, ayudar al perseguidor del ojo en la precisa detección de la pupila.
Como un pensamiento final, quisiéramos abordar el potencial que tiene el paradigma visual-mundo para la investigación en el aprendizaje del segundo idioma. El paradigma ya se ha utilizado con éxito en la investigación psicolingüística para investigar fenómenos como la interacción léxicas y fonológicas entre lenguajes46,47,48 Además, la estrecha relación entre la atención visual y aprendizaje de la lengua con frecuencia se ha destacado en la literatura de lingüística aplicada en el aprendizaje de una segunda lengua49,50,51. Futuras investigaciones sobre el aprendizaje de segundo idioma probablemente seguirán beneficiándose de la posición ventajosa de rastreo del ojo como un método que proporciona un índice de la atención visual en la resolución de milisegundos.

La investigación psicolingüística ha subrayado la importancia del análisis del movimiento del ojo en la comprensión de los procesos implicados en la comprensión del lenguaje. El núcleo de inferir procesos de comprensión de los registros de la mirada es una hipótesis que vincula la cognición a ojo movimientos5. Hay tres tipos principales de movimientos de los ojos: Movimientos sacádicos, los movimientos de reflejo vestíbulo-ocular y movimientos suaves de la búsqueda. Movimientos sacádicos son movimientos rápidos y balísticos que suceden sobre todo inconscientemente y han sido confiablemente asociado con cambios en atención6. Los momentos de la mirada relativa estabilidad entre movimientos sacádicos, conocido como fijaciones, se consideran que la atención visual actual de índice. Medir el lugar geométrico de las fijaciones y su duración en relación con los procesos cognitivos es conocido como el 'método de eye-tracking'. Primeras implementaciones de este método sirven para examinar la comprensión de lectura en contextos estrictamente lingüísticos (véase Rayner7 para una revisión). En ese enfoque, la duración de la inspección de la región de una palabra o frase se asocia con dificultad de procesamiento. Eye tracking, sin embargo, también ha sido aplicado para examinar la comprensión del lenguaje hablado durante la inspección de objetos en el mundo (o en un ordenador, pantalla2). En esta versión de eye-tracking "mundo visual", la inspección de objetos está guiada por el lenguaje. Cuando los comprehenders escuchan la cebra, por ejemplo, la inspección de una cebra en la pantalla se toma para reflejar que piensan sobre el animal. En lo que se conoce como el paradigma de mundo visual, mirada de comprehender se toma para reflejar la comprensión del lenguaje hablado y la activación de los conocimientos asociados (por ejemplo, los oyentes también inspección la cebra cuando oyen de pastoreo, lo que indica una acción realizada por la cebra)2. Tales inspecciones sugieren un vínculo sistemático entre las relaciones del mundo de la lengua y ojo movimientos2. Una forma común de cuantificar este enlace es la proporción de miradas a diferentes regiones predeterminadas en una pantalla de computación. Esto permite a los investigadores comparar directamente (a través de las condiciones, los participantes y) la cantidad de atención dada a diferentes objetos en un momento determinado y cómo cambian estos valores en la resolución de milisegundos.
Investigación en psicolingüística ha explotado en mundos visuales para embromar apartes hipótesis teóricas competencia con respecto a la arquitectura de la mente1rastreo ocular. Fijaciones de ojo en los objetos representados, además, revelaron que comprehenders puede, suponiendo un contexto lingüístico lo suficientemente restrictivo, realizar interpretación semántica incremental8 e incluso desarrollar expectativas sobre los próximos personajes 9. esos datos de mirada del ojo también han arrojado luz sobre una gama de otros procesos de comprensión, tales como resolución de ambigüedad léxica10,11, pronombre resolución12, la desambiguación del papel estructural y temática asignación por medio de la información en el contexto visual13,14,16y procesos pragmáticos15, entre muchos otros4. Claramente, los movimientos del ojo a los objetos durante la comprensión del lenguaje pueden ser informativos de los procesos implicados.
El método de eye-tracking es no invasivo y se puede utilizar con los niños, los usuarios de lenguaje jóvenes y mayores. Una ventaja clave es que, a diferencia de las respuestas a las sondas o presiona el botón de respuesta en tareas de verificación, proporciona penetraciones en el tiempo en una resolución de milisegundos en cómo lengua guías de atención y cómo el contexto visual (en forma de objetos, acciones, eventos, un altavoz mirada, expresiones faciales emocionales, así como configuraciones de objeto espacial) contribuye al procesamiento del lenguaje. La continuidad de la medida durante la comprensión de la frase se complementa bien con otras medidas después de la sentencia y posterior al experimento como de verificación de imagen o video-frase abierta, preguntas de comprensión y tareas de recuperación de la memoria. Las respuestas manifiestas en estas tareas pueden enriquecer la interpretación del registro de la mirada ojo proporcionando información sobre el resultado del proceso de comprensión, memoria y aprendizaje2. Combinación de seguimiento de ojo con estas otras tareas ha descubierto hasta qué punto diversos aspectos del contexto visual modulan la atención visual y la comprensión (inmediata, así como retrasado) a través de la vida.
La presentación de idioma (hablado o escrito) y las escenas pueden ser simultánea o secuencial. Por ejemplo, Knoeferle y colaboradores17 presentó la escena de 1.000 ms antes de la sentencia oral, y se mantuvo presente durante la comprensión. Ellos reportaron evidencia que gráfico representaciones de eventos de acción contribuyen a la resolución de la ambigüedad estructural local en alemán sujeto-verbo-objeto (SVO) en comparación con las oraciones de objeto verbo sujeto (OVS). Knoeferle y Crocker18 presentaron una escena de gráfico antes de una oración escrita y probaron la integración incremental de eventos de gráfico durante la comprensión de la frase. Observaron efectos incrementales de la congruencia, significa que tiempos de lectura de los participantes de los constituyentes de la oración eran más largas cuando estas unida mal (vs emparejado) el evento representado en la escena precedente. En otra variante de la presentación de estímulos, los participantes primero Lee una frase que describe una relación espacial y entonces vieron una escena de una disposición espacial particular que implican objeto dibujos19. Este estudio evaluó las predicciones de modelos de lenguaje espacial computacional preguntando a los participantes para valorar el ajuste de la oración da a la escena, con los movimientos del ojo se grabó durante el interrogatorio de la escena. Patrones de mirada de los participantes fueron modulados por la forma del objeto que fueron confrontados con — parcialmente confirmando las predicciones del modelo y proporciona datos para el refinamiento del modelo.
Mientras que muchos estudios han utilizado imágenes prediseñadas representaciones17,18,19,20,21,22,23, también es posible combinar el mundo real objetos, videos de estos objetos o fotografías estáticas con lenguaje hablado1,21,24,25,26,46. Knoeferle y colaboradores utilizaron una configuración reales24 y Abashidze y colaboradores utilizaron un formato de presentación grabados en vídeo para examinar los eventos de acción y efectos de tensión25. Variando el contenido exacto de las escenas (p. ej., que representan acciones o no)22,27,38 es posible y también pueden revelar efectos de contexto visual. Un estudio relacionado por Rodríguez y colaboradores26 investigó la influencia de señales grabadas género visual en la comprensión de posteriormente presentó oraciones habladas. Los participantes vieron los videos mostrando las manos ya sea hombres o mujeres, realizar una acción estereotipada relacionadas con el género. Luego, se enteraron una oración ya sea un evento de acción estereotípicamente masculino o femenino mientras la inspecciona al mismo tiempo una pantalla que muestra dos fotografías lado a lado, uno de un hombre y una mujer. Este rico entorno visual y lingüística permitió a los autores a embromar aparte los efectos de conocimientos estereotipados mediada por el lenguaje en la comprensión de los efectos de las señales de género presentado visualmente (a mano).
Otro uso de este paradigma ha dirigido a cambios de desarrollo en el procesamiento del lenguaje. Movimientos de los ojos a los objetos durante la comprensión del lenguaje hablado revelaron los efectos de los acontecimientos representados en 4 - 5 - años de edad27,28 y en más viejos adultos29 en tiempo real, pero un poco retrasado en comparación con adultos jóvenes. Kröger y colaboradores22 examinaron los efectos de señales prosódicas y caso de la marca dentro de un experimento y comparó a través de experimentos en adultos y niños. Los participantes inspeccionan una escena ambigua-evento de acción mientras se escucha una frase alemana claramente marcado por el caso relacionada. Movimientos de los ojos revelaron que los distintos patrones prosódicos ayudó a los adultos ni los 4 o 5-años de edad cuando desambiguación que-hace-lo-que-que. Caso de oración inicial de la marca, sin embargo, influenciado adultos pero no movimientos de los ojos de los niños. Esto sugiere que la comprensión de 5 años de edad del caso marcado no es lo suficientemente robusta para permitir la asignación de papel temático (ver el estudio por Özge y colaboradores30), por lo menos no cuando eventos de acción no eliminar la ambigüedad de las relaciones de rol temático. Estos resultados son interesantes, ya que son en contraste con los resultados anteriores de efectos prosódicos en la asignación de papel temático31. Kröger y colaboradores22 propone que el contexto visual (más o menos apoyo) es responsable de los resultados contrastantes. En la medida en que estas interpretaciones tienen, ponen de manifiesto el papel del contexto en la comprensión del lenguaje a través de la vida.
El método de seguimiento de ojo combina bien con las medidas de la imagen (o video) frase verificación tareas18,20,26, de las tareas de verificación de imagen32, corpus estudios24, calificación tareas19o recuperación post experimental tareas25,33. Abashidze y colaboradores34 y Kreysa y colaboradores33 investigan la interacción de altavoces mirada y mirada de34 y altavoz de videos reales de acción y acción representaciones33, respectivamente, como pautas para contenido de la próxima sentencia. Al combinar el seguimiento de la mirada en una escena durante la comprensión del lenguaje con una tarea de memoria post experimental, adquirieron un mejor entendimiento de la forma en que la opinión de los oyentes de la mirada de un orador y lo representado interactúan y afectan a ambos procesamiento del lenguaje inmediato y memoria. Los resultados revelaron la distinta contribución de acciones versus altavoz mirada a los procesos de comprensión en tiempo real versus post-experimento memoria memoria.
Mientras que el método de seguimiento de ojo se puede emplear con gran flexibilidad, determinadas normas son clave. El siguiente protocolo resume un procedimiento generalizado que puede ajustarse a diferentes tipos de preguntas de investigación según las necesidades específicas de los investigadores. Este protocolo es un procedimiento estándar empleado en el laboratorio de psicolingüística en la Humboldt-Universität zu Berlin, así como en la antigua lengua y laboratorio de la cognición en el cognitivo interacción tecnología excelencia Cluster (CITEC) en Universidad de Bielefeld. El protocolo describe un escritorio y una configuración remota. Este último se recomienda para uso en estudios con niños o adultos mayores. Todos los experimentos mencionados en los Resultados de representante utilizan un dispositivo de seguimiento de ojos que tiene una tasa de muestreo de 1000 Hz y se usa junto con un estabilizador de cabeza, un PC para las pruebas de los participantes (pantalla de PC) y un PC de control el experimento y la movimientos oculares de los participantes (Host PC). La principal diferencia de este dispositivo a su predecesor es que permite para el seguimiento ocular binocular. El protocolo pretende ser lo suficientemente general para el uso con otros dispositivos de seguimiento ocular que incluyen un estabilizador de la cabeza y hacer uso de una PC de doble configuración (Host + pantalla). Sin embargo, es importante tener en cuenta que otras configuraciones probablemente tienen diferentes métodos para manejar problemas como fallas de calibración o pérdida de la pista, en el cual caso el experimentador debe referirse al usuario manual de su dispositivo específico.

<table><tbody><tr><td>Rastreador ocular montado en el escritorio que incluye reposacabezas / barbilla</td><td>SR Research Ltd.</td><td>EyeLink 1000 plus http://www.sr-research.com/eyelink1000plus.html</td><td></td></tr><tr><td>Software para el diseño y ejecución de un experimento de seguimiento ocular</td><td>SR Research Ltd.</td><td>Constructor de experimentos</td><td>http://www.sr-research.com/eb.html</td></tr></tbody></table>

eye tracking durante la comprensión del lenguaje visual situado: flexibilidad y las limitaciones de descubrir efectos de contexto visual

Eye Tracking During Visually Situated Language Comprehension: Flexibility and Limitations in Uncovering Visual Context Effects

El presente trabajo es una descripción y una evaluación de una metodología diseñada para cuantificar diferentes aspectos de la interacción entre el procesamiento del lenguaje y la percepción del mundo visual. La grabación de patrones de mirada ha proporcionado pruebas convincentes para la contribución del contexto visual y lingüística mundial conocimiento a la comprensión del lenguaje. Inicial de investigación evaluaron efectos de contexto del objeto para poner a prueba las teorías de la modularidad en procesamiento del lenguaje. En la introducción, se describe cómo las investigaciones subsecuentes han tomado el papel del contexto visual en lenguaje de procesamiento como un tema de investigación en su propio derecho, pidiendo preguntas tales como la percepción visual de los acontecimientos y de altavoces contribuye a comprensión por experiencia de comprehenders. Entre los aspectos examinados del contexto visual son acciones, eventos, un altavoz mirada, expresiones faciales emocionales, así como configuraciones del objeto espacial. Después de tener una visión general del método de seguimiento de ojo y sus diferentes aplicaciones, enumeramos los pasos clave de la metodología en el protocolo, que ilustran cómo utilizar con éxito para el estudio de comprensión del lenguaje visual situado. Una sección final presenta tres conjuntos de resultados representativos e ilustra los beneficios y limitaciones de seguimiento del ojo para investigar la interacción entre la percepción de la comprensión de mundo y lenguaje visual.

Un estudio realizado por Münster y colaboradores37 investigó la interacción de la estructura de la oración, representa acciones y facial señales emocionales durante la comprensión del lenguaje. Este estudio es muy adecuado para ilustrar las ventajas y limitaciones del método, como demostró que tanto robusta representan efectos de acción y efectos marginales de los estímulos emocionales faciales en comprensión de la frase. Los autores crearon 5 videos de s de la expresión facial de una mujer que cambió de una posición de reposo en un feliz o en una expresión triste. También crearon emocionalmente positiva valenced alemán objeto-verbo-adverbio-sujeto (OVAdvS) las oraciones de la forma ' [objeto/pacientecaso acusativo] [Verbo] [adverbio positivo] [sujeto/agentecaso nominativo].' Mediante el adverbio positivo, las frases emparejado el video 'feliz' y lencería desconjunta el video 'triste', en previsión del principio del agente (que estaba sonriendo y se describe como actuar alegremente por el adverbio positivo). Tras el vídeo del orador, la frase apareció con una de dos versiones de una escena de imágenes prediseñadas de agente-paciente-distractor. En una versión, el agente fue representado como realizar la acción mencionada en el paciente, mientras que el carácter distractor realiza una acción diferente. La otra versión de la escena había representada ninguna acción entre los personajes. Movimientos oculares en la escena revelaron los efectos de las acciones y de la expresión facial del orador en la comprensión de la frase.
La representación de acción afectó rápidamente atención visual de los participantes, lo que significa que los participantes parecía más en el agente que en el distractor cuando la acción mencionada fue (vs no era) representado. Estos looks fueron anticipación (es decir, antes de que el agente fue mencionado), lo que sugiere que la representación de acción aclaró el agente antes de la sentencia. El primer efecto de la representación de la acción surgió durante el verbo (es decir, la conjugación mediada por el agente de acción asociados). Por el contrario, si el orador anterior sonrió o mirado infeliz no tuvo ningún efecto claro sobre la anticipación de agente (figura 2). Este último resultado podría reflejar el vínculo más tenue entre la sonrisa de un altavoz y un adverbio oraciones positivo relativas a la acción de los agentes representados (en comparación con una referencia de la acción directa de verbo mediar a un agente de acción asociados). Alternativamente, puede ser específico para la presentación de tareas y estímulos: quizás efectos de emoción habría sido más pronunciadas en una tarea socialmente más interactiva o en uno que presenta la comprensión de frase del orador cara durante (y no antes). Sin embargo, presentando la cara de un orador sonriente durante la comprensión puede hacer que los participantes centrarse en la cara a costa de otro contenido de la escena, quizás enmascarar lo contrario observan efectos de las variables manipuladas (fuente: datos no publicados).
En otra variante del paradigma, Guerra y Knoeferle32 preguntó si relaciones espaciales semánticas de la lengua de mundo pueden modular la comprensión de contenido semántico abstracto durante la lectura. Guerra y Knoeferle pidió prestada la idea de la teoría de la metáfora conceptual del38 que la distancia espacial (por ejemplo, proximidad) motivos el significado de relaciones semánticas abstractas (por ejemplo, semejanza). En consonancia con esta hipótesis, los participantes leer coordinado sustantivos abstractos más rápido cuando eran similares (frente a frente) en significado y había sido precedidos por una proximidad transporte video (vs distancia, jugando a las cartas mover más cerca juntos vs. más lejos aparte). En un segundo conjunto de estudios39, frases describen la interacción entre dos personas como el íntima o antipático, hacia el descubrimiento de que videos de dos tarjetas de acercarse a uno con el otro acelera la lectura de las regiones de la oración que transmitía social proximidad/intimidad. Tenga en cuenta que la distancia espacial afectado sentencia de lectura rápida y progresivamente aun cuando las sentencias no se refiere a los objetos en el video. Los videos claramente modulan en tiempos de lectura en función de la congruencia entre la distancia espacial y sociales semánticos, así como aspectos del significado de la frase. Estos efectos aparecieron en tiempos de lectura de primer paso (la duración de la primera inspección de una región de sentencia determinado) y el tiempo total dedicado a esa región de oración (ver figura 3 para una ilustración de los resultados de los estudios de Guerra y Knoeferle)32. Sin embargo, el análisis también revelaron una variación sustancial entre los participantes, lleva a la conclusión de que tales efectos sutiles de la tarjeta distancia pueden no ser tan robustos como los efectos de las relaciones del verbo de acción, para mencionar un ejemplo.
Un conjunto adicional de estudios ilustra cómo la variación en la estructura de la oración puede ayudar a evaluar la generalidad de los efectos de contexto visual. Abashidze y colaboradores34 y Rodríguez y colaboradores26 examinaron los efectos de las acciones recientes en el procesamiento posterior de oraciones habladas. En ambos estudios, los participantes inspeccionan primero un video de acción (p. ej., un experimentador saborizante pepinos, o manos femeninas para hornear un pastel). A continuación, han escuchado una frase alemana que tampoco estaba relacionado con la reciente acción o a otra acción que pueda realizarse siguiente (condimentar tomates34; construcción de un modelo26). Durante la comprensión, los participantes inspeccionan una escena de dos objetos (pepinos, tomates)34 o dos fotografías del agente de caras (una hembra y una cara de agente masculino, llamado 'Susana' y 'Thomas', respectivamente)26. En el estudio de Abashidze y colaboradores34, el orador mencionado por primera vez el experimentador y luego el verbo (e.g., sabor) que las expectativas sobre un tema (por ejemplo, los pepinos o los tomates). En el estudio realizado por Rodríguez y colaboradores26, el orador mencionado por primera vez un tema (la torta) y luego el verbo (hornada), que las expectativas sobre el agente de la acción (Femenino: Susanna u hombre: Thomas, representado a través de fotos de una mujer y una hombre cara).
En ambos estudios, la pregunta en cuestión era si la gente (visualmente) anticiparía el tema/agente del reciente evento de acción o el otro tema/basado en otras claves contextuales durante la comprensión. Abashidze y colaboradores34, la mirada del experimentador localiza el objeto tema futuro (los tomates) desde el inicio del verbo (literalmente traducido del alemán: 'el agente experimentador pronto sabores...'). Rodríguez y colaboradores26, conocimiento del género de acciones estereotipadas llegó a estar disponible cuando se mencionaron el tema y el verbo (por ejemplo, la traducción literal de los estímulos alemán era: 'el tema de la torta pronto hornea...'). En ambos grupos de estudios, los participantes preferentemente inspeccionan al destino/agente de la acción reciente (pepinos34 o Susanna26) sobre blanco (futuro/otros-género) alternativo (tomates34 o Thomas26) durante la oración.
Este llamada 'evento reciente preferencia', por lo tanto, parece ser robusto a través de una variación sustancial en la estructura de la oración y materiales experimentales. Fue modulada, sin embargo, por limitaciones visuales del concurrente escena26, que presenta fotografías plausibles de temas del verbo además de género fotografías de agentes reduce la dependencia de los eventos de acción recientemente inspeccionados y atención modular basada en el conocimiento de género estereotipo transmitido por idioma. Figura 4 ilustra las principales conclusiones de los experimentos por Rodríguez y colaboradores26.
Mientras que esta versión del paradigma visual-mundo rindió resultados robustos, otros estudios han puesto de relieve la complejidad y limitaciones de la hipótesis de vinculación. Burigo y Knoeferle20 descubrieron que los participantes — al escuchar expresiones como der über de ist caja Die Wurst ('la caja está por encima de la salchicha') — en su mayoría siguieron la elocución en examinar imágenes prediseñadas representaciones de estos objetos. Pero en una proporción de los ensayos, la mirada de los participantes desconectada de lo que fue mencionada. Al escuchar 'salchicha' y después de haber inspeccionado la salchicha por lo menos una vez, próxima inspección de los participantes volvió a la caja en aproximadamente 21% de los ensayos de verificación apresurada (experimento 1) y en el 90% de los ensayos de verificación de la sentencia ( Experimento 2). Este patrón de mirada sugiere que la referencia (audiencia ' salchicha') guiados sólo algunos (inspección de la salchicha) pero no todos ojo movimientos (inspección de la caja). Este tipo de diseño podría utilizarse para embromar apartes procesos léxico referencial (incluyendo nivel de sentencia interpretativa) de otros procesos. Sin embargo, los investigadores deben tener cuidado cuando hace afirmaciones sobre diferentes niveles de procesamiento lingüístico basado en diferencias relativas en las proporciones del movimiento del ojo, dada la ambigüedad en la vinculación de mirada a cognitiva y procesos de comprensión.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/57694/57694fig1v3.jpg"> Figura 1: Resumen del ambiente de la colección de datos. El gráfico muestra cómo los diferentes software y elementos de hardware utilizan para la recolección de datos y procesamiento se relacionan con uno otro. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig1v3large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/57694/57694fig2.jpg"> Figura 2: Resultados representativos de Münster y colaboradores37. Estos paneles muestran la media de por tema registro-mirada cocientes de probabilidad por condición en la región de verbo (para la acción representada) y en la región de verbo-adverbio combinado (por el efecto del primer emocional). Los resultados muestran una proporción considerablemente mayor de miradas hacia la imagen de destino cuando la acción mencionada en la oración se describe que cuando no estaba representado. Los resultados para el efecto de reexpresión facial emocional fueron menos concluyentes: sugieren que sólo un ligero aumento en el cociente significa-log de miradas en el destino cuando el primer facial tenía una Valencia emocional positiva (una sonrisa) que cuando tenía una Valencia negativa (una cara triste). Las barras de error representan el error estándar de la media. Esta figura ha sido modificada desde Münster et al. 37. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig2large.jpg" target="_blank">haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/57694/57694fig3v2.jpg"> Figura 3: Resultados representativos de Guerra y Knoeferle32. Este panel muestra los tiempos de lectura primer paso medio (en milisegundos) del adjetivo (dis) similitud. Los resultados muestran tiempos más cortos de la lectura para las frases de similitud después de ver dos tarjetas de juegos se mueven más cerca juntos en comparación con más lejos aparte. Las barras de error representan el error estándar de la media. Esta figura ha sido modificada de Guerra y Knoeferle32. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig3v2large.jpg" target="_blank">Haga clic aquí para ver una versión más grande de esta figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/57694/57694fig4v3.jpg"> Figura 4: Resultados representativos de Rodríguez y colaboradores26. Este panel muestra a la mirada de registro media por tema cocientes de probabilidad por condición en la región de verbo. Las proporciones de mira por encima de 0 mostrar una preferencia por la imagen del agente de destino y las proporciones por debajo de 0 mostrar una preferencia por la imagen del agente competidor. Los resultados muestran que los participantes eran más propensos a inspeccionar la imagen del agente de destino cuando el objeto y el verbo en la oración empareja los eventos grabados en vídeo anteriores que cuando no lo hicieron. Además, había más miradas hacia la imagen del agente de destino cuando la acción descrita por la frase se ajustó a los estereotipos de género. Las barras de error representan el error estándar de la media. Esta figura ha sido modificada de Rodríguez et al. 26. <a href="https://www.jove.com/files/ftp_upload/57694/57694fig4v3large.jpg" target="_blank">por favor haga clic aquí para ver una versión más grande de esta figura.</a>

El presente artículo revisa una metodología de seguimiento de ojo para estudios sobre la comprensión del lenguaje. Para obtener datos confiables, se deben seguir pasos claves del protocolo. Entre ellos están el montaje correcto del perseguidor del ojo (por ejemplo, garantizar la buena calidad de las imágenes de la cara y cabeza) y calibración de precisión.

Eye Tracking durante la comprensión del lenguaje visual situado: Flexibilidad y las limitaciones de descubrir efectos de contexto Visual

The present work is a description and an assessment of a methodology designed to quantify different aspects of the interaction between language processing ...

Este método puede ayudar a responder a preguntas clave de investigación en psicolinguística con respecto a los procesos mentales implicados en la comprensión del lenguaje. La ventaja de esta técnica es que proporciona un índice de atención visual con alta resolución temporal, orientado a examinar la relación entre el mundo visual y el procesamiento del lenguaje. Los individuos nuevos en este método pueden tener problemas porque el protocolo debe ejecutarse con un alto grado de precisión.La demostración visual de este método es fundamental, ya que la implementación adecuada del método a menudo requiere una solución de problemas ad hoc. Para determinar el dominio ocular, pida al participante que estire un brazo y que alinee el pulgar con un objeto distante con ambos ojos abiertos. Pida al participante que altere el cierre de cada ojo.El ojo dominante es el ojo para el cual el pulgar permanece alineado con el objeto cuando ese ojo está abierto. Luego, pida al participante que se siente a la mesa con la barbilla en el reposa mentón y la frente contra el reposacabezas. A continuación, haga clic en imagen para mostrar el PC. Debería aparecer una imagen grande y dos imágenes más pequeñas de los ojos del participante.Utilice las teclas de flecha del teclado para seleccionar una de las imágenes de ojos dominantes más pequeñas y pulse A para centrar el cuadro de límites de búsqueda en la posición de la pupila. Debe aparecer un cuadrado rojo alrededor del ojo con un círculo turquesa cerca de la parte inferior de la pupila. La pupila en sí debe ser azul.Confirmar la presencia de dos puntos de mira en la pantalla, uno en el centro de la pupila y otro en el centro de la reflexión corneal. Ajustar el tamaño de la reflexión corneal es crucial. Es la base para una buena calibración del rastreador ocular.Gire manualmente la lente de enfoque para ajustar la cámara según sea necesario, teniendo cuidado de no tocar la parte frontal de la lente hasta que el reflejo corneal sea lo más pequeño posible. A continuación, pulse A para establecer automáticamente los umbrales de pupila y corneal en el equipo host para que toda la pupila y solo la pupila sean azules. Para calibrar el rastreador de ojos, pida al participante que mire las cuatro esquinas de la pantalla de una en una con la ventana de configuración de la cámara a la vista mientras busca cuidadosamente cualquier reflejo irregular que interfiera con el reflejo corneal cuando la mirada del participante se dirige a la esquina.Si la caja roja alrededor del ojo o cualquiera de los puntos de mira no son visibles en cualquier momento, haga que el participante primero mire el centro de la pantalla y luego a la esquina problemática para determinar el origen del problema. Reajuste la posición de la cabeza del participante para comprobar si esto produce alguna mejora. A continuación, informe al participante que el rastreador de ojos se calibrará y que deben fijarse en el pequeño punto gris dentro de un círculo negro más grande a medida que el círculo se mueve a diferentes partes de la pantalla.Cuando el participante esté listo, haga clic en calibrar para comenzar el proceso de calibración de nueve puntos, presionando enter después de que el participante se haya fijado con precisión en el primer punto en el centro de la pantalla para una calibración automática. Al final del proceso de calibración, un patrón casi rectangular debe ser visible en la pantalla del experimentador que representa los patrones de mirada del participante. Los resultados de una buena calibración se resaltarán en verde.Para validar los resultados, pida al participante que repita el procedimiento, recordándole al participante que mire el punto y que se quede quieto. Haga clic en validar y escriba para aceptar cada fijación. Los resultados aparecerán en el monitor del equipo host.Tenga en cuenta los errores promedio y máximo. Estos datos representan los grados en los que la imagen rastreada se desvía de la posición real de la mirada del participante. Si el error promedio es superior a 0,5 grados y/o el error máximo está por encima de un grado, haga que el participante reajuste la posición de la cabeza y reinicie el procedimiento de calibración.Mantener la tasa de error máxima por debajo de un grado es crucial para la recopilación de datos de alta calidad. Tenga en cuenta que estos son los umbrales para rastrear la mirada a objetos relativamente grandes durante la comprensión del lenguaje hablado. Los umbrales para el seguimiento ocular durante la lectura son aún más bajos.Después de completar correctamente el proceso de calibración, haga clic en el registro de salida para iniciar el experimento. Como ejemplo para rastrear los movimientos oculares durante la lectura situada, primero muestra dos cartas de juego moviéndose más juntas o más separadas. Luego pida al participante que lea una oración sobre dos conceptos que se representan como similares o diferentes entre sí para evaluar si la distancia entre las tarjetas puede modular la comprensión de la similitud en el lenguaje.Como ejemplo para registrar movimientos oculares durante la comprensión del lenguaje auditivo, primero muestre al participante un video de un evento de interés. A continuación, muestre al participante una escena de destino que contenga las imágenes del agente y los objetos del vídeo, y un agente del género opuesto más la imagen de otro objeto. Simultáneamente, reproduzca una oración que describa un evento que coincida o desajuste con el video anterior para evaluar hasta qué punto el género de las manos de un agente que aparece en eventos anteriores puede influir en qué cara de la escena objetivo el participante anticipará durante la comprensión hablada.En este experimento representativo de seguimiento de ojos de lectura, los tiempos medios de lectura de primer paso de adjetivos de similitud fueron más cortos para las oraciones de similitud después de observar dos cartas de juego que se acercan más en comparación con cuando las cartas se separaron más. Aquí, un análisis de las proporciones medias de la mirada del registro durante la región del verbo de una prueba de comprensión auditiva revela que los participantes eran más propensos a inspeccionar la imagen del agente cuyo género coincide con los eventos en un video mostrado anteriormente cuando el objeto y el verbo mencionado en la oración posterior eran congruentes con el video y estereotípicamente coincidían con este agente que cuando no coinciden con estas dos dimensiones. Al ejecutar este procedimiento, es importante recordar que la precisión en la realización de cada paso es crucial para la recopilación de datos de alta calidad.De esta manera, podemos obtener información sobre hasta qué punto los contextos de imagen modulan progresivamente la comprensión del lenguaje en tiempo real. Las medidas posteriores a la frase o después del experimento, como los tiempos de respuesta y la precisión, o los datos de otras pruebas sin conexión pueden enriquecer la información que se puede obtener de las medidas de fijación en línea. Esta técnica ha permitir a los psicolinguistas investigar las representaciones mentales y los procesos en tiempo real implicados en la comprensión del lenguaje.

eye-tracking-during-visually-situated-language-comprehension

Research

Investigación

JoVE Journal

Behavior

Comportamiento

El presente artículo describe cómo utilizar metodologías de seguimiento ocular para estudiar los procesos cognitivos involucrados en la comprensión de texto. Se incluyen descripciones de los equipos de seguimiento ocular, cómo desarrollar estímulos experimentales y recomendaciones de procedimientos. La información presentada se puede aplicar a la mayoría de cualquier estudio utilizando estímulos verbales.

Uso de movimientos oculares para evaluar los procesos cognitivos involucrados en la comprensión de texto

El paradigma de mundo visual controla movimientos oculares de los participantes en el espacio de trabajo visual que están escuchando o hablando una lengua hablada. Este paradigma puede utilizarse para investigar el procesamiento en línea de una amplia gama de preguntas psicolingüísticas, incluyendo instrucciones semánticamente complejas, como disyuntiva.

Utilizar movimientos oculares registrados en el paradigma de mundo Visual para explorar el procesamiento en línea del lenguaje hablado

El método fue diseñado para investigar el papel de la inhibición de retorno (IOR) en movimientos oculares regresivos durante la lectura. El foco está en diferenciar las regresiones que se desencadena como resultado de la comprensión dificultad versus los activa de error oculomotor, incluyendo el papel de la IOR en los dos tipos de regresiones.

Eye-tracking para distinguir movimientos oculares regresivos comprensión y Oculomotor durante la lectura

Presentamos un protocolo para examinar el uso de señales morfológicas durante la comprensión de la oración en tiempo real por los niños con autismo.

Utilizando el paradigma de mundo Visual para el estudio de comprensión de la frase en mandarín-los niños con autismo

Los estudios de seguimiento ocular utilizando un paradigma de aspecto preferencial se pueden utilizar para estudiar la comprensión emergente de los bebés y su atención a su mundo visual externo.

Explorar la sensibilidad infantil al lenguaje visual mediante el seguimiento ocular y el paradigma de aspecto preferencial

El estudio propone un modelo de activación-coincidencia para estudiar cómo se mitiga la soledad cuando un público solitario ve videos de emociones racionales y emocionales. El protocolo utiliza el seguimiento ocular para documentar la duración y la fijación, teniendo en cuenta el grado de satisfacción cuando las necesidades emocionales son apaciguadas por el contenido y el aluvión.

Soledad Assuaged: Seguimiento ocular de un público que ve los videos de Barrage

Se describe un método para cuantificar la calidad del procesamiento de la información visual basado en movimientos oculares reflexivos en respuesta a modalidades visuales específicas. Los tiempos de reacción y los parámetros de salida de fijación se utilizan para caracterizar el rendimiento visual en niños con y sin discapacidad visual a partir de los 6 meses de edad.

Un método para cuantificar procesamiento de la información visual en niños El uso de Eye Tracking

Los niños pequeños no pasivamente observar el mundo, pero algo activamente explorar y relacionarse con su entorno. Este protocolo proporciona principios y recomendaciones prácticas para el uso de trackers ojo montado en la cabeza para bebés y niños pequeños entornos visuales dinámicos y atención visual en el contexto del comportamiento natural.

Contemplar en acción: montado en la cabeza Eye Tracking dinámico atención Visual de los niños durante la conducta naturalista

Aquí presentamos un protocolo para la descomposición de la varianza en comprensión de lectura sobre los efectos del lenguaje y decodificación únicos y común.

Descomposición de la varianza en comprensión de lectura para revelar los efectos únicos y común del lenguaje y decodificación

Describimos un método para llevar a cabo grabaciones de una sola neurona con seguimiento ocular simultáneo en humanos. Demostramos la utilidad de este método e ilustramos cómo usamos este enfoque para obtener neuronas en el lóbulo temporal medial humano que codifican objetivos de una búsqueda visual.

Seguimiento ocular simultáneo y grabaciones de una sola neurona en pacientes con epilepsia humana

Aprende el seguimiento ocular para estudiar la comprensión del lenguaje en psicolingüística. Este método analiza patrones de mirada y el efecto del contexto visual en el procesamiento lingüístico con alta resolución temporal.

Eye Tracking durante la comprensión del lenguaje visual situado: Flexibilidad y las limitaciones de descubrir efectos de contexto Visual (Video) | JoVE Journal

Eye Tracking durante la comprensión del lenguaje visual situado: Flexibilidad y las limitaciones de descubrir efectos de contexto Visual

Explorar más videos