Name: Una metodología para capturar la atención visual conjunta mediante rastreadores oculares móviles (Video) | JoVE Journal
Uploaded: 2020-01-18T14:00:00.000+00:00
Duration: 12 min 39 s
Description: Aprende a capturar la atención visual conjunta mediante rastreadores oculares móviles en contextos educativos. Este método permite medir cuantitativamente la interacción social y la calidad de la colaboración entre participantes.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

El desarrollo de esta metodología fue apoyado por la National Science Foundation (NSF #0835854), la Leading House Technologies for Vocation Education, financiada por la Secretaría de Estado De Suiza de Educación, Investigación e Innovación, y el Fondo de Empresa Dean de la Escuela de Educación de Harvard.

1. Examen de participantes
<ol><li>Asegúrese de que los participantes con visión normal o corregida a normal sean reclutados. Debido a que se les pedirá a los participantes que usen un rastreador de ojos móvil, pueden usar lentes de contacto, pero no anteojos regulares.</li>
</ol>2. Preparación para el experimento
<ol><li>Dispositivos de seguimiento ocular<ol>
<li>Utilice cualquier rastreador de ojos móvil capaz de capturar el movimiento de los ojos en entornos del mundo real. NOTA: Los rastreadores oculares móviles utilizados aquí fueron dos gafas Tobii Pro 2 (ver Tabla de Materiales). Además de cámaras especializadas que pueden rastrear los movimientos oculares, las gafas también están equipadas con una cámara de escena HD y un micrófono para que la mirada se pueda visualizar en el contexto del campo visual del usuario. Estas gafas capturan los datos de la mirada 50 veces por segundo. Otros investigadores han utilizado ASL Mobile Eye5,SMI6o Pupil-labs7,todos los cuales proporcionan secuencias de vídeo de la cámara de la escena y coordenadas de seguimiento ocular a diferentes velocidades de muestreo (30-120 Hz). El siguiente procedimiento puede variar ligeramente con otros dispositivos de seguimiento ocular.</li>
	</ol>
</li>
	<li>Marcadores fiduciarios<ol>
<li>Los dos pasos siguientes (es decir, alineaciones temporales y espaciales) requieren el uso de marcadores fiduciarios. Hay varias bibliotecas de visión por ordenador que proporcionan a los investigadores estos marcadores y algoritmos para detectarlos en una imagen o fuente de vídeo. El protocolo descrito utiliza la biblioteca Chilitag8.</li>
	</ol>
</li>
	<li>Alineación temporal<ol>
<li>Dado que los datos de seguimiento ocular se registran en dos unidades independientes, asegúrese de que los datos estén correctamente sincronizados(figura 1). Se pueden utilizar dos métodos principales. Este manuscrito solo cubre el primer método, ya que la sincronización del servidor funciona de manera diferente con cada marca de rastreador de ojos móvil.<ol>
<li>Mostrar brevemente un marcador fiduciario en la pantalla de un ordenador para marcar el principio y el final de una sesión. Esto es similar a un "aplauso de mano" visual (Figura 2).</li>
			<li>Como alternativa, utilice un servidor para sincronizar los relojes de las dos unidades de recopilación de datos. Este método es ligeramente más preciso y se recomienda si se requiere una mayor precisión temporal.</li>
		</ol>
</li>
	</ol>
</li>
	<li>Alineación espacial<ol>
<li>Para averiguar si dos participantes están mirando el mismo lugar al mismo tiempo, mapee sus miradas a un plano común. Este plano puede ser una imagen de la configuración experimental (consulte el lado izquierdo de la Figura 3). Diseñe cuidadosamente esta imagen antes del experimento.</li>
		<li>Tamaño de los marcadores fiduciarios: El tamaño general de los marcadores fiduciarios depende del algoritmo utilizado para detectarlos a partir del vídeo de seguimiento ocular. Las superficies cercanas a los participantes pueden tener marcadores fiduciarios más pequeños, mientras que las superficies más alejadas de ellos deben ser más grandes, de modo que se vean similares desde la perspectiva de los participantes. Pruebe de antemano diferentes tamaños para asegurarse de que se pueden detectar desde el vídeo de seguimiento ocular.</li>
		<li>Número de marcadores fiduciarios: Para que el proceso de mapeo de los puntos de mira en un plano común sea exitoso, asegúrese de que varios marcadores fiduciarios sean visibles desde el punto de vista de los participantes en un momento dado.</li>
		<li>Ubicación de los marcadores fiduciarios: Encuadre áreas relevantes de interés con tiras de marcadores fiduciarios (por ejemplo, consulte la pantalla del portátil en la Figura 3).</li>
	</ol>
</li>
	<li>Por último, ejecute pilotos para probar el procedimiento de sincronización y determinar la ubicación, el tamaño y el número óptimos de marcadores fiduciarios. Los videos de seguimiento ocular se pueden procesar a través de un algoritmo de visión por ordenador para ver si los marcadores fiduciarios se detectan de forma fiable.</li>
</ol>3. Ejecutar el experimento
<ol><li>Instrucciones<ol>
<li>Indique a los participantes que se pongan las gafas de seguimiento ocular como lo harían con un par de anteojos normales. Sobre la base de los rasgos faciales distintivos de los participantes, es posible que sea necesario utilizar piezas nasales de diferentes alturas para preservar la calidad de los datos.</li>
		<li>Después de encender el rastreador de ojos, pida a los participantes que corten la unidad de grabación a sí mismos para permitir el movimiento natural del cuerpo.</li>
	</ol>
</li>
	<li>Calibración<ol>
<li>Indique a los participantes que miren el centro del marcador de calibración proporcionado por Tobii mientras la función de calibración del software está activada. Una vez completada la calibración, la grabación se puede iniciar desde el software.</li>
		<li>Indique a los participantes que no muevan los rastreadores oculares móviles después de la calibración. Si lo hacen, es probable que los datos sean inexactos y que el procedimiento de calibración deba realizarse de nuevo.</li>
	</ol>
</li>
	<li>Monitorización de datos<ol>
<li>Supervise el proceso de recopilación de datos durante el estudio y asegúrese de que los datos de seguimiento ocular se recopilan correctamente. La mayoría de los rastreadores oculares móviles pueden proporcionar una transmisión en vivo en un dispositivo separado (por ejemplo, una tableta) para este propósito.</li>
	</ol>
</li>
	<li>Exportación de datos<ol>
<li>Una vez completada la sesión de grabación, indique al participante que retire las gafas de seguimiento ocular y la unidad de recopilación de datos. Apague la unidad.</li>
		<li>Extraiga datos utilizando otro software, Tobii Pro Lab, eliminando la tarjeta SD de la unidad de recopilación de datos importando los datos de la sesión. Tobii Pro Lab se puede utilizar para reproducir el vídeo, crear visualizaciones y exportar los datos de seguimiento ocular como archivos separados por comas (.csv) o separados por tabulaciones (.tsv).</li>
	</ol>
</li>
</ol>4. Preprocesamiento de los datos de seguimiento ocular dual
<ol><li>Sanidad comprobando datos de seguimiento ocular<ol>
<li>Compruebe visualmente los datos de seguimiento ocular después de la recopilación de datos. No es raro que algunos participantes tengan datos que faltan. Por ejemplo, algunas fisiología ocular en particular pueden plantear problemas a los algoritmos de seguimiento ocular, las gafas pueden cambiar durante el experimento, el software de recopilación de datos podría bloquearse, etc.</li>
		<li>Utilice estadísticas descriptivas para comprobar cuántos datos se perdieron durante cada sesión y excluir sesiones que tienen cantidades significativas de datos que faltan o ruidosos.</li>
	</ol></li>
	<li>Alineación temporal<ol>
<li>Recortar los datos de cada rastreador de ojos móvil para incluir solo interacciones entre los participantes. Esto se puede lograr utilizando el método descrito anteriormente (es decir, presentando dos marcadores fiduciarios especiales a los participantes al inicio y al final de la sesión). Estos marcadores fiduciarios se pueden detectar desde el vídeo de seguimiento ocular para recortar los conjuntos de datos.</li>
	</ol></li>
	<li>Alineación espacial NOTA: Para detectar si dos participantes están mirando el mismo lugar al mismo tiempo, es necesario reasignar la mirada de los participantes en un plano común (es decir, una imagen del entorno experimental). Un método computacional para lograr este objetivo es una homografía (es decir, una transformación de perspectiva de un plano). Desde una perspectiva técnica, dos imágenes de la misma superficie plana en el espacio están relacionadas por una matriz de homografía. Basándose en un conjunto común de puntos, esta matriz se puede utilizar para inferir la ubicación de puntos adicionales entre dos planos. En la Figura 3, por ejemplo, si un algoritmo de visión por ordenador sabe dónde están los marcadores fiduciarios en el volante, puede reasignar la mirada del participante en el plano común en el lado izquierdo. Las líneas blancas conectan los dos conjuntos de puntos compartidos por la fuente de vídeo de cada participante y la escena, que luego se utilizan para construir la homografía para reasignar los puntos verdes y azules en el lado izquierdo.<ol>
<li>Utilice la versión de Python de OpenCV, por ejemplo, para calcular la matriz de homografía a partir de los marcadores fiduciarios y, a continuación, para reasignar los datos de seguimiento ocular a la escena de la configuración experimental (o cualquier otra biblioteca adecuada en su idioma de elección). OpenCV proporciona dos funciones útiles: findHomography() para obtener la matriz de homografía y perspectiveTransform() para transformar el punto de una perspectiva a la otra.</li>
		<li>Para utilizar findHomography(), ejecute con dos argumentos: las coordenadas X,Y de los puntos de origen (es decir, los marcadores fiduciarios detectados a partir del vídeo de escena de los participantes, que se muestran a la derecha en la Figura 3) y los puntos de destino correspondientes (es decir, los mismos marcadores fiduciarios detectados en la imagen de la escena, que se muestran a la izquierda en la Figura 3).</li>
		<li>Alimentar la matriz de homografía resultante en la función perspectiveTransform(), junto con un nuevo punto que debe asignarse desde la imagen de origen a la imagen de destino (por ejemplo, los datos de seguimiento ocular que se muestran como un punto azul/verde en el lado derecho de la Figura 3). La función perspectiveTransform devuelve la nueva coordenada del mismo punto en la imagen de escena (es decir, los puntos azules/verdes que se muestran en el lado izquierdo de la Figura 3). NOTA: Para obtener más información, la documentación oficial de OpenCV proporciona código de ejemplo y ejemplos para implementar la homografía: docs.opencv.org/master/d1/de0/tutorial_py_feature_homography.html.</li>
	</ol></li>
	<li>Sanidad comprobando la homografía<ol>
<li>Complete la sección 4.3 para toda la sesión y realice una homografía en cada fotograma del vídeo móvil de seguimiento ocular para comprobar la calidad de la homografía. Aunque no hay formas automatizadas de estimar la precisión de los datos de seguimiento ocular resultantes, se deben usar vídeos como el que se muestra en la Figura 4 para comprobar manualmente la cordura en cada sesión.</li>
		<li>Si la calidad es inferior a la esperada, considere parámetros adicionales para mejorar los resultados de la homografía:<ol>
<li>Número de marcadores fiduciarios detectados: Solo realice la homografía si se pueden detectar suficientes marcadores fiduciarios desde la secuencia de vídeo. Este número se puede determinar examinando el vídeo producido anteriormente.</li>
			<li>Ubicación de los marcadores fiduciarios: Si diferentes marcadores están en diferentes profundidades y orientaciones, la calidad de la homografía suele aumentar cuando se seleccionan los marcadores más cercanos a las coordenadas de la mirada, dado que hay suficientes marcadores para construir un tomografía.</li>
			<li>Orientación de los marcadores fiduciarios: La combinación de marcadores fiduciarios que tienen diferentes orientaciones (por ejemplo, horizontales y verticales) producirá homografías inexactas. Se recomienda detectar primero qué plano o áreas de interés (AOI) el participante está mirando (por ejemplo, la pantalla del ordenador, la hoja de trucos, la tabla, ver figura 3) y luego utilizar los marcadores fiduciarios en este plano para la homografía.</li>
			<li>Calidad de la secuencia de vídeo: los movimientos repentinos de la cabeza pueden desenfocar los fotogramas de vídeo y hacer que los datos sean inutilizables, ya que los marcadores fiduciarios no se pueden detectar de forma fiable(Figura 4). La metodología de este documento no es apropiada para experimentos que implican una gran cantidad de movimientos repentinos de la cabeza.</li>
		</ol>
</li>
	</ol></li>
</ol>5. Análisis de los datos de seguimiento ocular dual
<ol><li>Faltan datos<ol>
<li>Para asegurarse de que los datos se reasignaron correctamente a la imagen de referencia, genere gráficos de visualización (por ejemplo, Figura 5, Figura 6)y estadísticas descriptivas para comprobar cuántos datos faltan.</li>
	</ol>
</li>
	<li>Gráficos de recurrencia cruzada<ol>
<li>Utilice los gráficos de periodicidad cruzada9 para representar la sincronización visual entre dos participantes(figura 6), donde el eje X representa el tiempo para el primer participante y el eje Y representa el tiempo para el segundo participante. Los cuadrados negros indican que los participantes están mirando la misma área, una línea diagonal negra describe dos temas mirando la misma cosa exactamente al mismo tiempo, y los cuadrados negros fuera de la línea diagonal describen cuando dos temas mirando la misma cosa con un retraso de tiempo. Por último, la diferenciación entre los datos que faltan (cuadrado blanco) y los datos existentes sin JVA (cuadrados grises) ayuda a identificar sesiones problemáticas. Esto proporciona a los investigadores una comprobación de cordura visual.</li>
	</ol>
</li>
	<li>Computación JVA<ol>
<li>Después de filtrar los datos que faltan, calcule una métrica para JVA contando el número de veces que las miradas de los participantes están en el mismo radio en la escena (definida a continuación) en una ventana de tiempo de -2/+2 s. Divida este número por el número de puntos de datos válidos que se pueden utilizar para calcular JVA. El resultado de la división representa el porcentaje de tiempo que dos sujetos estaban mirando conjuntamente en el mismo lugar. Este último paso es necesario para evitar inflar las puntuaciones de los grupos con más datos después de la tomografía. NOTA: Es necesario establecer dos parámetros antes de que se pueda calcular JVA, la distancia mínima entre dos puntos de mirada y la ventana de tiempo entre ellos(Figura 7): 1) Ventana de tiempo: Un estudio fundacional temprano10 utilizó un solo rastreador de ojos para medir JVA entre un oyente y un altavoz. Los investigadores pidieron a un primer grupo de participantes ("altavoces") que hablaran sobre un programa de televisión cuyos personajes se mostraban frente a ellos. Un segundo conjunto de participantes ("listeners") vieron el mismo programa mientras escuchaban la grabación de audio de los altavoces. Los movimientos oculares de los altavoces y oyentes se compararon, y se encontró que los movimientos oculares de un oyente coincidían estrechamente con el movimiento de los ojos de un orador con un retraso de 2 s. En el trabajo posterior11 investigadores analizaron los diálogos en vivo y encontraron que un retraso de 3 s mejor capturado momentos de JVA. Debido a que cada tarea es única y puede exhibir diferentes retrasos de tiempo, también se sugiere explorar cómo los diferentes retrasos de tiempo afectan a los resultados de un experimento determinado. En general, es común buscar JVA en una ventana de tiempo de 2/3 s dependiendo de la tarea experimental y luego explorar cómo diferentes retrasos de tiempo podrían cambiar los resultados. 2) Distancia entre miradas: no hay una distancia definida empíricamente entre dos miradas para que cuenten como JVA. Esta distancia depende de las preguntas de investigación definidas por los investigadores. Las preguntas de investigación deben informar el tamaño de los objetivos de interés. En el ejemplo visto en la Figura 7, se eligió un radio de 100 píxeles en la imagen de la escena (círculos azules/verdes) para el análisis porque es suficiente para capturar cuando los participantes están mirando el robot en el laberinto, así como en elementos similares de la interfaz de usuario en la pantalla del ordenador, que son las dos áreas principales de interés para esta tarea experimental.</li>
	</ol>
</li>
</ol>

<ol><li>Tomasello, M. Joint attention as social cognition. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aTomasello%2C+M+%22Joint+attention%3A+Its+origins+and+role+in+development%22">Joint attention: Its origins and role in development</a>. Moore, C., Dunham, P. J. , Lawrence Erlbaum Associates, Inc. Hillsdale, NJ, England. 103-130 (1995).</li>
<li>Mundy, P., Sigman, M., Kasari, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+longitudinal+study+of+joint+attention+and+language+development+in+autistic+children%5BTitle%5D)+AND+%22Journal+of+Autism+and+Developmental+Disorders%22%5BJournal%5D)">A longitudinal study of joint attention and language development in autistic children.</a> Journal of Autism and Developmental Disorders. 20, 115-128 (1990).</li>
<li>Clark, H. H., Brennan, S. E. Grounding in communication. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aClark%2C+HH+%22Perspectives+on+socially+shared+cognition%22">Perspectives on socially shared cognition</a>. Resnick, L. B., Levine, J. M., Teasley, S. D. , American Psychological Association. Washington, DC, US. 127-149 (1991).</li>
<li>Siposova, B., Carpenter, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+new+look+at+joint+attention+and+common+knowledge%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">A new look at joint attention and common knowledge.</a> Cognition. 189, 260-274 (2019).</li>
<li>Gergle, D., Clark, A. T. See What I'm Saying?: Using Dyadic Mobile Eye Tracking to Study Collaborative Reference. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGergle%2C+D+%22Proceedings+of+the+ACM+2011+Conference+on+Computer+Supported+Cooperative+Work%22">Proceedings of the ACM 2011 Conference on Computer Supported Cooperative Work</a>. , ACM. New York, NY, USA. 435-444 (2011).</li>
<li>Renner, P., Pfeiffer, T., Wachsmuth, I. Spatial References with Gaze and Pointing in Shared Space of Humans and Robots. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aRenner%2C+P+%22Spatial+Cognition+IX%22">Spatial Cognition IX</a>. Freksa, C., Nebel, B., Hegarty, M., Barkowsky, T. , Springer International Publishing. 121-136 (2014).</li>
<li>Shvarts, A. Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+detection+of+gaze+convergence+in+multimodal+collaboration%3A+a+dual+eye-tracking+technology%5BTitle%5D)+AND+%22The+Russian+Journal+of+Cognitive+Science%22%5BJournal%5D)">Automatic detection of gaze convergence in multimodal collaboration: a dual eye-tracking technology.</a> The Russian Journal of Cognitive Science. 5, 4(2018).</li>
<li>Bonnard, Q., et al. Chilitags: Robust Fiducial Markers for Augmented Reality [software]. , Available from: 
 <a target="_blank" href="https://github.com/chili-epfl/qml-chilitags">https://github.com/chili-epfl/qml-chilitags</a> (2013).</li>
<li>Jermann, P., Mullins, D., Nüssli, M. -A., Dillenbourg, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Collaborative+Gaze+Footprints%3A+Correlates+of+Interaction+Quality.+Connecting+Computer-Supported+Collaborative+Learning+to+Policy+and+Practice%5BTitle%5D)+AND+%22CSCL2011+Conference+Proceedings.%2C+Volume+I+-+Long+Papers%22%5BJournal%5D)">Collaborative Gaze Footprints: Correlates of Interaction Quality. Connecting Computer-Supported Collaborative Learning to Policy and Practice.</a> CSCL2011 Conference Proceedings., Volume I - Long Papers. , 184-191 (2011).</li>
<li>Richardson, D. C., Dale, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Looking+To+Understand%3A+The+Coupling+Between+Speakers%27+and+Listeners%27+Eye+Movements+and+Its+Relationship+to+Discourse+Comprehension%5BTitle%5D)+AND+%22Trends+in+Cognitive+Sciences%22%5BJournal%5D)">Looking To Understand: The Coupling Between Speakers' and Listeners' Eye Movements and Its Relationship to Discourse Comprehension.</a> Trends in Cognitive Sciences. 29, 1045-1060 (2005).</li>
<li>Richardson, D. C., Dale, R., Kirkham, N. Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Art+of+Conversation+Is+Coordination+Common+Ground+and+the+Coupling+of+Eye+Movements+During+Dialogue%5BTitle%5D)+AND+%22Psychological+Science%22%5BJournal%5D)">The Art of Conversation Is Coordination Common Ground and the Coupling of Eye Movements During Dialogue.</a> Psychological Science. 18, 407-413 (2007).</li>
<li>Schneider, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+Mobile+Eye-Trackers+to+Unpack+the+Perceptual+Benefits+of+a+Tangible+User+Interface+for+Collaborative+Learning%5BTitle%5D)+AND+%22ACM+Transactions+on+Computer-Human+Interaction%22%5BJournal%5D)">Using Mobile Eye-Trackers to Unpack the Perceptual Benefits of a Tangible User Interface for Collaborative Learning.</a> ACM Transactions on Computer-Human Interaction. 23, 1-23 (2016).</li>
<li>Meier, A., Spada, H., Rummel, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+rating+scheme+for+assessing+the+quality+of+computer-supported+collaboration+processes%5BTitle%5D)+AND+%22Int.+J.+Comput.-Support.+Collab.+Learn%22%5BJournal%5D)">A rating scheme for assessing the quality of computer-supported collaboration processes.</a> Int. J. Comput.-Support. Collab. Learn. 2, 63-86 (2007).</li>
<li>Schneider, B., Pea, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+mutual+gaze+perception+enhances+collaborative+learning+and+collaboration+quality%5BTitle%5D)+AND+%22Journal+of+Computer-Supported+Collaborative+Learning%22%5BJournal%5D)">Real-time mutual gaze perception enhances collaborative learning and collaboration quality.</a> Journal of Computer-Supported Collaborative Learning. 8, 375-397 (2013).</li>
</ol>

Los autores declaran que no tienen intereses financieros en competencia.

La metodología descrita en este documento proporciona una manera rigurosa de capturar JVA en diques colocados. Con la aparición de tecnología de detección asequible y algoritmos de visión por computadora mejorados, ahora es posible estudiar interacciones colaborativas con una precisión que antes no estaba disponible. Esta metodología aprovecha los marcadores fiduciarios difundidos en el entorno y utiliza las homografías como una forma de reasignar las miradas de los participantes en un plano común. Esto permite a los inv...

JVA ha sido ampliamente estudiada durante el siglo pasado, especialmente por psicólogos del desarrollo que estudian la adquisición del lenguaje. Rápidamente se estableció que la atención conjunta es más que una forma de aprender palabras, sino más bien un precursor de las teorías infantiles de la mente1. Por lo tanto, desempeña un papel importante en muchos procesos sociales, como comunicarse con otros, colaborar y desarrollar empatía. Los niños autistas, por ejemplo, carecen de la capacidad de coordinar su atención visual con sus cuidadores, lo que se asocia con impedimentos sociales significativos2. Los seres humanos necesitan atención conjunta para convertirse en miembros funcionales de la sociedad, para coordinar sus acciones y para aprender de los demás. Desde los niños adquiriendo sus primeras palabras, adolescentes aprendiendo de maestros de escuela, estudiantes que colaboran en proyectos, y a grupos de adultos que trabajan hacia objetivos comunes, la atención conjunta es un mecanismo fundamental para establecer un terreno común entre las personas3. En este artículo, me enfoco en el estudio de JVA en la investigación educativa. Entender cómo se desarrolla la atención conjunta con el tiempo es de importancia primordial para el estudio de los procesos de aprendizaje colaborativo. Como tal, desempeña un papel predominante en entornos socioconstructivistas.
La definición exacta de atención conjunta se sigue debatiendo4. Este documento se refiere a una subconstrucción de atención conjunta (JA), a saber, JVA. JVA ocurre cuando dos sujetos están mirando el mismo lugar al mismo tiempo. Cabe señalar que la JVA no proporciona ninguna información sobre otras construcciones importantes de interés en el estudio de la JA, como el monitoreo de la atención común, mutua y compartida, o más en general, la conciencia de la cognición de otro miembro del grupo. Este documento opera y simplifica la JVA combinando los datos de seguimiento ocular de dos participantes y analizando la frecuencia en la que alinean sus miradas. Para una discusión más completa, el lector interesado puede aprender más sobre el estudio de la construcción de JA en Siposovaet al.4.
En la última década, los avances tecnológicos han transformado radicalmente la investigación sobre JVA. El principal cambio de paradigma fue utilizar múltiples rastreadores oculares para obtener medidas cuantitativas de alineaciones atencionales, en lugar de analizar cualitativamente las grabaciones de vídeo en un entorno de laboratorio o ecológico. Este desarrollo ha permitido a los investigadores recopilar información precisa y detallada sobre la coordinación visual de los diápsidos. Además, los rastreadores oculares son cada vez más asequibles: hasta hace poco, su uso estaba reservado a entornos académicos o grandes corporaciones. Ahora es posible comprar rastreadores oculares económicos que generan conjuntos de datos confiables. Por último, la inclusión progresiva de las capacidades de seguimiento de la mirada en los dispositivos existentes, como los portátiles de gama alta y los auriculares de realidad virtual y aumentada, sugiere que el seguimiento ocular pronto se volverá omnipresente.
Debido a la popularización de los dispositivos de seguimiento ocular, es importante entender lo que pueden y no pueden decirnos acerca de las interacciones sociales. La metodología presentada en este documento marca un primer paso en esta dirección. Abordo dos desafíos en la captura de JVA de múltiples rastreadores oculares: sincronizar los datos en 1) la escala temporal y 2) en la escala espacial. Más específicamente, este protocolo hace uso de marcadores fiduciarios colocados en entornos del mundo real para informar a los algoritmos de visión por ordenador donde los participantes están orientando su mirada. Este nuevo tipo de metodología allana el camino para un análisis riguroso del comportamiento humano en grupos pequeños.
Este protocolo de investigación cumple con las directrices del comité de ética de la investigación humana de la Universidad de Harvard.

<table><tbody><tr><td>Tobii Glasses 2</td><td>Tobii</td><td>N/A</td><td><a href="https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/" target="_blank">https://www.tobiipro.com/product-listing/tobii-pro-glasses-2/</a></td></tr><tr><td>Marcadores fiduciales</td><td>Chili lab &ndash; EPFL, Suiza</td><td>N/A</td><td><a href="https://github.com/chili-epfl/chilitags" target="_blank">https://github.com/chili-epfl/chilitags</a></td></tr></tbody></table>

una metodología para capturar la atención visual conjunta mediante rastreadores oculares móviles

A Methodology for Capturing Joint Visual Attention Using Mobile Eye-Trackers

Con la llegada de los nuevos avances tecnológicos, es posible estudiar las interacciones sociales a micronivel con una precisión sin precedentes. Los sensores de alta frecuencia, como los rastreadores oculares, las pulseras de actividad electrodérmica, las bandas EEG y los sensores de movimiento proporcionan observaciones a nivel de milisegundos. Este nivel de precisión permite a los investigadores recopilar grandes conjuntos de datos sobre las interacciones sociales. En este artículo, analizo cómo múltiples rastreadores oculares pueden capturar una construcción fundamental en las interacciones sociales, la atención visual conjunta (JVA). JVA ha sido estudiada por psicólogos del desarrollo para entender cómo los niños adquieren el lenguaje, aprender a los científicos para entender cómo los pequeños grupos de estudiantes trabajan juntos, y los científicos sociales para entender las interacciones en equipos pequeños. Este artículo describe una metodología para capturar JVA en entornos colocados utilizando rastreadores oculares móviles. Presenta algunos resultados empíricos y analiza las implicaciones de capturar microobservaciones para entender las interacciones sociales.

La metodología presentada anteriormente se utilizó para estudiar a los estudiantes que seguían un programa de formación profesional en logística (n.o 54)12. En este experimento, los pares de alumnos interactuaron con una interfaz de usuario tangible (TUI) que simulaba un almacén a pequeña escala. Los marcadores fiduciarios colocados en el TUI permitieron al equipo de investigación reasignar las miradas de los estudiantes en un plano común y calcular los niveles de JVA. Los hallazgos indicaron que ...

El uso de sensores multimodales es una forma prometedora de entender el papel de las interacciones sociales en entornos educativos. Este artículo describe una metodología para capturar la atención visual conjunta de los diques colocados utilizando rastreadores oculares móviles.

Una metodología para capturar la atención visual conjunta mediante rastreadores oculares móviles

With the advent of new technological advances, it is possible to study social interactions at a microlevel with unprecedented accuracy. High frequency ...

Hola, mi nombre es Bertrand Schneider y soy profesor asistente en la Harvard Graduate School of Education. En este video voy a mostrarte cómo podemos usar rastreadores oculares móviles para capturar una construcción central en la ciencia social, atención visual conjunta. La atención visual conjunta ha sido ampliamente estudiada por psicólogos y se ha encontrado que está estrechamente relacionada con la calidad de las interacciones entre los miembros del grupo.Resulta que cuando las personas construyen un terreno común y crean una comprensión compartida de una tarea, tienden a mirar con frecuencia el mismo lugar al mismo tiempo. Tradicionalmente, los investigadores han estudiado la atención visual conjunta cualitativamente mediante la codificación manual de vídeos. Voy a mostrarle cómo podemos utilizar rastreadores oculares móviles para obtener una medida cuantitativa de esta construcción en entornos ubicados conjuntamente.En este vídeo utilizaremos las gafas Tobii Pro Dos. Estas gafas son rastreadores oculares portátiles que pueden capturar el movimiento ocular en entornos del mundo real. Además de las cámaras especializadas en el marco para rastrear los movimientos oculares, el dispositivo también está equipado con una cámara de escena Full-HD y un micrófono, por lo que el comportamiento de la mirada se puede visualizar en el contexto del campo visual del usuario.Para estas gafas la mirada se captura 50 veces por segundo y una señal de vídeo en directo de las gafas se puede transmitir a un ordenador de forma inalámbrica o a través de un cable Ethernet. Sin embargo, las gafas tienen una limitación, ya que no funcionarán sobre las gafas normales. El procedimiento para configurar el rastreador ocular es relativamente sencillo.En primer lugar, se les pedirá a los participantes que se pongan los anteojos, ya que lo harían con un par normal de gafas. Basado en los rasgos faciales distintos de los participantes, las piezas nasales con diferentes alturas pueden necesitar ser utilizadas para preservar la calidad de los datos. Después de activar el rastreador ocular, los participantes deben recortar la unidad de recopilación de datos a sus personas para permitir movimientos corporales desenfrenados.El controlador Tobii Pro Glasses debe abrirse y se debe indicar a los participantes que miren el centro del marcador de calibración proporcionado por Tobii, mientras se habilita la función de calibración del software. Una vez completada la calibración, la grabación se puede iniciar desde el software. Una vez completada la sesión de grabación, termine la grabación desde el software Tobii antes de indicar al participante que retire las gafas de seguimiento ocular y la unidad de recopilación de datos.Y luego, apague la unidad. Los datos se pueden extraer a través de otro software, Tobii Pro Lab, retirando la tarjeta SD de la unidad de recopilación de datos e insertando la tarjeta en el ordenador. Tobii Pro Lab es capaz de importar todas las sesiones de grabación almacenadas en la tarjeta SD al mismo tiempo.Los archivos se pueden procesar dentro de Tobii Pro Lab para generar vídeos, diferentes visualizaciones o ser generados como valores separados por tabulaciones o archivos TSV para su posterior análisis. Aquí puede ver los datos de seguimiento ocular sin procesar de un estudio que realizamos recientemente, donde dos participantes estaban aprendiendo a programar un robot. A cada lado se puede ver la secuencia de vídeo generada por cada rastreador de ojos con la ubicación de la mirada del participante.Como puedes ver, es imposible saber si están mirando el mismo lugar al mismo tiempo, porque el punto de vista de cada participante es diferente. Además, la grabación de datos puede comenzar en diferentes momentos. Esto significa que los datos deben sincronizarse temporal y espacialmente.Voy a mostrarte cómo abordar estos dos problemas en este video. En primer lugar, voy a describir un procedimiento para sincronizar los datos temporalmente. Para el primer participante tiene un cierto número de fotogramas de vídeo.Algunos de ellos son antes o después de la tarea experimental real. Como el primer cuadro, donde el experimentador está calibrando el rastreador ocular. Del mismo modo, para los demás participantes tiene el mismo tipo de datos.No se muestra aquí, pero cada fotograma del vídeo también está asociado con una coordenada x e y que representa la mirada de cada participante. Para sincronizar los datos, mostramos brevemente un marcador fiduciario en la pantalla del ordenador antes y después de la tarea experimental. Mediante el uso de un algoritmo de visión por ordenador, podemos detectar cuándo se presenta este marcador a cada participante, lo que nos permite recortar y alinear los datos.Por lo tanto, esta es una manera de tratar con problemas de sincronización de datos. En las siguientes partes, vamos a ver el segundo problema: Cómo sincronizar los datos espacialmente. Como se mencionó anteriormente, los datos provienen de cada rastreador ocular en forma de una fuente de vídeo asociada con la ubicación de la mirada de cada participante, aquí en azul y verde.Mientras que las coordenadas x e y pueden ser las mismas para ambos participantes, no significa que estén mirando el mismo lugar porque están mirando la pantalla desde dos perspectivas diferentes. Una forma de resolver este problema es crear una imagen de la configuración experimental que servirá como referencia y dónde vamos a reasignar la ubicación del caso de cada participante. Esto nos permite detectar para cada fotograma del video de seguimiento ocular, si los participantes están mirando en el mismo lugar al mismo tiempo.Pero, ¿cómo reasignamos estas coordenadas en la imagen de la izquierda? Vamos a utilizar el mismo algoritmo de visión cooperativa que nos permitió sincronizar los datos antes. Al aplicarlo en cada fotograma de las grabaciones de vídeo, ahora podemos detectar la ubicación de los marcadores fiduciarios desde la perspectiva de los participantes.Esto nos permite conectar los mismos marcadores en la imagen de referencia a la izquierda. Conociendo las coordenadas de este conjunto compartido de puntos, podemos inferir la ubicación de la mirada de cada persona usando una operación matemática conocida como homografía. Al aplicar este procedimiento en cada fotograma, podemos generar un vídeo para asegurarnos de que la homografía funcionara.En el lado derecho se puede ver la grabación de vídeo de cada participante con la ubicación de su mirada en azul y verde. Los mismos marcadores fiduciarios están conectados con una línea blanca entre la imagen de la izquierda y el punto de vista del participante en el lado derecho. Las miradas reasignadas se muestran a la izquierda y se vuelven rojas cuando hay cierta atención visual conjunta.Generar este video es un paso importante para asegurarse de que los datos están limpios y que la homografía se realizó correctamente. Además, hay otras dos visualizaciones que se pueden producir para comprobar los datos de cordura. La primera visualización es un mapa de calor.Para cada participante podemos trazar cada punto de mirada en la imagen de la configuración experimental. Esto asegura que la homografía funcionó correctamente y nos permite categorizar estos puntos de caso en diferentes áreas de interés. Aquí, por ejemplo, podemos ver que la mayor parte del tiempo se pasó mirando la pantalla del ordenador y se pasó muy poco tiempo mirando las hojas de trucos.La segunda visualización se denomina gráfico de periodicidad cruzada. Los gráficos de recurrencia cruzada nos permiten visualizar datos de seguimiento ocular para un par de participantes. El tiempo para el primer participante se muestra en el eje X, el tiempo para el segundo participante se muestra en el eje Y.Los cuadrados negros significan que ambos participantes están mirando el mismo lugar, el cuadrado blanco representa los datos que faltan y el cuadrado gris representa cuando los participantes están mirando diferentes ubicaciones. Los cuadrados negros a lo largo de la diagonal significan que están mirando el mismo lugar al mismo tiempo. Los cuadrados negros fuera de la diagonal significan que los participantes están mirando en el mismo lugar pero en diferentes momentos.A la izquierda, se puede ver una diaad con altos niveles de atención visual de las articulaciones. En el medio, una diad con bajos niveles de atención visual articular. En el lado derecho, un grupo con una gran cantidad de datos que faltan.Al realizar estas comprobaciones de cordura, puede asegurarse de que ha sincronizado y reasignado correctamente los datos en una imagen común de la configuración experimental. Estos pasos son críticos y deben realizarse antes de que se realice cualquier análisis. Por último, hay dos parámetros que deben elegirse antes de calcular una medida de la atención visual conjunta.El primer parámetro es la ventana de tiempo en la que los participantes pueden mirar en la misma ubicación. Trabajos previos de Richardson y Dale habían establecido que los participantes pueden tardar hasta dos segundos en desvincularse de lo que están haciendo para prestar atención a lo que su pareja está haciendo. Por lo tanto, determinamos que hay atención visual conjunta si dos participantes han mirado el mismo lugar dentro de una ventana más y menos dos segundos.El segundo parámetro es la distancia mínima entre dos puntos de mirada para que califiquen como atención visual conjunta. Esta distancia depende del contexto y debe ser definida por los investigadores dependiendo de la tarea administrada y sus preguntas de investigación. Para algunas tareas, la distancia puede ser corta.Aquí, por ejemplo, usamos 100 píxeles. Para otras tareas, esta distancia puede ser mayor. A continuación, voy a presentar algunos resultados encontrados usando esta metodología.Después de obtener una estimación de la cantidad de atención visual conjunta en el grupo, puede correlacionar esta medida con otras variables de interés. Por ejemplo, en el trabajo hemos correlacionado esta medida con el esquema de calificación desarrollado en ciencias del aprendizaje que captura una calidad de colaboración de los grupos. Para cada grupo asignamos una puntuación en los nueves de dimensiones presentadas aquí.Por ejemplo, cuán bien las personas sostuvieron la comprensión mutua o la facilidad con la que llegaron a un consenso. Estas puntuaciones tienen que recibir una inter confiabilidad aceptable con otra cuota. Por último, también podemos agregar esas puntuaciones en una métrica general que se aproxima a la calidad de colaboración para cada grupo.Un resultado que se ha encontrado en nuestro trabajo, así como en otros estudios, es que la atención visual conjunta está significativamente correlacionada con la calidad de la colaboración, medida por el esquema de calificación presentado anteriormente. Los grupos que están altamente clasificados usando este esquema de codificación tienden a tener más atención visual conjunta que los grupos que recibieron puntuaciones bajas. Esto muestra que las interacciones productivas a menudo se asocian con una mayor atención visual de las articulaciones.En la siguiente diapositiva voy a mostrarles otro resultado que se basa en este hallazgo. Por lo tanto, una ventaja de tener datos finos de seguimiento ocular es que podemos extraer otras medidas de atención visual de las articulaciones. Por ejemplo, podemos calcular quién inició y respondió a una oferta de atención visual conjunta.En particular, en el eje X de este gráfico la puntuación de cero significa la distribución igual de estos comportamientos y una puntuación de uno significa que una persona siempre estaba respondiendo o iniciando momentos de atención visual de unión. En este estudio encontramos una correlación inversa con las ganancias de aprendizaje mostradas en el eje Y medida por pre y post-pruebas. Los grupos en los que la misma persona iniciaba o respondía constantemente a momentos de atención visual conjunta eran menos propensos a aprender y los grupos donde esta responsabilidad era igualmente compartida eran más propensos a puntuar más alto en las pruebas posteriores al controlar las puntuaciones en la prueba previa.En este video he presentado la metodología que ayuda a los investigadores a sincronizar datos móviles de seguimiento ocular tanto temporal como espacialmente. Los hallazgos sugieren que los datos de seguimiento ocular dual pueden proporcionar indicadores de colaboración mediante medidas informáticas de atención visual conjunta. Además, he presentado resultados que muestran que podemos ir más allá de simples medidas de atención conjunta, por ejemplo, mirando quién inició o respondió a un episodio de atención visual conjunta.Encontramos que esta medida estaba relacionada con otras medidas de resultados, como los beneficios de aprendizaje. Calcular este tipo de medida no sería posible sin datos de seguimiento ocular. En resumen, encontramos que la metodología presentada en este video puede ayudar a los investigadores a obtener nuevos conocimientos sobre los procesos colaborativos.Muchas gracias por ver este video y no dude en consultar el periódico para obtener más información.

a-methodology-for-capturing-joint-visual-attention-using-mobile-eye

Research

Investigación

JoVE Journal

Behavior

Comportamiento

Para replicar entornos de laboratorio, los métodos de recolección de datos en línea para tareas visuales requieren un control estricto sobre la presentación de estímulos. Describimos métodos para el uso de una aplicación web para recopilar datos de rendimiento en dos pruebas de atención visual.

Métodos para probar Visual Atención Online

Recientemente hemos propuesto un método que permite la presentación de estímulos visuales dicópticos y binocular ojo al mismo tiempo de seguimiento1. La clave es la combinación de un tracker de ojo infrarrojo y los espejos infrarrojos transparente correspondientes. Este manuscrito ofrece un detallado protocolo de configuración inicial y operación diaria.

Cómo construir un sistema de presentación de dicópticos que incluye un Eye Tracker

El presente artículo revisa una metodología de seguimiento de ojo para estudios sobre la comprensión del lenguaje. Para obtener datos confiables, se deben seguir pasos claves del protocolo. Entre ellos están el montaje correcto del perseguidor del ojo (por ejemplo, garantizar la buena calidad de las imágenes de la cara y cabeza) y calibración de precisión.

Eye Tracking durante la comprensión del lenguaje visual situado: Flexibilidad y las limitaciones de descubrir efectos de contexto Visual

El paradigma de mundo visual controla movimientos oculares de los participantes en el espacio de trabajo visual que están escuchando o hablando una lengua hablada. Este paradigma puede utilizarse para investigar el procesamiento en línea de una amplia gama de preguntas psicolingüísticas, incluyendo instrucciones semánticamente complejas, como disyuntiva.

Utilizar movimientos oculares registrados en el paradigma de mundo Visual para explorar el procesamiento en línea del lenguaje hablado

El objetivo del protocolo es detallar cómo recoger los datos de vídeo para su uso en el laboratorio; Cómo registrar los datos de seguimiento ocular de los participantes que analizan los datos y cómo analizar eficientemente el contenido de los videos que estaban buscando utilizando una técnica de aprendizaje automático.

Combinando los datos de seguimiento ocular con un análisis de contenido de vídeo de la visualización gratuita de un vídeo de un paseo en un entorno de parque urbano

Los niños pequeños no pasivamente observar el mundo, pero algo activamente explorar y relacionarse con su entorno. Este protocolo proporciona principios y recomendaciones prácticas para el uso de trackers ojo montado en la cabeza para bebés y niños pequeños entornos visuales dinámicos y atención visual en el contexto del comportamiento natural.

Contemplar en acción: montado en la cabeza Eye Tracking dinámico atención Visual de los niños durante la conducta naturalista

Este protocolo experimental combinado ojo de seguimiento y la evaluación de la sensibilidad visual presaccadic en un paradigma de doble tarea, que consiste en una tarea de sacada de libre elección y una tarea de discriminación visual, para investigar la implementación de la atención visual espacial antes de movimientos sacádicos, correcta y promedio.

Investigando la implementación de la atención Visual antes de Saccades precisas y un promedio por ojo de seguimiento y evaluación de la sensibilidad Visual

El seguimiento ocular es un método no invasivo para sondear el procesamiento de la información. Este artículo describe cómo se puede utilizar el seguimiento ocular para estudiar el comportamiento de la mirada durante una tarea de emergencia de simulación de vuelo en pilotos de tiempo bajo (es decir, &lt;350 horas de vuelo).

Seguimiento ocular durante una tarea compleja de aviación para obtener información sobre el procesamiento de la información

La metodología exploró las contribuciones visuales y vestibulares a la estabilización de la mirada durante las rotaciones optocinéticas y de todo el cuerpo. Las estimulaciones se llevaron a cabo a través de ensayos visuales, vestibulares y visuovestibulares. La ganancia de movimiento ocular torsional y las frecuencias de nistagmo sirvieron como indicadores para la transmisión subcortical de información de movimiento sensorial específica hacia la respuesta reflexiva del tronco encefálico para...

Uso del seguimiento ocular para evaluar la importancia relativa de la entrada visual y vestibular para el procesamiento del movimiento subcortical en el plano de balanceo

Se describen los protocolos para la formación de las ratas para registros electrofisiológicos crónicas en tareas cognitivas totalmente automatizados en una proyección del suelo Maze.

Tareas Cognitivas Visuales automatizadas para grabación Neural actividad utilizando una proyección del suelo Maze

Aprende a capturar la atención visual conjunta mediante rastreadores oculares móviles en contextos educativos. Este método permite medir cuantitativamente la interacción social y la calidad de la colaboración entre participantes.

Una metodología para capturar la atención visual conjunta mediante rastreadores oculares móviles

Explorar más videos