Mapeo tridimensional de la rotación de objetos virtuales interactivos con datos de seguimiento ocular

Summary

Hemos desarrollado un método simple, personalizable y eficiente para registrar datos procesuales cuantitativos de tareas espaciales interactivas y mapear estos datos de rotación con datos de seguimiento ocular.

Abstract

Presentamos un método para el registro en tiempo real de la interacción humana con objetos virtuales tridimensionales (3D). El enfoque consiste en asociar los datos de rotación del objeto manipulado con medidas de comportamiento, como el seguimiento ocular, para hacer mejores inferencias sobre los procesos cognitivos subyacentes.

La tarea consiste en mostrar dos modelos idénticos del mismo objeto 3D (una molécula), presentados en la pantalla de un ordenador: un objeto interactivo giratorio (iObj) y un objeto objetivo estático (tObj). Los participantes deben rotar iObj con el ratón hasta que consideren que su orientación es idéntica a la de tObj. La computadora rastrea todos los datos de interacción en tiempo real. Los datos de la mirada del participante también se registran mediante un rastreador ocular. La frecuencia de medición es de 10 Hz en el ordenador y de 60 Hz en el rastreador ocular.

Los datos de orientación de iObj con respecto a tObj se registran en cuaterniones de rotación. Los datos de mirada se sincronizan con la orientación de iObj y se referencian mediante este mismo sistema. Este método nos permite obtener las siguientes visualizaciones del proceso de interacción humana con iObj y tObj: (1) disparidad angular sincronizada con otros datos dependientes del tiempo; (2) Trayectoria de rotación en 3D dentro de lo que decidimos llamar una "bola de rotaciones"; (3) Mapa de calor de fijación 3D. En todos los pasos del protocolo se ha utilizado software libre, como GNU Octave y Jmol, y todos los scripts están disponibles como material complementario.

Con este enfoque, podemos realizar estudios cuantitativos detallados del proceso de resolución de tareas que involucran rotaciones mentales o físicas, en lugar de solo el resultado alcanzado. Es posible medir con precisión la importancia de cada parte de los modelos 3D para el participante en la resolución de tareas y, por lo tanto, relacionar los modelos con variables relevantes como las características de los objetos, las habilidades cognitivas de los individuos y las características de la interfaz hombre-máquina.

Introduction

La rotación mental (RM) es una capacidad cognitiva que permite a las personas manipular y rotar objetos mentalmente, lo que facilita una mejor comprensión de sus características y relaciones espaciales. Es una de las habilidades visoespaciales, un grupo cognitivo fundamental que se estudió ya en 1890¹. Las habilidades visoespaciales son un componente importante del repertorio cognitivo de un individuo que está influenciado tanto por factores hereditarios como ambientales 2,3,4,5. El interés en las habilidades visoespaciales ha crecido a lo largo del siglo XX debido a la creciente evidencia de su importancia en temas clave como la edad⁶ y el desarrollo⁷, el rendimiento en ciencia, tecnología, ingeniería y matemáticas (STEM)^8,9, la creatividad¹⁰ y los rasgos evolutivos¹¹.

La idea contemporánea de la RM deriva del trabajo pionero publicado por Shepard y Metzler (SM) en 1971¹². Idearon un método cronométrico utilizando una serie de tareas "iguales o diferentes", presentando dos proyecciones de objetos abstractos en 3D mostrados uno al lado del otro. Los participantes tenían que rotar mentalmente los objetos en algún eje y decidir si esas proyecciones representaban el mismo objeto girado de manera diferente u objetos distintos. El estudio reveló una correlación lineal positiva entre el tiempo de respuesta (RT) y la disparidad angular (AD) entre representaciones de un mismo objeto. Esta correlación se conoce como efecto de disparidad de ángulos (ADE). La ADE se considera una manifestación conductual de la IM y se hizo omnipresente en varios estudios posteriores influyentes en el campo 13,14,15,16,17,18,19,20,21,22,23,24,25. Los objetos 3D empleados en el estudio SM estaban compuestos por 10 cubos contiguos generados por el pionero de los gráficos por computadora Michael Noll en Bell Laboratories²⁶. Se les conoce como figuras de SM y se emplean ampliamente en los estudios de RM.

Dos avances fueron de gran importancia en el trabajo seminal de Shepard y Metzler; en primer lugar, considerando las contribuciones en el campo de las evaluaciones de RM. En 1978, Vanderberg y Kuze²⁷ desarrollaron una prueba psicométrica de lápiz y papel de 20 ítems basada en figuras SM "iguales o diferentes" que se conoció como la prueba de rotación mental (VKMRT). Cada ítem de la prueba presenta un estímulo objetivo. Los participantes deben seleccionar entre cuatro estímulos, cuáles representan el mismo objeto representado en el estímulo objetivo y cuáles no. VKMRT se ha utilizado para investigar la correlación entre la capacidad de RM y varios otros factores, como las diferencias relacionadas con el sexo 6,21,24,28,29,30, envejecimiento y desarrollo ^6,31,32, rendimiento académico^8,33, y habilidades en la música y los deportes³⁴. En 1995, Peters et al. publicaron un estudio con figuras redibujadas para el VKMRT^35,36. De manera similar, siguiendo el diseño de tarea "igual o diferente", se han empleado una variedad de otras bibliotecas de estímulos generados por computadora para investigar los procesos de RM y evaluar las habilidades de RM (versiones 3D de los estímulos SM originales 19,22,23,37,38, cuerpo humano imitando las figuras SM 25,39,40, polígonos planos para la rotación 2D⁴¹, ⁴², anatomía y órganos⁴³, formas orgánicas⁴⁴, moléculas^45,46, entre otros²¹). También es relevante el Test de Visualización Espacial de Purdue (PSVT) propuesto por Guay en 1976⁴⁷. Implica una batería de pruebas, incluida la RM (PSVT:R). Empleando estímulos diferentes a los de VKMRT, PSVT:R requiere que los participantes identifiquen una operación de rotación en un estímulo modelo y la apliquen mentalmente a uno diferente. PSVT:R también se utiliza ampliamente, especialmente en estudios que investigan el papel de la RM en el logro de STEM 48,49,50.

El segundo avance de gran importancia en el trabajo seminal de Shepard y Metzler comprende las contribuciones a la comprensión del proceso de RM, en particular, con el uso de dispositivos de seguimiento ocular. En 1976, Just y Carpenter¹⁴ utilizaron un equipo de seguimiento ocular basado en video analógico para realizar un estudio basado en el experimento ADE de Shepard y Metzler. A partir de sus resultados sobre los movimientos oculares sacádicos y los RT, propusieron un modelo de procesos de RM que consta de tres fases: 1) la fase de búsqueda, en la que se reconocen partes similares de las figuras; 2) la fase de transformación y comparación, en la que una de las partes identificadas se rota mentalmente; 3) la fase de confirmación, en la que se decide si las cifras son iguales o no. Las fases se repiten de forma recursiva hasta que se puede tomar una decisión. Cada paso corresponde a patrones específicos de movimiento ocular sacádico y de fijación en estrecha relación con los ADE observados. Por lo tanto, al correlacionar la actividad ocular con los datos cronométricos, Just y Carpenter proporcionaron una firma cognitiva para el estudio de los procesos de resonancia magnética. Hasta la fecha, este modelo, aunque con adaptaciones, ha sido adoptado en varios estudios 15,42,46,51,52,53.

Siguiendo esta pista, varios estudios posteriores monitorean el comportamiento 18,19,22,23,25,34,40,54,55 y la actividad cerebral 20,22,56,57 Se realizaron funciones durante la rotación de estímulos. Sus hallazgos apuntan a un papel cooperativo entre la RM y los procesos motores. Además, existe un creciente interés en investigar estrategias de resolución de problemas que involucren la RM en relación con las diferencias individuales 15,41,46,51,58.

En general, se puede considerar que el diseño de estudios destinados a comprender los procesos de RM se basa en la presentación de una tarea con estímulos visuales que solicita a los participantes la realización de una operación de RM que, a su vez, implica una reacción motora. Si esta reacción permite la rotación de los estímulos, a menudo se denomina rotación física (RP). Dependiendo de los objetivos específicos de cada estudio, se han empleado diferentes estrategias y dispositivos para la adquisición y análisis de datos de RM y RP. En el paso de presentación de estímulos de la tarea, es posible cambiar los tipos de estímulos (es decir, ejemplos citados anteriormente); la proyección (imágenes generadas por ordenador en pantallas tradicionales 22,23,25,29,40,41,59, así como en estereoscopios¹⁹ y entornos de realidad virtual ⁶⁰ y mixta⁴³); y la interactividad de los estímulos (imágenes estáticas 12,27,36, animaciones⁶¹ y objetos virtuales interactivos 19,22,23,43,53,59).

La RM suele inferirse a partir de las mediciones de las RT (ADE), así como de la actividad ocular y cerebral 25,46,62. La actividad ocular se mide mediante datos de seguimiento ocular que consisten en movimientos y fijaciones sacádicas 14,15,42,51,52,54,58,60, así como pupilometría 40. Los datos RT suelen surgir de los datos de respuesta del motor registrados durante el funcionamiento de diversos dispositivos, como las palancas¹³, los botones e interruptores^14,53, los pedales⁵³, los mandos giratorios¹⁹, los joysticks³⁷, el teclado⁶¹ y el ratón^29,58,60, las ruedas motrices⁵³, los sensores inerciales^22,23, las pantallas táctiles^52,59y micrófonos²². Para medir la RP, además de los RT, el diseño del estudio también incluirá el registro de rotaciones manuales de estímulos interactivos mientras los participantes realizan la tarea de RM 22,23,52,53.

En 1998, Wohlschläger y Wohlschläger¹⁹ utilizaron tareas "iguales o diferentes" con estímulos virtuales interactivos de SM manipulados con una perilla, con rotaciones limitadas a un eje por tarea. Midieron el RT y el registro acumulado de las rotaciones físicas realizadas durante las tareas. Al comparar situaciones con y sin rotación real de los estímulos interactivos, concluyeron que la RM y la RP comparten un proceso común tanto para las rotaciones imaginadas como para las realmente realizadas.

En 2014, se realizaron dos estudios que emplearon el mismo tipo de tareas con estímulos interactivos virtuales^22,23. Sin embargo, los objetos fueron manipulados con sensores inerciales que capturaban el movimiento en el espacio 3D. En ambos casos, además de los RT, se registraron las trayectorias de rotación, es decir, la evolución de las diferencias de rotación entre los estímulos de referencia y los interactivos durante las tareas. A partir de estas trayectorias, fue posible extraer tanto información acumulativa (es decir, el número total de rotaciones, en unidades cuaterniónicas) como información detallada sobre las estrategias de solución. Adams et ^al.23 estudiaron el efecto cooperativo entre la RM y la RP. Además de los RT, utilizaron la integral de las trayectorias de rotación como parámetro de precisión y objetividad de la resolución. Los perfiles de las curvas se interpretaron de acuerdo con un modelo de tres pasos⁶³ (planificación, rotación mayor, ajuste fino). Los resultados indican que la RM y la RP no tienen necesariamente un único factor común. Gardony et ^al.22 recolectaron datos sobre RT, precisión y rotación en tiempo real. Además de confirmar la relación entre RM y RP, el análisis de las trayectorias de rotación reveló que los participantes manipularon las cifras hasta que pudieron identificar si eran diferentes o no. Si eran iguales, los participantes los rotaban hasta que se vieran iguales.

Continuando con esta estrategia, en 2018, Wetzel y Bertel⁵² también utilizaron figuras SM interactivas en tareas "iguales o diferentes" utilizando tabletas con pantalla táctil como interfaz. Además, utilizaron un dispositivo de seguimiento ocular para obtener datos acumulativos sobre el tiempo de fijación y la amplitud sacádica como parámetros de la carga cognitiva implicada en la resolución de tareas de RM. Los autores confirmaron los estudios previos discutidos anteriormente con respecto a las relaciones entre RM y RP y los procesos de resolución de tareas. Sin embargo, en este estudio, no utilizaron el mapeo de fijación y los datos de movimientos sacádicos para los estímulos.

Se han propuesto y mejorado constantemente enfoques metodológicos para el mapeo de datos de seguimiento ocular sobre objetos virtuales en 3D, generalmente por investigadores interesados en estudiar los factores relacionados con la atención visual en entornos virtuales⁶⁴. A pesar de ser asequibles y utilizar dispositivos de seguimiento ocular similares, aparentemente, estos métodos no se han integrado de manera efectiva en el repertorio experimental empleado en los estudios de rotación mental con objetos 3D interactivos como los mencionados anteriormente. Por el contrario, no encontramos ningún estudio en la literatura que informara sobre el mapeo en tiempo real de los datos de fijación y movimiento sacádico en objetos 3D interactivos. No parece haber un método conveniente para integrar fácilmente los datos de actividad ocular con las trayectorias de rotación. En esta investigación, nuestro objetivo es contribuir a llenar este vacío. El procedimiento se presenta en detalle, desde la adquisición de datos hasta la generación de resultados gráficos.

En este artículo, describimos en detalle un método para estudiar los procesos de rotación mental con objetos virtuales interactivos en 3D. Se destacan los siguientes avances. En primer lugar, integra la recopilación de datos cuantitativos de datos motores conductuales (rotación de objetos impulsados a mano a través de una interfaz informática) y oculares (seguimiento ocular) durante sesiones de interacción con modelos virtuales 3D. En segundo lugar, solo requiere equipos informáticos convencionales y dispositivos de seguimiento ocular para el diseño de tareas visuales, la adquisición de datos, el registro y el procesamiento. En tercer lugar, genera fácilmente una salida gráfica para facilitar el análisis de datos: disparidad angular, rotación física, trayectorias de rotación cuaterniónica y mapeo de datos de seguimiento ocular sobre objetos virtuales 3D. Finalmente, el método solo requiere software libre. Todo el código y los scripts desarrollados están disponibles de forma gratuita (https://github.com/rodrigocnstest/rodrigocnstest.github.io).

Protocol

1. Preparación de herramientas de recopilación de datos

1. Configure la recopilación de datos en línea (opcional).
   NOTA: Este paso describe cómo configurar un clon personalizable del código del proyecto y la página web de trabajo (consulte Archivo Complementario 1). Este paso fue adaptado de los tutoriales disponibles en https://pages.github.com/ y https://github.com/jamiewilson/form-to-google-sheets. Si los usuarios solo están interesados en el método de procesamiento de datos y no en el registro de datos, pueden utilizar la página web https://rodrigocnstest.github.io/iRT_JoVE.html, junto conTabla complementaria S1 y los archivos del repositorio en https://github.com/rodrigocns/rodrigocns_JoVE/tree/main/Octave, y omita los pasos 1.1, 1.2 y sus subpasos.
   1. Inicie sesión en GitHub (https://github.com/).
   2. Cree un clon público del repositorio de páginas de GitHub original.
      1. Haga clic en Importar repositorio desde https://github.com mientras está conectado a la cuenta.
      2. En el campo URL de clonación del repositorio anterior , pegue la URL https://github.com/rodrigocns/rodrigocns_JoVE en el campo Nombre del repositorio , escriba username.github.io, donde username es el nombre de usuario utilizado en la cuenta, y asegúrese de que la opción Public esté habilitada. Luego, haga clic en el botón verde Comenzar importación.
         NOTA: El repositorio ahora contiene la mayoría de los archivos necesarios para el resto de esta configuración, y cualquier cambio realizado en el repositorio se actualizará en el sitio web después de un par de minutos. Por ejemplo, el usuario llamado rodrigocnstest accedería a su propia página en https://rodrigocnstest.github.io y a su repositorio de GitHub en https://github.com/rodrigocnstest/rodrigocnstest.github.io.
   3. Configure una hoja de cálculo en la nube para almacenar los datos del experimento en línea.
      1. Regístrate o inicia sesión en una cuenta de Google.
      2. Una vez que haya iniciado sesión en la cuenta, vaya al archivo limpio de hojas de cálculo de iRT disponible en https://docs.google.com/spreadsheets/d/1imsVR7Avn69jSRV8wZYfsPkxvhSPZ73X_9
         Ops1wZrXI/edit?usp=compartiendo.
      3. Dentro de esta hoja de cálculo, haga clic en Archivo | Haz una copia. Aparecerá una pequeña ventana de confirmación.
      4. Dentro de la pequeña ventana, asigne un nombre al archivo y haga clic en el botón Hacer una copia .
   4. Configura una secuencia de comandos de Google Apps para automatizar el almacenamiento de datos dentro de la hoja de cálculo que has creado.
      1. Mientras está dentro del archivo de la hoja de cálculo, haga clic en la opción Extensión | Script de aplicaciones.
         NOTA: Este script debe crearse o accederse desde dentro de la hoja de cálculo para que esté asociado a ella. Es posible que intentar crear un script externamente no funcione.
      2. Haga clic en el botón Ejecutar para ejecutar el script por primera vez.
      3. Haga clic en el botón Revisar permisos . Aparecerá una nueva ventana. Haga clic en la misma cuenta que utilizó al crear la hoja de cálculo.
         NOTA: Si es la primera vez que realiza este paso, es posible que aparezca una alerta de seguridad que advierte al usuario sobre la aplicación que solicita acceso a la información de la cuenta. Es seguro ya que la aplicación intenta acceder al contenido de la hoja de cálculo y pide permiso para llenarla de datos. Si no aparece ninguna advertencia, se puede omitir el paso 1.1.4.4.
      4. Haga clic en Avanzado | Ir a De iRT a hojas de cálculo (no seguro) | Botón Permitir .
         NOTA: Después de la ejecución, debe aparecer un aviso que indique que la ejecución se completó dentro del registro de ejecución.
      5. En el panel deslizante izquierdo, haga clic en el botón Activadores (el cuarto icono de arriba a abajo) | + Botón Agregar disparador .
      6. En Elegir la función que se va a ejecutar, elija doPost; en Seleccionar origen de eventos, seleccione De hoja de cálculo; en Select event type (Seleccionar tipo de evento), elija On form submit (Al enviar el formulario). A continuación, haga clic en Guardar. Si aparecen ventanas emergentes de permisos, siga los pasos 1.1.4.3-1.1.4.4. Si el navegador termina bloqueando la ventana emergente, desbloquéela.
      7. Haga clic en el botón desplegable Implementar | Nueva implementación.
      8. Pase el ratón por encima del icono de engranaje y asegúrese de que la opción Aplicación web esté seleccionada.
      9. Escriba una descripción en el campo Nueva descripción , como Implementación 1; en el campo Quién tiene acceso , seleccione Cualquiera y, a continuación, haga clic en el botón Implementar .
         NOTA: El propósito del campo Nueva descripción es organizar las implementaciones de scripts. Se puede nombrar como desee el lector, como Primera implementación. El campo Ejecutar como ya debería aparecer como Yo(correo electrónico), donde correo electrónico es el correo electrónico utilizado hasta ahora.
      10. Dentro de la nueva ventana emergente, copie la dirección URL de la aplicación web de la implementación del script.
          NOTA: Si por alguna razón termina perdiendo la URL de la aplicación web copiada, recupérela haciendo clic en el menú desplegable Implementar | Administrar implementaciones. La dirección URL de la aplicación web debe estar allí.
      11. Vaya a la página en https://github.com/rodrigocnstest/rodrigocnstest.github.io/edit/main/javascript/scripts.js donde rodrigocnstest es el nombre de usuario utilizado en GitHub. Reemplace la dirección URL existente en la línea 5 por la dirección URL de la aplicación web copiada en el paso 1.1.4.10 y haga clic en el botón verde Confirmar cambios....
          NOTA: El valor de la URL copiada debe permanecer entre comillas simples o dobles " "'". Compruebe que la URL copiada es la correcta de la aplicación web.
      12. Finalmente, haga clic en el botón de confirmación Confirmar cambios en el centro de la pantalla.
   5. Asegúrese de que el proceso se haya completado correctamente y de que la página funcione.
      1. Vaya al repositorio en https://github.com/username/username.github.io/, donde username es el nombre de usuario utilizado en GitHub, y verifique si la implementación se ha actualizado después de los cambios realizados en el paso 1.4.14.
      2. Vaya a la página web en https://username.github.io/iRT_JoVE, cambie el nombre de usuario por el nombre de usuario utilizado en GitHub y, a continuación, haga clic en Siguiente.
      3. Haga clic en Ir, realice cualquier interacción haciendo clic y arrastrando el objeto de la derecha con el ratón, luego haga clic en el botón ¡LISTO!
      4. Vuelva al archivo de hoja de cálculo configurado en los pasos 1.1.3 y 1.1.4 y verifique la presencia de una nueva línea de datos agregada para cada vez que se presionó el botón LISTO .
2. Configurar la adquisición de datos sin conexión (opcional).
   NOTA: El método diseñado para ejecutar y adquirir los datos de la tarea de rotación interactiva (iRT) está en línea a través de los servicios en la nube configurados en los pasos descritos anteriormente. Si lo desea (dado que la conexión a Internet puede ser un problema o tener una forma alternativa de ejecutarla), también es posible ejecutar la prueba localmente con o sin conexión a Internet en el lugar donde se ejecutará la prueba. Los siguientes pasos son una alternativa opcional y describen cómo lograrlo. De lo contrario, vaya al paso 1.3.
   1. Accede al repositorio de GitHub en el enlace: https://github.com/rodrigocnstest/rodrigocnstest.github.io. Haga clic en el botón verde < > Código | Descargue ZIP y, a continuación, descomprima los archivos descargados.
      NOTA: Los cambios realizados en los archivos almacenados localmente no cambiarán los archivos en el repositorio y viceversa. Los cambios previstos para ambas versiones deben aplicarse a ambas ubicaciones, ya sea copiando manualmente los archivos actualizados o mediante el uso de git/GitHub desktop.
   2. Obtenga la última versión de Mozilla Firefox a través del enlace: https://www.mozilla.org/en-US/firefox/new/.
   3. Abra el navegador Mozilla Firefox, escriba "about:config" en la ranura de URL, introduzca "security.fileuri.strict_origin_policy" en el campo de búsqueda y cambie su valor a false. NOTA: Ahora, Mozilla Firefox en el sistema operativo Windows debería poder acceder localmente a los archivos de la página web descargada en su computadora. Se pueden configurar otros navegadores y sistemas operativos para que funcionen localmente, cada uno con su configuración descrita en el enlace http://wiki.jmol.org/index.php/Troubleshooting/Local_Files.
3. Configure la herramienta de procesamiento de datos.
   1. Descargue e instale la última versión de GNU Octave en https://octave.org/download.
4. Configure el dispositivo de seguimiento ocular.
   1. Asegúrese de que el software del sistema de grabación esté instalado en la computadora portátil.
   2. Asegúrese de que la sala de investigación esté limpia y bien organizada para evitar distracciones.
   3. Utilice iluminación artificial en la habitación para mantener una iluminación constante durante todo el día.
   4. Instale la computadora sobre una mesa y asegúrese de que el participante pueda mover el mouse cómodamente.
   5. Proporcionar una silla cómoda para el participante, preferiblemente una silla fija, para minimizar el movimiento durante la prueba.
   6. Conecte un cable USB para alimentar la iluminación infrarroja y otro cable USB entre la computadora portátil / computadora y el rastreador ocular para la cámara.
   7. Coloque el rastreador ocular debajo de la pantalla.

2. Recopilación de datos

1. Inicialice el software de recopilación de datos.
   1. Ejecute el software de seguimiento ocular en la computadora para recibir datos del rastreador ocular.
   2. Seleccione la opción Captura de pantalla en la ventana principal del software para capturar la mirada durante el experimento (también es posible utilizar este software para la visualización de mapas de calor y los datos de exportación sin procesar).
   3. Haga clic en Nuevo proyecto para crear un nuevo proyecto y una carpeta de proyecto donde se deben guardar los datos.
   4. Abra la página de prueba en https://rodrigocnstest.github.io/iRT_JoVE.html si utiliza la que se ofrece como ejemplo o la página creada en el paso 1.1. Alternativamente, abra el archivo iRT_JoVE.html localmente desde el navegador configurado previamente en el paso 1.2.
   5. Si es necesario, rellene los campos de nombre y correo electrónico para ayudar con la identificación de los datos, y marque la casilla para descargar una copia de seguridad de los datos producidos.
      NOTA: Si utiliza el método fuera de línea (paso 1.2), es aconsejable descargar las copias de seguridad.
   6. Intente ejecutar el experimento una vez para asegurarse de que el explorador cargará los elementos correctamente y de que no habrá problemas con las tareas presentadas o la adquisición de datos.
2. Ejecute el experimento.
   1. Explique al participante el propósito del experimento, la tecnología utilizada y los criterios de inclusión/exclusión. Asegúrese de que el participante haya entendido todo. Pida al participante que rellene el formulario de consentimiento.
   2. Pida al participante que se siente frente al sistema de seguimiento ocular y se ponga lo más cómodo posible.
   3. Mueva la silla para asegurar una distancia óptima entre el participante y la cámara (la longitud ideal es de 65 cm desde el rastreador ocular hasta los ojos del participante).
   4. Pida al participante que permanezca lo más quieto posible durante el experimento. Ajuste la altura de la cámara para capturar correctamente las pupilas del participante (algunos programas resaltan la pupila para mostrar el reflejo de la córnea).
   5. Haga clic en Habilitar ganancia automática para optimizar el seguimiento de las pupilas cambiando la ganancia de la cámara hasta que se encuentren las pupilas (algunos programas no tienen esta opción).
   6. Pida al participante que mire una serie de puntos en la pantalla y siga el movimiento del punto sin mover la cabeza.
   7. Haga clic en Calibrar para iniciar la calibración (se asegurará de que el rastreador ocular pueda rastrear dónde está mirando el participante en la pantalla).
      NOTA: La pantalla se quedará en blanco y un marcador de calibración (punto) se moverá a través de cinco posiciones en la pantalla.
   8. Después de la calibración, se dibujará una estimación visual del punto de mira en la pantalla para verificar la precisión de la calibración. Pida al participante que mire a un punto específico de la pantalla para ver si la mirada se mostrará correctamente.
   9. Si la calibración no es satisfactoria, ajuste la cámara y vuelva a intentar la calibración hasta que el sistema realice un seguimiento adecuado de la mirada.
   10. Haga clic en el botón Recopilar datos en el lado derecho del software de seguimiento ocular (menú principal) para activar el modo de recopilación de datos. La visualización en tiempo real de la pantalla capturada se presentará con los datos de mirada que se muestran en la ventana de visualización principal.
   11. Haga clic en el botón Mirar video en el menú principal para mostrar la cara del usuario capturada por el rastreador ocular. A continuación, haz clic en Iniciar registro para comenzar el experimento.
       NOTA: Durante el experimento, la pupila del participante se resalta y su ojo se muestra como un punto que se mueve a través de la pantalla de la computadora portátil. Asegúrese de que el rastreador ocular rastree la pupila y el ojo a través de la pantalla.
   12. Si el punto desaparece o parpadea con frecuencia, detenga el experimento e intente calibrar de nuevo.
   13. Abra la ventana de iRT abierta anteriormente y dígale al participante que haga clic en Siguiente.
   14. Dé las siguientes instrucciones al participante: "En esta sección, realizará tres tareas de rotación. Al hacer clic en el botón GO! , aparecerán dos objetos en lados opuestos de la pantalla. Tu objetivo es rotar el objeto de la derecha hasta que coincida lo más posible con el objeto de la izquierda. Para rotar el objeto, haga clic y arrastre el ratón sobre él. Cuando termines cada una de las tres tareas, haz clic en el botón ¡LISTO! botón para concluir".
       NOTA: Para cada tarea, es posible que se pierdan los datos de iRT más allá de la marca de 5 minutos (327^segundos exactamente). A medida que desarrollemos más el método, este límite debería ampliarse.
   15. Al final del experimento, asegúrese de que el rastreador ocular esté apagado del cable de extensión y vuelva a colocar la tapa de la lente en la cámara.
3. Extraiga los datos.
   1. Una vez que se haya completado la recopilación de datos del rastreador ocular, haga clic en Analizar datos para acceder a los datos recopilados.
   2. Exporta un fichero .csv con todos los datos registrados para el usuario.
      NOTA: La primera columna de datos del rastreador ocular debe ser la época UNIX de los datos, ya que esta es la única manera de hacer que los diferentes conjuntos de datos coincidan correctamente a tiempo. Si el archivo no contiene uno, debe ser convertido de cualquier otro estándar de tiempo utilizado. El archivo puede estar en formato ".csv" o ".xlsx".
   3. Si utiliza la versión en línea de la página de tareas de rotación interactiva (paso 1.1), abra el archivo de Hojas de cálculo de Google utilizado para recibir los datos en línea (creado en el paso 1.1.3) y descárguelo haciendo clic en Archivo | Descargar | Microsoft Excel (.xlsx).
      NOTA: Estos datos están empaquetados para facilitar la transferencia de datos (cada tarea corresponde a una línea llena de datos). Para procesar los datos que contienen, primero se debe "desempaquetar" cada línea de datos empaquetados.

3. Procesamiento y análisis de datos

1. Desempaquetar, fusionar y procesar los datos.
   NOTA: Los siguientes pasos describen cómo procesar los datos utilizando los scripts proporcionados (consulte el Archivo complementario 2). Los scripts GNU Octave solicitarán al usuario entradas sobre sus archivos. Si las entradas se envían en blanco, se utilizarán los valores predeterminados, que hacen referencia a los datos de muestra proporcionados si ningún dato de usuario los ha sobrescrito. Una vez que el script termina de ejecutarse, se puede cerrar.
   1. Descargue y descomprima el repositorio que se está utilizando (el propio del usuario o el original en https://github.com/rodrigocns/rodrigocns_JoVE) si aún no se ha descargado.
   2. Asegúrese de que los scripts 1.unpacking_sheets.m, 2.data_merge_and_process.m, 3.3D rotateal trajectory.m y los modelos de carpeta estén dentro del repositorio descargado en la carpeta Octave, y mueva los archivos de datos descargados de los pasos 2.3.2 y 2.3.3 a esta misma carpeta donde se encuentran los scripts de octava.
      NOTA: Es posible que se sobrescriban todos los archivos existentes que ya estén en la carpeta con los mismos nombres que los archivos recién escritos. Cambie el nombre o mueva los archivos a otra carpeta según corresponda.
   3. Abra el script 1.unpacking_sheets.m con el GNU Octave Launcher. En la pestaña Editor , ejecute el script haciendo clic en el botón verde Guardar archivo y ejecutar , para desempaquetar los datos a una estructura más legible.
      NOTA: Si alguno de los archivos de datos solicitados está abierto localmente, recuerde cerrarlos antes de ejecutar el script. Todos los archivos de script .m se ejecutaron utilizando el GNU Octave Launcher.
   4. Aparecerán dos indicaciones, una tras otra. Introduzca el nombre del archivo descargado dentro del primer mensaje y el nombre del archivo sin empaquetar dentro del segundo campo. Como alternativa, deje ambos campos de solicitud en blanco para usar los nombres predeterminados destinados a los archivos de muestra incluidos. Espere unos minutos (dependiendo del volumen de datos) a que aparezca una ventana emergente que informe al usuario de que el proceso se ha completado y que se ha escrito el nuevo archivo.
   5. Abra y ejecute el script 2.data_merge_and_process.m para fusionar los datos de eye tracker e iRT.
      NOTA: Aunque este script es complejo y abarca cientos de líneas de código, se divide en tres secciones principales: configuración, funciones y scripts. Todos ellos son comentados y explicados minuciosamente, facilitando futuras modificaciones, en caso de ser necesario.
   6. Aparecerán cuatro indicaciones. Introduzca el valor de sessionID, el valor de taskID (ambos de la tabla de datos de iRT), el nombre del archivo de datos de iRT sin empaquetar (escrito en el paso 3.1.5) y el nombre del archivo de datos del seguimiento ocular (exportado en el paso 2.3.2) o déjelos todos en blanco para utilizar los valores predeterminados.
      NOTA: Después de unos minutos, una ventana emergente de ayuda indicará que el script completó el cálculo y los nombres de los archivos utilizados y creados. Durante el proceso de script, aparecerán tres gráficos de muestra de disparidad angular: un gráfico simple, un gráfico con datos de mirada coloreada y un gráfico con datos de diámetro de pupila. Los dos archivos creados son la combinación de salida X Y.xlsx y la consola jmol de salida X Y.xlsx, donde X es el valor de sessionID e Y es el valor de taskID , ambos escritos al principio del paso 3.1.6.
2. Renderice imágenes de trayectoria de rotación en 3D.
   1. Abra y ejecute el script 3.3D rotación trayectoria.m.
   2. Aparecerán tres mensajes. Introduzca el valor sessionID, el valor taskID y el nombre del archivo de datos iRT sin empaquetar, o déjelos en blanco para utilizar los valores predeterminados.
      NOTA: Aparecerá un gráfico en 3D. El gráfico representado es la trayectoria de rotación 3D de la sesión y tarea especificadas.
3. Vuelve a reproducir las animaciones.
   1. Para reproducir la interacción de la tarea del participante, primero, vaya a la página web de la tarea interactiva, inicie la prueba (que muestra ambos modelos 3D), mueva el puntero del mouse en la esquina superior derecha de la pantalla hasta que el icono del mouse cambie a texto, como se muestra en el Archivo complementario 2 y, a continuación, haga clic en el texto de depuración invisible, habilitando el modo de depuración.
   2. De los botones que aparecen entre los modelos, haga clic en el botón timerStop para interrumpir la tarea y haga clic en el botón de la consola para abrir la consola JSmol del modelo a la derecha. Si la tarea de la interacción de interés no fue la primera, haga clic en los botones numerados dentro del área de depuración superior para cambiar la tarea que se muestra en la pantalla.
      NOTA: JSmol es el software de modelado molecular utilizado en la página web.
   3. Abra el console.xlsx de salida del archivo jmol y copie la página completa de comandos Jmol.
      NOTA: Cada página contiene comandos para una escena o animación diferente.
   4. Dentro de la consola de JSmol, pegue la lista de comandos copiados y haga clic en el botón Ejecutar o presione Enter en el teclado para ejecutarlo.
   5. Si lo desea, genere una animación .gif. Escriba el comando capture "filename" SCRIPT "output" dentro de la consola de JSmol, donde filename es el nombre del archivo .gif que se va a crear y output es la lista completa de comandos copiados en el paso 3.3.3, manteniendo ambos dentro de las comillas dobles.
      NOTA: Cuanto más complejos se vuelvan los comandos, con modelos más grandes o más cambios en el tiempo, y cuanto menos potentes sean las especificaciones de la computadora utilizada, más lenta será la animación. Jmol se centra en la visualización de compuestos químicos y reacciones, y el tipo de animaciones producidas con nuestra investigación supera los límites de las capacidades de renderizado de Jmol. Estos puntos deben tenerse en cuenta y tenerse en cuenta al realizar cualquier medición cuantitativa con esta animación.

4. Personalización de tareas

NOTA: Toda esta sección es opcional y solo se recomienda para aquellos a quienes les gusta experimentar o comprender cómo codificar. A continuación, encontrará algunas de las muchas opciones personalizables disponibles, y habrá más opciones disponibles a medida que desarrollemos más los métodos.

1. Configurar tareas nuevas o existentes.
   1. Defina cuántas tareas interactivas realizará el participante y asigne un nombre a cada una de ellas en el archivo object_configs.js dentro de la matriz task_list reemplazar los nombres de los elementos existentes o agregar más. Asegúrese de que cada nombre sea único, ya que se utilizan posteriormente como identificadores.
   2. Elija archivos de coordenadas 3D compatibles con JSmol para realizar las tareas interactivas (http://wiki.jmol.org/index.php/File_formats). Copie estos archivos en la carpeta de modelos.
      NOTA: Los scripts incluidos en este artículo están optimizados para modelos asimétricos que utilizan el formato de archivo .xyz. Al elegir archivos de coordenadas, evite las simetrías de rotación, ya que tienen soluciones ambiguas⁶⁵.
   3. Defina la configuración de representación para objetos 3D dentro de la función prepMolecule(num).
      NOTA: Todos los cambios de una tarea a la siguiente realizados por JSmol van aquí: cambiar el patrón de color, cambiar el tamaño o la forma en que se representan los elementos gráficos, orientación, traslación, ocultar partes del objeto, cargar nuevos modelos 3D, etc. (para más ejemplos, ver https://chemapps.stolaf.edu/jmol/docs/examples/bonds.htm). Cada tarea nombrada en task_list corresponde a un caso. Cada comando para que JSmol se ejecute sigue la estructura: Jmol.script( jsmol_obj , " jsmol_command1; jsmol_command2 "); donde jsmol_obj se refiere al objeto que se cambia (jsmol_ref y jsmol_obj son los valores predeterminados para los objetos objetivo e interactivos) seguido de uno o más comandos separados por un ";".
2. Crear nuevos modelos.
   1. Utilice cualquier modelo .xyz descargado en línea o creado por editores moleculares como Avogadro (https://avogadro.cc/).

Results

Evolución de la disparidad angular y otras variables
Como se muestra en el paso 3.3.1 del Archivo Suplementario 2, se presentan dos lienzos al participante en la pantalla del monitor de vídeo, mostrando copias del mismo objeto virtual 3D en diferentes orientaciones. En el lienzo izquierdo, el objeto de destino (tObj) permanece estático y sirve como posición de destino o posición de tObj. En el lienzo de la derecha, el objeto interactivo (iObj) se muestra en una posición diferente y permite al participante moverlo a lo largo del tiempo alrededor de un centro de rotación fijo con un ratón (solo rotaciones; las traducciones están desactivadas). La tarea en cuestión consiste en ajustar el iObj para que coincida estrechamente con el tObj en función del juicio del participante. Los tres objetos 3D utilizados se pueden ver en la Figura 1. El proceso de resolución, aunque complejo, puede registrarse meticulosamente para su posterior análisis. Esta grabación va más allá de un mero metraje de vídeo, ya que cada posición a lo largo del tiempo se captura a intervalos fijos de 0,1 s como un cuaternión, formando una serie temporal que permite una reconstrucción completa de todo el proceso. En cualquier posición, existe una rotación única alrededor de un eje específico, que va desde 0° hasta 180°, que transforma directamente la posición tObj en la posición iObj. Si bien esta rotación es abstracta y no está relacionada con el PR del participante durante la tarea, indica con precisión la posición precisa de iObj en relación con tObj. AD es el ángulo de esta rotación y se puede calcular a partir del cuaternión respectivo. A medida que la posición iObj se acerca a la posición tObj, este valor se aproxima a cero.

Después del paso 3.1.6 de la sección Procesamiento y análisis de datos, se crearon dos archivos: la combinación de salida X Y.xlsx y la consola jmol de salida X Y.xlsx, donde X es el valor de sessionID e Y es el valor de taskID . Si utiliza los valores predeterminados dejando los campos de entrada en blanco, los archivos deben denominarse 1682707472090 bolaBastao_c.xlsx de combinación de salida y 1682707472090 bolaBastao_c.xlsx de consola jmol de salida. Los archivos de combinación X Y.xlsx de salida contienen los datos del seguimiento ocular seleccionados combinados con los datos iRT, alineados por el tiempo de época UNIX, similar a la Figura 2A si todo procedió correctamente, o a la Figura 2B si ocurrió algún problema.

Los archivos de salida de la consola jmol X Y.xlsx contienen hasta cinco pestañas llenas de comandos de la consola Jmol que, cuando se pegan en la consola Jmol, reproducirán los movimientos del participante al resolver la tarea: rotation replay reproduce las rotaciones iObj realizadas por el participante; gaze replay int reproduce las rotaciones de iObj con un mapa de calor de fijación adicional en el objeto en el tiempo mediante el uso de una escala de transparencia/opaca; gaze replay tgt muestra solo el mapa de calor de fijación 3D de tObj durante la tarea; gaze frame int y gaze frame tgt muestran el mapeo de fijación general de todo el proceso tanto para iObj como para tObj. Todos ellos se ilustran en la Figura 3A-F. Jmol y JSmol son esencialmente idénticos, siendo Jmol el complemento basado en el lenguaje de programación Java y JSmol en el lenguaje de programación JavaScript, ambos con las mismas funcionalidades y se utilizan indistintamente.

La Figura 4 ilustra la evolución de la disparidad angular en función del tiempo para seis escenarios diferentes que involucran a dos participantes y tres objetos. La duración del proceso puede variar significativamente en función del rendimiento del participante con el objeto de tarea interactivo. En cualquier tarea completada correctamente por el participante, AD tiende a cero al final. Si el mismo gráfico no muestra este comportamiento, el participante no pudo completar la tarea porque se dio por vencido o alcanzó el límite de tiempo por tarea (aproximadamente 5 min), o se produjo un error en el procesamiento de datos.

En la Figura 5 se muestran los resultados combinados de los registros de RP de iObj y los datos obtenidos de las mediciones de seguimiento ocular. La variación en la disparidad angular entre el objetivo y los objetos inerciales en función del tiempo indica tres etapas distintas en el proceso de resolución de la tarea asignada: observación inicial de los modelos; rotación balística del modelo interactivo; Ajuste fino de la rotación del modelo interactivo. La figura 5A muestra la alternancia de miradas entre los modelos en la fase inicial y, más concretamente, en la fase de puesta a punto. La figura 5B muestra que la pupila permanece más dilatada en las fases inicial y de ajuste fino. En la fase de ajuste, el largo período de fijación en el modelo interactivo (40-47 s en la Figura 5A) corresponde a una meseta en el diámetro de la pupila (40-47 s, Figura 5B).

Estos resultados sugieren que los datos obtenidos con el método aquí propuesto son consistentes con el modelo de resolución de problemas de rotación mental propuesto a partir de los datos de fijación de la mirada para los modelos estáticos^14,66 y para los modelos interactivos²³. Un modelo de este tipo abarcaría tres etapas: búsqueda, transformación y comparación, y confirmación de la coincidencia o discrepancia entre los modelos. Además, la alternancia de fijaciones entre los modelos objetivo e interactivo en las etapas de comparación observadas en la Figura 5A es consistente con los resultados obtenidos en las pruebas tipo Sheppard y Metzler que utilizan imágenes estáticas^42,66. Sin embargo, en el caso de los modelos interactivos, es probable que estas etapas de búsqueda, transformación, comparación y confirmación ocurran sucesivamente a través de la interacción y el reposicionamiento del modelo interactivo.

Trayectorias de rotación 3D
Cada rotación en un espacio 3D de 0° a 180° se puede trasladar a un punto dentro de una bola (que se entiende como el volumen dentro de una esfera) con un radio igual a 180°. La Figura 6 muestra esta correspondencia con tres ejemplos de rotaciones. La distancia del punto al centro de la bola es la disparidad de ángulo iObj desde la posición tObj, y el vector que apunta desde el centro de la bola hasta el punto es la dirección de rotación, la rotación se realiza en el sentido de las agujas del reloj visto desde el centro. Esta traducción de las rotaciones en puntos en una bola permite visualizar directamente, en un solo dibujo en 3D, toda la trayectoria de las rotaciones realizadas por el participante en una tarea. A este dibujo lo llamamos trayectoria de rotación 3D.

De manera análoga a la medida AD, para cualquier tarea correctamente completada por el participante, la trayectoria debe acercarse, al final, al centro de la pelota. Si la trayectoria alcanza el límite de la esfera a una rotación de 180°, se envolverá hasta el punto antípoda de la esfera. La Figura 7 ilustra la trayectoria de rotación tomada por los dos participantes mencionados anteriormente que realizan la tercera tarea (C1 y C2 en la Figura 4), vista tanto en perspectiva como en proyecciones en los tres planos de coordenadas. De la figura se desprende que, a pesar de la relativamente pequeña DA inicial cercana a 45°, el participante 1 se desvió inicialmente de la posición objetivo antes de encontrar un camino definitivo hacia la solución, a diferencia del participante 2, que completó la tarea más rápido.

Mapa de calor de fijación 3D
Durante el proceso de resolución de problemas, el participante alterna su mirada entre tObj e iObj mientras interactúa con iObj. Con los datos de seguimiento ocular, podemos extraer la posición de la mirada del participante y crear un mapa de calor de las regiones de la pantalla que captaron la mayor y menor atención del participante en un intervalo determinado. Yendo más allá, con los datos de seguimiento ocular y de cuaternión iRT sincronizados, podemos mapear simultáneamente en el espacio 3D y en el tiempo, cuánta atención está recibiendo cada uno de los vértices del objeto, incluso para objetos que se rotan en el tiempo.

En la Figura 3, la atención prestada al objeto está representada por el nivel de opacidad de cada vértice. Cuanto más cerca esté de la mirada del participante y cuanto más tiempo permanezca en proximidad, más atención recibe, lo que resulta en una mayor opacidad en esa región del objeto. La disminución espacial de la atención se modela utilizando una función gaussiana homogénea bivariada para la posición de la mirada y una función gaussiana homogénea simple aplicada para el tiempo transcurrido. La desviación estándar de estos gaussianos se eligió asumiendo un ángulo visual de 2 grados⁶⁷ y una memoria visual a corto plazo de 10 s⁶⁸. Para evitar cualquier artefacto visual con este método, los datos de proximidad de la mirada se establecen en cero mientras la mirada está fuera del lienzo del objeto (iObj no recibe atención residual cuando la mirada está dentro del lienzo tObj o fuera de ambos). En la figura 3 se muestra un solo fotograma de cada objeto de una animación de repetición completa y los mismos fotogramas con el mapa de calor de fijación 3D. Se puede ver una posible comparación entre tObj e iObj por parte del participante durante el proceso de resolución (Figura 3C,D) a medida que la tarea se acerca a su conclusión (tiempo = 6,3 s). Todo el proceso se puede ver como un video en el Video Complementario S1. Presentamos los resultados de la rotación mediada por ordenador de modelos 3D presentados a los participantes como una tarea realizada en condiciones ordinarias.

Figura 1: Objetos de destino utilizados. Imagen de los modelos 3D utilizados en las tareas de la página web. (A) Una molécula con representación de bola y palo; (B) La misma molécula con polígonos rellenos, sin hidrógenos, y representada solo por palos; (C) un policubo similar a una de las figuras de Shepard y Metzler¹³, derivado de la biblioteca de estímulos de Peters y Battista³⁶. Haga clic aquí para ver una versión más grande de esta figura.

Figura 2: Comparación de hojas. (A,B) Las imágenes se toman de la 1682707472090 bolaBastao_c.xlsx de combinación de salida de la hoja de cálculo. Las columnas de la A a la G contienen valores de datos de iRT, mientras que las columnas H a N contienen valores de datos de seguimiento ocular. En (A), todo es correcto, mientras que en (B), en las columnas de seguimiento ocular, todos los valores son constantes y no coinciden con los valores de tiempo del sistema iRT. Si se produce algún problema con el proceso de sincronización de datos, es probable que ocurra este error. Haga clic aquí para ver una versión más grande de esta figura.

Figura 3: Mapa de calor de fijación 3D. Mapa de calor de fijación sobre el objeto 3D utilizando una escala de opacidad, donde más opaco se correlaciona con más tiempo cerca de la mirada del participante. (A,B) imágenes tObj e iObj de la tarea que está resolviendo el participante en la marca de 6.3 s. (C,D) Las mismas imágenes que (A, B) en el mismo instante con la escala de opacidad añadida del mapa de calor. (E,F) Fijación de imágenes de mapa de calor considerando todo el período durante el cual el participante pudo ver los objetos. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Cuadrícula AD. Traza una cuadrícula de disparidad angular entre dos participantes y tres tareas. Las columnas representan a los participantes 1 y 2, y las filas representan las tareas resueltas por los participantes utilizando los tres objetos ilustrados en la Figura 3. Tenga en cuenta que si bien la DA varía entre 0° y 180°, el rango de tiempo no es fijo y varía según el desempeño del participante y su propia decisión de detener el proceso. A medida que el participante rota iObj, el AD entre tObj e iObj varía a medida que avanza el tiempo y, finalmente, el participante elige la orientación actual de iObj como la más cercana a tObj. En la^1ª y^2ª tarea, ambos participantes parecían haber progresado de manera similar, pero el participante 1 tardó la mitad de tiempo que el participante 2. Y en la^3ª tarea, aunque el participante 2 tardó menos en completar la tarea, el participante 1 ya había resuelto la tarea antes de la marca de los 20 s y siguió haciendo pequeños ajustes para hacer coincidir mejor iObj con tObj. Abreviatura: AD = disparidad angular. Haga clic aquí para ver una versión más grande de esta figura.

Figura 5: AD con datos de seguimiento ocular. Evolución de la disparidad angular combinada con datos de seguimiento ocular. (A) Disparidad angular y posición de la mirada, la evolución de la disparidad angular entre tObj e iObj, junto con los datos de fijación regional para cada modelo. El gráfico muestra en qué región se encuentra la mirada del participante: rojo cuando está dentro del lienzo iObj, azul cuando está dentro del lienzo tObj y gris cuando está fuera de ambos, mirando a otro elemento de la pantalla o apartando la vista de él. (B) Disparidad angular y diámetro de la pupila. Disparidad angular, en azul, junto con los datos del diámetro de la pupila, en naranja. El diámetro de la pupila es el valor medio de las pupilas izquierda y derecha en cada punto en el tiempo. Abreviatura: AD = disparidad angular. Haga clic aquí para ver una versión más grande de esta figura.

Figura 6: Bola de rotaciones. Esta figura ilustra cómo cada posible posición de rotación de un objeto desde una posición de referencia se puede representar como un punto en una bola de radio de 180°, lo que permite una representación completa de la posición de rotación del objeto en los tres ejes. Aquí, una bola se entiende como el volumen delimitado por una esfera. (A) El objeto utilizado como ejemplo es una unión asimétrica de siete cubos, representados en la parte superior, a la izquierda. A este objeto se le aplican tres rotaciones simples numeradas I, II y III, como se muestra a la derecha. Son, respectivamente, +90° en el eje x, -60° en el eje z y 180° en un eje entre +x e -y, a 45° desde ambos ejes. (B) La bola de rotación se muestra con los puntos correspondientes a las rotaciones I, II y III. La distancia al centro de la bola es la disparidad de ángulos. Como III alcanza el ángulo de rotación máximo (180°), también se representa en su punto antípoda, ya que son esencialmente iguales. La rotación II, al ser en sentido contrario a las agujas del reloj con respecto a la dirección positiva del eje z, aparece en el lado negativo. Haga clic aquí para ver una versión más grande de esta figura.

Figura 7: Trayectoria de rotación 3D. La trayectoria de rotación dentro de la bola de rotaciones tomada por los dos participantes en la tercera tarea, vista tanto en perspectiva (A) como en proyecciones en los planos de coordenadas (B-D). El grosor de la línea disminuye con el tiempo. Cada columna corresponde a un participante (v1 y v2). A medida que las trayectorias se acercan al centro de la pelota, los participantes están más cerca de resolver la tarea. '0' indica la posición inicial de la tarea. Los números siguientes indican puntos en los que la trayectoria llega al borde de la bola y continúa a través del punto antípoda en el lado opuesto (1 a 2, 2 a 3, 3 a 4, etc.). Haga clic aquí para ver una versión más grande de esta figura.

Tabla complementaria S1: Encabezados de hoja. Lista de encabezados en el archivo de hoja clonado. Cada cabecera corresponde a un nombre de variable y recibirá datos de esta variable formando una columna de valores utilizados en el procesamiento y análisis de nuestros datos. Haga clic aquí para descargar este archivo.

Archivo complementario 1: Guía del paso 1 del protocolo. Una lista de capturas de pantalla que guían los pasos del método de protocolo "1. Elaboración de herramientas de recogida de datos". Haga clic aquí para descargar este archivo.

Archivo complementario 2: Guía del paso 3 del protocolo. Una lista de capturas de pantalla que guían los pasos del método de protocolo "3. Procesamiento y análisis de datos". Haga clic aquí para descargar este archivo.

Video complementario 1: Repetición del mapeo de fijación. Un ejemplo de repeticiones animadas del mapeo de la atención temporal en 3D de iObj y tObj simultáneamente. Grabado con OBS Studios y renderizado con OpenShot Video Editor. Haga clic aquí para descargar este archivo.

Discussion

Como se indicó anteriormente, este artículo tiene como objetivo presentar un procedimiento detallado de mapeo en tiempo real de datos de fijación y movimiento sacádico en objetos 3D interactivos, que es fácilmente personalizable y solo utiliza software disponible de forma gratuita, que proporciona instrucciones paso a paso para que todo funcione.

Si bien esta configuración experimental implicó una tarea altamente interactiva, como mover un objeto 3D para que coincida con la orientación de otro objeto con PR en dos de los tres ejes posibles, nos aseguramos de una documentación exhaustiva de nuestros scripts a través de comentarios adecuados para facilitar cualquier personalización. Se pueden diseñar otros tipos de experimentos, siendo el dispositivo de seguimiento ocular solo uno de los muchos otros dispositivos posibles utilizados para la adquisición de datos temporales.

Los encabezados del archivo copiado del paso 1.1.3.3 definen el contenido y la ubicación en que se recopilarán los datos en línea. En la tabla complementaria S1 se enumeran los nombres de las variables (todos distinguen entre mayúsculas y minúsculas) y su significado. Estas variables reflejan las que se encuentran en los archivos JavaScript dentro del repositorio de GitHub. El tipo y la variedad de los nombres de datos y variables, tanto de esta hoja como de los archivos JavaScript, deben cambiarse de acuerdo con el alcance y los requisitos de la investigación.

El registro de los datos de rotación en cuaterniones permite al investigador reproducir los mismos movimientos realizados por los participantes durante las tareas, facilitando un análisis del proceso y utilizando el espacio de almacenamiento de forma mucho más eficiente si se compara con una captura de pantalla. Un análisis más detallado, como la trayectoria de rotación en 3D, que se muestra en la Figura 7 utilizando la bola de rotaciones, solo es posible a través de los datos de cuaterniones internos de los objetos interactivos. Expandiéndose a partir del gráfico AD a lo largo del tiempo de Gardony²² y Adams²³, este nuevo tipo de gráfico proporciona información más detallada, con las coordenadas de rotación 3D reales en el tiempo.

Otra ventaja proviene del uso de una medida de tiempo estándar para sincronizar todas las fuentes de datos. La combinación de diferentes capas de información dependiente del tiempo con esto se vuelve mucho más fácil, como la superposición de gráficos con múltiples fuentes de datos, como en la Figura 5B con la medición de la dilatación de la pupila, o en la Figura 5A con bandas verticales coloreadas, que denotan posibles patrones en el proceso de resolución de los participantes, incluso cuando casi no había rotación en iObj. El mapa de calor de fijación 3D que se muestra en la Figura 3 solo es posible a partir de los datos de cuaternión y la sincronización de datos.

Es crucial utilizar la sincronización a través de una medida de tiempo estándar para garantizar cualquier integración de datos temporales. El estándar de tiempo elegido para nuestro proyecto fue UNIX Epoch, que se utiliza en JavaScript y en la mayoría de los otros lenguajes de programación. Se debe utilizar algún tipo de estándar de tiempo conocido para cada conjunto de datos, incluso si se utiliza un estándar diferente, que más tarde se puede convertir a UNIX Epoch. Los datos temporales que no utilicen ningún estándar serán, con toda seguridad, incapaces de sincronizarse y perderán su utilidad.

Otra limitación es la frecuencia relativamente baja de 10 Hz utilizada en las pruebas iRT en relación con la frecuencia del eye tracker de 60 Hz. Esto sucede en parte debido a las limitaciones de procesamiento y transferencia de datos dentro del navegador, ya que cualquier frecuencia más alta utilizada reduciría proporcionalmente el límite de tiempo máximo de cada tarea, actualmente en 327 s. Además, renderizar sin problemas animaciones complejas en Jmol a esta velocidad de fotogramas ya presentaba desafíos. El vídeo complementario S1 es una grabación de vídeo de Jmol renderizando una repetición con el cambio de opacidad en el tiempo, mapeando la cantidad de foco que recibió cada vértice. Si bien la duración del video es de casi 2 minutos, la tarea real se completó en 63 segundos. Los futuros desarrollos de software que se adapten específicamente a esas funcionalidades en lugar de adaptar las existentes, podrían abordar estas limitaciones y mejorar las capacidades de recopilación y análisis de datos.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Firefox	Mozilla Foundation (Open Source)		Cualquier navegador moderno actualizado que sea compatible con WebGL (https://caniuse.com/webgl), y a su vez con Jmol, puede ser utilizado
GNU Octave	Open Source		https://octave.org/
Google Apps Script	Google LLC		script.google.com
Google Sheets	Google LLC		https://www.google.com/sheets/about/
Laptop			Cualquier computadora que pueda ejecutar el software del sistema de seguimiento ocular.
Paquete de software Mangold Mangold			Interfaz de software utilizada para el dispositivo de seguimiento ocular. Se puede utilizar cualquier software que genere los datos con valores de tiempo del sistema.
Ratón			Cualquier ratón capaz de hacer clic y arrastrar con movimientos sencillos debe ser compatible. Las interfaces humanas análogas a un ratón con las mismas capacidades, como una pantalla táctil o un puntero, deben ser compatibles, pero pueden comportarse de forma diferente.
Vt3mini	EyeTech Sistemas		60 Hz. Cualquier dispositivo de seguimiento ocular que funcione debe ser compatible.