Hemos desarrollado un método simple, personalizable y eficiente para registrar datos procesuales cuantitativos de tareas espaciales interactivas y mapear estos datos de rotación con datos de seguimiento ocular.
Se requiere una suscripción a JoVE para ver este contenido. Inicie sesión o comience su prueba gratuita.
Artículo de método
Hemos desarrollado un método simple, personalizable y eficiente para registrar datos procesuales cuantitativos de tareas espaciales interactivas y mapear estos datos de rotación con datos de seguimiento ocular.
Presentamos un método para el registro en tiempo real de la interacción humana con objetos virtuales tridimensionales (3D). El enfoque consiste en asociar los datos de rotación del objeto manipulado con medidas de comportamiento, como el seguimiento ocular, para hacer mejores inferencias sobre los procesos cognitivos subyacentes.
La tarea consiste en mostrar dos modelos idénticos del mismo objeto 3D (una molécula), presentados en la pantalla de un ordenador: un objeto interactivo giratorio (iObj) y un objeto objetivo estático (tObj). Los participantes deben rotar iObj con el ratón hasta que consideren que su orientación es idéntica a la de tObj. La computadora rastrea todos los datos de interacción en tiempo real. Los datos de la mirada del participante también se registran mediante un rastreador ocular. La frecuencia de medición es de 10 Hz en el ordenador y de 60 Hz en el rastreador ocular.
Los datos de orientación de iObj con respecto a tObj se registran en cuaterniones de rotación. Los datos de mirada se sincronizan con la orientación de iObj y se referencian mediante este mismo sistema. Este método nos permite obtener las siguientes visualizaciones del proceso de interacción humana con iObj y tObj: (1) disparidad angular sincronizada con otros datos dependientes del tiempo; (2) Trayectoria de rotación en 3D dentro de lo que decidimos llamar una "bola de rotaciones"; (3) Mapa de calor de fijación 3D. En todos los pasos del protocolo se ha utilizado software libre, como GNU Octave y Jmol, y todos los scripts están disponibles como material complementario.
Con este enfoque, podemos realizar estudios cuantitativos detallados del proceso de resolución de tareas que involucran rotaciones mentales o físicas, en lugar de solo el resultado alcanzado. Es posible medir con precisión la importancia de cada parte de los modelos 3D para el participante en la resolución de tareas y, por lo tanto, relacionar los modelos con variables relevantes como las características de los objetos, las habilidades cognitivas de los individuos y las características de la interfaz hombre-máquina.
La rotación mental (RM) es una capacidad cognitiva que permite a las personas manipular y rotar objetos mentalmente, lo que facilita una mejor comprensión de sus características y relaciones espaciales. Es una de las habilidades visoespaciales, un grupo cognitivo fundamental que se estudió ya en 18901. Las habilidades visoespaciales son un componente importante del repertorio cognitivo de un individuo que está influenciado tanto por factores hereditarios como ambientales 2,3,4,5. El interés en las habilidades visoespaciales ha crecido a lo largo del siglo XX debido a la creciente evidencia de su importancia en temas clave como la edad6 y el desarrollo7, el rendimiento en ciencia, tecnología, ingeniería y matemáticas (STEM)8,9, la creatividad10 y los rasgos evolutivos11.
La idea contemporánea de la RM deriva del trabajo pionero publicado por Shepard y Metzler (SM) en 197112. Idearon un método cronométrico utilizando una serie de tareas "iguales o diferentes", presentando dos proyecciones de objetos abstractos en 3D mostrados uno al lado del otro. Los participantes tenían que rotar mentalmente los objetos en algún eje y decidir si esas proyecciones representaban el mismo objeto girado de manera diferente u objetos distintos. El estudio reveló una correlación lineal positiva entre el tiempo de respuesta (RT) y la disparidad angular (AD) entre representaciones de un mismo objeto. Esta correlación se conoce como efecto de disparidad de ángulos (ADE). La ADE se considera una manifestación conductual de la IM y se hizo omnipresente en varios estudios posteriores influyentes en el campo 13,14,15,16,17,18,19,20,21,22,23,24,25. Los objetos 3D empleados en el estudio SM estaban compuestos por 10 cubos contiguos generados por el pionero de los gráficos por computadora Michael Noll en Bell Laboratories26. Se les conoce como figuras de SM y se emplean ampliamente en los estudios de RM.
Dos avances fueron de gran importancia en el trabajo seminal de Shepard y Metzler; en primer lugar, considerando las contribuciones en el campo de las evaluaciones de RM. En 1978, Vanderberg y Kuze27 desarrollaron una prueba psicométrica de lápiz y papel de 20 ítems basada en figuras SM "iguales o diferentes" que se conoció como la prueba de rotación mental (VKMRT). Cada ítem de la prueba presenta un estímulo objetivo. Los participantes deben seleccionar entre cuatro estímulos, cuáles representan el mismo objeto representado en el estímulo objetivo y cuáles no. VKMRT se ha utilizado para investigar la correlación entre la capacidad de RM y varios otros factores, como las diferencias relacionadas con el sexo 6,21,24,28,29,30, envejecimiento y desarrollo 6,31,32, rendimiento académico8,33, y habilidades en la música y los deportes34. En 1995, Peters et al. publicaron un estudio con figuras redibujadas para el VKMRT35,36. De manera similar, siguiendo el diseño de tarea "igual o diferente", se han empleado una variedad de otras bibliotecas de estímulos generados por computadora para investigar los procesos de RM y evaluar las habilidades de RM (versiones 3D de los estímulos SM originales 19,22,23,37,38, cuerpo humano imitando las figuras SM 25,39,40, polígonos planos para la rotación 2D41, 42, anatomía y órganos43, formas orgánicas44, moléculas45,46, entre otros21). También es relevante el Test de Visualización Espacial de Purdue (PSVT) propuesto por Guay en 197647. Implica una batería de pruebas, incluida la RM (PSVT:R). Empleando estímulos diferentes a los de VKMRT, PSVT:R requiere que los participantes identifiquen una operación de rotación en un estímulo modelo y la apliquen mentalmente a uno diferente. PSVT:R también se utiliza ampliamente, especialmente en estudios que investigan el papel de la RM en el logro de STEM 48,49,50.
El segundo avance de gran importancia en el trabajo seminal de Shepard y Metzler comprende las contribuciones a la comprensión del proceso de RM, en particular, con el uso de dispositivos de seguimiento ocular. En 1976, Just y Carpenter14 utilizaron un equipo de seguimiento ocular basado en video analógico para realizar un estudio basado en el experimento ADE de Shepard y Metzler. A partir de sus resultados sobre los movimientos oculares sacádicos y los RT, propusieron un modelo de procesos de RM que consta de tres fases: 1) la fase de búsqueda, en la que se reconocen partes similares de las figuras; 2) la fase de transformación y comparación, en la que una de las partes identificadas se rota mentalmente; 3) la fase de confirmación, en la que se decide si las cifras son iguales o no. Las fases se repiten de forma recursiva hasta que se puede tomar una decisión. Cada paso corresponde a patrones específicos de movimiento ocular sacádico y de fijación en estrecha relación con los ADE observados. Por lo tanto, al correlacionar la actividad ocular con los datos cronométricos, Just y Carpenter proporcionaron una firma cognitiva para el estudio de los procesos de resonancia magnética. Hasta la fecha, este modelo, aunque con adaptaciones, ha sido adoptado en varios estudios 15,42,46,51,52,53.
Siguiendo esta pista, varios estudios posteriores monitorean el comportamiento 18,19,22,23,25,34,40,54,55 y la actividad cerebral 20,22,56,57 Se realizaron funciones durante la rotación de estímulos. Sus hallazgos apuntan a un papel cooperativo entre la RM y los procesos motores. Además, existe un creciente interés en investigar estrategias de resolución de problemas que involucren la RM en relación con las diferencias individuales 15,41,46,51,58.
En general, se puede considerar que el diseño de estudios destinados a comprender los procesos de RM se basa en la presentación de una tarea con estímulos visuales que solicita a los participantes la realización de una operación de RM que, a su vez, implica una reacción motora. Si esta reacción permite la rotación de los estímulos, a menudo se denomina rotación física (RP). Dependiendo de los objetivos específicos de cada estudio, se han empleado diferentes estrategias y dispositivos para la adquisición y análisis de datos de RM y RP. En el paso de presentación de estímulos de la tarea, es posible cambiar los tipos de estímulos (es decir, ejemplos citados anteriormente); la proyección (imágenes generadas por ordenador en pantallas tradicionales 22,23,25,29,40,41,59, así como en estereoscopios19 y entornos de realidad virtual 60 y mixta43); y la interactividad de los estímulos (imágenes estáticas 12,27,36, animaciones61 y objetos virtuales interactivos 19,22,23,43,53,59).
La RM suele inferirse a partir de las mediciones de las RT (ADE), así como de la actividad ocular y cerebral 25,46,62. La actividad ocular se mide mediante datos de seguimiento ocular que consisten en movimientos y fijaciones sacádicas 14,15,42,51,52,54,58,60, así como pupilometría 40. Los datos RT suelen surgir de los datos de respuesta del motor registrados durante el funcionamiento de diversos dispositivos, como las palancas13, los botones e interruptores14,53, los pedales53, los mandos giratorios19, los joysticks37, el teclado61 y el ratón29,58,60, las ruedas motrices53, los sensores inerciales22,23, las pantallas táctiles52,59y micrófonos22. Para medir la RP, además de los RT, el diseño del estudio también incluirá el registro de rotaciones manuales de estímulos interactivos mientras los participantes realizan la tarea de RM 22,23,52,53.
En 1998, Wohlschläger y Wohlschläger19 utilizaron tareas "iguales o diferentes" con estímulos virtuales interactivos de SM manipulados con una perilla, con rotaciones limitadas a un eje por tarea. Midieron el RT y el registro acumulado de las rotaciones físicas realizadas durante las tareas. Al comparar situaciones con y sin rotación real de los estímulos interactivos, concluyeron que la RM y la RP comparten un proceso común tanto para las rotaciones imaginadas como para las realmente realizadas.
En 2014, se realizaron dos estudios que emplearon el mismo tipo de tareas con estímulos interactivos virtuales22,23. Sin embargo, los objetos fueron manipulados con sensores inerciales que capturaban el movimiento en el espacio 3D. En ambos casos, además de los RT, se registraron las trayectorias de rotación, es decir, la evolución de las diferencias de rotación entre los estímulos de referencia y los interactivos durante las tareas. A partir de estas trayectorias, fue posible extraer tanto información acumulativa (es decir, el número total de rotaciones, en unidades cuaterniónicas) como información detallada sobre las estrategias de solución. Adams et al.23 estudiaron el efecto cooperativo entre la RM y la RP. Además de los RT, utilizaron la integral de las trayectorias de rotación como parámetro de precisión y objetividad de la resolución. Los perfiles de las curvas se interpretaron de acuerdo con un modelo de tres pasos63 (planificación, rotación mayor, ajuste fino). Los resultados indican que la RM y la RP no tienen necesariamente un único factor común. Gardony et al.22 recolectaron datos sobre RT, precisión y rotación en tiempo real. Además de confirmar la relación entre RM y RP, el análisis de las trayectorias de rotación reveló que los participantes manipularon las cifras hasta que pudieron identificar si eran diferentes o no. Si eran iguales, los participantes los rotaban hasta que se vieran iguales.
Continuando con esta estrategia, en 2018, Wetzel y Bertel52 también utilizaron figuras SM interactivas en tareas "iguales o diferentes" utilizando tabletas con pantalla táctil como interfaz. Además, utilizaron un dispositivo de seguimiento ocular para obtener datos acumulativos sobre el tiempo de fijación y la amplitud sacádica como parámetros de la carga cognitiva implicada en la resolución de tareas de RM. Los autores confirmaron los estudios previos discutidos anteriormente con respecto a las relaciones entre RM y RP y los procesos de resolución de tareas. Sin embargo, en este estudio, no utilizaron el mapeo de fijación y los datos de movimientos sacádicos para los estímulos.
Se han propuesto y mejorado constantemente enfoques metodológicos para el mapeo de datos de seguimiento ocular sobre objetos virtuales en 3D, generalmente por investigadores interesados en estudiar los factores relacionados con la atención visual en entornos virtuales64. A pesar de ser asequibles y utilizar dispositivos de seguimiento ocular similares, aparentemente, estos métodos no se han integrado de manera efectiva en el repertorio experimental empleado en los estudios de rotación mental con objetos 3D interactivos como los mencionados anteriormente. Por el contrario, no encontramos ningún estudio en la literatura que informara sobre el mapeo en tiempo real de los datos de fijación y movimiento sacádico en objetos 3D interactivos. No parece haber un método conveniente para integrar fácilmente los datos de actividad ocular con las trayectorias de rotación. En esta investigación, nuestro objetivo es contribuir a llenar este vacío. El procedimiento se presenta en detalle, desde la adquisición de datos hasta la generación de resultados gráficos.
En este artículo, describimos en detalle un método para estudiar los procesos de rotación mental con objetos virtuales interactivos en 3D. Se destacan los siguientes avances. En primer lugar, integra la recopilación de datos cuantitativos de datos motores conductuales (rotación de objetos impulsados a mano a través de una interfaz informática) y oculares (seguimiento ocular) durante sesiones de interacción con modelos virtuales 3D. En segundo lugar, solo requiere equipos informáticos convencionales y dispositivos de seguimiento ocular para el diseño de tareas visuales, la adquisición de datos, el registro y el procesamiento. En tercer lugar, genera fácilmente una salida gráfica para facilitar el análisis de datos: disparidad angular, rotación física, trayectorias de rotación cuaterniónica y mapeo de datos de seguimiento ocular sobre objetos virtuales 3D. Finalmente, el método solo requiere software libre. Todo el código y los scripts desarrollados están disponibles de forma gratuita (https://github.com/rodrigocnstest/rodrigocnstest.github.io).
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
1. Preparación de herramientas de recopilación de datos
2. Recopilación de datos
3. Procesamiento y análisis de datos
4. Personalización de tareas
NOTA: Toda esta sección es opcional y solo se recomienda para aquellos a quienes les gusta experimentar o comprender cómo codificar. A continuación, encontrará algunas de las muchas opciones personalizables disponibles, y habrá más opciones disponibles a medida que desarrollemos más los métodos.
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Evolución de la disparidad angular y otras variables
Como se muestra en el paso 3.3.1 del Archivo Suplementario 2, se presentan dos lienzos al participante en la pantalla del monitor de vídeo, mostrando copias del mismo objeto virtual 3D en diferentes orientaciones. En el lienzo izquierdo, el objeto de destino (tObj) permanece estático y sirve como posición de destino o posición de tObj. En el lienzo de la derecha, el objeto interactivo (iObj) se muestra en una posici...
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Como se indicó anteriormente, este artículo tiene como objetivo presentar un procedimiento detallado de mapeo en tiempo real de datos de fijación y movimiento sacádico en objetos 3D interactivos, que es fácilmente personalizable y solo utiliza software disponible de forma gratuita, que proporciona instrucciones paso a paso para que todo funcione.
Si bien esta configuración experimental implicó una tarea altamente interactiva, como mover un objeto 3D para que c...
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
Los autores no tienen conflictos de intereses que revelar.
Los autores agradecen a la Coordinación de Perfeccionamiento del Personal de Nivel Superior (CAPES) - Código de Finanzas 001 y a la Universidad Federal del ABC (UFABC). João R. Sato recibió apoyo financiero de la Fundación de Apoyo a la Investigación Científica del Estado de São Paulo (FAPESP, Becas Nos. 2018/21934-5, 2018/04654-9 y 2023/02538-0).
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.
| Nombre | Empresa | Número de catálogo | Comentarios |
|---|---|---|---|
| Firefox | Mozilla Foundation (Open Source) | Cualquier navegador moderno actualizado que sea compatible con WebGL (https://caniuse.com/webgl), y a su vez con Jmol, puede ser utilizado | |
| GNU Octave | Open Source | https://octave.org/ | |
| Google Apps Script | Google LLC | script.google.com | |
| Google Sheets | Google LLC | https://www.google.com/sheets/about/ | |
| Laptop | Cualquier computadora que pueda ejecutar el software del sistema de seguimiento ocular. | ||
| Paquete de software Mangold Mangold | Interfaz de software utilizada para el dispositivo de seguimiento ocular. Se puede utilizar cualquier software que genere los datos con valores de tiempo del sistema. | ||
| Ratón | Cualquier ratón capaz de hacer clic y arrastrar con movimientos sencillos debe ser compatible. Las interfaces humanas análogas a un ratón con las mismas capacidades, como una pantalla táctil o un puntero, deben ser compatibles, pero pueden comportarse de forma diferente. | ||
| Vt3mini | EyeTech Sistemas | 60 Hz. Cualquier dispositivo de seguimiento ocular que funcione debe ser compatible. |
Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.