$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Este estudio ha sido sometido a una rigurosa revisión y aprobación por parte del comité de ética correspondiente, y todo el proceso de investigación se adhiere estrictamente a la Declaración de Helsinki y a los estándares de ética académica aplicables, protegiendo plenamente los derechos e intereses legítimos, el bienestar físico y mental, y la privacidad personal de los participantes.
El proceso de reclutamiento de los participantes en la investigación cumple con los requisitos éticos, y todos los participantes firmaron un formulario de consentimiento informado por escrito antes de participar en el estudio. El formulario de consentimiento informado es claro y fácil de entender y describe explícitamente el alcance de la recogida de datos (incluyendo el rendimiento académico, los datos de evaluación del sistema y la satisfacción del usuario), el propósito del uso de los datos (únicamente para análisis académico en este estudio) y las medidas tomadas para garantizar la confidencialidad de los datos. La participación fue completamente voluntaria y todos los participantes proporcionaron su consentimiento informado sin ninguna coacción ni inducción. El equipo utilizado se enumera en la Tabla de Materiales.
1. Participantes, diseño del estudio y marco de evaluación
200 estudiantes de grado (106 varones y 94 mujeres, con una edad media de 20,4 ± 1,2 años) y 100 profesores (52 hombres y 48 mujeres, con una experiencia docente media de 8,6 ± 4,3 años) son reclutados aleatoriamente entre los estudiantes de ciencias e ingeniería de una determinada universidad como participantes. Los participantes se dividen aleatoriamente en un grupo experimental y un grupo control mediante un método de muestreo aleatorio estratificado, con 150 personas en cada grupo. La prueba básica de conocimientos previa al experimento confirma que no hay diferencia estadísticamente significativa (p > 0,05) en el nivel inicial de conocimiento entre ambos grupos. El grupo experimental utiliza un sistema de enseñanza basado en tecnología de RA, mientras que el grupo de control emplea métodos tradicionales de enseñanza. Los métodos tradicionales de enseñanza se refieren al proceso de enseñanza estandarizado, ampliamente adoptado, centrado en profesores y libros de texto. Esto incluye clases magistrales, aprendizaje de libros de texto y gráficos estáticos, y cálculos teóricos, y no implica ninguna simulación interactiva 3D ni tecnología de AR. Los criterios de inclusión son: los estudiantes de grado deben haber completado el curso previo de Mecánica de Materiales, y los profesores deben tener experiencia docente relevante en dicho curso. Los criterios de exclusión son: aquellos con antecedentes de discapacidad visual severa o mareo por movimiento. Todos los participantes firman formularios de consentimiento informado y se les informa que pueden retirarse del experimento en cualquier momento. El periodo experimental es de 12 meses, y los datos de rendimiento académico y evaluación del sistema se recogen antes del inicio del experimento, en el sexto mes y en el duodécimo mes. La herramienta de evaluación adopta un "Sistema de Índice de Evaluación de Juegos Educativos" desarrollado por él mismo (en la Tabla 1) para evaluar la eficacia del sistema desde tres dimensiones: educativa, de juego y de aplicabilidad, con un total de 15 indicadores. Se recopilan datos de satisfacción del usuario, que abarcan cuatro aspectos: facilidad de funcionamiento, precisión del contenido, puntualidad de la respuesta y claridad de los indicadores.
2. Configuración del sistema experimental, procedimientos y análisis de datos
El equipamiento de hardware incluye un dispositivo de visualización AR (Microsoft HoloLens 2), una cámara de profundidad incorporada y cámara RGB, un ordenador equipado con un procesador Intel Core i9-11950H, 32GB de RAM y una tarjeta gráfica A2000. El sistema operativo utiliza Windows 11, el motor de desarrollo utiliza Unity 2021, la biblioteca de visión por ordenador utiliza OpenCV 4.13.0 y el entorno de desarrollo integrado es Visual Studio 2022. Cuando hay un cambio significativo en la iluminación del entorno experimental o cuando el equipo se utiliza por primera vez en ese espacio físico, es necesario realizar la calibración de la cámara. Ejecuta el script de calibración integrado CalibrationScript. cs y capturar al menos 15 imágenes de tablero de ajedrez desde diferentes ángulos y posiciones usando la cámara HoloLens. El script calcula automáticamente los parámetros intrínsecos de la cámara y los coeficientes de distorsión. El estándar para una calibración exitosa es que el error medio de reproyección es inferior a 0,5 píxeles. Si no se cumple el estándar, el sistema solicitará la recaptura de la imagen. Tras una calibración exitosa, se envían parámetros de calibración para llamadas posteriores a módulos de registro 3D.
El experimento se realiza en interiores, con luz ambiental mantenida en 300 ± 50 lux. La carta experimental con marcas específicas de AR se coloca en el centro de la mesa, y el borde de la carta es paralelo al borde de la mesa. La posición de observación está ajustada aproximadamente a 60 cm del centro de la tarjeta con ambos ojos, y la cámara HoloLens 2 se enfoca inicialmente en el plano de la tarjeta. La interacción del gesto adopta los gestos de "rayo de mano" y "clic de aire" que preestablece HoloLens 2. Su dedo índice se extiende y los otros dedos se retraen, señalando la muestra virtual y manteniendo un gesto estable durante más de 0,5 s para seleccionar el objeto. Posteriormente, la fuerza se aplica empujando rápidamente el dedo índice hacia adelante, aplicando un valor de fuerza por defecto de 50N por el sistema a lo largo del eje de la muestra virtual. El tiempo esperado de operación exitosa para completar una interacción gestual completa es de 1–2 s. Los parámetros de visión por ordenador del sistema se establecen de la siguiente manera: llama a la función aruco.detectMarkers de OpenCV en Unity para detectar el umbral (adaptiveThreshWinSizeMin=3, adaptiveThreshWinSizeMax=23). El punto de control de detección de marcadores es que el sistema debe reconocer de forma estable el mismo marcador (confianza>0,95) en un flujo de vídeo continuo de 30 fotogramas antes de activar el renderizado de objetos virtuales. Cuando la detección tiene éxito, el borde marcado en la pantalla mostrará un borde verde acompañado de una breve realimentación de vibración. La calibración de la cámara utiliza el CalibrationScript integrado. Escritura CS, que requiere un patrón de tablero de ajedrez con 9 × 6 puntos de esquina internos y una longitud de lado de 2,5 cm. Al menos 15 fotogramas del patrón deben presentarse desde diferentes ángulos dentro del campo de visión de la cámara. El estándar de calibración exitoso es un error medio de reproyección inferior a 0,5 píxeles. El proceso de calibración debería completarse en 2 minutos. Tras el éxito, el registro "Calibración Exitosa" debe ser enviado en la consola del editor de Unity, y el cono calibrado de la cámara debe visualizarse en la escena. El renderizado de objetos virtuales adopta la cadena de renderizado en tiempo real de Unity, con un shader de materiales Standard y un modelo de iluminación consistentes con la luz ambiental.
El procedimiento experimental incluye principalmente cuatro pasos. Primero, desgasta y ajusta correctamente el dispositivo HoloLens 2. Segundo, coloca la tarjeta experimental con marcas específicas de AR en el escritorio. La cámara del sistema captura continuamente los flujos de vídeo. Llama a la función aruco.detectMarkers en OpenCV para la detección y reconocimiento de etiquetas. Tercero, tras identificar con éxito la marca, el sistema representa el espécimen material virtual en el mundo real según las ecuaciones (1)–(4). El sistema de coordenadas del entorno virtual ζηξ y el sistema de coordenadas del entorno real xyz pueden transformarse, y la ecuación de transformación se muestra en la ecuación (1).
[ xyz1] = [ζηξ1] A (1)
En la ecuación (1), A representa la matriz de transformación entre dos sistemas, donde el entorno real xyz y la cámara x'y'z' también pueden transformarse. La ecuación de cambio se muestra en la ecuación (2).
[ x'y'z'1] = [ζηξ1] AB (2)
En la ecuación (2), B representa la matriz de transformación entre los dos sistemas de coordenadas. X'Y'Z' proyecta los objetos virtuales rastreados en el sistema de coordenadas bidimensionales UV, para lograr el registro preciso del entorno virtual en el entorno real. La transformación entre las coordenadas de pantalla y las coordenadas de cámara x'y'z' de la proyección de fusión de objetos virtuales y entornos reales se muestra en la ecuación (3).
(3)
En la ecuación (3), dx representa el número de píxeles en la dirección axial x. dy es el número de píxeles en la dirección axial y. La relación geométrica entre la cámara y el sistema de coordenadas de imagen proyectada por la fusión del objeto virtual y el entorno real se muestra en la ecuación (4) usando la ecuación triangular similar.
(4)
Aplicando fuerza a la muestra virtual mediante gestos predefinidos, el sistema calcula y visualiza la distribución de tensiones y la deformación de la muestra en tiempo real basándose en las ecuaciones (5)–(7). La fuerza interna por unidad de área es la tensión (ecuación), como se muestra en la ecuación (5).
(5)
En la ecuación (5), F se refiere a la fuerza, A es el área de sección transversal y pm es el esfuerzo por unidad de área. La tensión total se muestra en la ecuación (6).
(6)
En la ecuación (6), p representa el componente de esfuerzo de la tensión total, σ es la tensión normal, la componente de tensión perpendicular a la sección, y τ es la tensión cortante y la componente de tensión tangente a la sección. La tensión normal se muestra en la ecuación (7).
(7)
En la ecuación (7), FN es la fuerza axial y A es el área de la sección transversal. En cuarto lugar, el registro de datos y la generación de informes. Los datos clave generados durante el experimento se guardan automáticamente en formato CSV. Genera un informe experimental en formato PDF tras el experimento, incluyendo curvas esfuerzo-deformación y resúmenes clave de datos. Todos los archivos se exportan al directorio local y se nombran en formato de fecha del experimento+tipo de experimento. Los pasos de terminación del protocolo incluyen confirmación de ahorro de datos, apagado del dispositivo, apagado de software y comprobación del estado del sistema. Tras el experimento, el estudio confirma el fin de la aplicación mediante el botón "Salir del sistema" en el menú principal, elimina el dispositivo HoloLens 2 y lo apaga conforme a los procedimientos operativos estándar. Finalmente, en la máquina de desarrollo, el modo de ejecución del editor Unity se detiene y todas las ventanas de software relacionadas se cierran.
SPSS 26.0 se utiliza para el análisis de datos. Antes de aplicar la prueba t de muestras emparejadas, primero se evalúa la normalidad de las diferencias de mejora del rendimiento. La prueba de Shapiro-Wilk se utiliza para analizar todas las variables relevantes. Además, los resultados muestran que los valores p para todas las variables son mayores que 0,05, lo que indica que los datos cumplen con una distribución normal y cumplen con el requisito previo para la prueba t. La prueba t de muestras emparejadas se utiliza para comparar la mejora del rendimiento entre los grupos experimental y control para datos de medidas repetidas, como la satisfacción. El análisis de varianza con medidas repetidas se utiliza para evaluar los cambios a lo largo del tiempo. El nivel de significación está fijado en p<0,05. Además, para evaluar la magnitud del efecto, se calcula el valor d de Cohen, donde d>0,8 indica un efecto grande.
3. Construcción de sistemas de enseñanza de ciencias basados en tecnología de AR
En línea con los estándares de enseñanza científica, las funciones interactivas de la tecnología de RA y los sistemas de enseñanza se utilizan para introducirla en la educación y liberar su mayor potencial. La tecnología de RA es muy importante en la enseñanza de la ciencia. En primer lugar, puede concretar y visualizar el contenido abstracto del aprendizaje. La segunda es mejorar la experiencia de aprendizaje de los alumnos, para que tengan una mejor sensación de participación y concentración. Por ello, es de gran importancia combinar el sistema docente con un aula para la educación. El diseño del sistema de este estudio está guiado por el aprendizaje experiencial y principios constructivistas. Su objetivo es transformar conceptos abstractos en objetos visuales tangibles y observables mediante mecanismos de interacción con RA y animar a los estudiantes a construir conocimiento activamente. Mientras tanto, se introduce el modelo de aceptación tecnológica para evaluar la utilidad y facilidad de uso percibida del sistema, midiendo así su potencial de aplicación práctica.
3.1 Integración de juegos educativos y tecnología de realidad aumentada
La tecnología de RA integra los entornos virtuales y reales, proporcionando a los usuarios una nueva experiencia sensorial. La tecnología AR primero rastrea y recopila puntos de características de escenas reales, y luego realiza el reconocimiento de imágenes. La segunda es seguir la imagen en la posición del mapa de marcas. El ángulo de la cámara y otra información son importantes18. Finalmente, al percibir la sensibilidad de la cámara al entorno y superponer el modelo, se puede lograr la fusión de lo virtual y la realidad, logrando un efecto inmersivo. La implementación de la tecnología AR se muestra en la Figura 1.

Figura 1: Pasos de implementación de la tecnología de RA. Por favor, haga clic aquí para ver una versión ampliada de esta figura.
El juego educativo es un software de videojuegos que integra la función educativa y la función de entretenimiento. Puede cultivar la inteligencia, habilidades, conocimientos, actitud y valores de los usuarios de juegos, y su impacto en los alumnos no debe subestimarse. La tecnología AR tiene tres características básicas significativas. Primero, integra con precisión lo virtual y la realidad, integra la escena tridimensional creada con el entorno real, activa todos los sentidos del usuario y permite que el usuario experimente el mundoreal 19. La segunda es utilizar dispositivos inteligentes modernos para lograr una interacción inteligente entre personas y dispositivos. Finalmente, el entorno 3D generado por ordenador se registra con el objetivo real en 3D. Los usuarios pueden seguir rastreando objetos reales sin perderlos y mantener un seguimiento preciso en todo momento. El principio de la tecnología de registro 3D se muestra en la Figura 2.

Figura 2: Diagrama esquemático del registro 3D. Por favor, haga clic aquí para ver una versión ampliada de esta figura.
El diagrama esquemático de registro tridimensional mostrado en la Figura 2, donde x'y'z' son las coordenadas de la cámara, xyz son las coordenadas específicas del entorno real, ζηξ son las coordenadas del entorno virtual, uv son las coordenadas de la proyección de fusión del objeto virtual y el entorno real, y ''o'z' es la dirección de la línea de visión del usuario. Tras la homogeneización y combinación, el cálculo se muestra en la ecuación (4). La importancia educativa de la tecnología de registro 3D (ecuaciones (1)–(4)) radica en su capacidad para transformar sistemas virtuales abstractos de coordenadas en superposiciones visuales estables y precisas en las pantallas de los estudiantes. Esta tecnología garantiza que los modelos virtuales puedan fijarse eficazmente a tarjetas marcadoras reales, y que el modelo no se desvíe ni tiemble cuando los estudiantes mueven su perspectiva. El valor educativo directo de esta tecnología radica en su capacidad para proporcionar a los estudiantes un entorno de observación estable y fiable. Este entorno permite a los estudiantes observar y pensar en especímenes mecánicos virtuales desde cualquier ángulo. Como resultado, los estudiantes cultivan la imaginación espacial y la capacidad de observación en múltiples ángulos.
3.2 Análisis de la demanda de juegos educativos científicos basados en tecnología AR
Para alcanzar los objetivos educativos de la ciencia, los estudiantes necesitan adquirir sistemáticamente conocimientos, habilidades y experiencias conductuales. Al diseñar juegos educativos de AR, es necesario analizar correctamente el contenidodidáctico. Seleccionar el contenido didáctico adecuado, integrarlo con la tecnología de RA e innovar métodos de enseñanza puede ayudar eficazmente a los alumnos a construir un sistema de conocimiento coherente. El objeto de investigación de la mecánica de materiales son los diversos materiales con diferentes formas de piezas. Principalmente estudia la resistencia, rigidez y estabilidad bajo diferentes fuerzas. Mejorar la experiencia visual intuitiva y el sentido interactivo de participación de los alumnos. Por ello, la combinación de la tecnología AR y el sistema educativo se utiliza para analizar las necesidades de la tecnología AR en juegos de educación científica, tomando como ejemplo el análisis de esfuerzo-deformación. El sistema proporciona preparación experimental y simulación para los puntos de conocimiento sobre esfuerzos y deformación en mecánica, y ayuda a los profesores a enseñar experimentos. Los usuarios del sistema incluyen principalmente visitantes, estudiantes, profesores y administradores, mientras que sus funciones abarcan la gestión de experimentos, la subida de experimentos, experimentos interactivos y la visualización de datos. El sistema se muestra en la Figura 3.

Figura 3: Diagrama de casos de uso del sistema experimental de puntuación de la finalización de cursos. Por favor, haga clic aquí para ver una versión ampliada de esta figura.
La integración de la tecnología de RA y el sistema educativo se muestra en la Figura 3. Este sistema puede garantizar que los profesores estén adecuadamente preparados antes del curso, dominen experimentos y gestionen a los estudiantes durante el curso. Tras el experimento, los profesores pueden ver y valorar el progreso de los estudiantes, ayudar a gestionar los datos del curso, mejorar las tasas de finalización de los experimentos y asistir a los administradores en la gestión de los datos sobre los resultados de los experimentos de los estudiantes. Por lo tanto, el sistema de enseñanza de tecnología AR se basa en la arquitectura modelo-vista-controlador (MVC). El modo de procesamiento de datos de este modo se muestra en la ecuación (8).
V(s) = max sim(s →f(s)) (8)
En la ecuación (8), V(s) representa el contenido de datos mostrado por la capa de vista según los requisitos del usuario, los recursos de enseñanza de sis y f(s) es información del usuario. El modo de funcionamiento de la interacción en tiempo real entre el sistema docente diversificado y los usuarios se muestra en la ecuación (9).
K(s) = si ∩ [f(s 1), f(s 2),...,ff(s n)] (9)
En la ecuación (9), K(s) representa la regla de negocio del modo, s1 representa el parámetro característico de los objetos de datos, y f(s n) representa el parámetro característico de la información de demanda del usuario. Basándose en la relación interactiva entre el sistema de enseñanza de ciencias de la tecnología de RA y los usuarios, el modo de operación se muestra en la ecuación (10).
g(x) = máximo K(s) → f(s) (10)
En la ecuación (10), g(x) representa el objeto de solicitud, f(x) es la fuente de los requisitos del usuario y max K(s) es el valor máximo de similitud de características. El modo MVC consta de cinco componentes principales: negocio, controlador, persistencia, vista y base de datos. La capa de vista conecta usuarios y datos a través de páginas web, permitiendo la interacción, y proporciona la funcionalidad para mostrar páginas web. La capa de datos almacena y procesa datos de la capa superior. La capa de servicio es responsable de satisfacer las necesidades del usuario e implementar la lógica de servicio. El sistema de enseñanza de ciencias de la RA basado en el modo MVC se muestra en la Figura 4.

Figura 4: Diagrama de arquitectura técnica del sistema de enseñanza de las ciencias. Por favor, haz clic aquí para ver una versión ampliada de esta figura.
Al interactuar con la base de datos, la información de operaciones de datos obtenida en la capa de lógica de negocio se mapea a través de la capa de persistencia. La capa de vista es responsable de mostrar la interfaz principal de la interfaz frontal, subir datos experimentales, mostrar los resultados experimentales y calificar los informes experimentales. La capa de lógica de negocio se divide en una capa de negocio y un controlador, que recibe las solicitudes de los usuarios y las reenvía al procesador de la capa de lógica de negocio para su procesamiento. La capa tecnológica convierte los bloques comunes de varios objetos en módulos separados, permitiendo referencias directas al sistema.
3.3 Diseño de arquitectura de sistemas docentes basado en tecnología de RA y juegos educativos de ciencias
La enseñanza de ciencias es un proceso bidireccional de enseñanza y aprendizaje. Para alcanzar los objetivos educativos, el diseño de los juegos educativos de RA debe seguir los cinco principios de interactividad, interactividad, ciencia, facilidad de manejo yeducación 21. La interactividad es la característica más importante de la tecnología de AR. El juego educativo debe destacar las ventajas de la tecnología AR, permitiendo a los alumnos vivir una experiencia rica e interactiva en experimentos que activen el ambiente del aula y mejoren la eficacia docente. Los juegos educativos están diseñados con objetivos claros de enseñanza y puntos clave para lograr tanto los objetivos de enseñanza como de aprendizaje. Por lo tanto, el sistema de enseñanza basado en tecnología AR incluye principalmente seis módulos, como se muestra en la Figura 5.

Figura 5: Diagrama del módulo del sistema de enseñanza de la enseñanza de ciencias en AR. Por favor, haz clic aquí para ver una versión ampliada de esta figura.
El módulo del sistema de enseñanza está compuesto principalmente por el módulo de introducción al sistema, módulo de usuario, módulo de experimento, módulo de selección de experimentos, módulo de página principal y módulo de estadísticas de resultados. El módulo de introducción al experimento puede informar fácilmente a los usuarios y proporcionar instrucciones para el uso del sistema de enseñanza, incluyendo los requisitos de experimentos en el aula y los requisitos del informe experimental. El módulo de usuario gestiona a los usuarios, incluyendo el registro de cuentas, el cambio de cuenta, la cierre de sesión y la modificación de contraseñas. El módulo de selección experimental utiliza la pantalla táctil para seleccionar las partes experimentales. El módulo experimental realiza el reconocimiento de puntos de características y el análisis de características sobre las imágenes experimentales importadas. También ajusta la diferencia de luz adecuadamente para la visualización en el mundo real. El diseño del sistema docente basado en la tecnología de RA se centra estrechamente en los objetivos educativos. Específicamente, las funciones educativas principales del módulo experimental y del módulo de selección experimental son empoderar a los estudiantes. Pueden explorar de forma independiente. La importancia educativa del módulo de estadísticas de resultados radica en proporcionar una base objetiva para los profesores. Los profesores pueden utilizarlo para evaluar los resultados de aprendizaje. Debido a las características de la RA, requiere su uso en escenas con iluminación adecuada y estable. El método de estiramiento gris puede usarse para que estén distribuidos uniformemente, como se muestra en la ecuación (11).
g(x,y) = [(255 - c)/ b - a] f(x,y) + c (11)
En la ecuación (11), c representa el punto de inicio del nivel de grises tras la corrección. A y b representan respectivamente el punto de inicio y el final del nivel de grises antes de la corrección. En el método de seguimiento basado en características, la ecuación central se muestra en la ecuación (12).
(12)
En el proceso de seguimiento, se selecciona un modelo de regresión de crestas para la regresión lineal, y se utiliza un modelo de regresión no lineal para el entrenamiento. La función Gaussiana se muestra en la ecuación (13).
(13)
El administrador está en el módulo de puntuación de usuarios. Bajo este sistema, el nivel de puntuación del curso experimental es gestionado y evaluado por el administrador. Los estudiantes pueden consultar los resultados y datos experimentales a través del módulo de resultados experimentales. El módulo de la página principal del sistema incluye la introducción del sistema, la introducción de experimentos, el sistema de salida y otros contenidos. La Figura 6 muestra el marco general del sistema.

Figura 6: Módulo de la página principal de arquitectura de sistemas de enseñanza de la enseñanza de la ciencia aumentada. Por favor, haga clic aquí para ver una versión ampliada de esta figura.
El proceso del sistema en el sistema docente se compone principalmente de cuatro partes, incluyendo la preparación de materiales de dibujo, la optimización interactiva de pruebas, la consulta y ordenación de datos, y el sistema de implementación. Se refleja en el registro e identificación de la tarjeta, así como en la identificación del modelo de la pieza mostrada. Finalmente, se presenta la imagen de análisis tensión-deformación de los datos experimentales, y se pueden obtener las características mecánicas de materiales con diferentes propiedades en el análisis tensión-deformación. Tras el experimento, se puede presentar la base del informe experimental final. Por lo tanto, el proceso experimental del sistema se muestra en la Figura 7.

Figura 7: Diagrama de flujo de la implementación del sistema de enseñanza de la RA para la enseñanza de las ciencias. Por favor, haz clic aquí para ver una versión ampliada de esta figura.
La arquitectura general del sistema incluye la arquitectura de tecnología de diseño y los módulos funcionales. El sistema de enseñanza puede ayudar a los alumnos a mejorar su autoconciencia y exploración, y ayudar a los educadores a organizar experimentos didácticos a través de juegos educativos. Debido a la interactividad del sistema docente, los alumnos pueden utilizar el sistema de enseñanza de AR. En la enseñanza de ciencias apoyada por la tecnología de RA, se pueden satisfacer las necesidades de los educadores, de modo que el currículo de enseñanza pueda desarrollar contenidos con fuerte aplicabilidad para los alumnos22. Por lo tanto, el contenido docente puede optimizarse y el entusiasmo y la creatividad de los alumnos en el curso pueden potenciarse para mejorar el efecto docente.