Evaluación del compromiso en el aula, la expresión reflexiva y la intención prosocial de estudiantes universitarios mediante la observación conductual y la analítica del aprendizaje

Resumen

Este protocolo integra la observación en el aula, la escritura reflexiva, la medición de intenciones prosociales y el análisis de datos de aprendizaje para evaluar el compromiso conductual, la expresión reflexiva y los resultados de aprendizaje orientados socialmente en estudiantes universitarios durante un período instruccional de 4 semanas. Especifica la aprobación ética, el contenido de los instrumentos, el flujo de trabajo del software, el manejo de datos faltantes, los procedimientos de solución de problemas y la interpretación de resultados representativos, incluyendo las limitaciones observadas en la implementación.

Resumen

Para abordar la necesidad de evaluaciones multidimensionales de la participación estudiantil más allá de las métricas tradicionales, este protocolo describe un enfoque estructurado para evaluar la participación en clase, la expresión reflexiva, la actividad de analítica del aprendizaje y la intención prosocial en cursos de pregrado. El protocolo combina observación conductual basada en intervalos, escritura reflexiva estructurada semanal, registros anónimos del sistema de gestión del aprendizaje y un cuestionario de intención prosocial previo y posterior. Los procedimientos revisados proporcionan un modelo reproductible de codificación conductual, una rúbrica de expresión reflexiva con ejemplos de puntuaciones, pasos para el manejo de software y datos, y orientaciones explícitas para la resolución de problemas relacionados con desacuerdos entre observadores, registros de plataforma faltantes, tasas bajas de entrega de reflexiones, visibilidad deficiente de la cámara, deserción de participantes y conocimientos previos inconsistentes. Este protocolo debe utilizarse cuando los investigadores necesiten una forma de baja intrusión y reproductible de combinar el comportamiento en clase en tiempo real, la autorreflexión de los estudiantes y la actividad rutinaria en el sistema de gestión del aprendizaje (LMS) durante la enseñanza de pregrado. Es menos adecuado para cursos completamente asincrónicos sin interacción observable, entornos que prohíben la observación independiente o la vinculación de registros, o estudios que requieran inferencias biométricas o de reconocimiento emocional. Los resultados representativos se informan a partir de la aplicación empírica implementada tras la aprobación ética verificada, la anonimización de los registros del curso y la preparación del repositorio.

Introducción

Evaluar la participación del estudiante en la educación superior requiere un enfoque amplio y de múltiples fuentes. Aunque la participación estudiantil se concibe ampliamente como un constructo multidimensional que abarca el comportamiento observable, el esfuerzo cognitivo y la interacción con el entorno, los enfoques analíticos actuales dependen predominantemente de datos de registro superficiales, como frecuencias de inicio de sesión y acciones registradas por el sistema¹. Esta excesiva dependencia representa un desafío significativo para la investigación práctica basada en el aula. Las formas más importantes de participación instruccional—las interacciones directas entre pares, la reflexión cognitiva y las contribuciones sociales—ocurren a menudo completamente fuera del alcance limitado de la visibilidad de la plataforma².

La complejidad del aula universitaria moderna se ha intensificado con la adopción de modelos pedagógicos híbridos, que combinan plataformas digitales con la enseñanza tradicional presencial. Aunque las revisiones sistemáticas de analítica del aprendizaje confirman que los rastros digitales ofrecen información valiosa sobre la distribución del tiempo, los patrones de acceso y las tasas de retención a largo plazo, estas métricas por sí solas no pueden determinar si la atención del estudiante es genuinamente eficiente o significativa³. Por consiguiente, investigaciones recientes abogan por fundamentar la analítica del aprendizaje en marcos teóricos más sólidos, alineando los rastros digitales con medidas más ricas y dependientes del contexto sobre la participación, como el comportamiento en clase y las actividades reflexivas⁴.

La escritura reflexiva aporta una dimensión cualitativa esencial a esta evaluación. Las reflexiones estructuradas posteriores a la clase y los diarios registran las interpretaciones de los estudiantes sobre las actividades de aprendizaje, aclaran las dificultades instruccionales y establecen un puente entre los contenidos teóricos y las acciones prácticas posteriores. Evidencia empírica reciente conceptualiza la expresión reflexiva como un constructo integrado y multifacético que comprende la evocación descriptiva, la inferencia analítica, la representación autorreferencial y la generalización del significado⁵. Además, investigaciones indican que proporcionar a los estudiantes orientación reflexiva repetida fortalece progresivamente su capacidad de introspección; a medida que aumenta la frecuencia de la reflexión estructurada durante el curso, las habilidades exploratorias independientes de los estudiantes mejoran simultáneamente⁶.

Una segunda brecha importante en la investigación actual sobre compromiso es la marginación frecuente de la socialización en el aula. Mientras que los estudios existentes enfatizan fuertemente el comportamiento o la cognición individual, las aulas universitarias funcionan como entornos de aprendizaje inherentemente sociales en los que los estudiantes se influyen mutuamente mediante la colaboración y las interacciones receptivas. Evidencia emergente demuestra que el clima del aula y las estructuras de participación se correlacionan fuertemente con el comportamiento prosocial y una mentalidad orientada a la contribución—resultados que permanecen poco investigados en comparación con métricas tradicionales del rendimiento académico o la satisfacción del estudiante. El comportamiento prosocial en entornos académicos no es meramente un subproducto de estados emocionales o estrés; más bien, se relaciona fundamentalmente con la forma en que los estudiantes se posicionan dentro de actividades colectivas de aprendizaje⁷. Por lo tanto, medir la intención prosocial sirve como una lente adecuada para determinar si el compromiso en el aula trasciende la realización aislada de tareas y fomenta comportamientos cooperativos y alentadores más allá del entorno instruccional inmediato⁸.

Estos avances conceptuales subrayan la necesidad de un marco integrado de recolección de evidencias implementado dentro de una única ventana instruccional. Un diseño de múltiples fuentes mitiga las limitaciones de depender de una única métrica, permitiendo la validación cruzada entre diferentes modos de participación y revelando cómo los estudiantes interpretan sus actividades posteriores a la clase para fomentar el aprendizaje independiente⁹. Mientras que las evaluaciones reflexivas capturan el estado cognitivo interno del estudiante, anclar estos autoinformes con rastros conductuales objetivos mejora significativamente la interpretabilidad de los datos de aprendizaje. Actualmente, existe una ausencia notable de protocolos prácticos, listos para usar en el aula, que sinteticen sin problemas la observación conductual sistemática, la presentación estructurada de informes reflexivos y los análisis de aprendizaje para su implementación rutinaria en la universidad.

Para abordar estas deficiencias metodológicas, este artículo presenta un protocolo de evaluación diseñado para medir simultáneamente la participación en clase, la expresión reflexiva y la intención prosocial de los estudiantes universitarios. Desarrollado específicamente para entornos de pregrado, el protocolo ofrece una metodología simplificada que requiere una carga administrativa mínima sin sacrificar la reproducibilidad científica. Al cerrar la brecha analítica entre los comportamientos observables, la experiencia subjetiva articulada y los resultados de aprendizaje orientados socialmente, este marco responde al creciente llamado a una mayor claridad conceptual en la investigación sobre la interacción humano-tecnología en entornos educativos¹⁰.

Protocolo

Todos los métodos que involucraron a participantes humanos se realizaron cumpliendo con la Declaración de Helsinki y las directrices institucionales pertinentes. Para el estudio implementado, el protocolo fue aprobado por el Comité de Ética del Instituto de Tecnología de Nanchang antes de comenzar el reclutamiento (número de aprobación: NITE778291). Se obtuvo el consentimiento informado por escrito de cada estudiante participante. Solo se utilizaron para el análisis datos agregados y desidentificados de observación en el aula, puntuaciones de reflexión, analíticas de aprendizaje y cuestionarios; se excluyeron del acceso público los videos del aula identificables, nombres, identificaciones institucionales y textos de reflexión sin editar.

1. Diseño del estudio y selección de participantes

1. Implemente el protocolo durante cuatro períodos lectivos consecutivos para cada sección de clase seleccionada. Registre etiquetas anónimas del curso, formato instructivo, tamaño del grupo, experiencia del instructor con el curso, y si cada clase incluye instrucción grupal, trabajo en equipo o práctica individual. Apunte a una matrícula inicial de aproximadamente entre 180 y 210 estudiantes universitarios de 18 años o más, o adapte la meta del tamaño de la muestra al contexto del curso.
2. Asegúrese de que todos los participantes tengan una cuenta institucional activa para la plataforma del curso, asistan a las clases observadas y hayan recibido la orientación previa que normalmente se proporciona al grupo. Cuando el conocimiento previo varíe considerablemente, proporcione un breve material introductorio, una lista de recursos previos a la clase o una revisión guiada por el instructor antes del período de observación, y registre el apoyo brindado como metadatos contextuales.
3. Obtenga el consentimiento informado por escrito de todos los estudiantes tras proporcionarles un documento escrito completo con información detallada. Indique claramente en el formulario de consentimiento que el estudio vincula la observación del comportamiento en clase, la escritura reflexiva semanal y los registros anónimos de la plataforma de aprendizaje.
4. Incorpore al conjunto de datos de investigación únicamente a los estudiantes que hayan dado su consentimiento. Garantice que la negativa a participar no afecte la asistencia, calificaciones, acceso al curso ni la comunicación con el instructor.
   1. Explique el uso permitido y prohibido de herramientas de inteligencia artificial (IA) antes de la primera tarea reflexiva.
      NOTA: Las herramientas de IA solo pueden utilizarse cuando lo permita la política del curso y únicamente como apoyo general al estudio; las entregas reflexivas y las respuestas sobre intenciones prosociales deben describir la experiencia personal del estudiante y deben declarar cualquier ayuda proporcionada por IA.
   2. Si el instructor permite el uso de IA para reforzar los conocimientos previos, proporcione los mismos estímulos o recursos aprobados a todos los estudiantes y registre este apoyo como una adaptación del protocolo. No utilice resúmenes generados por IA como evidencia principal de la reflexión del estudiante, a menos que el estudio de validación evalúe explícitamente respuestas asistidas por IA.
5. Excluya a los estudiantes antes del análisis si rechazan el consentimiento, abandonan el curso durante el período del protocolo o carecen de datos coincidentes en los registros de observación, reflexión y análisis. Utilice un diseño de medidas repetidas para recopilar datos consistentes de las tres fuentes distintas durante un período de 4 semanas².

2. Adquisición de datos basales y gestión de la identidad

1. Designe a un solo administrador de datos para asignar un ID de estudio alfanumérico de ocho caracteres a cada participante que dé su consentimiento, mediante un proceso pseudoaleatorio.
2. Cree un archivo de vinculación entre la identidad y el ID de estudio que contenga los nombres de los estudiantes, sus IDs institucionales, secciones de clase y números de estudio. Almacene este archivo de forma segura y separada de los archivos analíticos, asegurándose de que permanezca completamente inaccesible para observadores, codificadores de reflexiones e investigadores.
3. Destruya o archive este archivo de vinculación tras la verificación final de los datos, de acuerdo con la política institucional aprobada de retención de datos, manteniendo al mismo tiempo el cumplimiento con las prácticas actuales de análisis del aprendizaje en educación superior respecto al vínculo restringido y la desidentificación¹.
4. Recopile datos demográficos basales sobre la edad, el género, el año académico y la especialidad del participante durante la semana inicial anterior a la primera clase observada.
5. Utilice el cuestionario estructurado de seis ítems sobre intención prosocial del Archivo Suplementario 1 como instrumento basal antes de la primera clase observada. Aplíquelo electrónicamente a través del sistema de gestión del aprendizaje (LMS) o en papel, utilizando únicamente el ID de Estudio asignado. Los estudiantes califican cada ítem en una escala de 5 puntos, desde 1 = totalmente en desacuerdo hasta 5 = totalmente de acuerdo; calcule la puntuación basal como la media de los ítems completados cuando se respondan al menos cinco de los seis ítems.
6. Exporte todos los textos reflexivos recopilados posteriormente sin nombres, direcciones de correo electrónico ni otros identificadores personales, para garantizar el anonimato total antes de que comience el proceso de codificación cualitativa.

3. Preparación para la observación en el aula

1. Programar observaciones para cada sección de clase una vez por semana durante 4 semanas consecutivas. Para una clase estándar de 90 minutos, definir una ventana observada de 70 minutos excluyendo los primeros 10 minutos y los últimos 10 minutos del registro⁵.
2. Iniciar el registro en el minuto 10^o y finalizar en el minuto 80^o de una clase estándar de 90 minutos. Estos períodos de amortiguación no forman parte de la ventana de observación de 70 minutos; por lo tanto, una clase estándar proporciona 70 minutos de observación codificada, no una sesión de 30 minutos.
3. Excluir cualquier bloque instruccional interrumpido de la evaluación final si la clase experimenta una interrupción de más de 5 minutos debido a alarmas, cambios de aula o fallos de plataforma.
4. Considerar el compromiso en clase como una composición observable de múltiples comportamientos registrando simultáneamente varios indicadores conductuales en cada punto de medición¹¹. Los indicadores incluyen atención en la tarea, participación verbal, colaboración entre compañeros, toma de apuntes enfocada en la tarea o uso de dispositivos, distracción fuera de la tarea y comportamiento de búsqueda de ayuda.
5. Organizar el acomodo de los asientos en el aula por grupos antes de la primera observación y mantener estrictamente esta disposición durante todo el período de 4 semanas.
6. Colocar a dos observadores capacitados en ubicaciones fijas con visibilidad completa del aula para que codifiquen de forma independiente. Si se permite la grabación institucional y los participantes dan su consentimiento, instalar dos cámaras fijas en las zonas trasera central y trasera lateral y sincronizarlas antes de la sesión.
7. Utilizar las grabaciones de video únicamente para la capacitación de observadores, verificación de fiabilidad y resolución de problemas de visibilidad; no usar las grabaciones como fuente principal de codificación ni realizar análisis de emociones faciales, emociones vocales, biométricos ni reconocimiento de identidad.

Codificación conductual basada en intervalos

1. Divida la ventana de observación de 70 minutos en intervalos consecutivos que consistan en un escaneo visual de 20 s seguido de un período de registro de 10 s. Si una clase magistral, de laboratorio o en línea requiere una duración de intervalo diferente, informe la estructura de intervalos adaptada y justifíquela antes de comenzar la recolección de datos.
   NOTA: Esta estructura de 20 s/10 s equilibra la observación ecológica del aula con la carga de trabajo del codificador: el período de escaneo es suficientemente largo para detectar la atención sostenida, la colaboración y el comportamiento fuera de la tarea, mientras que el período de registro reduce la carga de memoria y apoya decisiones binarias consistentes.
2. Examine de forma continua un grupo claramente definido de hasta diez estudiantes por intervalo, siguiendo un orden basado en la disposición de los asientos.
3. Utilice criterios específicos de escaneo para evitar inconsistencias entre codificadores causadas por definiciones operativas poco precisas⁴. Codifique seis indicadores binarios a nivel estudiantil durante cada escaneo. Estos incluyen atención en la tarea, participación verbal, colaboración entre compañeros, toma de apuntes enfocada en la tarea o uso de dispositivos, distracción fuera de la tarea y comportamiento de búsqueda de ayuda.
4. Marque un indicador como "1" si el comportamiento designado ocurre en algún momento durante los 20 s del escaneo. De lo contrario, márquelo como "0". Codifique el intervalo como faltante si un estudiante no es visible durante al menos 10 s del escaneo.
5. Registre la atención en la tarea cuando un estudiante dirija visualmente su atención hacia el instructor, las tareas asignadas, la información presentada o compañeros involucrados en discusiones relacionadas con la tarea durante al menos 5 s consecutivos. Codifique la participación verbal por cualquier contribución audible y relacionada con la tarea.
6. Codifique la colaboración entre compañeros cuando los estudiantes participen en intercambios visibles basados en la tarea, resolución conjunta de problemas o explicaciones entre pares. Registre la toma de apuntes enfocada en la tarea o el uso de dispositivos cuando haya escritura activa, tecleo o interacción digital con los materiales del curso.
7. Marque la distracción fuera de la tarea si un estudiante participa en conversaciones no relacionadas, uso no académico de dispositivos o desvinculación sostenida durante al menos 5 s consecutivos. Registre la búsqueda de ayuda cuando un estudiante solicite explícitamente aclaraciones o asistencia al instructor o a sus compañeros.
8. Calcule la puntuación conductual semanal para cada estudiante como el número total de juicios positivos dividido entre todas las calificaciones válidas. Posteriormente, derive las medias de 4 semanas para los seis indicadores.
9. Calcule un Índice Combinado de Participación en el Aula Observada (OCEI, por sus siglas en inglés) para el estudiante i en la semana w utilizando el modelo matemático previamente especificado: OCEI_iw = [Atención en la tarea_iw + Participación verbal_iw + Colaboración entre compañeros_iw + Toma de apuntes/enfoque en dispositivos relacionados con la tarea_iw + (1 - Distracción fuera de la tarea_iw)]/5.
10. Mantenga la búsqueda de ayuda como una variable analítica independiente porque puede representar ya sea una aclaración constructiva o dificultades con el contenido instruccional, dependiendo del contexto¹². Consulte la Figura 1 para conocer el flujo del estudio y la Tabla 1 para los índices de observación y las reglas de codificación.

5. Capacitación del observador y evaluación de la fiabilidad

1. Realice la capacitación del observador mediante una sesión de capacitación manual de 60 minutos y ejecute tres rondas de calibración antes del programa formal.
2. Realice la primera ronda de calibración utilizando la codificación guiada de un video de aula que no pertenezca al estudio. Complete las dos rondas subsiguientes como codificaciones independientes de videos diferentes que tampoco pertenezcan al estudio, seguidas de comparaciones estadísticas directas con el codificador principal.
3. Comience la recolección formal de datos solo cuando el coeficiente Kappa de Cohen alcance o supere 0,75 y el porcentaje total de acuerdo entre evaluadores supere el 85 %.
4. Implemente una verificación de deriva doble ciega en el 10 % de las sesiones completas y en un segmento aleatorizado de 10 minutos de las sesiones restantes durante todo el protocolo de 4 semanas.
5. Recalibre al equipo de codificación dentro de las 72 horas y vuelva a verificar las sesiones afectadas antes del bloqueo de datos si el valor de Kappa cae por debajo de 0,70 para cualquier indicador. Proporcione continuamente retroalimentación y organice ejercicios de calibración para mantener la estabilidad de la evaluación a lo largo del tiempo¹³.

6. Recolección y evaluación de la expresión reflexiva

1. Indique a los estudiantes que presenten un texto reflexivo estructurado (de 100 a 350 palabras) por cada clase observada, generando 4 entradas por participante a lo largo del protocolo de 4 semanas.
2. Publique las preguntas para la reflexión a través del sistema de gestión del aprendizaje (LMS) o en un formulario impreso dentro de las 2 horas posteriores a la clase observada, y cierre el periodo de entrega 72 horas después. El formulario debe mostrar el campo del ID del estudio y las siguientes tres preguntas en el mismo orden para todos los estudiantes:
   1. Identifique los momentos en los que se sintió más y menos involucrado durante la clase.
   2. Explique las causas contextuales, incluyendo la dificultad de la tarea, los conocimientos previos, la interacción grupal, la explicación del instructor o el uso de la plataforma.
   3. Describa cómo su participación influyó en el ambiente del aula y qué acción futura pretende tomar.
      NOTA: Acepte entradas con menos de 100 palabras, pero márquelas en la base de datos como de baja información. También marque aquellas entradas que omitan la participación, la causa contextual o la acción futura/impacto social, ya que estas omisiones afectan la puntuación de calidad reflexiva y los informes de viabilidad.
3. Asigne a dos codificadores ciegos para evaluar las presentaciones según la especificidad descriptiva, la profundidad analítica, la orientación autorregulatoria y el significado social-prosocial.
   1. Califique cada dimensión utilizando una escala de 4 puntos en la que 0 indica ausencia, 1 indica evidencia débil o vaga, 2 indica evidencia clara pero limitada, y 3 indica evidencia fuerte y elaborada. Por ejemplo, la profundidad analítica se califica como 0 cuando no se proporciona ninguna razón, como 1 cuando el estudiante solo afirma que la actividad fue difícil, como 2 cuando el estudiante vincula la dificultad con un concepto específico o una condición del aula, y como 3 cuando el estudiante explica la interacción entre los conocimientos previos, la discusión entre compañeros, la retroalimentación del instructor y una estrategia de aprendizaje planificada. Tabla 2 y Archivo Suplementario 1 proporcionan ejemplos por nivel de puntuación para las cuatro dimensiones reflexivas.
4. Inicie la evaluación formal solo después de alcanzar un coeficiente de correlación intraclase de 0,80 o superior para cada dimensión en los textos piloto¹⁴.
5. Califique aleatoriamente el 15 % de las reflexiones del estudio durante el protocolo para controlar la deriva del evaluador. Evalúe los escritos reflexivos basándose en estas métricas cualitativas multidimensionales, en lugar de depender únicamente de la longitud del texto o la frecuencia de palabras.
6. Elabore o adapte la rúbrica de expresión reflexiva mediante revisión por expertos realizada por al menos dos investigadores en educación y un instructor del curso. Pruebe la rúbrica con 20 a 30 reflexiones no incluidas en el estudio, revise los descriptores ambiguos y documente la versión final de la rúbrica antes de iniciar la codificación formal.
7. Aplique el cuestionario de intención prosocial que se muestra en Archivo Suplementario 1. Pida a los estudiantes que califiquen su disposición para ayudar a compañeros que tengan dificultades, compartir recursos de aprendizaje, contribuir constructivamente a las discusiones, animar a sus compañeros, actuar con justicia durante tareas grupales y mejorar el clima de aprendizaje en el aula. Utilice una escala de 5 puntos que va desde 1 (totalmente en desacuerdo) hasta 5 (totalmente de acuerdo). Calcule la puntuación media cuando se completen al menos cinco de los seis ítems, y reporte el alfa de Cronbach para las aplicaciones basal y posterior al protocolo.

7. Extracción de analíticas del aprendizaje

1. Asigne un administrador externo para extraer los datos de analítica del aprendizaje después de la semana 4 para evitar cualquier contaminación de los procesos de observación y reflexión.
2. Establezca la ventana de extracción desde las 00:00 del día de la primera clase observada hasta las 23:59 del día de cierre de la ventana final de reflexión.
3. Extraiga únicamente las variables previamente especificadas necesarias para el protocolo. Registre el número de días activos en la plataforma, las visualizaciones distintas de recursos, la proporción de recursos asignados abiertos, la cantidad de respuestas publicadas en foros de discusión, la tasa media de finalización de videos y la puntualidad en la entrega de tareas.
4. Limpie las exportaciones originales eliminando cuentas pertenecientes a instructores y asistentes de enseñanza, registros duplicados, eventos de prueba y puntos de datos fuera del período designado.
5. Defina un día activo como cualquier fecha del calendario que contenga al menos un acceso autenticado al curso seguido de una interacción significativa, como abrir archivos, ver videos o publicar respuestas.
6. Cuente las aperturas únicas de recursos ignorando los eventos duplicados de actualización que ocurran dentro de un intervalo de 60 s. Determine la tasa de finalización de videos truncando la fracción vista respecto al tiempo programado a las 01:00, luego promedie los valores para todos los elementos multimedia asignados.
7. Calcule la puntualidad en la entrega de tareas según la proporción de actividades enviadas antes de las fechas límite establecidas. Calcule la proporción de accesos nocturnos como la razón entre los eventos significativos ocurridos entre las 00:00 y las 06:00 y el total de actividades significativas dentro del período de observación. Confíe en estas métricas basadas en el tiempo y en la contribución para obtener información más rica que la simple acumulación de registros¹⁵.
8. Utilice un flujo de trabajo previamente especificado para la gestión de datos a partir de la exportación del sistema de gestión del aprendizaje. Guarde la exportación original como un archivo de solo lectura, cree una copia de trabajo anonimizada, elimine las cuentas de instructores y asistentes de enseñanza, elimine eventos duplicados o de prueba y conserve un registro del procesamiento con el número de filas tras cada paso de limpieza.
9. Realice la limpieza de datos en una hoja de cálculo o posteriormente, y el análisis estadístico en R versión 4.4.0 o posterior, o software equivalente.
   1. En una hoja de cálculo, siga los pasos descritos en 7.9.1.1–7.9.1.2.
      1. Importe los archivos CSV anonimizados usando Datos > Obtener datos > Desde texto/CSV, y use Datos > Eliminar duplicados para suprimir filas duplicadas de ID de estudio/hora/evento.
      2. Aplicar Filtro para excluir cuentas de instructores o asistentes de enseñanza y registros fuera del intervalo, y guarde un registro del procesamiento con el número de filas tras cada paso.
   2. En R, siga los pasos descritos en 7.9.2.1–7.9.2.3.
      1. Importe archivos con readr::read_csv(), reconfigure registros semanales con dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() y tidyr::pivot_wider().
      2. Calcule el kappa de Cohen con irr::kappa2(), los CCI con psych::ICC() y el alfa de Cronbach con psych::alpha().
      3. Ajuste modelos lineales con corrección por sección mediante stats::lm(); use lme4::lmer() cuando se requiera un intercepto aleatorio previamente especificado por sección de clase, y use lme4::glmer(family = binomial) únicamente para resultados binarios. Archive el script exacto y las versiones de los paquetes junto con los materiales de envío.
10. Utilice la siguiente secuencia de análisis reproducible.
    1. Calcule las proporciones de observación por estudiante y semana, compute el OCEI usando la fórmula del paso 4.9, y combine las puntuaciones semanales de reflexión por ID de estudio y semana.
    2. Agregue las variables de analítica del aprendizaje a lo largo de la misma ventana de 4 semanas, examine la ausencia de datos por fuente, calcule estadísticas descriptivas y estimaciones de fiabilidad, y ajuste los modelos de asociación previamente especificados.
    3. No agregue predictores no planificados tras examinar los resultados, a menos que se indiquen como exploratorios.
11. (Opcional) Para mayor transparencia, deposite un script de análisis anonimizado, un código de variables, formularios de codificación en blanco, consignas de reflexión, rúbrica de reflexión y cuestionario prosocial en un repositorio público o en los materiales suplementarios. No deposite videos brutos identificables del aula, nombres, identificadores institucionales ni textos de reflexión sin editar.

8. Medición posterior al protocolo e integración del conjunto de datos

1. Administre el instrumento de intención prosocial por segunda vez inmediatamente después de la conclusión de la ventana final de reflexión.
2. Solicite a los estudiantes que califiquen su disposición para ayudar a sus compañeros, compartir recursos, contribuir constructivamente a las discusiones, animar a sus pares, actuar con justicia y mejorar el clima de aprendizaje en una escala que va de 1 (totalmente en desacuerdo) a 5 (totalmente de acuerdo). Calcule la puntuación total posterior al protocolo de cada individuo promediando las respuestas, siempre que hayan respondido al menos cinco de los seis ítems.
3. Combine los archivos de observación, las puntuaciones de reflexión y los registros de analíticas de aprendizaje utilizando el ID de Estudio anonimizado. Construya dos conjuntos de datos finales a partir de esta combinación para crear un archivo maestro a nivel de participante y un archivo en formato largo a nivel semanal.
4. No impute intervalos de observación faltantes causados por la falta de visibilidad del estudiante, ni reflexiones semanales faltantes causadas por la no entrega. Marque las reflexiones parcialmente completadas, las variables de analíticas de aprendizaje incompletas, las reflexiones con escasa información y los ID de Estudio no coincidentes antes del análisis.
5. Utilice análisis de casos completos para modelos de asociación preespecificados, informe el número de casos excluidos para cada modelo y realice una verificación de sensibilidad comparando a los estudiantes incluidos y excluidos en las variables basales disponibles.
6. Mantenga la intención prosocial como medida principal del resultado para reflejar las actitudes de apoyo y colaboración que sustentan los cambios estructurales en la participación de los estudiantes universitarios.

9. Solución de problemas y adaptaciones del protocolo

1. Si dos observadores difieren en más de un patrón de categoría binaria en el mismo grupo de estudiantes o si el kappa de Cohen cae por debajo de 0,70 para cualquier indicador, suspenda la calificación formal para la sesión afectada, revise las definiciones operativas, realice un segmento de recali­bración de 10 minutos y vuelva a codificar el intervalo afectado antes de bloquear los datos.
2. Si las exportaciones de la plataforma son incompletas, documente el campo faltante, solicite una segunda exportación al administrador externo y mantenga al estudiante en los resúmenes de observación/reflexión, excluyendo la variable analítica no disponible de los modelos que requieran ese campo.
3. Si menos del 80 % de las reflexiones esperadas se envían dentro de las 48 horas posteriores a la apertura de la tarea, envíe un recordatorio neutral a toda la clase, amplíe el soporte técnico para problemas de acceso y reporte por separado los conteos finales de entregas a tiempo, tardías y faltantes.
4. Si más del 10 % de los estudiantes en un grupo no son visibles durante al menos la mitad del intervalo de observación, codifique los intervalos afectados como datos faltantes y confíe en los registros del observador en vivo en lugar de intentar inferir el comportamiento a partir del video obstruido.
5. Si un estudiante se retira, rechaza seguir participando o carece de datos vinculables entre las distintas fuentes, elimine a ese estudiante de los modelos de asociación vinculada, pero conserve los conteos agregados de viabilidad del protocolo cuando lo permita la aprobación ética.
6. Si varios estudiantes indican que una sección es difícil de comprender, el instructor debe ofrecer la respuesta pedagógica habitual, como una breve reexplicación, un ejemplo resuelto, una discusión entre pares o un recurso complementario. Registre este hecho como un evento contextual, ya que puede influir en la búsqueda de ayuda, la profundidad de la reflexión y la actividad en la plataforma.
7. Adapte el tamaño del grupo de estudiantes, la duración del intervalo, los estímulos para la reflexión y las variables analíticas al formato instruccional, pero mantenga la misma lógica de indicadores conductuales predefinidos, registros desidentificados, codificación independiente y reglas transparentes para datos faltantes.
8. Considere la baja fiabilidad, la alta tasa de datos faltantes, la profundidad limitada de la reflexión, el escaso cambio prosocial y el débil acuerdo entre las fuentes de datos como resultados informativos de la implementación, y no como fallos del protocolo. Reporte estos resultados y explique si reflejan el contexto del aula, limitaciones del instrumento o problemas en la captura de datos.

Resultados

Inclusión de participantes, completitud de los datos y fiabilidad de las puntuaciones
Se invitó inicialmente a participar a una cohorte de 204 estudiantes de todas las secciones del curso, obteniéndose 198 individuos que dieron su consentimiento. Posteriormente, se excluyeron 14 casos debido a la baja del curso durante el período del protocolo o a la falta de vinculación completa de los datos entre las observaciones, las reflexiones y los registros de la plataforma. En consecuencia, la muestra analítica final estuvo compuesta por 184 estudiantes. Las características de los participantes, las tasas semanales de cumplimiento y la completitud general de los datos se detallan en Tabla 3.

Durante el programa de 4 semanas, se observaron 24 sesiones de clase, generando un registro sincronizado de analítica del aprendizaje para cada participante. De los 736 informes reflexivos esperados, 701 se enviaron dentro de la ventana de 72 h, 18 se enviaron tarde y 17 faltaron. En definitiva, 171 estudiantes completaron exitosamente todas las reflexiones semanales a tiempo. La analítica del aprendizaje se extrajo completamente para los 184 participantes finales tras filtrar cuentas de instructores, entradas duplicadas y actividades fuera del periodo establecido.

La codificación observacional permaneció altamente estable durante todo el período del protocolo. La fiabilidad entre evaluadores para los seis índices conductuales de la observación en el aula mostró valores de kappa de Cohen que oscilaron entre 0,76 y 0,84, con un acuerdo general durante las pruebas de deriva superior al 86 %. Para las puntuaciones de expresión reflexiva, los coeficientes de correlación intraclase (CCI) en las cuatro dimensiones variaron entre 0,82 y 0,89. Tabla 4 presenta las estadísticas descriptivas y los índices de fiabilidad para las variables principales del estudio.

Observación del comportamiento en el aula
Los comportamientos observados en el aula mostraron una mejora gradual durante el protocolo de 4 semanas. Como se ilustra en Figura 2, la atención en la tarea, la participación verbal y la colaboración entre compañeros fueron significativamente mayores en la semana 4 en comparación con las semanas iniciales. Específicamente, la participación verbal aumentó de 0,18 ± 0,09 en la primera semana a 0,24 ± 0,10 en la cuarta semana (p < 0,05). La colaboración entre compañeros también aumentó de 0,29 ± 0,11 a 0,35 ± 0,12 (p = 0,006). La atención en la tarea mostró una mejora altamente significativa, pasando de 0,71 ± 0,12 a 0,76 ± 0,11 (p < 0,001).

Por el contrario, la toma de apuntes orientada a la tarea o el uso de dispositivos mostró aumentos semanales marginales que no alcanzaron significancia estadística (p = 0.08). La conducta de búsqueda de ayuda se mantuvo consistentemente baja durante todo el período de observación, sin mostrar un efecto significativo del tiempo (p = 0.21). La distracción fuera de la tarea disminuyó significativamente de 0,14 ± 0,08 en la semana 1 a 0,11 ± 0,07 en la semana 4 (p = 0,03). En general, el Índice Compuesto de Participación en Clase Observada aumentó significativamente de 0,52 ± 0,10 durante la primera semana a 0,58 ± 0,11 en la semana final (p < 0,001).

Expresiones reflexivas durante el protocolo de 4 semanas
Las expresiones reflexivas evolucionaron a lo largo del período del estudio, aunque la magnitud del cambio varió entre sus subdimensiones. Como se muestra en Figura 3, la puntuación total de reflexión aumentó de la semana 1 a 7,2 ± 1,9 en la semana 4 (p < 0,001).

La profundidad analítica fue notablemente mayor al final de la semana 4 en comparación con las dos primeras semanas (p < 0,001). De manera similar, el significado social-prosocial aumentó de 1,08 ± 0,55 a 1,54 ± 0,60 (p < 0,001), y la orientación autorregulatoria aumentó de 1,42 ± 0,63 a 1,69 ± 0,65 (p < 0,05). En contraste, la especificidad descriptiva mostró una ligera tendencia ascendente, de 2,14 ± 0,57 a 2,24 ± 0,55, que no fue estadísticamente significativa (p = 0,09).

Las presentaciones tuvieron un promedio entre 223 y 231 palabras por entrada a lo largo del protocolo. De los 736 informes reflexivos esperados, 18 se presentaron tarde y 17 faltaron; las entradas con poca información y las respuestas que omitieron el estímulo de causa contextual o acción futura/impacto social se marcaron en la base de datos. Estos casos se mantuvieron como indicadores de viabilidad y solo se excluyeron de los modelos específicos de calidad de reflexión por semana cuando no se pudo asignar la puntuación correspondiente.

Patrones de análisis del aprendizaje durante el período de estudio
Las métricas de actividad en la plataforma mostraron una variabilidad considerable entre individuos durante el período de 4 semanas, como se ilustra en la Figura 4.

Durante el período total, los estudiantes promediaron 9,7 ± 2,4 días activos en la plataforma. El número medio de visualizaciones de recursos distintos fue de 27,3 ± 8,6, con los estudiantes abriendo una proporción promedio de 0,81 ± 0,14 de los recursos asignados. Además, el número medio de respuestas en discusiones fue de 4,8 ± 2,7. La puntualidad promedio en las tareas y la tasa media de finalización de videos fueron de 0,86 ± 0,18 y 0,79 ± 0,17, respectivamente. La proporción de acceso a la plataforma durante la noche promedió 0,12 ± 0,09.

Cabe destacar que las respuestas en las discusiones y la puntualidad en las tareas mostraron correlaciones positivas más pronunciadas con otros indicadores de participación, a pesar de la amplia distribución de las puntuaciones de puntualidad.

Asociación cruzada de observaciones, reflexiones y datos de aprendizaje
Las tres fuentes de datos mostraron asociaciones significativas, aunque no uniformes. Como se muestra en la Figura 5, los estudiantes con índices más altos de participación en clase observada tendían a obtener puntuaciones más altas en las reflexiones totales. En el modelo ajustado por sección, la participación en clase observada predijo positivamente la puntuación total de reflexión (β = 0.34, p < 0.001).

Entre las variables de análisis de aprendizaje, las respuestas en discusiones y la puntualidad en la entrega de tareas se correlacionaron de manera significativa y positiva con la calidad de la reflexión. Como se detalla en Tabla 5, las respuestas en discusiones predijeron positivamente la puntuación total de reflexión (β = 0.19, p = 0.013), al igual que la puntualidad en la entrega de tareas (β = 0.17, p = 0.028). Aunque inicialmente las visualizaciones brutas de recursos y la proporción de recursos asignados abiertos mostraron asociaciones positivas, estas correlaciones se debilitaron significativamente tras ajustar por variables de confusión. La proporción de acceso nocturno no mostró ninguna asociación significativa con la puntuación total de reflexión (p = 0.18).

Los datos también revelaron leves correlaciones cruzadas entre el comportamiento observado en clase y actividades específicas en la plataforma; por ejemplo, las visualizaciones brutas de recursos se correlacionaron marginalmente con el Índice de Participación en Clase Observada. Además, los estudiantes que participaron más frecuentemente en discusiones grupales mostraron una comunicación verbal más alta, mientras que aquellos con una mayor regulación conductual presentaron menos procrastinación en la entrega de tareas.

Cambios en la intención prosocial
La intención prosocial mostró un crecimiento significativo desde la línea base hasta la post-evaluación. La puntuación media de intención prosocial aumentó de 3,61 ± 0,53 en la línea base a 3,84 ± 0,50 tras el protocolo de 4 semanas (p < 0,001). Figura 6 ilustra la distribución pareada y las asociaciones ajustadas.

En el modelo ajustado final, un mayor índice de participación observada en clase predijo un incremento más elevado en la intención prosocial posterior al protocolo en comparación con la puntuación basal (β = 0.21, p < 0.05). Entre las dimensiones reflexivas, el significado social-prosocial ejerció el efecto independiente más sustancial sobre la intención prosocial posterior al protocolo (β = 0.29, p < 0.001). Aunque la participación verbal mostró una correlación positiva no ajustada con los resultados prosociales posteriores a la prueba, esta asociación perdió significación estadística tras controlar por los valores basales (p = 0.09). Finalmente, la tasa de acceso nocturno no mostró relación con la intención prosocial posterior al protocolo (p = 0.27).

Limitaciones observadas en la implementación y hallazgos nulos
El estudio implementado produjo varios resultados subóptimos pero informativos, en lugar de fallos que requirieran la interrupción del protocolo. Ninguna sesión observada requirió exclusión debido a un kappa del observador inferior a 0,70, ningún campo de análisis de datos de aprendizaje permaneció no disponible tras la exportación final, y ningún problema de visibilidad superó el umbral de ausencia preespecificado. Las limitaciones observadas se concentraron en la finalización de las reflexiones y en hallazgos conductuales nulos o marginales: 18 reflexiones se enviaron tarde, faltaron 17 reflexiones esperadas, la toma de notas enfocada en la tarea y el uso del dispositivo mostraron solo un aumento marginal (p = 0,08), la búsqueda de ayuda no mostró un efecto temporal significativo (p = 0,21), y el acceso nocturno no se asoció con la puntuación total de reflexión ni con la intención prosocial posterior al protocolo.

Estos hallazgos se conservaron porque describen la viabilidad de implementación y las condiciones límite del protocolo. Se informaron reflexiones tardías o faltantes en los resúmenes de flujo de participantes y completitud de datos; se reportaron asociaciones marginales o nulas sin omisiones selectivas; y los procedimientos de solución de problemas en la sección de Protocolo especifican cómo deben manejarse en futuras implementaciones los fallos hipotéticos, como la deriva del observador, la visibilidad obstruida o los campos faltantes en el LMS.

Los archivos de análisis desidentificados, el diccionario de datos, los guiones de análisis, los formularios de codificación en blanco, los estímulos para la reflexión, la rúbrica de reflexión y el cuestionario de intención prosocial se han depositado en Zenodo: https://zenodo.org/records/20607517. No se han publicado los videos de aula originales identificables, nombres, identificadores institucionales ni los textos de reflexión sin editar.

Figura 1: Flujo del estudio y protocolo de integración de datos multifuente. (A) Reclutamiento de participantes, obtención del consentimiento y asignación de identificadores de estudio en dos cursos universitarios y seis secciones de clase. (B) Ciclo de recolección de datos de 4 semanas: observación semanal en clase, tarea de escritura reflexiva y ventana sincronizada de captura de analíticas del aprendizaje. (C) Tres flujos paralelos de datos: observación del comportamiento en clase, puntuación de la expresión reflexiva y registros anónimos de la plataforma de aprendizaje. (D) Construcción del conjunto de datos maestro a nivel de participante y de la base de datos en formato largo a nivel semanal, generando los productos principales de investigación: índice observado de participación en clase, puntuación de reflexión e intención prosocial. Haga clic aquí para ver una versión ampliada de esta figura.

Figura 2: Cambios semanales en el comportamiento observado en clase durante el protocolo de 4 semanas. (A) Atención centrada en la tarea. (B) Participación verbal. (C) Colaboración entre compañeros. (D) Toma de apuntes enfocada en la tarea o uso de dispositivos enfocado en la tarea. (E) Distracción fuera de la tarea. (F) Búsqueda de ayuda. Los valores son puntajes proporcionales a nivel estudiantil por semana, derivados de observaciones en clase basadas en intervalos. Los puntos indican las medias semanales y las barras de error indican las desviaciones estándar. Haga clic aquí para ver una versión más grande de esta figura.

Figura 3: Cambios semanales en la expresión reflexiva a lo largo de las cuatro entregas reflexivas. (A) Especificidad descriptiva. (B) Profundidad analítica. (C) Orientación autorregulatoria. (D) Significado social-prosocial. (E) Puntuación total de reflexión. Las puntuaciones de reflexión fueron asignadas por dos codificadores ciegos utilizando la rúbrica preestablecida. Los puntos indican las medias semanales y las barras de error indican las desviaciones estándar. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Distribución de los indicadores de analítica del aprendizaje durante la ventana de estudio de 4 semanas. (A) Días activos en la plataforma de aprendizaje. (B) Vistas de recursos. (C) Proporción de recursos asignados abiertos. (D) Respuestas publicadas en discusiones. (E) Tasa media de finalización de videos. (F) Puntualidad en las tareas. (G) Proporción de acceso nocturno. Todos los valores se calcularon durante la misma ventana de 4 semanas utilizada para la observación en clase y la escritura reflexiva. Los gráficos de violín muestran las distribuciones a nivel de estudiante, y los gráficos de caja indican las medianas y los rangos intercuartílicos. Haga clic aquí para ver una versión más grande de esta figura.

Figura 5: Asociaciones entre el compromiso en clase observado, la expresión reflexiva y los indicadores seleccionados de análisis del aprendizaje. (A) Asociación entre el Índice de Compromiso en Clase Observado y la puntuación total en la reflexión. (B) Asociación entre las respuestas publicadas en las discusiones y la puntuación total en la reflexión. (C) Asociación entre la puntualidad en la entrega de tareas y la puntuación total en la reflexión. (D) Asociación entre la participación verbal y la puntuación total en la reflexión. Las líneas de tendencia representan asociaciones lineales ajustadas; las bandas sombreadas indican intervalos de confianza del 95 %. Haga clic aquí para ver una versión más grande de esta figura.

Figura 6: Cambio en la intención prosocial y sus asociaciones con la participación en clase y el significado reflexivo. (A) Distribución pareada de los puntajes de intención prosocial en la línea base y tras el protocolo. Las líneas conectan los puntajes antes y después del protocolo del mismo estudiante. (B) Asociación entre el Índice de Participación Observada en Clase y la intención prosocial tras el protocolo, ajustando por el puntaje basal. (C) Asociación entre el significado social-prosocial y la intención prosocial tras el protocolo. (D) Asociación entre la participación verbal y la intención prosocial tras el protocolo. Las bandas sombreadas en los paneles B-D indican intervalos de confianza del 95 %. Haga clic aquí para ver una versión más grande de esta figura.

Tabla 1: Indicadores de observación en el aula a nivel estudiantil y reglas de codificación. La tabla detalla las definiciones operativas y los criterios de codificación para la atención en la tarea, la participación verbal, la colaboración entre compañeros, la toma de apuntes orientada a la tarea o el uso de dispositivos, la distracción fuera de la tarea y la búsqueda de ayuda. El intervalo de codificación de 70 min, el ciclo de escaneo de 20 s y registro de 10 s, el procedimiento de escaneo por grupos, la regla de visibilidad perdida y la fórmula OCEI se describen en la sección de Protocolo. Haga clic aquí para descargar esta tabla.

Tabla 2: Marco de puntuación para la expresión reflexiva, ejemplos por nivel de puntuación y definiciones operativas de las variables de analítica del aprendizaje. La tabla describe la rúbrica de evaluación para textos reflexivos, incluyendo ejemplos de puntuaciones 0, 1, 2 y 3 para cada dimensión reflexiva, así como las definiciones operativas de las variables de analítica del aprendizaje extraídas. Los componentes reflexivos incluyen especificidad descriptiva, profundidad analítica, orientación autorregulada, significado social-prosocial, puntuación global de reflexión, recuento de palabras y estado de entrega. La analítica del aprendizaje comprende días activos, visualizaciones de recursos, proporción de recursos asignados abiertos, respuestas publicadas en foros de discusión, tasa media de finalización de videos, puntualidad en la entrega de tareas y proporción de acceso nocturno. Haga clic aquí para descargar esta tabla.

Tabla 3: Características de los participantes, flujo de inclusión y completitud de los datos. La tabla resume la elegibilidad de los participantes, las tasas de consentimiento, los criterios de exclusión, el tamaño final de la muestra y la completitud de los datos en las tres fuentes de datos. Informa las características demográficas basales junto con las entradas reflexivas esperadas, envíos a tiempo, envíos tardíos, reflexiones faltantes y extracciones exitosas de análisis de aprendizaje. Los valores se presentan como n (%) salvo que se indique lo contrario. Por redondeo, es posible que los porcentajes no sumen exactamente 100%. De acuerdo con el protocolo, las reflexiones tardías se archivan pero se excluyen de los análisis específicos por semana. La extracción completa de análisis de aprendizaje denota la recuperación exitosa de registros del período de estudio desidentificados tras la eliminación de cuentas de instructores, entradas duplicadas y eventos fuera del período. Haga clic aquí para descargar esta tabla.

Tabla 4: Estadísticas descriptivas y puntuaciones de fiabilidad de las pruebas de las variables principales del estudio. La tabla presenta valores medios específicos por semana, desviaciones estándar e índices de fiabilidad para la conducta observada en clase, la expresión reflexiva, los datos de aprendizaje y la intención prosocial. La fiabilidad de los datos de observación en clase se evalúa mediante el coeficiente kappa de Cohen. La fiabilidad de la calificación de la reflexión se presenta como coeficientes de correlación intraclase (CCI) para textos calificados por duplicado. La consistencia interna de la medida de intención prosocial se informa utilizando alfa de Cronbach. αLas variables de análisis del aprendizaje se calculan durante el mismo período de 4 semanas utilizado para las observaciones y reflexiones. Haga clic aquí para descargar esta tabla.

Tabla 5: Asociaciones multivariables entre el compromiso observado en clase, la expresión reflexiva, los análisis de aprendizaje y la intención prosocial. La tabla detalla los modelos inferenciales utilizados en los análisis principales. Presenta predictores multivariables del puntaje total de la reflexión, predictores ajustados de la intención prosocial posterior al protocolo (controlando los niveles basales) y asociaciones seleccionadas no ajustadas. Los valores β representan coeficientes de regresión no estandarizados. Todos los modelos multivariables se ajustan por sección de clase. Se proporcionan errores estándar (SE), intervalos de confianza del 95 % (IC) y valores p para todas las estimaciones. Haga clic aquí para descargar esta tabla.

Discusión

Este estudio propone un protocolo práctico que integra la observación del comportamiento, la escritura reflexiva y los análisis del aprendizaje para investigar de manera integral la participación, la autoexpresión y la conciencia prosocial de los estudiantes universitarios dentro de un único marco instruccional. Al capturar diferentes dimensiones del compromiso, este enfoque trímodo aborda críticas recientes en la investigación de la educación superior, que argumentan que las métricas de tiempo de uso y el monitoreo basado en sensores son insuficientes cuando se evalúan de forma aislada¹. A lo largo del protocolo de 4 semanas, el compromiso visible en clase mejoró significativamente. Específicamente, la participación verbal y la colaboración entre compañeros aumentaron junto con la atención centrada en la tarea, mientras que la búsqueda de ayuda y la toma de apuntes enfocada en la tarea mostraron cambios mínimos. Estos cambios conductuales indican que, a medida que los estudiantes se adaptan al entorno instruccional, su compromiso evoluciona hacia una participación más estratégica, socialmente interactiva y orientada a la contribución¹⁶.

Desde una perspectiva centrada en el método, el valor del protocolo depende de su implementación rigurosa más que de la observación de resultados uniformemente positivos. Por lo tanto, el flujo de trabajo revisado enfatiza una fórmula OCEI preespecificada, observación independiente, procesamiento documentado del software, ejemplos de rúbricas, umbrales de confiabilidad y reglas explícitas para datos faltantes. Estas adiciones tienen como objetivo hacer que el protocolo sea reproducible en entornos de aula comunes donde los registros de la plataforma, la asistencia de los estudiantes, la visibilidad de la cámara y la calidad de la reflexión sean imperfectas.

El protocolo también debe interpretarse como sensible al formato. En cursos magistrales grandes, los observadores podrían necesitar grupos rotativos más pequeños y un período de calibración más largo; en clases en línea, la observación del comportamiento podría basarse en registros de interacción y participación visible en lugar de escaneo del aula; en laboratorios, el comportamiento relacionado con la seguridad podría requerir un indicador adicional; y en aulas culturalmente diversas, los estímulos para la reflexión y los ítems sobre intenciones prosociales deben revisarse para garantizar claridad lingüística y adecuación cultural antes de su uso.

La escritura reflexiva proporciona una capa secundaria de comprensión sobre estos patrones de comportamiento. Los puntajes totales de reflexión mostraron una tendencia ascendente constante a lo largo del protocolo, con mejoras más pronunciadas en la profundidad analítica y en el significado social-prosocial. En lugar de limitarse a relatar eventos del aula, los estudiantes demostraron una capacidad creciente para analizar situaciones instruccionales desde una perspectiva más amplia y socialmente consciente. Esto concuerda con hallazgos recientes que indican que tareas repetidas y estructuradas de reflexión fomentan la construcción de significados de orden superior y el discurso basado en el conocimiento, incluso cuando el volumen superficial del texto permanece relativamente constante⁹. Por consiguiente, la escritura reflexiva en la educación superior debe entenderse mejor como un constructo multidimensional, en el cual las habilidades relacionadas con la interpretación, la transferencia y la proyección autorregulada se desarrollan a diferentes ritmos con el tiempo⁵.

La integración de analíticas del aprendizaje justifica aún más la necesidad de un protocolo con múltiples fuentes. Acciones sustantivas, como respuestas en discusiones y puntualidad en las tareas, demostraron ser indicadores mucho más informativos del nivel de participación que el volumen bruto de actividad. Por el contrario, el acceso a la plataforma durante horas nocturnas no mostró ninguna asociación significativa con la calidad de la reflexión ni con la intención prosocial. Estos hallazgos respaldan investigaciones previas que advierten contra la excesiva dependencia de métricas simples de frecuencia o de inicio de sesión para evaluar la participación estudiantil⁴. Nuestros resultados sugieren que los estudiantes que interactúan de forma constructiva con los materiales del curso desarrollan una mayor capacidad de reflexión; sin embargo, la actividad básica en la plataforma no refleja perfectamente la participación observable en el aula. La superposición moderada —más que una redundancia excesiva— entre observación, reflexión y analíticas valida así el uso de estrategias de medición compuesta frente a inferencias independientes basadas en una sola fuente¹⁷.

Una contribución secundaria de esta investigación es la ampliación de los resultados evaluados más allá de las métricas estándar de participación. La intención prosocial mostró un aumento medible entre la prueba inicial y la final, presentando las asociaciones más fuertes entre los estudiantes que expresaron temas sociales y prosociales en sus reflexiones y mantuvieron un perfil de interacción extenso. Esto concuerda con la investigación actual en educación superior, que postula que las características cooperativas y orientadas a la contribución son fundamentales para las interacciones en el aula, y no meros efectos secundarios⁸. Además, estos resultados respaldan la conceptualización del aula como un sistema social complejo. Cuando los estudiantes evalúan activamente sus contribuciones relativas a la comunidad de aprendizaje, su comportamiento tiende a desplazarse de un cumplimiento básico hacia un compromiso constructivo y prosocial¹⁸.

Estas conclusiones ofrecen conocimientos prácticos para el diseño pedagógico. El protocolo propuesto no requiere sensores especializados ni sistemas de monitoreo intrusivos. Al basarse exclusivamente en observaciones por intervalos, reflexiones estructuradas semanales y datos estándar de la plataforma del curso, esta combinación proporciona una solución altamente factible para entornos de enseñanza universitaria que necesitan evidencia formativa y transparente de participación, pero carecen de infraestructura tecnológica avanzada. Marcos pedagógicos recientes que enfatizan comunidades de aprendizaje y enseñanza orientada a la creación de valor sugieren que al redefinir a los estudiantes como coproductores activos, en lugar de consumidores pasivos, se infunde un mayor sentido a la participación en la educación superior¹⁹. Nuestro hallazgo empírico de que los indicadores relacionados con la contribución se agrupan estrechamente con la calidad de la reflexión y la intención prosocial—mucho más que el mero tráfico en la plataforma—apoya firmemente este cambio pedagógico.

Se deben reconocer varias limitaciones. Primero, dado que el protocolo está diseñado para un número limitado de secciones de clase, su transferibilidad a entornos basados en laboratorio, dominados por conferencias, completamente asincrónicos en línea o culturalmente diversos requiere una adaptación planificada y nuevas pruebas de confiabilidad. Segundo, la intención prosocial se mide mediante autorreporte y debe interpretarse como una intención reportada, no como una verdad empírica directa del comportamiento. Tercero, los datos analíticos del aprendizaje capturan actividades mediadas por plataformas y podrían pasar por alto la preparación fuera de línea, el apoyo informal entre pares y el estudio asistido por inteligencia artificial que no se revela. Cuarto, la ventana de observación de 4 semanas puede identificar patrones de implementación a corto plazo, pero podría no capturar trayectorias de desarrollo más prolongadas. Finalmente, los valores representativos de 4 semanas deben interpretarse como evidencia de implementación específica del contexto, no como estimaciones causales generalizables²⁰.

La investigación futura debería ampliar este marco en varias direcciones. Replicar el protocolo en diversas disciplinas académicas y modalidades instructivas es un paso crítico siguiente. Además, son necesarios seguimientos longitudinales para determinar si estas prácticas reflexivas a corto plazo generan actitudes prosociales duraderas o beneficios conductuales sostenidos. Los estudios posteriores también podrían comparar este marco observacional con metodologías alternativas, como la evaluación entre pares, el análisis de artefactos a nivel grupal o el análisis de secuencias de eventos. No obstante, en su forma actual, este protocolo proporciona un mecanismo operativo y robusto para triangular lo que los estudiantes hacen en el aula, cómo interpretan esas acciones posteriormente y cómo se posicionan socialmente dentro del entorno educativo más amplio.

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
Hoja de codificación para observación en el aula	Desarrollado internamente	Seis indicadores conductuales binarios	Codificación basada en intervalos de la atención en la tarea, participación verbal, colaboración entre pares, toma de notas o uso de dispositivos orientado a la tarea, distracción fuera de la tarea y búsqueda de ayuda.
GraphPad Prism	Graphpad	Versión 10.2.3	Generación de diagramas de flujo, gráficos de tendencias semanales, gráficos de distribución y figuras de asociación.
Sistema institucional de gestión del aprendizaje / plataforma del curso	Universidad anfitriona	Sistema existente de cuentas del LMS institucional	Recolección de analíticas de aprendizaje desidentificadas.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Generación de diagramas de flujo, gráficos de tendencias semanales, gráficos de distribución y figuras de asociación.
R	Foundation R		ggplot2 3.5.1
Software de hoja de cálculo	Microsoft Corporation	Microsoft Excel 365 v2402	Entrada de datos, limpieza, verificaciones de desidentificación y combinación de conjuntos de datos de observación/reflexión/analíticas.
SPSS Statistics	IBM Corp	Versión 26.0	Software de análisis estadístico; estadísticas descriptivas, comparaciones con medidas repetidas, kappa de Cohen, CCI, alfa de Cronbach, correlaciones y modelos de regresión.