Evaluación del compromiso en el aula, la expresión reflexiva y la intención prosocial de estudiantes universitarios mediante la observación conductual y la analítica del aprendizaje

Resumen

Este protocolo integra la observación en el aula, la escritura reflexiva, la medición de intenciones prosociales y el análisis de datos de aprendizaje para evaluar el compromiso conductual, la expresión reflexiva y los resultados de aprendizaje orientados socialmente en estudiantes universitarios durante un período instruccional de 4 semanas. Especifica la aprobación ética, el contenido de los instrumentos, el flujo de trabajo del software, el manejo de datos faltantes, los procedimientos de solución de problemas y la interpretación de resultados representativos, incluyendo las limitaciones observadas en la implementación.

Resumen

Para abordar la necesidad de evaluaciones multidimensionales de la participación estudiantil más allá de las métricas tradicionales, este protocolo describe un enfoque estructurado para evaluar la participación en clase, la expresión reflexiva, la actividad de analítica del aprendizaje y la intención prosocial en cursos de pregrado. El protocolo combina observación conductual basada en intervalos, escritura reflexiva estructurada semanal, registros anónimos del sistema de gestión del aprendizaje y un cuestionario de intención prosocial previo y posterior. Los procedimientos revisados proporcionan un modelo reproductible de codificación conductual, una rúbrica de expresión reflexiva con ejemplos de puntuaciones, pasos para el manejo de software y datos, y orientaciones explícitas para la resolución de problemas relacionados con desacuerdos entre observadores, registros de plataforma faltantes, tasas bajas de entrega de reflexiones, visibilidad deficiente de la cámara, deserción de participantes y conocimientos previos inconsistentes. Este protocolo debe utilizarse cuando los investigadores necesiten una forma de baja intrusión y reproductible de combinar el comportamiento en clase en tiempo real, la autorreflexión de los estudiantes y la actividad rutinaria en el sistema de gestión del aprendizaje (LMS) durante la enseñanza de pregrado. Es menos adecuado para cursos completamente asincrónicos sin interacción observable, entornos que prohíben la observación independiente o la vinculación de registros, o estudios que requieran inferencias biométricas o de reconocimiento emocional. Los resultados representativos se informan a partir de la aplicación empírica implementada tras la aprobación ética verificada, la anonimización de los registros del curso y la preparación del repositorio.

Introducción

Evaluar la participación del estudiante en la educación superior requiere un enfoque amplio y de múltiples fuentes. Aunque la participación estudiantil se concibe ampliamente como un constructo multidimensional que abarca el comportamiento observable, el esfuerzo cognitivo y la interacción con el entorno, los enfoques analíticos actuales dependen predominantemente de datos de registro superficiales, como frecuencias de inicio de sesión y acciones registradas por el sistema¹. Esta excesiva dependencia representa un desafío significativo para la investigación práctica basada en el aula. Las formas más importantes de participación instruccional—las interacciones directas entre pares, la reflexión cognitiva y las contribuciones sociales—ocurren a menudo completamente fuera del alcance limitado de la visibilidad de la plataforma².

La complejidad del aula universitaria moderna se ha intensificado con la adopción de modelos pedagógicos híbridos, que combinan plataformas digitales con la enseñanza tradicional presencial. Aunque las revisiones sistemáticas de analítica del aprendizaje confirman que los rastros digitales ofrecen información valiosa sobre la distribución del tiempo, los patrones de acceso y las tasas de retención a largo plazo, estas métricas por sí solas no pueden determinar si la atención del estudiante es genuinamente eficiente o significativa³. Por consiguiente, investigaciones recientes abogan por fundamentar la analítica del aprendizaje en marcos teóricos más sólidos, alineando los rastros digitales con medidas más ricas y dependientes del contexto sobre la participación, como el comportamiento en clase y las actividades reflexivas⁴.

La escritura reflexiva aporta una dimensión cualitativa esencial a esta evaluación. Las reflexiones estructuradas posteriores a la clase y los diarios registran las interpretaciones de los estudiantes sobre las actividades de aprendizaje, aclaran las dificultades instruccionales y establecen un puente entre los contenidos teóricos y las acciones prácticas posteriores. Evidencia empírica reciente conceptualiza la expresión reflexiva como un constructo integrado y multifacético que comprende la evocación descriptiva, la inferencia analítica, la representación autorreferencial y la generalización del significado⁵. Además, investigaciones indican que proporcionar a los estudiantes orientación reflexiva repetida fortalece progresivamente su capacidad de introspección; a medida que aumenta la frecuencia de la reflexión estructurada durante el curso, las habilidades exploratorias independientes de los estudiantes mejoran simultáneamente⁶.

Una segunda brecha importante en la investigación actual sobre compromiso es la marginación frecuente de la socialización en el aula. Mientras que los estudios existentes enfatizan fuertemente el comportamiento o la cognición individual, las aulas universitarias funcionan como entornos de aprendizaje inherentemente sociales en los que los estudiantes se influyen mutuamente mediante la colaboración y las interacciones receptivas. Evidencia emergente demuestra que el clima del aula y las estructuras de participación se correlacionan fuertemente con el comportamiento prosocial y una mentalidad orientada a la contribución—resultados que permanecen poco investigados en comparación con métricas tradicionales del rendimiento académico o la satisfacción del estudiante. El comportamiento prosocial en entornos académicos no es meramente un subproducto de estados emocionales o estrés; más bien, se relaciona fundamentalmente con la forma en que los estudiantes se posicionan dentro de actividades colectivas de aprendizaje⁷. Por lo tanto, medir la intención prosocial sirve como una lente adecuada para determinar si el compromiso en el aula trasciende la realización aislada de tareas y fomenta comportamientos cooperativos y alentadores más allá del entorno instruccional inmediato⁸.

Estos avances conceptuales subrayan la necesidad de un marco integrado de recolección de evidencias implementado dentro de una única ventana instruccional. Un diseño de múltiples fuentes mitiga las limitaciones de depender de una única métrica, permitiendo la validación cruzada entre diferentes modos de participación y revelando cómo los estudiantes interpretan sus actividades posteriores a la clase para fomentar el aprendizaje independiente⁹. Mientras que las evaluaciones reflexivas capturan el estado cognitivo interno del estudiante, anclar estos autoinformes con rastros conductuales objetivos mejora significativamente la interpretabilidad de los datos de aprendizaje. Actualmente, existe una ausencia notable de protocolos prácticos, listos para usar en el aula, que sinteticen sin problemas la observación conductual sistemática, la presentación estructurada de informes reflexivos y los análisis de aprendizaje para su implementación rutinaria en la universidad.

Para abordar estas deficiencias metodológicas, este artículo presenta un protocolo de evaluación diseñado para medir simultáneamente la participación en clase, la expresión reflexiva y la intención prosocial de los estudiantes universitarios. Desarrollado específicamente para entornos de pregrado, el protocolo ofrece una metodología simplificada que requiere una carga administrativa mínima sin sacrificar la reproducibilidad científica. Al cerrar la brecha analítica entre los comportamientos observables, la experiencia subjetiva articulada y los resultados de aprendizaje orientados socialmente, este marco responde al creciente llamado a una mayor claridad conceptual en la investigación sobre la interacción humano-tecnología en entornos educativos¹⁰.

Protocolo

Todos los métodos que involucraron a participantes humanos se realizaron cumpliendo con la Declaración de Helsinki y las directrices institucionales pertinentes. Para el estudio implementado, el protocolo fue aprobado por el Comité de Ética del Instituto de Tecnología de Nanchang antes de comenzar el reclutamiento (número de aprobación: NITE778291). Se obtuvo el consentimiento informado por escrito de cada estudiante participante. Solo se utilizaron para el análisis datos agregados y desidentificados de observación en el aula, puntuaciones de reflexión, analíticas de aprendizaje y cuestionarios; se excluyeron del acceso público los videos del aula identificables, nombres, identificaciones institucionales y textos de reflexión sin editar.

1. Diseño del estudio y selección de participantes

1. Implemente el protocolo durante cuatro períodos lectivos consecutivos para cada sección de clase seleccionada. Registre etiquetas anónimas del curso, formato instructivo, tamaño del grupo, experiencia del instructor con el curso, y si cada clase incluye instrucción grupal, trabajo en equipo o práctica individual. Apunte a una matrícula inicial de aproximadamente entre 180 y 210 estudiantes universitarios de 18 años o más, o adapte la meta del tamaño de la muestra al contexto del curso.
2. Asegúrese de que todos los participantes tengan una cuenta institucional activa para la plataforma del curso, asistan a las clases observadas y hayan recibido la orientación previa que normalmente se proporciona al grupo. Cuando el conocimiento previo varíe considerablemente, proporcione un breve material introductorio, una lista de recursos previos a la clase o una revisión guiada por el instructor antes del período de observación, y registre el apoyo brindado como metadatos contextuales.
3. Obtenga el consentimiento informado por escrito de todos los estudiantes tras proporcionarles un documento escrito completo con información detallada. Indique claramente en el formulario de consentimiento que el estudio vincula la observación del comportamiento en clase, la escritura reflexiva semanal y los registros anónimos de la plataforma de aprendizaje.
4. Incorpore al conjunto de datos de investigación únicamente a los estudiantes que hayan dado su consentimiento. Garantice que la negativa a participar no afecte la asistencia, calificaciones, acceso al curso ni la comunicación con el instructor.
   1. Explique el uso permitido y prohibido de herramientas de inteligencia artificial (IA) antes de la primera tarea reflexiva.
      NOTA: Las herramientas de IA solo pueden utilizarse cuando lo permita la política del curso y únicamente como apoyo general al estudio; las entregas reflexivas y las respuestas sobre intenciones prosociales deben describir la experiencia personal del estudiante y deben declarar cualquier ayuda proporcionada por IA.
   2. Si el instructor permite el uso de IA para reforzar los conocimientos previos, proporcione los mismos estímulos o recursos aprobados a todos los estudiantes y registre este apoyo como una adaptación del protocolo. No utilice resúmenes generados por IA como evidencia principal de la reflexión del estudiante, a menos que el estudio de validación evalúe explícitamente respuestas asistidas por IA.
5. Excluya a los estudiantes antes del análisis si rechazan el consentimiento, abandonan el curso durante el período del protocolo o carecen de datos coincidentes en los registros de observación, reflexión y análisis. Utilice un diseño de medidas repetidas para recopilar datos consistentes de las tres fuentes distintas durante un período de 4 semanas².

2. Adquisición de datos basales y gestión de la identidad

1. Designe a un solo administrador de datos para asignar un ID de estudio alfanumérico de ocho caracteres a cada participante que dé su consentimiento, mediante un proceso pseudoaleatorio.
2. Cree un archivo de vinculación entre la identidad y el ID de estudio que contenga los nombres de los estudiantes, sus IDs institucionales, secciones de clase y números de estudio. Almacene este archivo de forma segura y separada de los archivos analíticos, asegurándose de que permanezca completamente inaccesible para observadores, codificadores de reflexiones e investigadores.
3. Destruya o archive este archivo de vinculación tras la verificación final de los datos, de acuerdo con la política institucional aprobada de retención de datos, manteniendo al mismo tiempo el cumplimiento con las prácticas actuales de análisis del aprendizaje en educación superior respecto al vínculo restringido y la desidentificación¹.
4. Recopile datos demográficos basales sobre la edad, el género, el año académico y la especialidad del participante durante la semana inicial anterior a la primera clase observada.
5. Utilice el cuestionario estructurado de seis ítems sobre intención prosocial del Archivo Suplementario 1 como instrumento basal antes de la primera clase observada. Aplíquelo electrónicamente a través del sistema de gestión del aprendizaje (LMS) o en papel, utilizando únicamente el ID de Estudio asignado. Los estudiantes califican cada ítem en una escala de 5 puntos, desde 1 = totalmente en desacuerdo hasta 5 = totalmente de acuerdo; calcule la puntuación basal como la media de los ítems completados cuando se respondan al menos cinco de los seis ítems.
6. Exporte todos los textos reflexivos recopilados posteriormente sin nombres, direcciones de correo electrónico ni otros identificadores personales, para garantizar el anonimato total antes de que comience el proceso de codificación cualitativa.

3. Preparación para la observación en el aula

1. Programar observaciones para cada sección de clase una vez por semana durante 4 semanas consecutivas. Para una clase estándar de 90 minutos, definir una ventana observada de 70 minutos excluyendo los primeros 10 minutos y los últimos 10 minutos del registro⁵.
2. Iniciar el registro en el minuto 10^o y finalizar en el minuto 80^o de una clase estándar de 90 minutos. Estos períodos de amortiguación no forman parte de la ventana de observación de 70 minutos; por lo tanto, una clase estándar proporciona 70 minutos de observación codificada, no una sesión de 30 minutos.
3. Excluir cualquier bloque instruccional interrumpido de la evaluación final si la clase experimenta una interrupción de más de 5 minutos debido a alarmas, cambios de aula o fallos de plataforma.
4. Considerar el compromiso en clase como una composición observable de múltiples comportamientos registrando simultáneamente varios indicadores conductuales en cada punto de medición¹¹. Los indicadores incluyen atención en la tarea, participación verbal, colaboración entre compañeros, toma de apuntes enfocada en la tarea o uso de dispositivos, distracción fuera de la tarea y comportamiento de búsqueda de ayuda.
5. Organizar el acomodo de los asientos en el aula por grupos antes de la primera observación y mantener estrictamente esta disposición durante todo el período de 4 semanas.
6. Colocar a dos observadores capacitados en ubicaciones fijas con visibilidad completa del aula para que codifiquen de forma independiente. Si se permite la grabación institucional y los participantes dan su consentimiento, instalar dos cámaras fijas en las zonas trasera central y trasera lateral y sincronizarlas antes de la sesión.
7. Utilizar las grabaciones de video únicamente para la capacitación de observadores, verificación de fiabilidad y resolución de problemas de visibilidad; no usar las grabaciones como fuente principal de codificación ni realizar análisis de emociones faciales, emociones vocales, biométricos ni reconocimiento de identidad.

Codificación conductual basada en intervalos

1. Divida la ventana de observación de 70 minutos en intervalos consecutivos que consistan en un escaneo visual de 20 s seguido de un período de registro de 10 s. Si una clase magistral, de laboratorio o en línea requiere una duración de intervalo diferente, informe la estructura de intervalos adaptada y justifíquela antes de comenzar la recolección de datos.
   NOTA: Esta estructura de 20 s/10 s equilibra la observación ecológica del aula con la carga de trabajo del codificador: el período de escaneo es suficientemente largo para detectar la atención sostenida, la colaboración y el comportamiento fuera de la tarea, mientras que el período de registro reduce la carga de memoria y apoya decisiones binarias consistentes.
2. Examine de forma continua un grupo claramente definido de hasta diez estudiantes por intervalo, siguiendo un orden basado en la disposición de los asientos.
3. Utilice criterios específicos de escaneo para evitar inconsistencias entre codificadores causadas por definiciones operativas poco precisas⁴. Codifique seis indicadores binarios a nivel estudiantil durante cada escaneo. Estos incluyen atención en la tarea, participación verbal, colaboración entre compañeros, toma de apuntes enfocada en la tarea o uso de dispositivos, distracción fuera de la tarea y comportamiento de búsqueda de ayuda.
4. Marque un indicador como "1" si el comportamiento designado ocurre en algún momento durante los 20 s del escaneo. De lo contrario, márquelo como "0". Codifique el intervalo como faltante si un estudiante no es visible durante al menos 10 s del escaneo.
5. Registre la atención en la tarea cuando un estudiante dirija visualmente su atención hacia el instructor, las tareas asignadas, la información presentada o compañeros involucrados en discusiones relacionadas con la tarea durante al menos 5 s consecutivos. Codifique la participación verbal por cualquier contribución audible y relacionada con la tarea.
6. Codifique la colaboración entre compañeros cuando los estudiantes participen en intercambios visibles basados en la tarea, resolución conjunta de problemas o explicaciones entre pares. Registre la toma de apuntes enfocada en la tarea o el uso de dispositivos cuando haya escritura activa, tecleo o interacción digital con los materiales del curso.
7. Marque la distracción fuera de la tarea si un estudiante participa en conversaciones no relacionadas, uso no académico de dispositivos o desvinculación sostenida durante al menos 5 s consecutivos. Registre la búsqueda de ayuda cuando un estudiante solicite explícitamente aclaraciones o asistencia al instructor o a sus compañeros.
8. Calcule la puntuación conductual semanal para cada estudiante como el número total de juicios positivos dividido entre todas las calificaciones válidas. Posteriormente, derive las medias de 4 semanas para los seis indicadores.
9. Calcule un Índice Combinado de Participación en el Aula Observada (OCEI, por sus siglas en inglés) para el estudiante i en la semana w utilizando el modelo matemático previamente especificado: OCEI_iw = [Atención en la tarea_iw + Participación verbal_iw + Colaboración entre compañeros_iw + Toma de apuntes/enfoque en dispositivos relacionados con la tarea_iw + (1 - Distracción fuera de la tarea_iw)]/5.
10. Mantenga la búsqueda de ayuda como una variable analítica independiente porque puede representar ya sea una aclaración constructiva o dificultades con el contenido instruccional, dependiendo del contexto¹². Consulte la Figura 1 para conocer el flujo del estudio y la Tabla 1 para los índices de observación y las reglas de codificación.

5. Capacitación del observador y evaluación de la fiabilidad

1. Realice la capacitación del observador mediante una sesión de capacitación manual de 60 minutos y ejecute tres rondas de calibración antes del programa formal.
2. Realice la primera ronda de calibración utilizando la codificación guiada de un video de aula que no pertenezca al estudio. Complete las dos rondas subsiguientes como codificaciones independientes de videos diferentes que tampoco pertenezcan al estudio, seguidas de comparaciones estadísticas directas con el codificador principal.
3. Comience la recolección formal de datos solo cuando el coeficiente Kappa de Cohen alcance o supere 0,75 y el porcentaje total de acuerdo entre evaluadores supere el 85 %.
4. Implemente una verificación de deriva doble ciega en el 10 % de las sesiones completas y en un segmento aleatorizado de 10 minutos de las sesiones restantes durante todo el protocolo de 4 semanas.
5. Recalibre al equipo de codificación dentro de las 72 horas y vuelva a verificar las sesiones afectadas antes del bloqueo de datos si el valor de Kappa cae por debajo de 0,70 para cualquier indicador. Proporcione continuamente retroalimentación y organice ejercicios de calibración para mantener la estabilidad de la evaluación a lo largo del tiempo¹³.

6. Recolección y evaluación de la expresión reflexiva

1. Indique a los estudiantes que presenten un texto reflexivo estructurado (de 100 a 350 palabras) por cada clase observada, generando 4 entradas por participante a lo largo del protocolo de 4 semanas.
2. Publique las preguntas para la reflexión a través del sistema de gestión del aprendizaje (LMS) o en un formulario impreso dentro de las 2 horas posteriores a la clase observada, y cierre el periodo de entrega 72 horas después. El formulario debe mostrar el campo del ID del estudio y las siguientes tres preguntas en el mismo orden para todos los estudiantes:
   1. Identifique los momentos en los que se sintió más y menos involucrado durante la clase.
   2. Explique las causas contextuales, incluyendo la dificultad de la tarea, los conocimientos previos, la interacción grupal, la explicación del instructor o el uso de la plataforma.
   3. Describa cómo su participación influyó en el ambiente del aula y qué acción futura pretende tomar.
      NOTA: Acepte entradas con menos de 100 palabras, pero márquelas en la base de datos como de baja información. También marque aquellas entradas que omitan la participación, la causa contextual o la acción futura/impacto social, ya que estas omisiones afectan la puntuación de calidad reflexiva y los informes de viabilidad.
3. Asigne a dos codificadores ciegos para evaluar las presentaciones según la especificidad descriptiva, la profundidad analítica, la orientación autorregulatoria y el significado social-prosocial.
   1. Califique cada dimensión utilizando una escala de 4 puntos en la que 0 indica ausencia, 1 indica evidencia débil o vaga, 2 indica evidencia clara pero limitada, y 3 indica evidencia fuerte y elaborada. Por ejemplo, la profundidad analítica se califica como 0 cuando no se proporciona ninguna razón, como 1 cuando el estudiante solo afirma que la actividad fue difícil, como 2 cuando el estudiante vincula la dificultad con un concepto específico o una condición del aula, y como 3 cuando el estudiante explica la interacción entre los conocimientos previos, la discusión entre compañeros, la retroalimentación del instructor y una estrategia de aprendizaje planificada. Tabla 2 y Archivo Suplementario 1 proporcionan ejemplos por nivel de puntuación para las cuatro dimensiones reflexivas.
4. Inicie la evaluación formal solo después de alcanzar un coeficiente de correlación intraclase de 0,80 o superior para cada dimensión en los textos piloto¹⁴.
5. Califique aleatoriamente el 15 % de las reflexiones del estudio durante el protocolo para controlar la deriva del evaluador. Evalúe los escritos reflexivos basándose en estas métricas cualitativas multidimensionales, en lugar de depender únicamente de la longitud del texto o la frecuencia de palabras.
6. Elabore o adapte la rúbrica de expresión reflexiva mediante revisión por expertos realizada por al menos dos investigadores en educación y un instructor del curso. Pruebe la rúbrica con 20 a 30 reflexiones no incluidas en el estudio, revise los descriptores ambiguos y documente la versión final de la rúbrica antes de iniciar la codificación formal.
7. Aplique el cuestionario de intención prosocial que se muestra en Archivo Suplementario 1. Pida a los estudiantes que califiquen su disposición para ayudar a compañeros que tengan dificultades, compartir recursos de aprendizaje, contribuir constructivamente a las discusiones, animar a sus compañeros, actuar con justicia durante tareas grupales y mejorar el clima de aprendizaje en el aula. Utilice una escala de 5 puntos que va desde 1 (totalmente en desacuerdo) hasta 5 (totalmente de acuerdo). Calcule la puntuación media cuando se completen al menos cinco de los seis ítems, y reporte el alfa de Cronbach para las aplicaciones basal y posterior al protocolo.

7. Extracción de analíticas del aprendizaje

1. Asigne un administrador externo para extraer los datos de analítica del aprendizaje después de la semana 4 para evitar cualquier contaminación de los procesos de observación y reflexión.
2. Establezca la ventana de extracción desde las 00:00 del día de la primera clase observada hasta las 23:59 del día de cierre de la ventana final de reflexión.
3. Extraiga únicamente las variables previamente especificadas necesarias para el protocolo. Registre el número de días activos en la plataforma, las visualizaciones distintas de recursos, la proporción de recursos asignados abiertos, la cantidad de respuestas publicadas en foros de discusión, la tasa media de finalización de videos y la puntualidad en la entrega de tareas.
4. Limpie las exportaciones originales eliminando cuentas pertenecientes a instructores y asistentes de enseñanza, registros duplicados, eventos de prueba y puntos de datos fuera del período designado.
5. Defina un día activo como cualquier fecha del calendario que contenga al menos un acceso autenticado al curso seguido de una interacción significativa, como abrir archivos, ver videos o publicar respuestas.
6. Cuente las aperturas únicas de recursos ignorando los eventos duplicados de actualización que ocurran dentro de un intervalo de 60 s. Determine la tasa de finalización de videos truncando la fracción vista respecto al tiempo programado a las 01:00, luego promedie los valores para todos los elementos multimedia asignados.
7. Calcule la puntualidad en la entrega de tareas según la proporción de actividades enviadas antes de las fechas límite establecidas. Calcule la proporción de accesos nocturnos como la razón entre los eventos significativos ocurridos entre las 00:00 y las 06:00 y el total de actividades significativas dentro del período de observación. Confíe en estas métricas basadas en el tiempo y en la contribución para obtener información más rica que la simple acumulación de registros¹⁵.
8. Utilice un flujo de trabajo previamente especificado para la gestión de datos a partir de la exportación del sistema de gestión del aprendizaje. Guarde la exportación original como un archivo de solo lectura, cree una copia de trabajo anonimizada, elimine las cuentas de instructores y asistentes de enseñanza, elimine eventos duplicados o de prueba y conserve un registro del procesamiento con el número de filas tras cada paso de limpieza.
9. Realice la limpieza de datos en una hoja de cálculo o posteriormente, y el análisis estadístico en R versión 4.4.0 o posterior, o software equivalente.
   1. En una hoja de cálculo, siga los pasos descritos en 7.9.1.1–7.9.1.2.
      1. Importe los archivos CSV anonimizados usando Datos > Obtener datos > Desde texto/CSV, y use Datos > Eliminar duplicados para suprimir filas duplicadas de ID de estudio/hora/evento.
      2. Aplicar Filtro para excluir cuentas de instructores o asistentes de enseñanza y registros fuera del intervalo, y guarde un registro del procesamiento con el número de filas tras cada paso.
   2. En R, siga los pasos descritos en 7.9.2.1–7.9.2.3.
      1. Importe archivos con readr::read_csv(), reconfigure registros semanales con dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() y tidyr::pivot_wider().
      2. Calcule el kappa de Cohen con irr::kappa2(), los CCI con psych::ICC() y el alfa de Cronbach con psych::alpha().
      3. Ajuste modelos lineales con corrección por sección mediante stats::lm(); use lme4::lmer() cuando se requiera un intercepto aleatorio previamente especificado por sección de clase, y use lme4::glmer(family = binomial) únicamente para resultados binarios. Archive el script exacto y las versiones de los paquetes junto con los materiales de envío.
10. Utilice la siguiente secuencia de análisis reproducible.
    1. Calcule las proporciones de observación por estudiante y semana, compute el OCEI usando la fórmula del paso 4.9, y combine las puntuaciones semanales de reflexión por ID de estudio y semana.
    2. Agregue las variables de analítica del aprendizaje a lo largo de la misma ventana de 4 semanas, examine la ausencia de datos por fuente, calcule estadísticas descriptivas y estimaciones de fiabilidad, y ajuste los modelos de asociación previamente especificados.
    3. No agregue predictores no planificados tras examinar los resultados, a menos que se indiquen como exploratorios.
11. (Opcional) Para mayor transparencia, deposite un script de análisis anonimizado, un código de variables, formularios de codificación en blanco, consignas de reflexión, rúbrica de reflexión y cuestionario prosocial en un repositorio público o en los materiales suplementarios. No deposite videos brutos identificables del aula, nombres, identificadores institucionales ni textos de reflexión sin editar.

8. Medición posterior al protocolo e integración del conjunto de datos

1. Administre el instrumento de intención prosocial por segunda vez inmediatamente después de la conclusión de la ventana final de reflexión.
2. Solicite a los estudiantes que califiquen su disposición para ayudar a sus compañeros, compartir recursos, contribuir constructivamente a las discusiones, animar a sus pares, actuar con justicia y mejorar el clima de aprendizaje en una escala que va de 1 (totalmente en desacuerdo) a 5 (totalmente de acuerdo). Calcule la puntuación total posterior al protocolo de cada individuo promediando las respuestas, siempre que hayan respondido al menos cinco de los seis ítems.
3. Combine los archivos de observación, las puntuaciones de reflexión y los registros de analíticas de aprendizaje utilizando el ID de Estudio anonimizado. Construya dos conjuntos de datos finales a partir de esta combinación para crear un archivo maestro a nivel de participante y un archivo en formato largo a nivel semanal.
4. No impute intervalos de observación faltantes causados por la falta de visibilidad del estudiante, ni reflexiones semanales faltantes causadas por la no entrega. Marque las reflexiones parcialmente completadas, las variables de analíticas de aprendizaje incompletas, las reflexiones con escasa información y los ID de Estudio no coincidentes antes del análisis.
5. Utilice análisis de casos completos para modelos de asociación preespecificados, informe el número de casos excluidos para cada modelo y realice una verificación de sensibilidad comparando a los estudiantes incluidos y excluidos en las variables basales disponibles.
6. Mantenga la intención prosocial como medida principal del resultado para reflejar las actitudes de apoyo y colaboración que sustentan los cambios estructurales en la participación de los estudiantes universitarios.

9. Solución de problemas y adaptaciones del protocolo

1. Si dos observadores difieren en más de un patrón de categoría binaria en el mismo grupo de estudiantes o si el kappa de Cohen cae por debajo de 0,70 para cualquier indicador, suspenda la calificación formal para la sesión afectada, revise las definiciones operativas, realice un segmento de recali­bración de 10 minutos y vuelva a codificar el intervalo afectado antes de bloquear los datos.
2. Si las exportaciones de la plataforma son incompletas, documente el campo faltante, solicite una segunda exportación al administrador externo y mantenga al estudiante en los resúmenes de observación/reflexión, excluyendo la variable analítica no disponible de los modelos que requieran ese campo.
3. Si menos del 80 % de las reflexiones esperadas se envían dentro de las 48 horas posteriores a la apertura de la tarea, envíe un recordatorio neutral a toda la clase, amplíe el soporte técnico para problemas de acceso y reporte por separado los conteos finales de entregas a tiempo, tardías y faltantes.
4. Si más del 10 % de los estudiantes en un grupo no son visibles durante al menos la mitad del intervalo de observación, codifique los intervalos afectados como datos faltantes y confíe en los registros del observador en vivo en lugar de intentar inferir el comportamiento a partir del video obstruido.
5. Si un estudiante se retira, rechaza seguir participando o carece de datos vinculables entre las distintas fuentes, elimine a ese estudiante de los modelos de asociación vinculada, pero conserve los conteos agregados de viabilidad del protocolo cuando lo permita la aprobación ética.
6. Si varios estudiantes indican que una sección es difícil de comprender, el instructor debe ofrecer la respuesta pedagógica habitual, como una breve reexplicación, un ejemplo resuelto, una discusión entre pares o un recurso complementario. Registre este hecho como un evento contextual, ya que puede influir en la búsqueda de ayuda, la profundidad de la reflexión y la actividad en la plataforma.
7. Adapte el tamaño del grupo de estudiantes, la duración del intervalo, los estímulos para la reflexión y las variables analíticas al formato instruccional, pero mantenga la misma lógica de indicadores conductuales predefinidos, registros desidentificados, codificación independiente y reglas transparentes para datos faltantes.
8. Considere la baja fiabilidad, la alta tasa de datos faltantes, la profundidad limitada de la reflexión, el escaso cambio prosocial y el débil acuerdo entre las fuentes de datos como resultados informativos de la implementación, y no como fallos del protocolo. Reporte estos resultados y explique si reflejan el contexto del aula, limitaciones del instrumento o problemas en la captura de datos.

Resultados

Inclusión de participantes, completitud de los datos y fiabilidad de las puntuaciones
Se invitó inicialmente a una cohorte de 204 estudiantes de todas las secciones del curso a participar, obteniéndose 198 individuos que dieron su consentimiento. Posteriormente, se excluyeron catorce casos debido a la baja del curso durante el período del protocolo o a la falta de vinculación completa de los datos entre los registros de observación, reflexión y plataforma. En consecuencia, la muestra analítica final ...

Discusión

Este estudio propone un protocolo práctico que integra la observación del comportamiento, la escritura reflexiva y los análisis del aprendizaje para investigar de manera integral la participación, la autoexpresión y la conciencia prosocial de los estudiantes universitarios dentro de un único marco instruccional. Al capturar diferentes dimensiones del compromiso, este enfoque trímodo aborda críticas recientes en la investigación de la educación superior, que argumentan que las métricas de tiempo de uso y el monitoreo basa...

Materiales

Lista de materiales utilizados en este artículo

Nombre	Empresa	Número de catálogo	Comentarios
Hoja de codificación para observación en el aula	Desarrollado internamente	Seis indicadores conductuales binarios	Codificación basada en intervalos de la atención en la tarea, participación verbal, colaboración entre pares, toma de notas o uso de dispositivos orientado a la tarea, distracción fuera de la tarea y búsqueda de ayuda.
GraphPad Prism	Graphpad	Versión 10.2.3	Generación de diagramas de flujo, gráficos de tendencias semanales, gráficos de distribución y figuras de asociación.
Sistema institucional de gestión del aprendizaje / plataforma del curso	Universidad anfitriona	Sistema existente de cuentas del LMS institucional	Recolección de analíticas de aprendizaje desidentificadas.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Generación de diagramas de flujo, gráficos de tendencias semanales, gráficos de distribución y figuras de asociación.
R	Foundation R		ggplot2 3.5.1
Software de hoja de cálculo	Microsoft Corporation	Microsoft Excel 365 v2402	Entrada de datos, limpieza, verificaciones de desidentificación y combinación de conjuntos de datos de observación/reflexión/analíticas.
SPSS Statistics	IBM Corp	Versión 26.0	Software de análisis estadístico; estadísticas descriptivas, comparaciones con medidas repetidas, kappa de Cohen, CCI, alfa de Cronbach, correlaciones y modelos de regresión.