Évaluation de l'engagement des étudiants universitaires en classe, de l'expression réflexive et de l'intention prosociale à l'aide de l'observation comportementale et de l'analyse de l'apprentissage

Résumé

Ce protocole intègre l'observation en classe, l'écriture réflexive, la mesure de l'intention prosociale et l'analyse des données d'apprentissage afin d'évaluer l'engagement comportemental, l'expression réflexive et les résultats d'apprentissage orientés socialement chez des étudiants universitaires sur une période d'enseignement de 4 semaines. Il précise l'approbation éthique, le contenu des instruments, le flux de travail logiciel, la gestion des données manquantes, les procédures de dépannage et l'interprétation de résultats représentatifs, y compris les contraintes observées lors de la mise en œuvre.

Résumé

Pour répondre au besoin d'évaluations pluridimensionnelles de l'implication des étudiants allant au-delà des indicateurs traditionnels, ce protocole décrit une méthode structurée permettant d'évaluer l'engagement en classe, l'expression réflexive, les activités d'analytique de l'apprentissage et l'intention prosociale dans les cours de premier cycle. Le protocole combine une observation comportementale par intervalles, des rédactions réflexives hebdomadaires structurées, des données anonymisées provenant du système de gestion de l'apprentissage et un questionnaire mesurant l'intention prosociale avant et après le cours. Les procédures révisées fournissent un modèle reproductible de codage comportemental, une grille d'évaluation de l'expression réflexive accompagnée d'exemples de notes, des étapes relatives aux logiciels et à la gestion des données, ainsi que des recommandations précises pour résoudre les désaccords entre observateurs, les données manquantes provenant de la plateforme, les faibles taux de soumission des réflexions, la mauvaise visibilité des caméras, l'abandon des participants et les connaissances préalables inégales. Ce protocole doit être utilisé lorsque les chercheurs ont besoin d'une méthode peu intrusive et reproductible combinant comportement en classe en temps réel, interprétation personnelle des étudiants et activités courantes dans un système de gestion de l'apprentissage (LMS) durant l'enseignement de premier cycle. Il est moins adapté aux cours entièrement asynchrones dépourvus d'interactions observables, aux contextes où l'observation indépendante ou la liaison de données est interdite, ou aux études nécessitant une inférence biométrique ou une reconnaissance des émotions. Les résultats représentatifs sont rapportés à partir d'une application empirique mise en œuvre après obtention d'une approbation éthique validée, anonymisation des données du cours et préparation du dépôt dans un référentiel.

Introduction

L'évaluation de la participation des étudiants dans l'enseignement supérieur exige une approche complète et multiprovenance. Bien que l'engagement des étudiants soit généralement conçu comme une construction multidimensionnelle englobant le comportement observable, l'effort cognitif et l'interaction avec l'environnement, les approches analytiques actuelles s'appuient principalement sur des données brutes superficielles, telles que la fréquence des connexions et les actions enregistrées par le système¹. Cette surdépendance constitue un défi majeur pour la recherche appliquée en contexte de classe. Les formes les plus essentielles de participation pédagogique — les interactions directes entre pairs, la réflexion cognitive et les contributions sociales — se produisent souvent entièrement en dehors de la portée limitée de la visibilité offerte par les plateformes².

La complexité de la salle de classe universitaire moderne s'est accrue avec l'adoption de modèles pédagogiques hybrides, combinant des plateformes numériques et un enseignement traditionnel en présentiel. Bien que les revues systématiques des analyses d'apprentissage confirment que les traces numériques offrent des aperçus précieux sur l'allocation du temps, les schémas d'accès et les taux de rétention à long terme, ces indicateurs seuls ne permettent pas de déterminer si l'attention de l'apprenant est réellement efficace ou significative³. Par conséquent, les recherches récentes préconisent d'ancrer les analyses d'apprentissage dans des cadres théoriques plus solides en associant les traces numériques à des mesures plus riches et dépendantes du contexte de la participation, telles que le comportement en classe et les activités réflexives⁴.

L'écriture réflexive apporte une dimension qualitative essentielle à cette évaluation. Les réflexions structurées après les cours et les journaux permettent de recueillir l'interprétation par les étudiants des activités d'apprentissage, de clarifier les difficultés pédagogiques et d'établir un lien entre les contenus théoriques et les actions pratiques ultérieures. De récentes données empiriques conceptualisent l'expression réflexive comme une structure intégrée, composée de plusieurs éléments, incluant le rappel descriptif, l'inférence analytique, la représentation autoréférentielle et la généralisation du sens⁵. Par ailleurs, des recherches indiquent que le fait de fournir aux étudiants un accompagnement répété dans la réflexion renforce progressivement leur capacité d'introspection ; à mesure que la fréquence des réflexions structurées augmente au cours des études, les compétences exploratoires autonomes des étudiants s'améliorent simultanément⁶.

Un deuxième grand vide dans la recherche actuelle sur l'engagement réside dans la marginalisation fréquente de la socialisation en classe. Alors que les études existantes mettent fortement l'accent sur le comportement ou la cognition individuels, les salles de classe universitaires fonctionnent comme des environnements d'apprentissage intrinsèquement sociaux, où les étudiants s'influencent mutuellement par la collaboration et des interactions réactives. Des données récentes montrent que le climat en classe et les structures de participation sont fortement corrélés à des comportements prosociaux et à une mentalité orientée vers la contribution—des résultats qui restent insuffisamment explorés par rapport aux indicateurs traditionnels de performance académique ou de satisfaction étudiante. Le comportement prosocial dans les contextes académiques n'est pas simplement un sous-produit des états émotionnels ou du stress ; il est plutôt fondamentalement lié à la manière dont les étudiants s'insèrent dans les activités d'apprentissage collectives⁷. Par conséquent, la mesure de l'intention prosociale constitue un angle d'analyse approprié pour déterminer si l'engagement en classe dépasse la simple réalisation de tâches isolées, afin de favoriser des comportements coopératifs et encourageants qui s'étendent au-delà du cadre immédiat de l'enseignement⁸.

Ces avancées conceptuelles soulignent la nécessité d'un cadre intégré de collecte de preuves mis en œuvre dans une même fenêtre pédagogique. Une conception multisource atténue les limites liées à la dépendance à une métrique unique, permettant une validation croisée entre différents modes de participation et révélant comment les étudiants interprètent leurs activités post-cours afin de favoriser l'apprentissage autonome⁹. Alors que les évaluations réflexives capturent l'état cognitif interne de l'apprenant, l'ancrage de ces auto-déclarations avec des traces comportementales objectives améliore considérablement l'interprétabilité des données d'apprentissage. À l'heure actuelle, il existe une absence notable de protocoles pratiques, prêts à l'emploi en classe, qui synthétisent de manière fluide l'observation systématique du comportement, les rapports réflexifs structurés et l'analyse des données d'apprentissage pour une mise en œuvre courante dans les universités.

Pour remédier à ces lacunes méthodologiques, cet article présente un protocole d'évaluation conçu pour mesurer simultanément l'engagement en classe, l'expression réflexive et l'intention prosociale des étudiants universitaires. Élaboré spécifiquement pour les contextes de premier cycle, ce protocole propose une méthodologie simplifiée nécessitant une charge administrative minimale sans compromettre la reproductibilité scientifique. En comblant l'écart analytique entre les comportements observables, l'expérience de soi exprimée et les résultats d'apprentissage orientés vers le social, ce cadre répond à l'appel croissant en faveur d'une plus grande clarté conceptuelle dans la recherche sur l'interaction humain-technologie en milieu éducatif¹⁰.

Protocole

Toutes les méthodes impliquant des participants humains ont été réalisées conformément à la Déclaration d'Helsinki et aux lignes directrices institutionnelles pertinentes. Pour l'étude mise en œuvre, le protocole a été approuvé par le comité d'éthique de l'Institut de technologie de Nanchang avant le début du recrutement (numéro d'approbation : NITE778291). Un consentement éclairé écrit a été obtenu de chaque étudiant participant. Seules des données agrégées et anonymisées provenant des observations en classe, des scores de réflexion, des analyses d'apprentissage et des questionnaires ont été utilisées à des fins d'analyse ; les vidéos de classe identifiables, les noms, les identifiants institutionnels et les textes de réflexion non caviardés ont été exclus de la diffusion publique.

1. Conception de l'étude et sélection des participants

1. Mettre en œuvre le protocole sur quatre périodes d'enseignement consécutives pour chaque section de cours sélectionnée. Enregistrer les intitulés anonymisés des cours, le format pédagogique, l'effectif de la classe, l'expérience de l'enseignant avec le cours, ainsi que la présence ou non d'enseignement collectif, de travail en groupe ou d'exercices individuels. Viser un effectif initial d'environ 180 à 210 étudiants universitaires âgés de 18 ans ou plus, ou adapter cet objectif de taille d'échantillon au contexte du cours.
2. S'assurer que tous les participants disposent d'un compte institutionnel actif pour la plateforme du cours, qu'ils assisteront aux cours observés et qu'ils ont reçu les directives préalables habituellement fournies à la classe. Lorsque les connaissances préalables varient fortement, fournir un court document de rattrapage, une liste de ressources préalables ou une séance de révision animée par l'enseignant avant la période d'observation, et enregistrer ce soutien comme métadonnées contextuelles.
3. Obtenir le consentement éclairé écrit de tous les étudiants après avoir remis une fiche d'information écrite complète. Indiquer clairement dans le formulaire de consentement que l'étude associe l'observation du comportement en classe, des écrits réflexifs hebdomadaires et des données anonymisées provenant de la plateforme d'apprentissage.
4. Ne faire figurer dans le jeu de données de recherche que les étudiants ayant donné leur consentement. Garantir que le refus de participer n'affecte ni la présence, ni les notes, ni l'accès au cours, ni la communication avec l'enseignant.
   1. Préciser les usages autorisés et interdits des outils d'intelligence artificielle (IA) avant la première tâche de réflexion.
      NOTE : Les outils d'IA ne peuvent être utilisés que si la politique du cours l'autorise et uniquement comme aide générale à l'étude ; les soumissions réflexives et les réponses relatives aux intentions prosociales doivent décrire l'expérience personnelle de l'étudiant et indiquer toute assistance fournie par une IA.
   2. Si l'enseignant autorise l'utilisation de l'IA pour combler les lacunes dans les connaissances préalables, fournir à tous les étudiants les mêmes consignes ou ressources approuvées, et enregistrer ce soutien comme une adaptation du protocole. Ne pas utiliser de résumés générés par l'IA comme preuve principale de la réflexion de l'étudiant, sauf si l'étude de validation évalue explicitement les réponses assistées par l'IA.
5. Exclure les étudiants avant l'analyse s'ils refusent de consentir, se désistent du cours pendant la période du protocole, ou s'ils ne disposent pas de données correspondantes dans les enregistrements d'observation, de réflexion et d'analyses. Utiliser un plan expérimental à mesures répétées afin de recueillir des données cohérentes à partir de trois sources distinctes sur une période de 4 semaines².

2. Acquisition des données de base et gestion de l'identité

1. Désigner un seul administrateur des données chargé d'attribuer à chaque participant ayant donné son consentement un identifiant d'étude alphanumérique de huit caractères, selon un processus pseudo-aléatoire.
2. Créer un fichier de correspondance identité–identifiant d'étude contenant les noms des étudiants, leurs identifiants institutionnels, leurs sections de cours et leurs numéros d'étude. Conserver ce fichier en lieu sûr et séparément des fichiers d'analyse, en veillant à ce qu'il reste totalement inaccessible aux observateurs, aux codeurs d'analyses réflexives et aux chercheurs.
3. Détruire ou archiver ce fichier de correspondance après la vérification finale des données, conformément à la politique institutionnelle approuvée en matière de conservation des données, tout en restant conforme aux pratiques actuelles en analyse de l'apprentissage dans l'enseignement supérieur concernant la limitation des liens et la suppression des identifiants¹.
4. Recueillir des données démographiques de base sur l'âge, le sexe, l'année universitaire et la spécialité des participants durant la semaine initiale précédant le premier cours observé.
5. Utiliser le questionnaire à six items sur l'intention prosociale fourni dans le fichier supplémentaire 1 comme instrument structuré de référence avant le premier cours observé. Le distribuer par voie électronique via le système de gestion de l'apprentissage (LMS) ou sur papier, en utilisant uniquement l'identifiant d'étude attribué. Les étudiants évaluent chaque item selon une échelle à 5 points allant de 1 = fortement en désaccord à 5 = fortement d'accord ; calculer le score de référence comme la moyenne des items complétés lorsque au moins cinq des six items sont répondus.
6. Exporter tous les textes réflexifs collectés par la suite sans noms, adresses électroniques ni autres identifiants personnels, afin de garantir l'anonymat complet avant le début du codage qualitatif.

3. Préparation à l'observation en classe

1. Prévoir des observations pour chaque section de classe une fois par semaine pendant 4 semaines consécutives. Pour un cours standard de 90 minutes, définir une fenêtre observée de 70 minutes en excluant les 10 premières et les 10 dernières minutes du codage⁵.
2. Commencer le codage à la 10^ème minute et arrêter à la 80^ème minute d'un cours standard de 90 minutes. Ces périodes tampons ne font pas partie de la fenêtre d'observation de 70 minutes ; ainsi, un cours standard fournit 70 minutes d'observation codée plutôt qu'une session de 30 minutes.
3. Exclure tout bloc d'enseignement interrompu de l'évaluation finale si le cours subit une perturbation de plus de 5 minutes due à des alarmes, des changements de salle ou des pannes de plateforme.
4. Considérer l'engagement en classe comme une composition observable de plusieurs comportements en enregistrant simultanément plusieurs indicateurs comportementaux à chaque point de mesure¹¹. Ces indicateurs incluent l'attention axée sur la tâche, la participation verbale, la collaboration entre pairs, la prise de notes ou l'utilisation d'appareils orientées vers la tâche, les distractions hors sujet et les comportements de recherche d'aide.
5. Organiser la disposition des sièges en groupes avant la première observation et maintenir strictement cette configuration tout au long de la période de 4 semaines.
6. Placer deux observateurs formés à des emplacements fixes offrant une visibilité complète sur la salle afin qu'ils codent indépendamment. Si l'enregistrement vidéo institutionnel est autorisé et que les participants y consentent, installer deux caméras fixes dans les zones arrière-centrale et arrière-latérale, et les synchroniser avant la séance.
7. Utiliser les enregistrements vidéo uniquement pour la formation des observateurs, la vérification de la fiabilité et la résolution des problèmes de visibilité ; ne pas utiliser les enregistrements vidéo comme source principale de codage et ne pas effectuer d'analyse des émotions faciales, des émotions vocales, de biométrie ou de reconnaissance d'identité.

Codage comportemental par intervalles

1. Diviser la fenêtre d'observation de 70 minutes en intervalles consécutifs composés d'un balayage visuel de 20 secondes suivi d'une période d'enregistrement de 10 secondes. Si un grand cours magistral, un cours de laboratoire ou un cours en ligne nécessite une durée d'intervalle différente, indiquer la structure d'intervalle adaptée et la justifier avant le début de la collecte des données.
   NOTE : Cette structure de 20 s/10 s équilibre l'observation écologique en classe et la charge de travail du codeur : la période de balayage est suffisamment longue pour détecter l'attention soutenue, la collaboration et les comportements hors tâche, tandis que la période d'enregistrement réduit la charge mnésique et favorise des décisions binaires cohérentes.
2. Balayer de façon continue et en boucle un groupe clairement défini de maximum dix étudiants par intervalle, selon l'agencement des places assises.
3. Utiliser des critères de balayage spécifiques afin d'éviter les incohérences entre codeurs dues à des définitions opérationnelles imprécises⁴. Encoder six indicateurs binaires au niveau étudiant durant chaque balayage. Ces indicateurs incluent l'attention orientée vers la tâche, la participation verbale, la collaboration entre pairs, la prise de notes ou l'utilisation d'un appareil axée sur la tâche, la distraction hors tâche et le comportement de recherche d'aide.
4. Marquer un indicateur comme "1" si le comportement désigné se produit à un moment quelconque pendant les 20 secondes du balayage. Sinon, le marquer comme "0". Encoder l'intervalle comme manquant si un étudiant n'est pas visible pendant au moins 10 secondes du balayage.
5. Enregistrer l'attention orientée vers la tâche lorsqu'un étudiant oriente visuellement son regard vers l'enseignant, les tâches assignées, les informations présentées ou des pairs engagés dans une discussion relative à la tâche, pendant au moins 5 secondes consécutives. Encoder la participation verbale pour toute contribution audible et liée à la tâche.
6. Encoder la collaboration entre pairs lorsque les étudiants s'engagent dans des échanges visibles liés à la tâche, une résolution conjointe de problème ou des explications mutuelles. Enregistrer la prise de notes ou l'utilisation d'un appareil axée sur la tâche lors d'une écriture, frappe ou interaction numérique active avec les supports du cours.
7. Marquer la distraction hors tâche si un étudiant participe à des conversations non liées, utilise un appareil à des fins non académiques ou présente un désengagement soutenu pendant au moins 5 secondes consécutives. Enregistrer la recherche d'aide lorsqu'un étudiant demande explicitement une clarification ou une assistance à l'enseignant ou à des pairs.
8. Calculer le score comportemental hebdomadaire de chaque étudiant comme le nombre total de jugements positifs divisé par l'ensemble des évaluations valides. Calculer ensuite les moyennes sur 4 semaines pour les six indicateurs.
9. Calculer un indice combiné d'engagement en classe observé (OCEI) pour l'étudiant i durant la semaine w en utilisant le modèle mathématique prédéfini : OCEI_iw = [Attention orientée vers la tâche_iw + Participation verbale_iw + Collaboration entre pairs_iw + Prise de notes ou utilisation d'un appareil axée sur la tâche_iw + (1 - Distraction hors tâche_iw)]/5.
10. Conserver la recherche d'aide comme une variable analytique indépendante, car elle peut refléter soit une clarification constructive, soit des difficultés avec le contenu pédagogique, selon le contexte¹². Se référer à Figure 1 pour le flux du protocole d'étude et à Table 1 pour les indices d'observation et les règles de codage.

5. Formation des observateurs et évaluation de la fiabilité

1. Effectuer une formation des observateurs à l'aide d'une séance de formation manuelle de 60 minutes et réaliser trois tours de calibration avant le début du programme officiel.
2. Effectuer le premier tour de calibration à l'aide d'un codage guidé d'une vidéo de classe qui n'appartient pas à l'étude. Réaliser les deux tours suivants comme des codages indépendants de vidéos différentes n'appartenant pas à l'étude, suivis d'une comparaison statistique directe avec le codeur principal.
3. Commencer la collecte officielle des données uniquement lorsque le kappa de Cohen atteint ou dépasse 0,75 et que l'accord total entre les codeurs dépasse 85 %.
4. Mettre en œuvre une vérification de dérive en double aveugle sur 10 % des sessions complètes et sur un segment aléatoire de 10 minutes parmi les sessions restantes tout au long du protocole de 4 semaines.
5. Recalibrer l'équipe de codage dans un délai de 72 heures et revérifier les sessions concernées avant la consolidation des données si la valeur de kappa descend en dessous de 0,70 pour un indicateur quelconque. Fournir continuellement des retours d'information et organiser des exercices de calibration afin de maintenir la stabilité de l'évaluation dans le temps¹³.

6. Collecte et évaluation des expressions réflexives

1. Demander aux étudiants de soumettre un texte réflexif structuré (100 à 350 mots) pour chaque cours observé, produisant ainsi 4 soumissions par participant au cours du protocole de 4 semaines.
2. Diffuser les consignes de réflexion via le LMS ou un formulaire papier dans les 2 heures suivant le cours observé, puis fermer la fenêtre de soumission 72 heures plus tard. Le formulaire doit afficher le champ identifiant d’étude (Study ID) et les trois consignes suivantes, toujours dans le même ordre pour chaque étudiant :
   1. Identifier les moments où ils se sont sentis le plus et le moins impliqués pendant le cours.
   2. Expliquer les causes contextuelles, notamment la difficulté de la tâche, les connaissances préalables, les interactions en groupe, les explications de l’enseignant ou l’utilisation de la plateforme.
   3. Décrire comment leur participation a influencé l’atmosphère en classe et quelles actions futures ils prévoient d’entreprendre.
      NOTE : Conserver les soumissions de moins de 100 mots, mais les signaler dans la base de données comme contenant peu d’informations. Signaler également les soumissions qui omettent l’un des éléments suivants : implication, cause contextuelle ou action future/impact social, car ces omissions affectent la notation de la qualité de la réflexion et la faisabilité du rapport.
3. Attribuer à deux codeurs indépendants et non informés l’évaluation des soumissions selon quatre dimensions : précision descriptive, profondeur analytique, orientation vers l’auto-régulation et sens social-prosocial.
   1. Noter chaque dimension selon une échelle à 4 points où 0 indique une absence, 1 une preuve faible ou vague, 2 une preuve claire mais limitée, et 3 une preuve forte et approfondie. Par exemple, la profondeur analytique est notée 0 lorsqu’aucune justification n’est fournie, 1 lorsque l’étudiant indique simplement que l’activité était difficile, 2 lorsqu’il relie la difficulté à un concept ou à une condition spécifique en classe, et 3 lorsqu’il explique l’interaction entre les connaissances antérieures, les échanges entre pairs, les retours de l’enseignant et une stratégie d’apprentissage planifiée. Tableau 2 et Fichier Supplémentaire 1 fournissent des exemples de niveaux de notation pour les quatre dimensions réflexives.
4. Ne commencer l’évaluation formelle qu’après avoir obtenu un coefficient de corrélation intraclasse de 0,80 ou plus élevé pour chaque dimension sur les textes pilotes¹⁴.
5. Procéder à la double notation aléatoire de 15 % des réflexions de l’étude durant le protocole afin de contrôler les dérives des évaluateurs. Évaluer les écrits réflexifs selon ces critères qualitatifs multidimensionnels plutôt que de se baser uniquement sur la longueur du texte ou la fréquence des mots.
6. Élaborer ou adapter la grille d’évaluation des expressions réflexives par examen expert mené par au moins deux chercheurs en éducation et un enseignant du cours. Tester la grille sur 20 à 30 textes réflexifs non inclus dans l’étude, réviser les descripteurs ambigus et documenter la version finale de la grille avant le début du codage formel.
7. Administrer le questionnaire d’intention prosociale présenté dans Fichier Supplémentaire 1. Demander aux étudiants d’évaluer leur volonté d’aider les camarades en difficulté, de partager des ressources d’apprentissage, de contribuer constructivement aux discussions, d’encourager leurs pairs, d’agir équitablement lors de travaux de groupe et d’améliorer le climat d’apprentissage en classe. Utiliser une échelle à 5 points allant de 1 (tout à fait en désaccord) à 5 (tout à fait d’accord). Calculer la note moyenne lorsque au moins cinq des six items sont complétés, et rapporter l’alpha de Cronbach pour les passations initiale et post-protocole.

7. Extraction des analyses d'apprentissage

1. Attribuer l'extraction des données d'analytique de l'apprentissage à un administrateur externe après la semaine 4 afin d'éviter toute contamination des processus d'observation et de réflexion.
2. Définir la fenêtre d'extraction de 00:00 le jour du premier cours observé à 23:59 le jour de clôture de la période finale de réflexion.
3. Extraire uniquement les variables prédéfinies nécessaires au protocole. Enregistrer le nombre de jours actifs sur la plateforme, les consultations distinctes de ressources, la proportion des ressources assignées ouvertes, la quantité de réponses postées dans les discussions, le taux moyen d'achèvement des vidéos et la ponctualité aux devoirs.
4. Nettoyer les exports bruts en supprimant les comptes des enseignants et des assistants pédagogiques, les doublons, les événements de test et les points de données situés en dehors de la période définie.
5. Considérer comme jour actif toute date du calendrier comportant au moins un accès authentifié au cours suivi d'une interaction significative, telle que l'ouverture de fichiers, la visualisation de vidéos ou la publication de réponses.
6. Compter les ouvertures uniques de ressources en ignorant les actualisations en double survenant dans un intervalle de 60 s. Déterminer le taux d'achèvement des vidéos en tronquant la fraction visionnée par rapport au temps prévu à 01:00, puis en effectuant une moyenne sur tous les éléments média assignés.
7. Calculer la ponctualité aux devoirs en fonction de la proportion de tâches soumises avant les délais prévus. Calculer la proportion d'accès nocturnes comme le rapport entre les événements significatifs survenus entre 00:00 et 06:00 et le nombre total d'activités significatives durant la période d'observation. S'appuyer sur ces métriques fondées sur le temps et la contribution pour fournir des informations plus riches qu'une simple accumulation de journaux¹⁵.
8. Utiliser un flux de travail prédéfini de gestion des données pour l'exportation brute du système de gestion de l'apprentissage. Conserver l'exportation d'origine comme fichier en lecture seule, créer une copie de travail anonymisée, supprimer les comptes des enseignants et des assistants pédagogiques, éliminer les doublons ou événements de test, et conserver un journal de traitement avec le nombre de lignes après chaque étape de nettoyage.
9. Effectuer le nettoyage des données dans un tableur ou ultérieurement, et réaliser l'analyse statistique avec R version 4.4.0 ou ultérieure, ou un logiciel équivalent.
   1. Dans un tableur, suivre les étapes décrites aux points 7.9.1.1–7.9.1.2.
      1. Importer les fichiers CSV anonymisés à l'aide de Données > Obtenir des données > À partir de texte/CSV, puis utiliser Données > Supprimer les doublons pour éliminer les lignes en double de ID d'étude/timestamp/événement.
      2. Appliquer un Filtre pour exclure les comptes des enseignants ou des assistants pédagogiques ainsi que les enregistrements hors période, et conserver un journal de traitement avec le nombre de lignes après chaque étape.
   2. Dans R, suivre les étapes décrites aux points 7.9.2.1–7.9.2.3.
      1. Importer les fichiers avec readr::read_csv(), remodeler les enregistrements hebdomadaires avec dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() et tidyr::pivot_wider().
      2. Calculer le kappa de Cohen avec irr::kappa2(), les CCI avec psych::ICC(), et alpha de Cronbach avec psych::alpha().
      3. Ajuster des modèles linéaires corrigés par section avec stats::lm() ; utiliser lme4::lmer() lorsqu'un intercept aléatoire prédéfini par section de cours est requis, et utiliser lme4::glmer(family = binomial) uniquement pour les résultats binaires. Archiver le script exact ainsi que les versions des packages avec les documents soumis.
10. Utiliser la séquence d'analyse reproductible suivante.
    1. Calculer les proportions d'observation par étudiant et par semaine, calculer l'IOEC à l'aide de la formule indiquée à l'étape 4.9, puis fusionner les scores de réflexion hebdomadaires par ID d'étude et par semaine.
    2. Agréger les variables d'analytique de l'apprentissage sur la même fenêtre de 4 semaines, examiner les valeurs manquantes par source de données, calculer les statistiques descriptives et les estimations de fiabilité, puis ajuster les modèles d'association prédéfinis.
    3. Ne pas ajouter de prédicteurs non planifiés après examen des résultats, sauf s'ils sont étiquetés comme exploratoires.
11. (Facultatif) Pour plus de transparence, déposer un script d'analyse anonymisé, un codebook, des formulaires de codage vierges, les consignes de réflexion, la grille d'évaluation de la réflexion et le questionnaire prosocial dans un dépôt public ou les matériaux supplémentaires. Ne pas déposer les vidéos brutes identifiables de la classe, les noms, les identifiants institutionnels ou les textes de réflexion non caviardés.

8. Mesures post-protocole et intégration des jeux de données

1. Administrer une deuxième fois l'instrument d'intention prosociale immédiatement après la fin de la dernière période de réflexion.
2. Demander aux étudiants d'évaluer leur volonté d'aider leurs camarades, de partager des ressources, d'apporter une contribution constructive aux discussions, d'encourager leurs pairs, d'agir avec équité et d'améliorer le climat d'apprentissage sur une échelle allant de 1 (tout à fait en désaccord) à 5 (tout à fait d'accord). Calculer le score total post-protocole de chaque individu en faisant la moyenne des réponses, à condition qu'au moins cinq des six items aient été répondus.
3. Fusionner les fichiers d'observation, les scores de réflexion et les enregistrements d'analytique de l'apprentissage à l'aide de l'identifiant d'étude anonymisé. Construire deux jeux de données finaux à partir de cette fusion afin de créer un fichier maître au niveau des participants et un fichier au format long au niveau hebdomadaire.
4. Ne pas imputer les intervalles d'observation manquants dus à l'absence de visibilité des étudiants, ni les réflexions hebdomadaires manquantes dues à un non-dépôt. Indiquer les réflexions partiellement complétées, les variables d'analytique de l'apprentissage incomplètes, les réflexions pauvres en informations et les identifiants d'étude non appariés avant l'analyse.
5. Utiliser une analyse des cas complets pour les modèles d'association prédéfinis, indiquer le nombre de cas exclus pour chaque modèle, et effectuer une vérification de sensibilité comparant les étudiants inclus et exclus selon les variables de base disponibles.
6. Conserver l'intention prosociale comme mesure principale de résultat afin de refléter les attitudes solidaires et collaboratives qui sous-tendent les changements structurels dans la participation des étudiants universitaires.

9. Dépannage et adaptations du protocole

1. Si deux observateurs diffèrent de plus d'une catégorie binaire pour le même groupe d'élèves ou si le kappa de Cohen est inférieur à 0,70 pour un indicateur donné, suspendre la notation formelle pour la session concernée, revoir les définitions opérationnelles, effectuer un segment de recalibrage de 10 minutes, puis recoder l'intervalle concerné avant la verrouillage des données.
2. Si les exports de la plateforme sont incomplets, documenter le champ manquant, demander un second export à l'administrateur externe, et conserver l'élève dans les résumés d'observation et de réflexion tout en excluant la variable analytique indisponible des modèles nécessitant ce champ.
3. Si moins de 80 % des réflexions attendues sont soumises dans les 48 heures suivant l'ouverture de la tâche, envoyer un rappel neutre à l'ensemble de la classe, prolonger le soutien technique pour les problèmes d'accès, et signaler séparément les nombres finaux de soumissions à temps, en retard et manquantes.
4. Si plus de 10 % des élèves d'un groupe ne sont pas visibles pendant au moins la moitié de la fenêtre d'observation, coder les intervalles concernés comme manquants et s'appuyer sur les enregistrements des observateurs en direct plutôt que d'essayer d'inférer le comportement à partir de vidéos partiellement obstruées.
5. Si un élève se retire, refuse de participer davantage ou ne dispose pas de données rapprochables entre les sources, retirer cet élève des modèles d'association liés, mais conserver les comptages agrégés de faisabilité du protocole lorsque l'approbation éthique le permet.
6. Si plusieurs élèves indiquent qu'une section est difficile à comprendre, l'enseignant doit apporter la réponse pédagogique habituelle, telle qu'une brève reformulation, un exemple guidé, une discussion entre pairs ou une ressource complémentaire. Enregistrer cet événement comme un fait contextuel, car il peut influencer la recherche d'aide, la profondeur de la réflexion et l'activité sur la plateforme.
7. Ajuster la taille des groupes d'élèves, la durée des intervalles, les consignes de réflexion et les variables analytiques en fonction du format pédagogique, tout en conservant la même logique d'indicateurs comportementaux prédéfinis, d'enregistrements anonymisés, de codage indépendant et de règles transparentes de traitement des données manquantes.
8. Considérer la faible fiabilité, la forte proportion de données manquantes, la profondeur limitée des réflexions, l'évolution prosociale insuffisante et le faible accord entre les flux de données comme des résultats informatifs sur la mise en œuvre, et non comme des échecs du protocole. Signaler ces résultats et expliquer s'ils reflètent le contexte de la classe, des limites des instruments ou des problèmes de collecte de données.

Résultats

Inclusion des participants, exhaustivité des données et fiabilité des scores
Un groupe initial de 204 étudiants provenant de toutes les sections du cours a été invité à participer, donnant lieu à 198 individus ayant donné leur consentement. Quatorze cas ont par la suite été exclus en raison d'un retrait du cours pendant la période du protocole ou d'une liaison incomplète des données entre les observations, les réflexions et les enregistrements sur la plateforme. En conséquence, l'échantillon final re...

Discussion

Cette étude propose un protocole pratique intégrant l'observation comportementale, l'écriture réflexive et l'analyse des apprentissages afin d'examiner de manière exhaustive la participation, l'expression de soi et la sensibilité prosociale des étudiants universitaires au sein d'une même fenêtre pédagogique. En saisissant différentes dimensions de l'engagement, cette approche tripartite répond aux critiques récentes formulées dans la recherche en enseignement supérieur, selon lesquelles les indicateurs de temps d'utilisa...

Matériaux

Liste des matériaux utilisés dans cet article

Nom	Entreprise	Numéro de catalogue	Commentaires
Fiche de codage pour l'observation en classe	Interne	Six indicateurs comportementaux binaires	Codage par intervalles de l'attention axée sur la tâche, de la participation verbale, de la collaboration entre pairs, de la prise de notes ou utilisation d'appareil orientée vers la tâche, des distractions hors tâche et de la recherche d'aide.
GraphPad Prism	Graphpad	Version 10.2.3	Génération de diagrammes de flux, de graphiques de tendances hebdomadaires, de graphiques de distribution et de figures d'association.
Système de gestion de l'apprentissage institutionnel / plateforme de cours	Université d'accueil	Système de comptes LMS institutionnel existant	Collecte d'analyses d'apprentissage dé-identifiées.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Génération de diagrammes de flux, de graphiques de tendances hebdomadaires, de graphiques de distribution et de figures d'association.
R	Fondation R		ggplot2 3.5.1
Logiciel de feuille de calcul	Société Microsoft	Microsoft Excel 365 v2402	Saisie des données, nettoyage, vérifications de dé-identification et fusion des jeux de données issus des observations, des réflexions et des analyses.
SPSS Statistics	IBM Corp	Version 26.0	Logiciel d'analyse statistique ; statistiques descriptives, comparaisons à mesures répétées, kappa de Cohen, CCI, alpha de Cronbach, corrélations et modèles de régression.