This paper aims to describe the techniques involved in the collection and synchronization of the multiple dimensions (behavioral, affective and cognitive) of learners’ engagement during a task.
In a recent theoretical synthesis on the concept of engagement, Fredricks, Blumenfeld and Paris1 defined engagement by its multiple dimensions: behavioral, emotional and cognitive. They observed that individual types of engagement had not been studied in conjunction, and little information was available about interactions or synergy between the dimensions; consequently, more studies would contribute to creating finely tuned teaching interventions. Benefiting from the recent technological advances in neurosciences, this paper presents a recently developed methodology to gather and synchronize data on multidimensional engagement during learning tasks. The technique involves the collection of (a) electroencephalography, (b) electrodermal, (c) eye-tracking, and (d) facial emotion recognition data on four different computers. This led to synchronization issues for data collected from multiple sources. Post synchronization in specialized integration software gives researchers a better understanding of the dynamics between the multiple dimensions of engagement. For curriculum developers, these data could provide informed guidelines for achieving better instruction/learning efficiency. This technique also opens up possibilities in the field of brain-computer interactions, where adaptive learning or assessment environments could be developed.
Engagement joue un rôle crucial dans l'apprentissage. Pour Clark et Mayer 2, "tout apprentissage nécessite l'engagement," indépendamment des médias de livraison. Zhang et al. 3 a également suggéré que l'augmentation de l'engagement des élèves peut améliorer les résultats d'apprentissage, comme la résolution de problèmes et la pensée critique. Définition de l'engagement reste un défi. Dans leur revue de la littérature, Fredricks, Blumenfeld et Paris 1 définis engagement par sa nature multiforme: "l'engagement du comportement se fonde sur l'idée de la participation; il comprend la participation à des activités scolaires et sociales ou parascolaires. (…) L'engagement émotionnel englobe réactions positives et négatives aux enseignants, camarades de classe, des universitaires, et l'école et est présumé pour créer des liens avec un objet et l'influence volonté de faire le travail. Enfin, engagement cognitif se fonde sur l'idée de l'investissement mentale; il intègre la prévenance et la volonté d'exercer l'effort ncasaire de comprendre des idées complexes et des compétences difficiles maîtres ".
Fredricks, Blumenfeld et Paris 1 ont également affirmé que l'accent mis sur le comportement, les émotions et la cognition, de la notion d'engagement, peut fournir une caractérisation plus riche de l'apprentissage. Ces auteurs ont souligné que un corps robuste de recherche aborde chaque composante de l'engagement séparément, mais ces composants avaient pas été étudiés conjointement. Ils ont également observé que peu d'information est disponible sur les interactions entre les dimensions et que d'autres études pourraient contribuer à la planification des interventions d'enseignement finement réglé. Comme une étape dans cette direction, le présent document décrit une méthode de recherche qui a été développé pour recueillir et analyser des données quantitatives et qualitatives, synchrone, sur l'engagement comportemental, affectif et cognitif pendant les tâches d'apprentissage.
Apporter les neurosciences dans l'éducation
BehavIOR, et un engagement conséquent de comportement, a longtemps été le point central des études dans l'enseignement: des modèles de recherche ont porté principalement sur l'évolution des connaissances et des comportements qui se produisent sur de longues périodes de temps, entre-tests pré et post, et sur des intervalles d'heures, semaines , des mois ou des années. Discrimination entre l'engagement comportemental, émotionnel et cognitif reste un défi parce que les deux dernières dimensions ne sont pas systématiquement observable de l'extérieur. Cognition et les émotions doivent soit être déduites des observations ou évalués par des mesures d'auto-évaluation. D'un point de vue extérieur, il reste difficile de déterminer si les élèves essaient de faire leur travail aussi rapidement que possible ou en utilisant des stratégies d'apprentissage à un niveau profond de maîtriser un contenu spécifique. En fait, Fredricks, Blumenfeld et Paris 1 ont été incapables de trouver des études publiées à l'aide, des mesures objectives directs d'engagement cognitif.
Les récents développements technologiques dansle domaine des neurosciences ont créé de nouvelles possibilités pour la recherche en éducation. De nouvelles méthodes de collecte de données et des algorithmes d'analyse développés dans le domaine de l'ergonomie neuro semblent très prometteurs pour les études qualitatives et quantitatives au cours de tâches d'apprentissage. D'autres disciplines, telles que l'économie, la psychologie, le marketing et l'ergonomie, ont eu recours à des mesures neurophysiologiques pour évaluer engagement cognitif pendant un certain temps 4-8. Mesures neurophysiologiques, couplés avec des algorithmes d'analyse efficaces, permettent d'étudier un phénomène sans le déranger. De par leur nature, les questionnaires d'autoévaluation se désengagent des étudiants de l'apprentissage. Mesures neurophysiologiques permettent modèles de recherche à effectuer dans des environnements d'apprentissage plus authentiques. Ces outils comprennent des équipements pour surveiller le rythme cardiaque, le rythme respiratoire, la tension artérielle, la température corporelle, diamètre de la pupille, l'activité électrodermale, l'électroencéphalographie (EEG), etc.
<strong> Rassemblement données synchronisées sur comportementaux, émotionnels et cognitifs de fiançailles
Comme résultats représentatifs après l'utilisation de ce protocole, le présent document présentera les résultats partiels d'une étude dans laquelle les apprenants ont à résoudre, sur un écran d'ordinateur, dix problèmes en physique mécanique. Ces problèmes ont été développées dans les travaux précédents 9. Données neurophysiologiques ont été recueillies alors que les apprenants ont été résoudre les problèmes et relaxant pendant la pause de 45, les yeux fermés, après chaque problème.
Comme mentionné ci-dessus, les données de mise en prise consistent en des interactions de comportement de logiciels (mouvements de la souris et les clics), le regard de l'oeil, les performances et les réponses aux questions produites par un apprenant interagir avec le système tout en accomplissant une tâche. Un système d'eye-tracking a été utilisé pour recueillir des interactions de logiciels et les données du regard de l'oeil. Les données de performance (temps de résoudre un problème, de l'exactitude des réponses) ont été recueillies sur uneSite web de l'enquête qui a été utilisé pour présenter la tâche. Ce site a également été utilisé pour recueillir des données autodéclarées recueillies par un questionnaire adapté de Bradley et Lang 10. L'engagement émotionnel implique la caractérisation des émotions. Selon Lang 11, les émotions sont caractérisés en termes de valence (agréable / désagréable) et l'éveil (calme / suscité). Données d'engagement affectif ont donc été recueillies, en utilisant un logiciel de reconnaissance faciale automatique de l'émotion qui quantifie valence émotionnelle et une activité codeur / capteur électrodermale de l'excitation 12,13. L'activité électrodermale (AED) se réfère à la résistance électrique enregistrée entre deux électrodes lorsqu'un courant électrique très faible est régulièrement passé entre eux. Cacioppo, Tassinary Berntson et 14 ont montré que la résistance enregistrée varie en fonction de l'excitation de l'objet. Ainsi, les données psychophysiologiques, comme valence ou l'excitation, sont considérés comme des corrélats de l'engagement émotionnel.
<pclass = "jove_content"> Enfin, les données d'engagement cognitives sont collectées par l'électroencéphalographie (EEG). mesures de l'EEG, sur le cuir chevelu, la synchronisation de l'activité électrique des groupes de neurones dans le cerveau. Les signaux électriques enregistrés à partir du cuir chevelu sont souvent oscillatoire et composé de composantes de fréquence. Par convention, ces fréquences sont regroupées en séquences, connu sous le nom des bandes. Par exemple, alpha, bêta et thêta bandes sont l'objet de cette étude. Selon des études neuroscientifiques 14, ces bandes reflètent différentes capacités de traitement cognitif dans les zones spécifiques du cerveau. Ainsi, l'analyse de la densité spectrale de puissance (PSD) de fréquences spécifiques, combinée avec de nombreuses études sur la vigilance 7,15 et d'attention, permet aux chercheurs de quantifier engagement cognitif au cours d'une tâche. Comme l'a noté Mikulka et al. 16, la recherche a montré une relation directe entre l'activité bêta et la vigilance cognitive et une relation indirecte entre un alphad activité thêta et la vigilance. Ainsi, le pape, Bogart et Bartoleme 7 développé un indice d'engagement qui calcule le PSD de trois bandes: beta / (alpha + thêta). Ce rapport a été validé dans d'autres études sur l'engagement 16,17,18. Pour caractériser engagement cognitif au fil du temps, une transformée de Fourier rapide (FFT) convertit le signal EEG de chaque site actif (F3, F4, O1, O2) dans un spectre de puissance. L'index EEG de mise en prise à l'instant T est calculé par la moyenne de chaque rapport de mise en prise à l'intérieur d'une fenêtre glissante de 20 secondes précédant l'instant T. Cette procédure est répétée toutes les secondes et une nouvelle fenêtre glissante est utilisée pour mettre à jour l'index.Comme l'objectif de cette méthodologie est de fournir une riche analyse des multiples dimensions de l'engagement, la synchronisation des données est cruciale. Comme Leger et al. 19 rappeler aux lecteurs, les fabricants d'équipements recommandent fortement d'utiliser un seul ordinateur par outil de mesure de garantir leur précision spécifiée level. Ainsi, lorsque plusieurs ordinateurs sont utilisés, la synchronisation entre les ordinateurs d'enregistrement devient une étape critique. Les enregistrements ne peuvent pas tous être commencé à la même heure, et chaque flux de données dispose de son délai précis (par exemple, 0 sec de l'œil sec suivi ≠ 0 de l'EEG ou des données physiologiques). Cela est extrêmement important: la désynchronisation entre les flux de données des erreurs dans le moyen de quantification de chaque dimension de l'engagement. Il ya différentes façons de synchroniser les enregistrements physiologiques et comportementaux concomitants. Ces procédés peuvent être divisés en deux approches principales; directe et indirecte 20. Le protocole présenté dans la section suivante est basée sur une approche indirecte où un dispositif externe, une syncbox, est utilisé pour envoyer transistor-transistor logique (TTL) des signaux à tous les équipements d'enregistrement (comme représenté sur la figure 1). Comme chaque pièce d'équipement a une heure de début différente, les marqueurs de TTL sont enregistrées dans les fichiers journaux avec un parent retard. Les marqueurs sont ensuite utilisés pour réaligner les signaux et ainsi assurer une bonne synchronisation après chaque enregistrement. Un logiciel d'analyse comportementale qui permet l'intégration de fichier externe est utilisé pour re-synchroniser le calendrier de chaque flux de données et d'effectuer une analyse quantitative et qualitative de chaque dimension de l'engagement.
Figure 1. architecture du système de collecte de données. L'environnement de laboratoire dans lequel comportementale (eye-tracking), émotionnel (EDA et l'émotion du visage) et les données cognitives (EEG) de fiançailles sont collectées contient de nombreux ordinateurs. Cela pose un défi de synchronisation pour les données qui sont référencés sur leurs horloges des ordinateurs respectifs. Pour être en mesure d'analyser toutes les données dans le même temps de référence, la configuration de laboratoire implique un syncbox qui envoie des signaux TTL à tous les flux de données.nk "> S'il vous plaît cliquez ici pour voir une version plus grande de cette figure.
Pour évaluer la précision de la méthodologie en termes de synchronisation, 45 pauses sec ont été introduits avant chacun des problèmes de physique mécanique. Pendant ces pauses, les sujets devaient se détendre et à fermer les yeux. Comme on le voit dans d'autres études 4,9,16,17,18, ces pauses devraient induire des variations significatives dans le signal collecté: les deux points de pupille de l'oeil dans (l'engagement comportemental) eye-tracking immédiatement disparaître et une chute immédiate engagement cognitif (EEG le signal) est observée. Ces composants spécifiques du signal sont utilisés pour évaluer la validité générale de la synchronisation. La récente publication de documents qui dépendent totalement ou partiellement sur cette procédure de synchronisation, dans les domaines des systèmes d'information 19, les interactions homme-machine et de l'éducation 21 9, 22, fournit la preuve de son efficacité.
En termes d'étapes critiques dans le protocole, il convient d'abord de souligner que la qualité des données est toujours l'objectif principal pour les techniques de collecte neurophysiologiques. Dans cette méthodologie, les assistants de recherche doivent porter une attention particulière à instruire les sujets afin de minimiser les mouvements de tête qui va interférer avec la surveillance de valence (perdre angle de la face correcte pour la caméra) ou générer des artefacts myographiques de l'…
The authors have nothing to disclose.
The authors acknowledge the financial support of the Social Sciences and Humanities Research Council of Canada (SSHERC), Natural Sciences and Engineering Research Council of Canada (NSERC), Fonds de Recherche Nature et Technologies du Québec (FQRNT) and Fonds de Recherche sur la Société et Culture du Québec (FQRSC).
EGI GSN-32 | EGI | n/a | Dense array EEG |
Netstation v.5.0 | EGI | n/a | EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz. |
Facereader v.4 | Noldus | n/a | Facial emotion recognition software |
Syncbox | Noldus | n/a | Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2. |
Logitech C600 Webcam | 960-000396 | Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader | |
The Observer XT | Noldus | n/a | Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data. |
On-Screen LED illumination | Noldus | n/a | Neon positioned on computer screen in order to correctly light the face of subjects |
MediaRecorder | Noldus | n/a | Video data collection software |
Tobii X60 | Tobii | n/a | Collect eye-movement patterns : used to record subjects’ eye movement patterns at 60Hz during the experiment. |
Tobii Studio v.3.2 | Tobii | n/a | Eye-tracking data collection and analysis software |
Analyzer 2 | Brainvision | n/a | EEG signal processing software |
Acqknowledge v.4.0 | Biopac | ACK100M | Physiological signal acquisition and processing software |
Control III germicide solution | Maril Products. | 10002REVA-20002-1 | Disinfectant solution used with EEG helmets : recommended by EGI |
Unipark | QuestBack AG | n/a | Online survey environment |