Évaluer les multiples dimensions de l'engagement à caractériser l'apprentissage: une perspective neurophysiologique

L'objectif général de cette procédure est de recueillir et de synchroniser des données sur l'engagement comportemental, émotionnel et cognitif pendant des tâches d'apprentissage. Cela est réalisé en premier lieu en reliant tous les systèmes de collecte de données à l'aide d'un dispositif de synchronisation qui envoie un marqueur temporel dans les données recueillies. La deuxième étape consiste à collecter des données de suivi oculaire et d'interactions logicielles pour l'engagement comportemental.

Ensuite, les données EEG seront recueillies afin de caractériser l'engagement cognitif. La dernière étape consiste à collecter les données d'engagement émotionnel provenant de l'activité électrodermale ou ED pour la mesure de l'activation, et de la reconnaissance automatique des émotions faciales ou A FER afin de générer des données de valence. Enfin, ces indices caractérisant les trois dimensions de l'engagement seront réalignés dans un logiciel de synchronisation, selon les marqueurs temporels initialement envoyés par le dispositif de synchronisation.

Le principal avantage de cette technique est qu'elle quantifie trois dimensions de l'engagement des apprenants pendant une tâche d'apprentissage, contrairement aux méthodes de recherche classiques qui se concentrent uniquement sur des instruments d'auto-évaluation de l'engagement après les tâches. Cette méthode peut aider à répondre à des questions clés dans le domaine de l'indication, telles que quelles sont les dynamiques de la cognition affective dans divers contextes d'apprentissage complexes, et quel est l'impact de différents contextes pédagogiques sur l'effet et la cognition ? Cette technique a des implications dans d'autres domaines.

Par exemple, dans le domaine des technologies de l'information, nous utilisons cette technique pour mesurer l'engagement d'un utilisateur lors de la navigation sur un site web ou de l'utilisation d'une application logicielle. Cette technique s'inspire de travaux récents en neuro-omique, où des données de vigilance de conducteurs effectuant de longs trajets ont été recueillies à l'aide d'appareils EEG. Gabrielle Zu, accompagnée d'un assistant de recherche du laboratoire Tech trois de HEC Montréal, démontrera cette procédure, tout comme Igo et Yig, assistants de recherche du laboratoire de neurologie, en commençant par allumer le suivi oculaire, l'amplificateur EEG, les ordinateurs d'enregistrement et les haut-parleurs.

Préparez la solution EEG avec le matériel requis selon les procédures recommandées par le fabricant. Ensuite, préparez le logiciel d'EEG et celui de suivi oculaire pour le participant à venir. Puis démarrez le logiciel d'enregistrement vidéo et les caméras, et lancez le logiciel de synchronisation avec la sous-routine spécifique créée pour le projet, qui permet d'envoyer des marqueurs de synchronisation toutes les 60 secondes.

Ensuite, lancez le logiciel de mesure physiologique et ouvrez la disposition spécifique créée pour le projet. Puis, faites entrer le participant dans la salle de collecte des données et repérez l'emplacement de l'électrode Cz sur la tête du participant selon le système de référence 10-20. Placez le réseau EEG sur la tête du participant et assurez-vous que chaque électrode est positionnée perpendiculairement à la surface de la tête.

Branchez le connecteur réseau et effectuez une vérification d'impédance avec un seuil fixé à 40 kiloohms. Enfin, placez deux capteurs physiologiques sur le dessus de la main gauche du participant. Commencez la collecte des données.

Une fois que tous les logiciels d'enregistrement sont prêts à être lancés dans Synchrony, effectuez une procédure d'étalonnage à neuf points et observez le participant pendant qu'il suit les points rouges à l'écran. Répétez cette procédure jusqu'à ce qu'une précision suffisante soit atteinte selon les normes du fabricant, puis demandez au participant de résoudre 10 problèmes de physique newtonienne sur l'ordinateur. Arrêtez l'acquisition des données sur tous les ordinateurs.

Une fois la tâche terminée, retirez tous les capteurs du participant. Importez d'abord les données EEG dans le logiciel d'analyse des données EEG. Ensuite, cliquez sur fichier, puis sur nouveau projet, et sélectionnez l'emplacement des données brutes en cliquant sur parcourir.

Sélectionnez le dossier de données brutes nouvellement créé. Choisissez l'emplacement de deux autres dossiers nommés history et export de la même manière. Ensuite, cliquez sur OK.

Ensuite, cliquez sur transformations et filtres IIR pour prétraiter le signal cérébral en appliquant un filtre et un réjecteur dans la fenêtre logicielle. Réglez les limites de coupure à 1,5 et 50 hertz avec une pente de 12 décibels pour chacun et activez un réjecteur à une fréquence de 60 hertz. Ensuite, soustrayez la dérive continue en cliquant sur transformations et DC dre.

Sélectionnez l'option basée sur le temps à 100 millisecondes avant le marqueur et à 100 millisecondes avant la connexion DC. Effectuez une inspection des données brutes en cliquant sur transformations et inspection des données brutes. Sélectionnez l'inspection semi-automatique et choisissez les paramètres pour la tension, le maximum, le minimum et l'amplitude indiqués ici.

Effectuez une analyse automatique des composantes indépendantes (ICA) avec sphère classique pour supprimer les clignements en cliquant sur transformations et ICA une fois le processus terminé. Traitez l'ICA inverse en cliquant sur transformations ICA, puis sur ICA inverse.

Enfin, exportez le signal et les marqueurs en cliquant sur Exporter et Exportation de données génériques. Sélectionnez les cases intitulées Fichier d'en-tête droit et Fichier de marqueurs droit. En outre, sélectionnez le format texte pour une éventuelle construction dans MATLAB de l'indice d'engagement.

Ensuite, importez le signal EEG dans Matlab. Pour ce faire, démarrez le script E-E-G-L-A-B. Ainsi, l'interface graphique de EEG lab apparaît dans Matlab.

Importez les données pour un participant à la fois en sélectionnant l'importation de fichiers à l'aide des fonctions et greffons d'EEG lab, puis à partir du fichier brain vis rec VDR, collez un script dans la fenêtre de commande qui générera un indice d'engagement. Ce script produira un fichier texte. Ouvrez le fichier texte contenant l'indice d'engagement dans Microsoft Excel.

Appliquez une normalisation par score Z aux données EEG afin de permettre la comparaison entre sujets. Une fois le prétraitement des données EEG terminé, prétraitez les données physiologiques en important les données d'activité ÉLECTRODERMALE ou EDA dans le logiciel d'analyse des données physiologiques.

Ensuite, appliquez une normalisation par score z sur les données EDA en cliquant sur transformation et mathématiques de forme d'onde afin de permettre la comparaison entre sujets. Cette opération s'effectue en deux étapes. Tout d'abord, sélectionnez le canal EDA comme source un, le signe moins dans la fenêtre d'opération mathématique, puis K comme source deux.

Ensuite, sélectionnez « nouveau » dans le menu de destination. Saisissez la valeur moyenne du canal EDA et sélectionnez « transformer toute l'onde ». Cliquez sur « OK » pour la deuxième étape, rouvrez l'outil de calcul de forme d'onde, puis sélectionnez le canal EDAK comme source un, le signe de division dans la fenêtre d'opération mathématique et K comme source deux.

Ensuite, sélectionnez Nouveau dans le menu Destination. Saisissez la valeur de l'écart type du canal EDA et sélectionnez Transformer toute l'onde. Enfin, cliquez sur OK pour l'étape finale de prétraitement.

Importez les données vidéo du magnétoscope vers le logiciel de reconnaissance automatique des émotions faciales en cliquant sur Fichier, Nouveau, puis Participant. Sélectionnez un nouveau participant dans le menu du projet. Ensuite, cliquez sur Fichier, Nouvelle analyse et Vidéo.

Cliquez sur la loupe à côté de l'analyse un et choisissez le fichier vidéo souhaité. Terminez en calculant le zco des données de valence dans SPSS en cliquant sur analyser les statistiques descriptives puis sur descriptives. Sélectionnez enregistrer les valeurs standardisées en tant que variables et une colonne avec le score Z apparaîtra.

Commencez par importer les vidéos de suivi I en cliquant sur fichier, importer et vidéo dans une nouvelle observation. Nommez la nouvelle observation et sélectionnez le fichier vidéo souhaité à importer. Importez toutes les données externes en cliquant sur fichier, importer et données externes.

Inclure le Z-score du signal EEG zco du signal EDA et le Z-score des données de valence. Si désiré, ajouter des marqueurs d'événement pour une analyse ultérieure. Pour synchroniser le chronométrage entre les ordinateurs, ouvrez le menu de décalage en appuyant sur les touches contrôle, majuscule et le signe égal, puis sélectionnez le décalage numérique afin d'entrer le temps en secondes entre chaque paire de sources de données.

Cliquez sur OK. Ensuite, sélectionnez les variables intéressantes à générer dans le rapport en cliquant sur analyser les données sélectionnées et sur un nouveau profil de données. Sélectionnez l'événement souhaité à analyser puis cliquez sur OK.

Ensuite, ajoutez une ligne de connexion entre le tableau de départ et le tableau des nids, ainsi qu'entre le tableau des nids et le tableau des résultats. Générez le rapport en cliquant sur « analyser l'analyse numérique » puis sur « nouvelles statistiques » et cochez la case située à côté de « moyenne » dans le menu des données externes. Cliquez ensuite sur « OK ».

Cliquez sur la disposition et assurez-vous que les données externes se trouvent dans les colonnes et que les conteneurs de résultats apparaissent sur les lignes. Terminez en cliquant sur OK. Enfin, cliquez sur le bouton de calcul pour que le logiciel mette à jour les calculs associés au rapport en cours de génération.

De nombreuses dimensions des données d'engagement sont synchronisées au cours de cette expérience, notamment comportementales, cognitives et émotionnelles, grâce à l'utilisation de plusieurs ordinateurs. Afin d'établir la ligne de base du sujet, il est utile d'utiliser les données provenant d'un moment de la tâche où une pause intervient, précisément à la fin de cette pause. L'engagement cognitif mesuré par l'EEG augmente légèrement en prévision de la tâche suivante, tandis que l'activation émotionnelle continue de diminuer.

Les données de valence sont manquantes car les yeux du participant sont fermés pendant la tâche de résolution de problème. Alors que le sujet lit la troisième ligne, on observe que son arousal a atteint un maximum. La valence émotionnelle est neutre et l'engagement cognitif mesuré par l'EEG est maximal une fois la tâche maîtrisée.

Cette technique implique environ 30 minutes de préparation du sujet avant le début de l'expérimentation, après son développement. Cette méthode ouvrira la voie aux chercheurs et aux praticiens, non seulement dans le domaine des technologies de l'information, mais aussi dans l'industrie du jeu vidéo, pour surveiller en temps réel les aspects comportementaux, émotionnels et cognitifs des utilisateurs. Une étape clé dans toute approche de régulation est la synchronisation, et la précision de cette procédure doit être vérifiée avant et après chaque expérience afin d'assurer un minutage précis entre tous les appareils.

Après avoir visionné cette vidéo, vous devriez maintenant avoir une bonne compréhension de la manière d'acquérir des données psychophysiologiques synchronisées afin de mieux comprendre la dynamique d'interaction entre les dimensions comportementale, émotionnelle et cognitive de l'engagement durant une tâche d'apprentissage.