Het beoordelen van de verschillende dimensies van Engagement te karakteriseren Learning: A Neurofysiologische Perspective

Het algemene doel van deze procedure is het verzamelen en synchroniseren van gegevens over gedragsmatige, emotionele en cognitieve betrokkenheid tijdens leertaken. Dit wordt bereikt door eerst alle gegevensverzamelsystemen te verbinden via een synchronisatieapparaat dat een tijdmarker in de verzamelde gegevens stuurt. De tweede stap is het verzamelen van eye-trackinggegevens en software-interactiegegevens voor de gedragsmatige betrokkenheid.

Vervolgens worden EEG-gegevens verzameld voor de karakterisering van de cognitieve betrokkenheid. De laatste stap is het verzamelen van gegevens over emotionele betrokkenheid via elektrodermale activiteit (EDA) voor de meting van arousal en automatische gezichtsemotieherkenning (AFER) om valentiegegevens te genereren. Uiteindelijk worden deze indexen, die de drie dimensies van betrokkenheid karakteriseren, opnieuw gesynchroniseerd in een synchronisatiesoftware op basis van de tijdmarkeringen die aanvankelijk door het synchronisatieapparaat zijn verzonden.

Het belangrijkste voordeel van deze techniek is dat het drie dimensies van de betrokkenheid van lerenden tijdens een leertaak kwantificeert, in tegenstelling tot klassieke onderzoeksmethoden die uitsluitend gericht zijn op instrumenten voor zelfbeoordeling van betrokkenheid na de taken. Deze methode kan helpen bij het beantwoorden van kernvragen op het gebied van indicatie, zoals wat de dynamiek is die de cognitie beïnvloedt in diverse complexe leeromgevingen en wat de impact is van verschillende pedagogische settings op affect en cognitie? Deze techniek heeft ook implicaties voor andere vakgebieden.

In de informatietechnologie wordt deze techniek bijvoorbeeld gebruikt om de betrokkenheid van een gebruiker te meten tijdens het browsen op een website of het gebruik van een softwareapplicatie. Deze techniek is geïnspireerd door recent werk in de neuro-omics, waarbij waakzaamheidsgegevens van chauffeur op lange afstand zijn verzameld met behulp van EEG-apparaten. Deze procedure wordt gedemonstreerd door Gabrielle Zu, research assistant bij Tech three Lab van HEC Montreal, samen met Igo en Yig, research assistants van Neuro Lab. Begin met het inschakelen van de eye-tracker, de EEG-versterker, de computers voor registratie en de luidsprekers.

Bereid de EEG-oplossing voor met het benodigde materiaal volgens de door de fabrikant aanbevolen procedures. Bereid vervolgens de EEG- en eyetrackingsoftware voor op de volgende deelnemer. Start daarna de videoregistratiesoftware en de camera's en start de synchronisatiesoftware met de specifieke subroutine die voor het project is aangemaakt, waardoor er elke 60 seconden synchronisatiemarkers kunnen worden verzonden.

Start vervolgens de software voor fysiologische metingen en open de specifieke lay-out die voor het project is gemaakt. Breng daarna de deelnemer naar de kamer voor gegevensverzameling en bepaal de locatie van de cz-elektrode op het hoofd van de deelnemer volgens het 10-20-referentiesysteem. Plaats het EEG-net op het hoofd van de deelnemer en zorg ervoor dat elke elektrode loodrecht op het oppervlak van het hoofd is gepositioneerd.

Sluit de netconnector aan en voer een impedantiecontrole uit met een drempelwaarde van 40 kilo ohm. Plaats tot slot twee fysiologische sensoren op de bovenkant van de linkerhand van de deelnemer. Start de gegevensverzameling.

Zodra alle opnamesoftware in Synchrony klaar is om te worden gestart, voert u een kalibratieprocedure met negen punten uit en observeert u de deelnemer terwijl deze de rode stippen op het scherm volgt. Herhaal deze procedure totdat er een voldoende nauwkeurigheid is bereikt volgens de standaarden van de fabrikant; instrueer de deelnemer vervolgens om 10 Newtoniaanse natuurkundige problemen op de computer op te lossen. Stop de gegevensverzameling op alle computers.

Zodra de taak is voltooid, verwijdert u alle sensoren bij de deelnemer. Importeer vervolgens de EEG-gegevens in de software voor EEG-data-analyse. Klik daarna op bestand, vervolgens op nieuw project en selecteer de locatie van de ruwe gegevens door op bladeren te klikken.

Selecteer de onlangs aangemaakte map voor de ruwe gegevens. Kies op dezelfde manier de locatie van twee aanvullende mappen met de namen history en export. Klik vervolgens op oké.

Klik vervolgens op transformations en IIR filters om het hersensignaal voor te bewerken door in het softwarevenster een filter en een notch toe te passen. Stel de afsnijgrenzen in op 1,5 en 50 hertz met een helling van 12 decibels voor beide en activeer een notch bij een frequentie van 60 hertz. Voer daarna een DC-trendcorrectie van het signaal uit door te klikken op transformations en DC dre.

Selecteer de optie op basis van de tijd bij 100 milliseconden vóór de marker en 100 milliseconden vóór de DC-verbinding. Voer een inspectie van de ruwe gegevens uit door te klikken op transformaties en ruwe gegevensinspectie. Selecteer semi-automatische inspectie en kies de parameters voor spanning, maximum, minimum en amplitude zoals hier weergegeven.

Voer een automatische onafhankelijke componentanalyse of ICA uit met classic sphere voor het verwijderen van oogknipperingen door op transformations en vervolgens op ICA te klikken zodra deze voltooid is. Voer de inverse ICA uit door op transformations ICA te klikken. Klik vervolgens op inverse ICA.

Exporteer tot slot het signaal en de markers door te klikken op export en generic data export. Selecteer de vakjes met de labels right header file en right marker file. Selecteer daarnaast text format voor een eventuele MATLAB-constructie van de engagement index.

Importeer vervolgens het EEG-signaal in MATLAB. Doe dit door het EEGLAB-script te starten, zodat de EEGLAB-GUI in MATLAB verschijnt.

Importeer de gegevens voor één deelnemer tegelijk door de functie 'file import data' te selecteren via de EEG lab-functies en plug-ins en plak vanuit het brain vis rec VDR-bestand een script in het opdrachtvenster dat een engagement-index zal genereren. Dit script genereert een tekstbestand. Open het tekstbestand van de engagement-index in Microsoft Excel.

Pas een Z-score normalisatie toe op de EEG-gegevens om vergelijking tussen proefpersonen mogelijk te maken. Zodra de EEG-voorverwerking is voltooid, wordt de fysiologische data voorbewerkt door de ELECTRODERMAL-activiteit of EDA-gegevens te importeren in de software voor fysiologische data-analyse.

Bereken vervolgens een z-score normalisatie van de EDA-gegevens door op 'transformation' en 'waveform math' te klikken om intersubjectvergelijking mogelijk te maken. Dit gebeurt in twee stappen. Selecteer eerst het EDA-kanaal voor bron één, het minteken in het venster voor de wiskundige bewerking en K voor bron twee.

Select vervolgens 'nieuw' in het bestemmingsmenu. Voer de gemiddelde waarde van het EDA-kanaal in en selecteer 'volledige golfvorm transformeren'. Klik op oké voor de tweede stap, open opnieuw 'golfvorm-transformatie wiskunde' en selecteer het EDAK-kanaal voor bron één, het divisieteken in het venster voor wiskundige bewerkingen en K voor bron twee.

Select vervolgens 'new' in het bestemmingsmenu. Voer de standaarddeviatie van het EDA-kanaal in en selecteer 'transform entire wave'. Klik ten slotte op 'okay' voor de laatste stap van de voorbewerking.

Importeer videogegevens van de media-recorder in automatische software voor gezichtsemotieherkenning door te klikken op bestand, nieuw en vervolgens op deelnemer. Selecteer een nieuwe deelnemer in het projectmenu. Klik daarna op bestand, nieuwe analyse en video.

Klik op het vergrootglas naast analyse één en kies het gewenste videobestand. Sluit af door de z-score van de valentiedata in SPSS te berekenen door te klikken op analyze, descriptive statistics en descriptives. Selecteer save standardized values bij variables, waarna er een kolom met de z-score verschijnt.

Begin met het importeren van de I-trackingsvideo's door te klikken op bestand, importeren en video in een nieuwe observatie. Geef de nieuwe observatie een naam en kies het gewenste videobestand om te importeren. Importeer alle externe gegevens door te klikken op bestand, importeren en externe gegevens.

Voeg de Z-score van het EEG-signaal, de zco van het EDA-signaal en de Z-score van de valentiegegevens toe. Voeg indien gewenst gebeurtenismarkers toe voor verdere analyse. Om de timing tussen computers te synchroniseren, opent u het offset-menu door control shift en het gelijkteken in te drukken; selecteer vervolgens 'numerical offset' om de tijd in seconden tussen elk paar gegevensbronnen in te voeren.

Klik op oké. Selecteer vervolgens de interessante variabelen die in het rapport moeten worden gegenereerd door te klikken op analyze select data en new data profile. Selecteer de gewenste gebeurtenis om te analyseren en klik op oké.

Voeg vervolgens een verbindingslijn toe tussen de start- en de nesttabel, alsmede tussen de nest- en de resultaatstabel. Genereer het rapport door te klikken op analyze numerical analysis en vervolgens op statistics; vink onder het menu external data het vakje naast mean aan. Klik daarna op okay.

Klik op layout en zorg ervoor dat de externe gegevens in kolommen staan en dat de resultaatcontainers in rijen verschijnen. Voltooi dit door op Okay te klikken. Klik ten slotte op de calculate-knop, zodat de software de berekeningen bijwerkt die betrekking hebben op het rapport dat wordt gegenereerd.

In dit experiment worden vele dimensies van betrokkenheidsgegevens gesynchroniseerd, waaronder gedragsmatige, cognitieve en emotionele gegevens, door middel van het gebruik van meerdere computers. Om de baseline van de proefpersoon vast te stellen, is het nuttig om gegevens te gebruiken van een punt in de taak waar een pauze plaatsvindt, hier aan het einde van de pauze. De EEG-cognitieve betrokkenheid stijgt licht in afwachting van de volgende taak, en de arousal neemt nog steeds af.

Valentiegegevens ontbreken omdat de ogen van de deelnemer gesloten zijn tijdens de probleemoplostaak. Terwijl de proefpersoon de derde regel leest, is te zien dat de arousal een piek heeft bereikt. De emotionele valentie is neutraal en de cognitieve betrokkenheid op het EEG bevindt zich op een maximum zodra de taak is beheerst.

Deze techniek vereist ongeveer 30 minuten voorbereiding van de proefpersoon voordat de experimenten beginnen. Na de ontwikkeling zal deze techniek de weg vrijmaken voor onderzoekers en beoefenaars in de informatietechnologie, maar ook in de videogame-industrie, om in realtime de gedragsmatige, emotionele en cognitieve aspecten van gebruikers te monitoren. Een cruciale stap in elke reguleringsaanpak is synchronisatie, en de precisie van deze procedure moet vóór en na elk experiment worden getest om een nauwkeurige timing tussen alle apparaten te garanderen.

Na het bekijken van deze video heeft u een goed inzicht gekregen in het verzamelen van gesynchroniseerde psychofysiologische gegevens om de dynamiek van de interactie tussen gedragsmatige, emotionele en cognitieve dimensies van betrokkenheid tijdens een leertaak beter te begrijpen.