Behavior

Beurteilung der vielfältigen Dimensionen von Engagement zu charakterisieren Learning: Eine neurophysiologische Perspective

Published: July 1, 2015 doi: 10.3791/52627

Patrick Charland¹, Pierre-Majorique Léger², Sylvain Sénécal³, François Courtemanche², Julien Mercier⁴, Yannick Skelling¹, Elise Labonté-Lemoyne²

¹Department of Didactics, Université du Québec à Montréal, ²Department of IT and Tech3Lab, HEC Montreal, ³Department of Marketing and Tech3Lab, HEC Montreal, ⁴Department of Specialized Education, Université du Québec à Montréal

Introduction

Engagement spielt eine entscheidende Rolle beim Lernen. Für Clark und Mayer ^2, "alles Lernen erfordert Engagement," unabhängig von Fördermedien. Zhang et al. ³ auch vorgeschlagen, dass erhöhte Studentenverpflichtung können Lernergebnisse, wie Problemlösung und kritisches Denken zu verbessern. Engagement definieren, bleibt eine Herausforderung. In ihrer Literatur, Fredricks, Blumenfeld und Paris ¹ Engagement durch seine Vielschichtigkeit: "Behavioural Engagement basiert auf der Idee der Beteiligung; es enthält Beteiligung an akademischen und sozialen oder außerschulischen Aktivitäten. (...) Emotionales Engagement umfasst positive und negative Reaktionen auf Lehrer, Schüler, Wissenschaftler und der Schule und wird angenommen, dass Verbindungen zu einem Objekt und Einfluss Bereitschaft, die Arbeit zu tun zu schaffen. Schließlich zieht kognitive Engagement auf der Idee der geistigen Investitionen; es enthält Sichtnahme und die Bereitschaft, die Bemühungen ang ausübenwendig, komplexe Ideen und Master schwierig Fähigkeiten zu begreifen. "

Fredricks, Blumenfeld und Paris ^1, dadurch gekennzeichnet, dass ein Schwerpunkt auf Verhalten, Emotion und Kognition, unter den Begriff der Eingriff kann eine reichere Charakterisierung von Lernen. Diese Autoren darauf hingewiesen, dass ein robuster Körper der Forschung befasst sich jede Komponente des Engagements getrennt, aber diese Komponenten nicht in Verbindung untersucht. Sie beobachteten auch, dass wenige Informationen über Wechselwirkungen zwischen den Dimensionen und dass weitere Studien könnten zu planen fein abgestimmten Lehr Interventionen bei. Als ein Schritt in diese Richtung, dieses Papier beschreibt eine Forschungsmethodik, die entwickelt wurde, um zu sammeln und während des Lernens Aufgaben quantitative und qualitative Daten, synchron, auf Verhaltens-, emotionale und kognitive Engagement zu analysieren.

Bringen die Neurowissenschaften in Education

Behavior und damit Verhaltens Engagement, ist seit langem im Mittelpunkt der Studien in der Ausbildung: Forschungsdesigns vor allem auf Veränderungen in Wissen und Verhalten über längere Zeit, zwischen Pre- und Posttests auftretenden fokussiert und über Abständen von Stunden, Wochen , Monaten oder Jahren. Unterscheiden zwischen Verhaltens-, emotionale und kognitive Engagement bleibt eine Herausforderung, da die letzten beiden Dimensionen sind nicht systematisch beobachtet werden extern. Kognition und Emotionen müssen entweder aus Beobachtungen abgeleitet oder mit Selbst-Bericht Maßnahmen bewertet werden. Von einem externen Standpunkt aus bleibt es schwierig, festzustellen, ob Schüler versuchen, um ihre Arbeit so schnell wie möglich oder mit Tiefebene Lernstrategien, um einen bestimmten Inhalt zu meistern getan. In der Tat waren Fredricks, Blumenfeld und Paris ¹ konnten keine veröffentlichten Studien über direkte und objektive Messungen der kognitiven Engagement zu finden.

Neueste technologische Entwicklungen inauf dem Gebiet der Neurowissenschaften haben neue Möglichkeiten für Bildungsforschung erstellt. Neue Methoden der Datenerhebung und auf dem Gebiet der Neuro Ergonomie entwickelt Analysealgorithmen scheinen während der Lernaufgaben sehr vielversprechend für die qualitative und quantitative Studien. Andere Disziplinen wie Ökonomie, Psychologie, Marketing und Ergonomie, habe mit neurophysiologischen Messungen der kognitiven Engagement einiger Zeit ^4-8 zu bewerten. Neurophysiologische Maßnahmen, verbunden mit effizienten Analysealgorithmen erlauben es, ein Phänomen, ohne sie zu stören zu studieren. Ihrer Natur nach Selbst-Bericht Fragebogen zu lösen Studenten aus Lernen. Neurophysiologische Maßnahmen ermöglichen Forschungsdesigns um in authentischer Lernumgebungen durchgeführt werden. Zu diesen Werkzeugen gehören Geräte, die Herzfrequenz zu überwachen, Atemfrequenz, Blutdruck, Körpertemperatur, Pupillendurchmesser, Hautleitfähigkeit, Elektroenzephalographie (EEG), etc.

Als repräsentative Ergebnisse nach der Verwendung dieses Protokoll, wird dieses Papier partiellen Ergebnisse einer Studie, bei der Lernende zu lösen hatten, auf einem Computerbildschirm, zehn Probleme der mechanischen Physik präsentieren. Diese Probleme wurden in früheren Arbeiten ⁹ entwickelt. Neurophysiologische Daten erhoben wurden, während die Lernenden wurden die Probleme zu lösen und entspannend während einer 45 s Pause, mit geschlossenen Augen, nach jedem Problem.

Wie oben erwähnt, Verhaltens Engagement Daten bestehen aus Software-Interaktionen (Mausbewegungen und Klicks), Blick, Leistung und Antworten auf Fragen, die ein Lernender Interaktion mit dem System während Erfüllung der Aufgabe ¹ hergestellt. Ein Eye-Tracking-System wurde verwendet, um Software-Interaktionen und Blick Daten zu sammeln. Performance-Daten (Zeit, um ein Problem zu lösen, Richtigkeit der Antworten) wurden auf einem gesammeltUmfrage Website, die verwendet wurde, um die Aufgabe zu präsentieren. Diese Webseite wurde auch zur Selbstberichtsdaten mit einem Fragebogen von Bradley und Lang ¹⁰ angepasst gesammelt zu sammeln. Emotionales Engagement beinhaltet Charakterisierung von Emotionen. Laut Lang ^11, sind Emotionen in Bezug auf die Wertigkeit gekennzeichnet (angenehm / unangenehm) und Erregung (Ruhe / geweckt). Emotionales Engagement Daten wurden entsprechend aufgefangen, mit Hilfe der automatischen Gesichtsemotionserkennungssoftware, die emotionale Valenz und eine Hautleitfähigkeit Encoder / Sensor zur Erregung ^12,13 quantifiziert. Hautleitfähigkeit (EDA) bezieht sich auf den aufgezeichneten elektrischen Widerstandes zwischen zwei Elektroden, wenn ein sehr schwacher elektrischer Strom kontinuierlich zwischen ihnen geleitet. Cacioppo, Tassinary und Berntson ¹⁴ hat gezeigt, dass der Widerstand aufgezeichnet ist je nach der Versuchsperson Erregung. Somit psychophysiologischen Daten, wie Valenz oder Erregung, als Korrelate emotionaler Eingriff betrachtet.

14, diese Bands spiegeln verschiedene kognitive Verarbeitung Fähigkeiten in bestimmten Bereichen des Gehirns. Somit kann die Analyse der spektralen Leistungsdichte (PSD) von spezifischen Frequenzen in Verbindung mit zahlreichen Studien ^7,15 auf Wachheit und Aufmerksamkeit, können Forscher kognitiven Eingriff während einer Aufgabe quantifizieren. Wie Mikulka et al. ¹⁶ festgestellt, hat die Forschung eine direkte Beziehung zwischen Beta-Aktivität und kognitive Aufmerksamkeit und eine indirekte Beziehung zwischen alpha eine gezeigtd Theta-Aktivität und Wachsamkeit. So, Papst, Bogart und Bartolome ⁷ entwickelt ein Engagement Index, der die PSD von drei Bands berechnet: beta / (alpha + theta). Dieses Verhältnis wurde in anderen Studien über Engagement ^16,17,18 validiert. Kognitiven Eingriff im Laufe der Zeit zu charakterisieren, eine schnelle Fourier-Transformation (FFT) wandelt das EEG-Signal von jeder aktiven Stelle (F3, F4, O1, O2) in einem Leistungsspektrum. Das EEG Einbindung bei der Zeit T ist durch den Mittelwert der jeweiligen Eingriffsverhältnis innerhalb von 20 sec Gleitfenster vorhergehenden T. Dieses Verfahren wird in jeder Sekunde und eine neue Schiebefenster wird verwendet, um den Index zu aktualisieren wiederholt berechnet.

Da das Ziel dieser Methode ist es, eine reiche Analyse der verschiedenen Dimensionen des Eingriffs bereitzustellen, ist die Datensynchronisation von entscheidender Bedeutung. Wie Leger et al. ¹⁹ erinnern Leser, empfehlen Hersteller von Geräten stark mit nur einem Computer pro Messinstrument, um ihre festgelegten Präzision le garantierenvel. Somit wird, wenn mehrere Computer eingesetzt werden, wird die Synchronisation zwischen Aufnahme Computern ein kritischer Schritt. Die Aufnahmen können nicht alle zur gleichen Zeit gestartet werden, und jeder Datenstrom hat einen bestimmten Zeitrahmen (beispielsweise s 0 von Eye-Tracking-≠ s 0 von EEG oder physiologische Daten). Dies ist äußerst wichtig: Desynchronisation zwischen Datenströmen Mittel Fehler bei der Quantifizierung von jeder Dimension des Eingriffs. Es gibt verschiedene Möglichkeiten der Synchronisation von gleichzeitigen physiologischen und verhaltens Aufnahmen. Diese Verfahren können in zwei Hauptansätze aufgeteilt werden; direkt und indirekt ^20. Die in dem nächsten Abschnitt vorgestellt Protokoll basiert auf einem indirekten Ansatz, bei dem ein externes Gerät, einem Syncbox, wird verwendet, um Transistor-Transistor-Logik (TTL) Signale an alle Aufzeichnungsgeräte senden (wie in 1 gezeigt) auf der Basis. Da jedes Gerät hat eine andere Startzeit werden die TTL-Marker in den Protokolldateien mit einer relativen aufgezeichnet Verzögerung. Marker werden dann verwendet, um die Signale neu ausrichten und sorgen so für eine korrekte Synchronisation nach jeder Aufnahme. Eine Verhaltensanalyse-Software-Programm, das externe Datei-Integration ermöglicht wird verwendet, um neu zu synchronisieren die Zeitleiste eines jeden Datenstroms und zur quantitativen und qualitativen Analyse der einzelnen Dimensionen des Eingriffs durchzuführen.

Abbildung 1. Architektur des Data Collection-System. Die Testumgebung, in der Verhaltens (Eye-Tracking), emotional (EDA und Gesichts Emotion) und kognitive (EEG) Engagement Daten erhoben enthält viele Computer. Dies wirft eine Synchronisation Herausforderung für Daten, die auf ihren jeweiligen Computeruhren verwiesen wird. Um alle Daten in der gleichen Referenzzeit analysieren zu können, beinhaltet das Laboraufbau einer SyncBox, die TTL-Signale an alle Datenströme sendet.nk "> Bitte klicken Sie hier, um eine größere Version dieser Figur zu sehen.

Um die Genauigkeit der Methode in Bezug auf die Synchronisation zu bestimmen, wurden 45 s Pausen vor jedem der mechanischen physikalischen Probleme eingeführt. Während dieser Pausen, hatte Untertanen zu entspannen und die Augen zu schließen. Wie in anderen Studien ^4,9,16,17,18 gesehen sollten diese Pausen erhebliche Abweichungen des gesammelten Signals induzieren: Die beiden Augenpupille Punkte in Eye-Tracking sofort verschwinden (Verhaltens Engagement) und ein sofortiger Rückgang der kognitiven Engagement (EEG Signal) wird beobachtet. Diese spezifischen Komponenten des Signals werden verwendet, um die allgemeine Gültigkeit der Synchronisation zu bewerten. Die jüngste Veröffentlichung der Papiere, die ganz oder teilweise Vertrauen auf diese Synchronisationsverfahren, in den Bereichen Informationssysteme ^19, Mensch-Maschine-Interaktionen ²¹ und Erziehung ^{9, 22,} liefert Beweise für ihre Wirksamkeit.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Dieses Protokoll hat eine ethische Bescheinigung des Comité de la recherche institutionnel avec des êtres humains (CIER) de l'Université du Québec à Montréal (UQAM), die von HEC-Montreal für die Tech3Lab Forschungseinrichtung gebilligt wurde. Das Protokoll beschreibt jedes der spezifischen Schritte, die in unserem Labor Umwelt und Ausrüstung durchgeführt werden. Obwohl präzise Softwarepfade vorgesehen sind, um die Methodik zu klären, ist diese Technik übertragbar und können mit anderen Eigentums Eye-Tracking, automatische Gesichtsemotionserkennung, Hautleitfähigkeit und Elektroenzephalographie Ausrüstung und Software repliziert werden.

1. Aufbau der Testumgebung

Schalten Sie den Eye-Tracker, die EEG-Verstärker, der vier Aufzeichnungs Computern und den Lautsprechern.
Bereiten Sie das Setup des Kontrollgeräts:
1. Bereiten Sie die EEG-Setup mit erforderlichen Material gemäß den Hersteller empfNDED Verfahren. Bereiten Sie die EEG-Software für die kommende Teilnehmer. Starten Sie den Eye-Tracking-Software und erstellen Sie einen neuen Teilnehmerprofil in der Software. Starten Sie die Videoaufnahme-Software und die Kameras.
2. Starten Sie die Synchronisation-Software mit der spezifischen Unterprogramm für das Projekt mit Markierungen bei 60 sec erstellt. Starten Sie die physiologischen Messsoftware (auf elektrodermale Aktivität aufzeichnen) und öffnen Sie das bestimmtes Layout für das Projekt erstellt. Passen Sie den Teilnehmer Stuhl auf die höchste Stufe.

2. Vorbereitung der Teilnehmer

Fragen Sie die Teilnehmer, zu lesen und unterzeichnen den ethischen Einverständniserklärung.
Führen Sie Schädelmessungen für EEG:
1. Finden Sie die Cz Lage auf dem Kopf des Teilnehmers (nach 10 - 20 Referenzsysteme). Tauchen Sie die EEG-net in der Kochsalzlösung (Kaliumchlorid) (siehe Schritt 1.2.1) und starten Sie einen Timer (10 min) in Übereinstimmung mit Standards des Herstellers. </ Li>
Lesen Sie das Ziel der Studie und die Schritte in das Experiment zu dem Teilnehmer "Das Ziel dieser Studie ist es, Ihre Hirnaktivität zu beobachten, während Sie Physik Probleme zu beantworten. Zuerst werden wir die Sensoren installieren, dann werden Sie aufgefordert, 10 Newtonschen Physik Probleme auf dem Computer zu lösen. Wir bitten Sie um einen 45-Sekunden-Pause nach jedem Problem mit geschlossenen Augen. Nach jedem Problem, werden Sie aufgefordert, Ihre Einschätzung des Problems zu bewerten. "
Bitte geben Sie das Thema, das die Gesamtdauer des Experiments wird 90 min.
Installieren Sie die physiologischen Sensoren, entsprechend den Empfehlungen des Herstellers: zwei gelierten Sensoren an der Spitze der linken Hand.
Installieren Sie die EEG-Haube, entsprechend den Empfehlungen des Herstellers und führen Sie eine Impedanzprüfung mit einer Schwelle bei 40 kOhm (nach Angaben des Herstellers).

3. Data Collection

Stellen Sie sicher, dass die gesamte Aufnahme-Software ist bereit, synchron gestartet werden:
1. Physiologie (EDA Daten): Klicken Sie auf die Schaltfläche "Start".
2. Video-Aufzeichnung: Klicken Sie auf die Schaltfläche "Öffnen".
3. Eye-Tracking: Klicken Sie auf die "on hold" -Taste.
4. EEG: Klicken Sie auf die Schaltfläche "Aufnahme".
5. Synchronisations-Software: Klicken Sie auf die "grünen Kreis" -Taste.
Blick Kalibrierung:
1. Führen Sie eine Fünfpunktkalibrierung auf dem Bildschirm, und beachten Sie die Teilnehmer, während er / sie folgt die roten Punkte (klicken Sie auf "Extras / Einstellungen / Kalibrierung ..."). Wiederholen Sie diesen Vorgang, bis eine ausreichende Genauigkeit erreicht, nach den Normen des Herstellers.
Projektaufgabe Anweisungen auf dem Bildschirm des Teilnehmers: zu fragen, ob er / sie Fragen nach dem Lesen sie hat, und wenn er / bereit, das Experiment zu beginnen, ist sie.
Fragen Sie die Teilnehmer auf 10 Newtonschen p lösenhysics Probleme.
Wenn nötig, führen Sie eine Impedanzprüfung während einer der 45 s Pausen (nicht vor dem Problem, 5).
Sicherstellen, dass der Teilnehmer nimmt das volle 45 s Pause vor jedem Problem (um die Grundlinie zu bestimmen).

4. End of Data Collection

Stoppen der Datenerfassung auf allen Computern und entfernen Sie die Sensoren aus der Teilnehmer.

5. Nachdem der Teilnehmer kommt selten allein

Reinigen Sie die EEG-Kappe mit keimtötenden und aufräumen der Ausrüstung gemäß den Herstellerempfehlungen. Speichern Sie alle Dateien gesammelt und ein Backup auf dem FTP-Server.
Geben Sie den Teilnehmer-Tabelle: beachten Sie irgendeine besondere Veranstaltung oder ein Problem bei der Datenerhebung. Löschen Sie alle Cookies von der Web-Browser.

6. Datenvorverarbeitung und Export, um die Integration Software

EEG
1. Import EEG EEG-Daten in Datenanalyse-Software:
  1. Erstellen Sie drei leere Ordner auf dem Computer mit dem Namen "Rohdaten", "History" und "Export", um die Roh-EEG-Daten in den neu erstellten Rohdaten-Datei einfügen.
  2. In der EEG-Daten-Analyse-Software, klicken Sie auf "Datei / Neues Projekt ..." und wählen Sie die Rohdaten Lage, indem Sie auf Durchsuchen, wählen Sie dann die neu erstellte Rohdatendatei. Wählen Sie den Ort der "History" und "Export" Ordner in der gleichen Weise.
  3. Klicken Sie auf "OK". (Das Fenster sollte all der Teilnehmer EEG-Daten enthalten).
2. Pre-Prozess das Gehirn Signal:
  1. Anwenden eines Filters und eine Kerbe (klicken Sie auf "Transformations / IIR-Filter ..."). In dem Fenster, aktivieren Sie die untere Grenz bei 1,5 Hz mit einer Flankensteilheit von 12 dB und die hohe Cutoff bei 50 Hz mit einer Flankensteilheit von 12 dB. Auch ermöglichen, eine Kerbe bei 60 Hz Frequenz.
  2. Da ein Gleichspannungsverstärker verwendet wird, detrend DC Signal (Klicken Sie auf "Transformations / DC Detrend ... "und aktivieren Sie" basierend auf Zeit "bei 100 msec vor der Markierung und 100 ms, bevor DC-Verbindung).
  3. Führen Sie eine Rohdaten Inspektion (Anweisungen "Transformation / Rohdaten Inspektion ..." und wählen semi-automatische Artefaktentfernung). Wählen Sie die folgenden: Maximalspannung 60 & mgr; V / ms; Max-min: 200 & mgr; V in 200 ms-Intervall; Amplitude: -400 bis +400 & mgr; V).
  4. Führen Sie eine automatische ICA mit klassischen Kugelbildung für Lidschlag Entfernung (myographischen Artefakte müssen nicht entfernt werden, da ihre Reichweite außerhalb der interessierenden Frequenzen). (Klicken Sie auf "Transformations / ICA ...". Am Ende des ICA, Prozess die inverse ICA.)
  5. Re-Referenz ("Transformations / Re-Referenz ...") das Signal und wählen Sie "gemeinsamen Durchschnitt".
  6. Export (klicken Sie auf "Export / Generic Data Export ...") das Signal und Markierungen im Text-Format (Wählen Sie die ".vhdr"; box) für einen eventuellen Matlab Bau des Engagement Index. Wählen Sie außerdem die "Write-Header-Datei" und "Write Marker Datei" Boxen.
3. Importieren Sie das Signal in Matlab.
  1. Starten Sie Matlab und geben Sie "eeglab" so die GUI von EEGLab erscheint und Import der Daten für einen Teilnehmer zu einem Zeitpunkt. In der GUI wählen Sie den Punkt Menü "Datei / Importieren von Daten / Verwenden EEGLab Funktionen und plugins / Aus Gehirn Vis Rec .vhdr Datei".
  2. Im Befehlsfenster, und fügen Sie ihn ein Skript ^16, die ein Engagement Index erzeugt.
    HINWEIS: Die kognitive Eingriff Skript wird durch den Mittelwert der jeweiligen Beta / (Alpha + Theta) -Verhältnis innerhalb eines 20 s-Schiebefenster vorhergehenden T. Dieses Verfahren berechnet wird, jede Sekunde und eine neue Schiebefenster wird verwendet, um den Index zu aktualisieren wiederholt.
4. In MS Excel, öffnen Sie die Textdatei des Eingriffs Index, der am Ende des Skripts von Matlab erzeugt wird und tragen Sie eine z-score Normalisierung auf EEG-Daten zu interindividuelle Vergleich zu ermöglichen. (Für jeden Wert, berechnen Sie diese Formel in Excel: Z = (Wert - Gesamtmittelwert) / Gesamtstandardabweichung.)
5. Speichern Sie die Z-Score Engagement Indexsignal in eine CSV-Datei in MS Excel. (Klicken Sie auf Datei / Speichern unter ... und wählen Sie in der CSV-Format-Typ.)
6. Wiederholen Sie den Vorgang (aus Schritt 6.1.2.2.) Für jeden Teilnehmer.
Physiologie:
1. Import EDA Daten in physiologischen Datenanalysesoftware.
2. Übernehmen Sie diese Parameter vor, eine Prozess des physiologischen Signals:
  1. Tragen Sie eine logarithmische Transformation, um die Verteilung der Leitfähigkeit nach Venables und Christies ²³ Verfahren zu normalisieren.
  2. Wohnung das Signal auf einem 10 sec Schiebefenster ^24.
3. Im physiologischen Software, berechnen einen Z-Score Normalisierung auf den EDA-Daten zu interindividuelle Vergleich zu ermöglichen. (Z = (Wert - Gesamtmittelwert) / Gesamtstandardabweichung).
  1. Markieren Sie alle Daten mit dem Cursor aus dem EDA-Kanal.
  2. In der oberen Menüleiste, wählen Sie die EDA-Kanal, und wählen Sie "bedeuten", um den Mittelwert des gesamten Kanals zu erhalten. Wählen Sie außerdem die EDA-Kanal und "stddev", um den Standardabweichungswert des gesamten Kanals zu erhalten.
  3. Um die z-score-Gleichung zu berechnen, klicken Sie auf "Transformation / Waveform Math ..." und wählen Sie die EDA-Kanal in Source 1. Wählen Sie "-" (minus) in der mathematischen Operation Fenster und wählen Sie K in Quelle 2. Wählen Sie "Neues Ziel" im Zielmenü und geben Sie den Mittelwert der EDA-Kanal (siehe Schritt 6.2.3.2). Wählen Sie "Transform ganze Welle", klicken Sie auf OK und klicken Sie auf "Transformation / Waveform Math ...". Wählen Sie das EDA-K-Kanal in Quelle 1, wählen Sie "/" (divide) in der mathematischen Operation Fenster, wählen Sie K in Quelle 2, wählen Sie "Neues Ziel" im Ziel und enter den Standardabweichungswert der EDA-Kanal (Schritt 6.2.3.2). Wählen Sie "Transform ganze Welle" und klicken Sie auf OK.
4. Exportieren Sie das Signal (Erregung) in einer CSV-Datei. (Klicken Sie auf Datei / Speichern unter ... und wählen Sie in der CSV-Format-Typ.)
Automatische Gesichtsemotionserkennung:
1. Importieren von Videodaten vom Medienrecorder in automatische Gesichtsemotionserkennungssoftware. (Klicken Sie auf "Datei / Neu ... / Teilnehmer ...". Nach der Auswahl eines neuen Teilnehmer in das Projekt-Menü, indem Sie auf sie, klicken Sie auf "Datei / Neu / Analyse / Video ...". Klicken Sie auf die Lupe neben Analysis 1 und wählen Sie die gewünschte Videodatei.
  1. Wählen Sie eine Offline-Analyse für "jeden dritten Rahmen" und aktivieren Sie "kontinuierliche Kalibrierung".
  2. Export Wertigkeit von Daten in einer CSV-Datei. (Klicken Sie auf "Optionen / Einstellungen / Logging ...", überprüfen Sie die "Write Wertigkeit Wert in der Protokolldatei" ein. Klicken Sie auf "Datei /Export ... ", wählen Sie den Speicherort für die Protokolldateien exportiert werden, und überprüfen Sie die" Save detailliertes Logbuch "ein.)
  3. Öffnen Sie die CSV-Datei in MS Excel. Kopieren Sie die Wertigkeit Datenspalte in einer einzelnen Spalte der SPSS-Software. Klicken Sie auf "Analyse / Deskriptive Statistik / Deskriptive" und wählen Sie die soeben eingefügten Variablennamen. Aktivieren Sie das Feld "Speichern standardisierte Werte in Variablen". Eine Säule mit einem Z-Score wird angezeigt. Copy-Paste diese Z-Scores über die alten Daten in der Excel-Datei.
2. Speichern Sie die Excel-Datei mit den Z-Scores des Signals (Valenz) im CSV-Format.

7. Data Integration und Synchronisation

In Verhaltensanalyse-Software:
1. Import Eye-Tracking-Videos (Verhaltens Engagement). (Klicken Sie auf "Datei / Import / Video in einem neuen Beobachtung ...". Benennen Sie den neuen Beobachtungen und wählen Sie die gewünschte Videodatei.)
2. Code jedes Video mit einschlägig seinhaviors und kontextbezogene Ereignisse (Zeitmarken, richtig / falsch Antworten).
3. Importieren Sie alle externen Daten mit der entsprechenden Kopfzeile: Z-Score von EEG-Signal (kognitive Engagement), Z-Score von EDA-Signal (emotionales Engagement), Z-Score Wertigkeitsdaten (emotionales Engagement). (Klicken Sie auf "Datei / Import / Externe Daten ...". Wählen Sie den entsprechenden Dateityp und wählen Sie das richtige CSV-Datei.)
Synchronisieren der Zeit zwischen Computern nach diesen Formeln:
1. Zeit in Blick von Zeit in EEG = Zeit in Blick + zweiten Marker in EEG - erste Markierung in Blick.
2. Zeit in Blick von Zeit in Gesichtsemotionserkennung = Zeit in Blick + erste Markierung in Gesichts emotion - erste Markierung in Blick.
3. Zeit in Blick von Zeit in elektrodermale Aktivität = Zeit in Blick + erste Markierung in elektrodermale Aktivität - erste Markierung in Blick.
Geben Sie die Korrekturdaten durch Drücken von "Strg + Umschalt + =221 ;, um die Offset-Menü zu öffnen. Wählen Sie "Numerische Offset", um die Zeit in Sekunden zwischen jedem Paar von Datenquellen geben Sie [OK?]), Nach den obigen Berechnungen.
Erstellen Sie einen Bericht nach den Variablen von Interesse in der Studie.
1. Wählen Sie interessante Variablen, die in dem Bericht generiert werden (klicken Sie auf "Analyze / Select Data / New Profile Data ..."). Von links, schieben Sie die gewünschten Variablen zwischen dem "Start" Box und der "Ergebnisse" Feld auf der rechten Seite.
2. Erstellen Sie den Bericht. (Klicken Sie auf "Analyze / Numerik / Neu ...", klicken Sie auf "Statistik" und überprüfen Sie die mittlere Box in der externen Datenmenü. Klicken Sie abschließend "Berechnen".)
Exportieren Sie die Daten in die statistische Analyse-Software und führen Sie Analyse nach den Studienziele.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Die 2 und 3 zeigen Screenshots der Ergebnisse bei der Integration und Synchronisation von Verhaltens-, emotionale und kognitive Engagement Daten in einer Verhaltensanalyse-Software-Anwendung. In beiden Figuren organisiert die linken Teil der Versuchspersonen und die Codierungsschema. Im mittleren Bereich, ein Video (mit roten Punkten) zeigt Blick des Subjekts während der Aufgabe. Des Subjekts Verhaltens Engagement kann auf das, was er / sie sich an während der Aufgabe sucht und welche Maßnahmen getroffen werden, geschlossen werden. Im unteren Bereich wird eine Zeitmarke synchron Scrollen in drei Spuren von Daten: das EDA (Erregung) und Gesichts Emotion Wertigkeit für emotionales Engagement und dem EEG Engagement Index für kognitive Engagement. Wenn Daten aus allen Fächern gesammelt, bietet die Software auch grundlegende deskriptive Statistik, die schließlich verwendet werden, um interindividuelle Analyse in andere statistische Analyse-Software durchzuführen.

ent "fo: keep-together.within-page =" always "> Figur 2

Abbildung 2. Mehrdimensionale Engagement Daten am Anfang eines Problemlösungsaufgabe. Ein Screenshot eines Probanden zu Beginn eines Problemlösungsphase. Der Lernende ist das Lesen der Einführung in das Problem: das Auge Blick ist in der dritten Zeile. Zu dieser Zeit (die rote Linie stellt eine Zeit-Cursor), hat der Testperson Erregung soeben einen Höchststand von Vorwegnahme der zu lösende Problem ist aber immer noch hoch im Vergleich zu den Ausgangswerten, scheint emotionale Valenz neutral und EEG kognitive Engagement scheint an seinem Maximum . Bitte klicken Sie hier, um eine größere Version dieser Figur zu sehen.

Figur 3
Abbildung 3. Mehrdimensionale Engagement Daten During eine Pause in der Task. Daten aus einer Pause vor einer Problemlösungsaufgabe. Diese Pause ist sinnvoll, auf die Grundlinie der Person unmittelbar vor der Aufgabe zu etablieren. Hier, weil die Augen der Person geschlossen sind, sind die Wertigkeit Daten nicht zur Verfügung. Cognitive Engagement (EEG-Signal) ist leicht von seinem Minimum steigt. Das Thema wird langsam wieder zu, mit der Aufgabe, im Vorgriff auf das Ende der Pause. Arousal (EDA-Signal) ist ständig rückläufig. Bitte klicken Sie hier, um eine größere Version dieser Figur zu sehen.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

In Bezug auf die kritischen Schritte im Protokoll ist zunächst festzustellen, dass Datenqualität ist immer das Hauptaugenmerk für die neurophysiologische Erhebungstechniken. Bei dieser Methode müssen wissenschaftliche Mitarbeiter ein besonderes Augenmerk auf die Themen, die anweist, Kopfbewegungen, die mit Wertigkeit Überwachung (verlieren richtigen Gesichtswinkel für die Kamera) stören oder erzeugen myographischen Artefakte im EEG wird minimiert zu zahlen. Auf der anderen Seite muss ein Gleichgewicht zwischen der Authentizität des echten Problemlösung und Interventionen für ergonomischer Datensammlung erstellten Meldungen beibehalten werden. Es ist auch wichtig zu beachten, dass EEG-Datensammlung durch elektromagnetische Schwankungen in der Umwelt. Traditionelle EEG Einrichtungen versuchen, ihr Gerät vor elektromagnetischen Schwankungen mit Faradaysche Käfige zu isolieren. Da jedoch einige der in dieser Methode verwendeten Geräte würden elektromagnetische Schwankungen (vor allem die Eye-Tracking-Gerät) in der Faraday-Käfig erzeugen, thist Ansatz ineffizient. Wir überwinden die elektromagnetische Fragen von besonderem Augenmerk auf Erdung und Schirmung alle elektrischen Geräte.

Wie für Änderungen und Fehlersuche mit der Technik, stützte sich die anfängliche Synchronisation Strategie über die Fähigkeit der Synchronisations-Software zur Datenerfassung genau auf mehreren Computern und Programmen "Start" zusammen. Weil kritische und inkonsistente Verzögerungen zwischen Computern und Programmen beobachtet wurden, wurde post-Sammlung Resynchronisation erforderlich. Folglich wurde ein Syncbox Vorrichtung in die Architektur integriert. Die SyncBox ein TTL-Marker auf alle Computer und Programme, die Daten zu sammeln. Synchronisation wird eine Sache der Berechnung der Verzögerung zwischen den ersten Syncbox Marker.

Eine Einschränkung der Technik, die erwähnt werden muss, ist die Präzision der Signalanalyse, die von der kognitiven Eingriff Index begrenzt ist. Aufgrund derGrundannahmen der FFT wird dieser Index auf einem 1 sec Epoche Basis erzeugt: die kognitive Engagement Skript erzeugt einen Wert jede Sekunde. In diesem Paradigma, das auf authentischen Problemlösung konzentriert, ist dieser Zeitrahmen akzeptabel, aber genauere Untersuchungen des Eingriffs könnte einige Einschränkungen mit diesem Zeitrahmen für die Analyse zu begegnen.

Bezüglich vorhandener / alternative Verfahren ist zu beachten, dass emotionale Wertigkeit kann auch mit Blutvolumendruck ^{18, 25} Sensoren abgeleitet werden kann. Diese Technik könnte auch in Zukunft Forschung integriert werden, um die Genauigkeit zu bewerten im Vergleich zu der Wertigkeit Signal von Gesichtserkennungs-Software Emotion. Zu erwähnen ist auch, dass die kognitive Einbindung in dieser Studie verwendet wird, ist ein gut bekanntes, die in früheren veröffentlichten Studien verwendet wurde. Einige Hersteller von Leicht EEG-Geräte beanspruchen, eine ähnliche Maßnahme vor, aber es ist schwierig, die Qualität der rohen und verarbeiteten Daten seit beurteilenihre Algorithmen sind unveröffentlicht.

Schließlich stellt diese Technik vielfältige Einsatzmöglichkeiten in verschiedenen Bereichen. Natürlich wird es der Wert im Bereich der Bildung. Unter anderen Möglichkeiten, könnte dieses Engagement Bewertungstechnik ein leistungsfähiges Werkzeug, um Kurs-Designer informieren. Zum Beispiel, wie Martens, Gulikers und Bastiaens ²⁶ beobachtet, "ziemlich oft, Entwickler neigen dazu, Multimedia-Add-ons, Simulationen, und so weiter, vor allem, weil Technologie ermöglicht es, auf einer sorgfältigen Analyse und Bildungs Entwurf hinzufügen, auch wenn sie nicht beruhen . "So neurophysiologischen Daten könnten Designer informieren, wenn eine bestimmte Add-on ist wertvoll, wenn der Inhalt ist zu komplex, wenn die vorgeschlagenen Lernstrategien sind effizient, etc. Darüber hinaus eröffnet Möglichkeiten für adaptive Echtzeit-Beurteilung der Lernenden Engagement E-Learning und E-Assessment-Umgebungen. Wir können einen Lernenden voraussehen, das Tragen eines leichten EEG-Helm, die durch das System gewarnt when sein / ihr Engagement Niveau sinkt und beispielsweise aufgefordert werden, unterbrechen oder entsprechend reagieren. Es wäre auch möglich, adaptive Bewertungsaufgaben zu entwickeln, basierend auf Engagement Indizes. Eine angemessene Menge von Forschung und Entwicklung werden derzeit im innovativen Bereich der Brain-Computer Interfaces (BCI) durchgeführt.

Subscription Required. Please recommend JoVE to your librarian.

Materials

Name	Company	Catalog Number	Comments
EGI GSN-32	EGI		Dense array EEG
Netstation v.5.0	EGI		EEG data collection software: EEG is collected with 32-electrode dense array electroencephalography (dEEG) geodesic sensor net using Netstation acquisition software and EGI amplifiers (Electrical Geodesics, Inc). The vertex (recording site Cz) is the reference electrode for recording. Impedance is kept below 50 kΩ with a sampling rate of 250 Hz.
Facereader v.4	Noldus		Facial emotion recognition software
Syncbox	Noldus		Syncbox start the co-registration of EEG and gaze data by sending a Transistor-Transistor Logic (TTL) signal to the EGI amplifier and a keystroke signal to the Tobii Studio v 3.2.
Logitech C600 Webcam		960-000396	Webcam used to gather video data sent to mediarecorder and that will be analyzed in Facereader
The Observer XT	Noldus		Integration and synchronization software: The Noldus Observer XT (Noldus Information Technology) is used to synchronize all behavioral, emotional and cognitive engagement data.
On-Screen LED illumination	Noldus		Neon positioned on computer screen in order to correctly light the face of subjects
MediaRecorder	Noldus		Video data collection software
Tobii 60X	Tobii		Collect eye-movement patterns : used to record subjects’ eye movement patterns at 60Hz during the experiment.
Tobii Studio v.3.2	Tobii		Eye-tracking data collection and analysis software
Analyzer 2	Brainvision		EEG signal processing software
Acqknowledge v.4.0	Biopac	ACK100M	Physiological signal acquisition and processing software
Control III germicide solution	Maril Products.	10002REVA-20002-1	Disinfectant solution used with EEG helmets : recommended by EGI
Unipark	QuestBack AG		Online survey environment

DOWNLOAD MATERIALS LIST

References

Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: Potential of the concept, state of the evidence. Rev. Educ. Res. 74 (1), 59-109 (2004).
Clark, R. C., Mayer, R. E. E-learning and the Science of Instruction. , Pfeiffer. San Francisco. (2011).
Zhang, D., Zhou, L., Briggs, R. O., Nunamaker, J. F. Instructional video in e-learning: Assessing the impact of interactive video on learning effectiveness. Inform. Manage. 43 (1), 15-27 (2006).
Freeman, F. G., Mikulka, P. J., Prinzel, L. J., Scerbo, M. W. Evaluation of an adaptive automation system using three EEG indices with a visual tracking task. Biol. Psychol. 50, 61-76 (1999).
Glimcher, P., Rustichini, A. Neuroeconomics: The consilience of brain and decision. Science. 306 (5695), 447-452 (2004).
Lieberman, M. D. Social Cognitive neuroscience: A review of core processes. Annu. Rev. Physiol. 58, 259-289 (2007).
Pope, A. T., Bogart, E. H., Bartolome, D. S. Biocybernetic system evaluates indices of operator engagement in automated task. Biol. Psychol. 40 (1-2), 187-195 (1995).
Physiological indicators for the evaluation of co-located collaborative play. Mandryk, R., Inkpen, K. CSCW '04 Proceedings of the 2004 ACM conference on Computer supported cooperative work, 2004 Nov 6-10, Chicago, IL, USA, , (2004).
Allaire-Duquette, G., Charland, P., Riopel, M. At the very root of the development of interest: Using human body contexts to improve women’s emotional engagement in introductory physics. Eur. J. Phy. Ed. 5 (2), 31-48 (2014).
Bradley, M. M., Lang, P. J. Measuring emotion: The self-assessment manikin and the semantic differential. J. Behav. Ther. Exp. Psy. 25 (1), 49-59 (1994).
Lang, P. J. The emotion probe: Studies of motivation and attention. Am. Psychol. 50 (5), 372-385 (1995).
Ekman, P., Felt Friesen, W. false, and miserable smiles. J. Nonverbal Behav. 6 (4), 238-252 (1982).
Advances in face and gesture analysis. Van Kuilenburg, H., Den Uyl, M. J., Israël, M. L., Ivan, P. Proceedings of Measuring Behavior 2008, 2008 Aug 26-29, Maastricht, The Netherlands, , 371-372 (2008).
Cacioppo, J., Tassinary, L. G., Berntson, G. G. Handbook of Psychophysiology. , Cambridge University Press. Cambridge, UK. (2007).
Lubar, J. F., Swartwood, M. O., Swartwood, J. N., O’Donnell, P. H. Evaluation of the effectiveness of EEG neurofeedback training for ADHD in a clinical setting as measured by changes in T.O.V.A. scores, behavioral ratings, and WISC R performance. Biofeedback Self-reg. 20 (1), (1995).
Mikulka, P. J., Freeman, F. G., Scerbo, M. W. Effects of a biocybernetic system on the vigilance decrement. Hum. factors. 44 (4), 654-664 (2002).
Freeman, F. G., Mikulka, P. J., Scerbo, M. W., Scott, L. An evaluation of an adaptive automation system using a cognitive vigilance task. Biol. Psychol. 67 (3), 283-297 (2004).
Chaouachi, M., Chalfoun, P., Jraidi, I., Frasson, C. Affect and mental engagement: Toward adaptability for intelligent systems. Proceedings of the Twenty-Third International Florida Artificial Intelligence Research Society Conference (FLAIRS 2010), Association for the Advancement of Artificial Intelligence. , 355-360 (2010).
Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-LeMoyne, É Precision is in the eye of the beholder: Application of eye fixation-related potentials to information systems research. J. Assoc. Inf. Syst. 15 (10), 651-678 (2014).
Courtemanche, F., Ortiz de Guinea, A., Titah, R., Fredette, M., Labonté-Lemoyne, E. Applying eye fixation-related potentials to information systems research: Demonstration of the method during natural IS use and guidelines for research. J. Assoc. Inf. Syst. 15 (10), (2014).
Courtemanche, F. Un outil d’évaluation neurocognitive des interactions humain-machine Doctoral thesis. , Université de Montréal. Montreal, QC. (2014).
Assessing multiple dimensions of learner engagement during science problem solving using psychophysiological and behavioral measures. Charland, P., Léger, P. M., Mercier, J., Skelling-Desmeules, Y. Fourth Scientific International Symposium of the Association for Research in Neuroeducation, Caen, France, , (2014).
Venables, P. H., Christie, M. J. Electrodermal activity. Techniques in Psychophysiology. Martin, I., Venables, P. , Wiley. Chichester, UK. 3-67 (1980).
Electrodermal Activity. Boucsein, W. , 2nd ed, Springer. New York. (2012).
Sarlo, M., Palomba, D., Buodo, G. M., Minghetti, R., Stegagno, L. Blood pressure changes highlight gender differences in emotional reactivity to arousing pictures. Biol. Psychol. 70 (3), 188-196 (2005).
Martens, R. L., Gulikers, J., Bastiaens, T. The impact of intrinsic motivation on e-learning in authentic computer tasks. J. Comput. Assist. Lear. 20 (5), 368-376 (2004).