Summary
Wir präsentieren ein Protokoll für eine Verhaltensanalyse von Erwachsenen (im Alter von 18 bis 70 Jahren), die an Lernprozessen beteiligt sind und Aufgaben für selbstreguliertes Lernen (SRL) übernehmen. Die Teilnehmer, Universitätslehrer und Studenten sowie Erwachsene der University of Experience wurden mit Eye-Tracking-Geräten überwacht und die Daten mit Data-Mining-Techniken analysiert.
Abstract
Die Verhaltensanalyse von Erwachsenen, die sich mit Lernaufgaben beschäftigen, ist eine große Herausforderung im Bereich der Erwachsenenbildung. Heutzutage besteht in einer Welt kontinuierlicher technologischer Veränderungen und wissenschaftlicher Fortschritte ein Bedarf an lebenslangem Lernen und Bildung sowohl in formalen als auch in nicht formalen Bildungsumgebungen. Als Reaktion auf diese Herausforderung bieten die Verwendung von Eye-Tracking-Technologie bzw. Data-Mining-Techniken für überwachtes (hauptsächlich Vorhersage) und unbeaufsichtigtes (speziell Clusteranalyse) Lernen Methoden zur Erkennung von Lernformen unter den Nutzern und/oder zur Klassifizierung ihrer Lernstile. In dieser Studie wird ein Protokoll für das Studium der Lernstile bei Erwachsenen mit und ohne Vorkenntnisse in verschiedenen Altersgruppen (18 bis 69 Jahre) und an verschiedenen Punkten während des Gesamten des Lernprozesses (Anfang und Ende) vorgeschlagen. Statistische Varianzanalysen bedeuten, dass Unterschiede zwischen den Teilnehmern nach Art des Lernenden und Vorkenntnissen der Aufgabe festgestellt werden können. Ebenso wirft der Einsatz unbeaufsichtigter Lernclustering-Techniken ein Licht auf ähnliche Formen des Lernens unter den Teilnehmern über verschiedene Gruppen hinweg. Alle diese Daten werden personalisierte Vorschläge des Lehrers für die Darstellung jeder Aufgabe an verschiedenen Punkten in der Kette der Informationsverarbeitung erleichtern. Ebenso wird es für den Lehrer einfacher sein, Unterrichtsmaterialien an die Lernbedürfnisse jedes Schülers oder jeder Schülergruppe mit ähnlichen Merkmalen anzupassen.
Introduction
Eye-Tracking-Methodik für Verhaltensanalysen im Lernen
Eye-Tracking-Methodik, unter anderem funktionelle Anwendungen, wird auf die Untersuchung des menschlichen Verhaltens angewendet, insbesondere während der Aufgabenauflösung. Diese Technik erleichtert die Überwachung und Analyse während der Ausführung von Lernaufgaben1. Insbesondere können die Aufmerksamkeitsstufen der Studierenden an verschiedenen Punkten des Lernprozesses (Start, Entwicklung und Ende) in verschiedenen Fächern (Geschichte, Mathematik, Naturwissenschaften usw.) mit Hilfe von Eye-Tracking-Technologie untersucht werden. Wenn die Aufgabe die Verwendung von Videos mit einer Stimme umfasst, die den Lernprozess leitet, wird selbstreguliertes Lernen (SRL) erleichtert. Daher wird die Implementierung der Eye-Tracking-Technologie bei der Analyse von Aufgaben, zu denen SRL (einschließlich der Verwendung von Videos) als eine wichtige Ressource vorgeschlagen wird, um zu verstehen, wie Lernen entwickelt wird2,3,4. Diese Kombination bedeutet auch, dass die Unterschiede zwischen den Unterrichtsmethoden (mit oder ohne SRL usw.) mit verschiedenen Arten von Schülern (mit oder ohne Vorkenntnisse usw.) überprüft werden können. 5. Im Gegensatz dazu kann die Darstellung von Mehrkanalinformationen (gleichzeitige Darstellung von akustischen und visuellen Informationen, ob mündlich, schriftlich oder bildlich) sowohl die Aufzeichnung als auch die Analyse relevanter und nicht relevanter Informationen aus den oben genannten Variablenerleichtern 6. Schüler mit Vorkenntnissen, die Multimedia-Lernkanälen ausgesetzt sind, scheinen effektiver zu lernen als Diejenigen mit wenig oder gar keinem Vorwissen. Studierende mit einem hohen Maß an Vorkenntnissen des Themas werden Text- und Grafische Informationen effektiver integrieren7. Diese Funktionalität wurde beim Erlernen vonTexten 8 beobachtet, die Bilder9enthalten. Die Eye-Tracking-Technologie bietet Informationen darüber, wo und wie lange die Aufmerksamkeit gerichtet ist. Diese Daten geben einen genaueren Einblick in die Entwicklung eines Lernprozesses als durch die einfache Beobachtung des Abwicklungsprozesses während der Ausführung einer Aufgabe. Die Analyse dieser Indikatoren erleichtert auch das Studium, ob der Student tiefes oder oberflächliches Lernen entwickelt. Darüber hinaus erleichtert die Beziehung zwischen diesen Daten und den Lernergebnissen die Validierung der mit der Eye-Tracking-Technologie erhaltenen Informationen4,10. Tatsächlich wird diese Technik zusammen mit SRL zunehmend in der Hochschulbildung und in der Erwachsenenbildung11 in Lernumgebungen eingesetzt, sowohl in regulierten als auch auf nicht regulierten Kursen12.
Die Eye-Tracking-Technologie bietet verschiedene Metriken: Distanz, Geschwindigkeit, Beschleunigung, Dichte, Dispersion, Winkelgeschwindigkeit, Übergänge zwischen Interessengebieten (AOI), Sequenziquenzreihenfolge von AOI, Besuche in den Fixierungen, Sakkaden, Scanpfad und Heatmap-Parameter. Die Interpretation dieser Daten ist jedoch komplex und erfordert die Verwendung von überwachten (Regression, Entscheidungsbäumen usw.) und unbeaufsichtigten (k-Mittel-Cluster-Techniken usw.) 13,14 Data-Mining-Techniken. Diese Metriken können für die Überwachung des Verhaltens desselben Probanden im Zeitverlauf oder für einen Vergleich zwischen mehreren Probanden und deren Leistung mit derselben Aufgabe15angewendet werden, indem der Unterschied zwischen Teilnehmern mit Vorkenntnissen und ohne Vorkenntnisse analysiert wird16. Jüngste Untersuchungen11,17 haben ergeben, dass sich unerfahrene Lehrlinge länger auf die Reize fixieren (d. h. es gibt eine größere Fixationshäufigkeit, während ähnliche Scan-Pfad-Muster aufgezeichnet werden). Die durchschnittliche Fixierungsdauer war für Experten länger als für Anfänger. Die Experten präsentierten ihren Fokus auf die Mittelpunkte der Information (proximal und zentral), Unterschiede, die auch in den Visualisierungspunkten innerhalb des AOI auf den Heatmaps zu sehen sind.
Interpretation von Metriken im Eye-Tracking
Jüngste Studien18 haben gezeigt, dass die Informationserfassung mit der Anzahl der Augenfixierungen auf den Reizen zusammenhängt. Eine weitere wichtige Metrik ist die Saccade, die als die schnelle und plötzliche Bewegung einer Fixierung mit einem Intervall von [10 ms, 100 ms] definiert ist. Sharafi et al. (2015)18 fanden Unterschiede in der Anzahl der Sakkaden, abhängig von der Informationscodierungsphase des Schülers. Ein weiterer relevanter Parameter ist der Scan-Pfad, eine Metrik, die die chronologische Reihenfolge der Schritte erfasst, die der Teilnehmer für die Auflösung der Lernaufgabe innerhalb des vom Forscher18definierten AOI ausführt. In ähnlicher Weise kann die Eye-Tracking-Technologie verwendet werden, um den Grad des Verständnisses des Teilnehmers vorherzusagen, der mit der Anzahl der Fixierungen zusammenhängen scheint. Jüngste Studien haben gezeigt, dass die Variabilität des Blickverhaltens durch die Eigenschaften des Bildes (Position, Intensität, Farbe und Ausrichtung), die Anweisungen zum Ausführen der Aufgabe und die Art der Informationsverarbeitung (Lernstil) des Teilnehmers bestimmt wird. Diese Unterschiede werden erkannt, indem die Interaktion des Schülers mit den verschiedenen AOI19analysiert wird. Quantitative20 (Frequenzanalyse) und/oder qualitative oder dynamische21 (Scanpfad) Techniken können verwendet werden, um die daten aus den verschiedenen Metriken zu analysieren. Die ersten Techniken werden mit traditionellen statistischen Techniken (Frequenzanalyse, Mittelwertdifferenz, Varianzdifferenz usw.) und letztere mit Machine Learning-Techniken (Euklidische Entfernungen mit String-Edit-Methoden21,22und Clustering17) analysiert. Die Anwendung dieser Techniken erleichtert das Clustering, indem verschiedene Merkmale der Probanden berücksichtigt werden. Eine Studie17 ergab, dass je sachkundiger der Student, desto effektiver die implementierte räumliche und zeitliche Informationsverarbeitungsstrategie ist. Eine beschreibende Tabelle der messparameter, die in dieser Studie verwendet wurden, finden Sie unten in Tabelle 1.
Tabelle 1: Die repräsentativsten Parameter, die mit der Eye-Tracking-Technik erhalten werden können, angepasst von Siz, Zaparain, Marticorena und Velasco (2019). 20 Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Anwendung der Eye-Tracking-Methodik auf das Studium des Lernprozesses
Der Einsatz der technologischen Fortschritte und deroben beschriebenen Datenanalysetechniken wird der Verhaltensanalyse der Lernenden bei der Problemlösung in den verschiedenen Phasen der Informationsverarbeitung (Aufgabenauslösung, Informationsverarbeitung und Aufgabenauflösung) eine höhere Genauigkeit verleihen. Es wird alles individuelle Verhaltensanalyse erleichtern, die wiederum die Gruppierung von Studenten mit ähnlichen Eigenschaften ermöglichen24. Ebenso Vorhersagetechniken (Entscheidungsbäume, Regressionstechniken usw.) 25 kann auf das Lernen angewendet werden, sowohl bezogen auf die Anzahl der Fixierungen als auch auf die Aufgabenauflösungsergebnisse jedes Schülers. Diese Funktionalität ist ein sehr wichtiger Fortschritt in der Kenntnis, wie jeder Schüler lernt und für den Vorschlag von personalisierten Lernprogrammen innerhalb verschiedener Gruppen (Menschen mit oder ohne Lernschwierigkeiten26). Daher wird der Einsatz dieser Technik zur Erreichung der Personalisierung und Optimierung des Lernens beitragen27. Lebenslanges Lernen muss als ein Kreislauf kontinuierlicher Verbesserung verstanden werden, da das Wissen über die Gesellschaft ständig voranschreitet und voranschreitet. Evolutionspsychologie zeigt, dass Auflösungsfähigkeiten und Effektivität in der Informationsverarbeitung mit dem Alter abnehmen. Insbesondere, Saccade Frequenz, Amplitude, und Geschwindigkeit der Augenbewegungen bei Erwachsenen wurden gefunden, um mit dem Alter zu verringern. Darüber hinaus konzentriert sich die Aufmerksamkeit im höheren Alter auf die unteren Bereiche visueller Szenen, was mit Defiziten im Arbeitsgedächtnis zusammenhängt14. Dennoch nimmt die Aktivierung in den frontalen und präfrontalen Bereichen in einem höheren Alter zu, was diese Defizite bei der Aufgabenauflösung zu kompensieren scheint. Dieser Aspekt umfasst den Grad des Vorwissens und die kognitiven Vergütungsstrategien, die das Thema anwenden kann. Erfahrene Teilnehmer lernen effizienter, da sie die Aufmerksamkeit durch die Anwendung automatisierter Überwachungsprozesse effektiver managen28. Darüber hinaus werden die oben genannten Mängel gemildert, wenn die zu erlernenden Informationen durch SRL-Techniken vermittelt werden17. Der Einsatz solcher Techniken bedeutet, dass visuelle Tracking-Muster sehr ähnlich sind, sowohl in Fächern ohne Vorkenntnisse als auch in Fächern mit Vorkenntnissen7.
Zusammenfassend ist die Analyse multimodal-multichannel-daten auf SRL, die mit dem Einsatz von advanced learning (Eye-Tracking)-Technologien gewonnen werden, der Schlüssel zum Verständnis der Wechselwirkung zwischen kognitiven, metakognitiven und motivationsorientierten Prozessen und deren Auswirkungen auf das Lernen29. Die Ergebnisse und die Untersuchung von Unterschieden im Lernen haben Auswirkungen auf die Gestaltung von Lernmaterialien und intelligenten Nachhilfesystemen, die beide personalisiertes Lernen ermöglichen werden, das für den Schüler30wahrscheinlich effektiver und zufriedenstellender sein wird.
In dieser Forschung wurden zwei Fragen gestellt: (1) Wird es signifikante Unterschiede in den Lernergebnissen und in den Ookfixierungsparametern zwischen Studenten und Experten und nicht-fachlichen Lehrern in Kunstgeschichte geben, die Studenten mit offiziellen Abschlüssen von Studenten mit nicht-offiziellen Abschlüssen (University of Experience - Adult Education) unterscheiden? und (2) Stimmen Cluster jedes Teilnehmers mit Lernergebnissen und Ookfixierungsparametern mit der Art der Teilnehmer zusammen (Studenten mit amtlichen Abschlüssen, Studierende mit nicht amtlichen Abschlüssen (Universität für Erfahrung - Erwachsenenbildung) und Lehrer)?
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Dieses Protokoll wurde in Übereinstimmung mit den Verfahrensvorschriften des Bioethischen Ausschusses der Universität Burgos (Spanien) Nr. IR27/2019 durchgeführt. Vor ihrer Teilnahme waren die Teilnehmer umfassend über die Forschungsziele informiert worden und hatten alle ihre informierte Zustimmung gegeben. Sie erhielten keinen finanziellen Ausgleich für ihre Beteiligung.
1. Teilnehmerrekrutierung
- Rekrutieren Sie Teilnehmer aus einer Gruppe von Erwachsenen in zwei Umgebungen (Schüler und Lehrer), mit einem Alter von 18 bis 69 Jahren im Umfeld der Hochschulbildung (formale und nicht formale Bildung).
- Teilnehmer mit normalem oder korrigiertem Zus.
- Auszuschließen Teilnehmer mit neurologischen, psychiatrischen und Schlafstörungen, Behinderungen im Zusammenhang mit pädagogischen besonderen Bedürfnissen, Wahrnehmungsschwierigkeiten (beeinträchtigtes Sehen und Hören) und kognitive Nein-Erkrankungen.
HINWEIS: In dieser Studie haben wir mit einer Stichprobe von 40 Teilnehmern, 6 Studenten der University of Experience (ein Teilnehmer wurde in der Kategorie der Studenten der Universität der Erfahrung wegen Sehschwierigkeiten ausgeschlossen), 25 Universitätsprofessoren in den Disziplinen Gesundheitswissenschaften, Ingenieurwesen, Geschichte und Erbe, und 9 Bachelor- und Master-Studenten nach Kursen in Gesundheitswissenschaften, Ingenieurwesen, Geschichte und Erbe. Die Teilnehmer hatten weder kognitive, hör- noch sehbehinderte Probleme, und sie alle hatten ein normales oder korrigiertes Sehvermögen (Tabelle 2). Aus diesem Grund wurde einer der Teilnehmer vor Beginn des Experiments eliminiert, weil Nystagmus auf ihn entdeckt worden war und daher die Aufgabe auf eine Stichprobe von 39 Teilnehmern angewendet wurde. Die Teilnehmer erhielten weder finanzielle noch berufliche Entschädigung; Deshalb war die Motivation der Teilnehmer hoch, da sie nur auf ihrem Interesse beruhte, zu wissen, wie diese Eye-Tracking-Methode während eines Lernprozesses im Zusammenhang mit dem kulturellen Erbe, insbesondere dem Ursprung europäischer Klöster, funktioniert.
Tabelle 2. Merkmale der Probe. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
2. Experimentelles Verfahren
- Sitzung 1: Erhebung von Einwilligung in Kenntnis der Sachlage, personenbezogenen Daten und Hintergrundwissen
- Erhalten Sie eine informierte Einwilligung. Informieren Sie vor dem Test jeden Teilnehmer über die Ziele der Studie und die Erhebung, Behandlung und Speicherung seiner Daten. Die Zustimmung jedes Teilnehmers erfolgt durch Unterzeichnung des Einverständnisformulars in Kenntnis der Sachlage.
HINWEIS: Die Teilnahme an dieser Studie war freiwillig und es gab keine finanzielle Belohnung. Dieser Aspekt sorgte dafür, dass die Erfüllung der Aufgaben keine wirtschaftliche Motivation hatte. Vor Beginn der Aufgabe füllt der Interviewer, ein Fachmann auf diesem Gebiet, einen Fragebogen mit Fragen zu Alter, Geschlecht, Beruf und Vorkenntnissen des Themas, in diesem Fall der Entstehung und der historischen Entwicklung von Klöstern in Europa , aus (siehe Tabelle 3). Diese Studie ist Teil eines europäischen Projekts (2019-1-ES01-KA204-095615-Koordinator 6) über die Erwachsenenbildung über das kulturelle Erbe der Menschheit im Laufe des Lebens; deshalb wurde diese Art von Aufgabe gewählt. Jeder Prüfer wählt das Thema je nach Seinem Arbeitsbereich aus.
- Erhalten Sie eine informierte Einwilligung. Informieren Sie vor dem Test jeden Teilnehmer über die Ziele der Studie und die Erhebung, Behandlung und Speicherung seiner Daten. Die Zustimmung jedes Teilnehmers erfolgt durch Unterzeichnung des Einverständnisformulars in Kenntnis der Sachlage.
Tabelle 3. Interview-Fragebogen. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
- Sitzung 2: Kalibrierung
- Informieren Sie den Teilnehmer darüber, wie die Eye-Tracking-Technologie funktioniert und wie die Informationen gesammelt, aufgezeichnet und kalibriert werden: "Wir werden die Durchführung der Lernaufgabe über die Entstehung und Entwicklung europäischer Klöster mit Eye-Tracking-Technologie beobachten. Eye-Tracking ist eine Technologie, die es Ihnen ermöglicht, Ihrem Blick zu folgen, während Sie die Aktivität ausführen, und es hat keine Nebenwirkungen, noch ist es invasiv, da in dieser Studie nur Eye-Tracking aufgezeichnet wird."
- Erklären Sie dem Teilnehmer, dass ein gültiger Test eine ordnungsgemäße Positionierung erfordert. Der Teilnehmer muss in einem bestimmten Abstand [45 bis 60 cm] vom Monitor sitzen. Die Entfernung hängt von der Höhe des Teilnehmers ab, je niedriger die Höhe, desto kürzer die Entfernung.
- Informieren Sie den Teilnehmer, dass eine Reihe von Punkten auf den Kardinalpunkten des Bildschirms erscheinen und dass der Teilnehmer ihn bei jedem Erscheinen mit den Augen beobachten muss. Der Teilnehmer kann mit dem Cursor "enter" von einem Punkt zum anderen wechseln. Die Kalibrierungsphase hat eine Dauer von 10-15 Minuten.
HINWEIS: Für die Aufgabenauflösung wurden ein Eye-Tracking iViewer XTM, SMI Experimenter Center 3.0 und SMI Be Gaze sowie ein Monitor mit einer Auflösung von 1680×1050 verwendet. Dieses Gerät registriert Augenbewegungen, deren Koordinaten und Pupillendurchmesser jedes Auges. In dieser Studie wurden 60 Hz angewendet, Scan-Pfad-Metriken und dynamische Scan-Pfad-Metriken verwendet und AOI-Statistiken ermittelt. - Überprüfen Sie die Kalibrierungseinstellung. Der professionelle Testbetreuer analysiert die Kalibrierungseinstellung auf dem Steuerbildschirm.
- Führen Sie die Kalibrierung über das Kalibriersystem durch, das im Eye-Tracking iViewer XTM enthalten ist. Bevor sie mit dieser Aufgabe beginnen, realisiert jeder Teilnehmer eine visuelle Nachverfolgung von vier Punkten auf einem Bildschirm zu den vier Ecken (rechts oben, links oben, unten rechts, unten links). Danach hat die Software einen Ausführungsüberprüfungsprozess der richtigen Position dieser Reize und gibt Informationen über die Parametereinstellung in Grad. Wenn sich diese Einstellung zwischen 0,6o ± 1 im rechten und linken Auge befindet, wird davon ausgegangen, dass die Kalibrierung korrekt ist und die Taskausführung beginnt. Ein Beispiel für den Prozess kann in Abbildung 1überprüft werden.
HINWEIS: Der korrekte Abschluss der Aufgabe wird berücksichtigt, wenn die Grade im rechten und linken Auge auf 0,6o ± 1 Standardabweichung eingestellt sind. In dieser Studie wurden zwei Kalibrierungen in der Gruppe der Universitätsprofessoren festgestellt, die das Anpassungskriterium von 0,6o ± 1 und zwei Teilnehmer entferntwurden. Die 25 Teilnehmer der ersten Stichprobe wurden somit auf 23 Teilnehmer reduziert.
- Führen Sie die Kalibrierung über das Kalibriersystem durch, das im Eye-Tracking iViewer XTM enthalten ist. Bevor sie mit dieser Aufgabe beginnen, realisiert jeder Teilnehmer eine visuelle Nachverfolgung von vier Punkten auf einem Bildschirm zu den vier Ecken (rechts oben, links oben, unten rechts, unten links). Danach hat die Software einen Ausführungsüberprüfungsprozess der richtigen Position dieser Reize und gibt Informationen über die Parametereinstellung in Grad. Wenn sich diese Einstellung zwischen 0,6o ± 1 im rechten und linken Auge befindet, wird davon ausgegangen, dass die Kalibrierung korrekt ist und die Taskausführung beginnt. Ein Beispiel für den Prozess kann in Abbildung 1überprüft werden.
Abbildung 1. Prozess der Eye-Tracking-Kalibrierung Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
- Sitzung 3: Ausführen der Lernaufgabe
- Erläutern Sie dem Teilnehmer den Inhalt der Aufgabe. Ein Experte für Lehrpsychologie erklärt dem Teilnehmer, worin die Aufgabe besteht und wie sie ausgeführt werden kann: "Das Video ist 1:14 Sekunden lang und besteht aus 5 Voice-Over-Bildern. Am Ende wird der Teilnehmer aufgefordert, ein kleines Kreuzworträtsel zu vervollständigen, um zu überprüfen, ob die im Video dargestellten Informationen verstanden wurden."
- Sehen Sie sich den Videoclip an. Das in der Aufgabe verwendete Video kann unter folgendem Link angezeigt werden: https://youtu.be/HlGGgrYDTFs.
HINWEIS: Die Aufgabe besteht darin, ein Video anzusehen, das Informationen über die Ursprünge der europäischen Klöster bietet. Die Informationen wurden von einem Spezialisten, einem Kunstgeschichtslehrer, ausgearbeitet. Die Informationen sind in zwei Kanälen organisiert, ein visuelles, das Bilder und schriftliche Informationen enthält, die als Umrisse dargestellt werden, und ein weiterer Audio, weil ein SRL-Fachlehrer während des gesamten Videos spricht und auf den wichtigsten Inhalten mit verbalen Betonungen besteht. - Ausführen des Kreuzworträtsels auf einer Moodle-basierten virtuellen Plattform. Ein Klick auf das Kreuzworträtsel-Symbol führt den Teilnehmer zu einer virtuellen Plattform, auf der das Kreuzworträtsel ausgefüllt werden kann, um zu überprüfen, ob das Wissen erworben wurde. Das Kreuzworträtsel ist in Abbildung 2dargestellt.
Abbildung 2. Kreuzworträtsel, um das erworbene Wissen zu überprüfen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
- Sitzung 4: Datenanalyse
- Wählen Sie die Interessengebiete (AOI). AOIs werden im Video definiert und in AOIs unterteilt, die relevante Informationen im Vergleich zu AOIs enthalten, die nicht relevante Informationen enthalten.
HINWEIS: Die AOI-Zuordnung wird vom Experimentator realisiert, der entscheidet, welche relevanten oder irrelevanten AOIs in Bezug auf die dargestellten Informationen sind. - Extrahieren Sie die Datenbank zu den Parametern für AOI-Fixierungen ("Event Start Trial Time", "Event End Trial Time" und "Event Duration"; "Fixationsposition X", "Fixationsposition Y", "Fixation Average Pupil Size", "Fixation Average Pupil Size Y px", "Fixation Average Pupil Diameter", "Fixation Dispersion X" und "Fixation Dispersion Y").
- Importieren Sie die Datenbank in ein Softwarepaket für die statistische Verarbeitung, und wählen Sie die Option analysieren aus und klassifizieren Siedann, gefolgt von der Option k-means cluster. Wählen Sie dann im statistischen Softwarepaket, z. B. SPSS, gefolgt von der Option "ANOVA", eine Kreuztabelle aus, um die Unterschiede zwischen den Teilnehmern (Typ der Erwachsenengruppen und Grad der Vorkenntnisse) in Bezug auf ihre AOI-Fixierungsparameter31zu analysieren.
ANMERKUNG: Clustering oder Clusteranalyse ist eine "unbeaufsichtigte" maschinelle Lerntechnik, und innerhalb von k-means handelt es sich um eine Gruppierungsmethode, deren Ziel es ist, einen Satz von n Beobachtungen in k-Gruppen zu unterteilen, in denen jede Beobachtung zur Gruppe mit dem nächsten Mittelwert gehört. In diesem Experiment wurde k-meansClustering verwendet, um die Cluster von Teilnehmern an der Lernaufgabe zu überprüfen. Diese Korrespondenz ist wichtig, weil sie dem Lehrer oder Therapeuten Informationen über die homogene funktionelle Entwicklung der Benutzer bietet, die über die Diagnose hinausgeht, und Informationen bereitstellt, um ähnliche Interventionsprogramme in einigen Bereichen der funktionellen Entwicklung vorzuschlagen. Diese Option soll die volle Nutzung des pädagogischen oder therapeutischen Dienstes und seiner persönlichen und materiellen Ressourcen erleichtern. - Führen Sie eine Visualisierungsanalyse der verarbeiteten Daten (Deskriptive und Clusteranalyse) mithilfe einer Visualisierungssoftware wie Orange32durch.
- Extrahieren Sie die Daten zu den Parametern der detaillierten Statistik: Verweilzeit, Blickdauer, Umleitungsdauer, Glanceanzahl, Fixationsanzahl, durchschnittliche Fixierung und Dauer und importieren Sie diese Datenbank dann in ein statistisches Softwarepaket. Wählen Sie im statistischen Paket die Option 'ANOVA' aus und führen Sie dann eine Visualisierungsanalyse der verarbeiteten Daten durch (Mittelwerte). Verwenden Sie die Kalkulationstabelle, um ein Spinnendiagramm und spezifische Balkendiagramme für die Teilnehmergruppen zu generieren.
- Wählen Sie die Interessengebiete (AOI). AOIs werden im Video definiert und in AOIs unterteilt, die relevante Informationen im Vergleich zu AOIs enthalten, die nicht relevante Informationen enthalten.
- Sitzung 5: Personalisierte Lernvorschläge
- Führen Sie ein Interventionsprogramm durch, um die Lernergebnisse der Teilnehmer zu verbessern, die in der Clusteranalyse aufgrund ihrer niedrigeren Punktzahlen erkannt wurden.
ANMERKUNG: Abbildung 3zeigt eine Zusammenfassung der Phasen, die im experimentellen Verfahren verfolgt wurden.
- Führen Sie ein Interventionsprogramm durch, um die Lernergebnisse der Teilnehmer zu verbessern, die in der Clusteranalyse aufgrund ihrer niedrigeren Punktzahlen erkannt wurden.
Abbildung 3. Phasen des experimentellen Verfahrens. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Die 36 Teilnehmer, die für die vorliegende Studie rekrutiert wurden, stammten aus drei Gruppen von Erwachsenen (Studenten der Universität für Erfahrung, Universitätsprofessoren sowie Studenten und Masterstudierende) im Alter zwischen [18 und 69] Jahren (Tabelle 2). Das Protokoll wurde über 20 Monate an der Universität Burgos getestet. Ein Überblick über die Entwicklung ist Tabelle 4 zusehen.
Tabelle 4. Überblick über die Entwicklung des Lernverhaltensanalyseprotokolls. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Zunächst wurden die Blickpositionsparameter der Fixierungen analysiert (Tabelle 5). In dieser Studie war die Start- und Endzeit mit einem Video für alle Teilnehmer gleich: Start 0 ms und Ende 1:14 s, Dauer 1:14 s.
Tabelle 5. Fixationsparameterergebnisse. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Abbildung 4 zeigt ein Diagramm der von den drei Gruppen entwickelten Aufgaben in Bezug auf die Fixierungsparameter. Die Gruppe der Männer und Frauen in jeder der teilnehmenden Gruppen (University of Experience Students, University Teachers und Graduate & Master es Students) erledigte die Aufgaben jeweils auf unterschiedliche Weise.
Abbildung 4. Diagramm der drei Gruppen und deren Entwicklung der Aufgabe im Zusammenhang mit den Fixierungsparametern. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Anschließend wurde eine ANOVA mit zwei Faktorn (Teilnehmertyp und Vorkenntnisse) eingesetzt, um zu überprüfen, ob es signifikante Unterschiede in den Parametern der Fixierungspositionen zwischen den drei Gruppen (Studenten der Universität der Experience, Universitätsprofessoren und Universitätsstudenten) gab. Es wurden keine signifikanten Unterschiede in einem der Fixierungsparameter festgestellt, aber es wurde ein Trend zu Unterschieden für Fixierung Sandgröße Y, Fixierungsdurchschnitt Pupille und Fixationsdispersion X festgestellt, wenn auch mit niedrigen Effektwerten (siehe Tabelle 6).
Tabelle 6. Zwei-Faktor-Fixed-Effects-ANOVA (Art des Teilnehmers und Vorkenntnisse) und Effektwert. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Anschließend wurde der k-means-Cluster eingesetzt, um zu untersuchen, ob es in der ersten Forschungsgruppe (Studenten der Universität der Experience, Universitätsprofessoren und Universitätsstudenten) unterschiedliche Gruppierungen in Bezug auf die Ergebnisse in den Parametern fixierender Positionen, Vorkenntnisse und das Kreuzworträtsel-Ergebnis gab. Es wurden drei Cluster gefunden (Tabelle 7). Eine Visualisierung der Cluster ist in Abbildung 5zu sehen.
Tabelle 7. Endgültige Cluster-Zentren. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Anschließend wurde eine Kreuztabelle zwischen den Werten des Clusters der Gruppenmitgliedschaft erstellt, der jedem Teilnehmer in Bezug auf den Kategorietyp des Teilnehmers zugewiesen wurde (Studenten der Universität der Erfahrung, Universitätsprofessoren und Universitätsstudenten) (Tabelle 8). Abbildung 5 zeigt die Position der Teilnehmer innerhalb der Cluster in Bezug auf die drei Gruppen für die Fixationspositionsparameter.
Tabelle 8. Teilnehmer * Cluster-Nummer der Fall-Kreuztabelle. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Für die folgenden Messparameter mit Blickverfolgung wurde ein Zwei-Faktor-Fixed-Effekt-ANOVA, "Teilnehmergruppe" und "Hintergrund" durchgeführt: Verweilzeit, Blickdauer, Umleitungsdauer, Blickanzahl, Fixierungsanzahl, Durchschnitt und Dauer, die in der Taskstartphase (Folie 1) und in der Taskendphase (Folie 5)(Tabelle 6)ermittelt wurden. Signifikante Unterschiede wurden in Abhängigkeit von der Hintergrundwissensvariablen in Diversion Dauer 1 (Analyse der Eingabe-, Verweil- und Ausgabezeit für jeden in jeden AOI eingefügten Stimulus) festgestellt. Daraus kann geschlossen werden, dass die Art und Weise des Eingebens, Bleibens und Verlassens in den verschiedenen AOIs je nach Variable "Teilnehmergruppe" während der Anfangsphase des Informationszugriffs unterschiedlich war (F2,32 = 4,07, p = 0,03, η2 = 0,23). Unterschiede wurden auch im Parameter Average Fixation Duration gefunden (längere Fixierungen beziehen sich darauf, dass der Teilnehmer mehr Zeit damit verbringt, den Informationsinhalt innerhalb der verschiedenen AOIs zu analysieren und zu interpretieren (F2,32 = 3.53, p = 0.04, η2 = 0.21). Bonferronis mittlerer Differenztest wurde angewandt, um eine Gruppenmitgliedschaft zu etablieren, mit der festgestellt wurde, dass sie sich zwischen der Gruppe (Studenten der Universität der Erfahrung) und der Gruppe der Universitätsprofessoren befanden [mittlere Differenz = 0,04, p = 0,04 CI 95% (0,03-2,75)]. Die Mittel waren höher für Gruppe 1 (Studenten der Universität der Erfahrung), in der die Teilnehmer während der Dateneingabephase mehr Zeit mit der Analyse und Interpretation der AOIs verbrachten (siehe Tabelle 9 und Abbildung 6).
Tabelle 9. Zwei-Faktor-Fixeffekte ANOVA (Teilnehmertyp und Vorwissen) und Effektwert für die Tracking-Messparameter: Verweilzeit, Blickdauer, Umleitungsdauer, Glancecount, Fixationsanzahl, Average Fixation und Dauer. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.
Abbildung 6. Graph der drei Gruppen und deren Entwicklung der Aufgabe mit Fixierungsparametern in Bezug auf die Vorwissensvariablen zu Beginn und am Ende der Aufgabenverarbeitung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Basierend auf den Ergebnissen dieser Studie wurde die Entwicklung eines personalisierten Lernprogramms vorgeschlagen, um lernbezogene Lernergebnisse bei der Aufgabenauflösung zu verbessern. Dieses Programm konzentrierte sich auf die Arbeit mit den Teilnehmern, die in Cluster 3 gruppiert waren, da sie im Test Punkte von 3 von 5 Punkten erhielten, um die Lernergebnisse zu überprüfen, was 85,43% der Gesamtteilnehmer entsprach. Teilnehmer aus den drei Studiengruppen (University of Experience Students; Universitätslehrer und Graduate & Master-Studenten) wurden in diesem Cluster gefunden. Das Programm wird sich auf die Verstärkung der im Video erarbeiteten Konzepte konzentrieren, für die eine Erweiterung und Spezifikation der Konzepte vorgenommen wird.
Abbildung 5. Clusteranalyse der Fixierungsparameter in den drei Gruppen (Erfahrung von Universitätsstudenten, Universitätsprofessoren und Universitätsstudenten). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
SUPPLEMENTARY FILES
Die Berechtigungen für die Aufnahme des Videos, aus dem Bilder verwendet wurden, um die Beobachtung von funktionellen Fähigkeiten bei Kindern mit Lernschwierigkeiten zu verweisen, sind beigefügt.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Die Forschungsergebnisse zeigten, dass die durchschnittliche Fixationsdauer der relevanten Reize bei Teilnehmern mit Vorkenntnissen länger war. Ebenso liegt der Schwerpunkt dieser Gruppe auf den Mittelpunkten der Information (proximal und distal)7. Die Ergebnisse dieser Studie haben Unterschiede in der Art und Weise aufgezeigt, wie die Teilnehmer die Informationen verarbeitet haben. Darüber hinaus war ihre Verarbeitung nicht immer mit der anfänglichen Gruppierung (University of Experience Students, University Teachers und Graduate & Master es Students) verbunden. Diese Unterschiede wurden in Bezug auf die Analyse der visuellen Position der Teilnehmer auf der X-Achse in den Fixierungen auf den im Lernvideo dargestellten Bildern festgestellt. In Cluster 2 wurden die höchsten Frequenzen der Position X-Fixierung, Position Y-Fixierung, Durchschnittliche Pupillendurchmesser-Fixierung, X- und Y-Achsen-Fixierungsdispersion gefunden. Diese Tatsache fällt mit der Tatsache zusammen, dass die Mitglieder von Cluster 2 selbst Mitglieder der Gruppe der Hochschullehrer waren, bereits über Vorkenntnisse des Fachs verfügten und die höchste Punktzahl im Test zur Ergebnisüberprüfung erhielten. Ebenso ist darauf hinzuweisen, dass die meisten Teilnehmer der Studie (85,43 %) unabhängig von ihrer Herkunftsgruppe in Cluster 3 waren, wo sie die niedrigsten Ergebnisse im Verifizierungstest erzielten.
Ein weiterer relevanter Aspekt dieses Protokolls ist die Darstellung der Informationen in einem Video mit SRL. Diese Form der Präsentation lenkt und fokussiert einerseits die Aufmerksamkeit und minimiert andererseits die individuellen Aktionen jedes Teilnehmers, d.h. es verschließt den Zugang zu den Informationen. Gegebenenfalls ist dies ein Aspekt, der mögliche Defizite oder Schwierigkeiten bei der Verarbeitung ausgleichen kann. Ein Beweis für diese Aussage ist, dass keine signifikanten Unterschiede in den Lernergebnissen zwischen den drei Gruppen festgestellt wurden, wobei das durchschnittliche Leistungsintervall [3.60, 4.86] bei 5 festgelegt wurde. Signifikante Unterschiede wurden nur in den Parametern Diversion Dauer der Verarbeitung (ein Parameter verwendet, um die Eingabe zu analysieren, die Dauerhaftigkeit und die Ausgabezeit für jeden Stimulus in jedem AOI eingefügt) und der durchschnittlichen Fixierungsdauer (dieser Parameter bezieht sich auf längere Fixierungen, die darauf hinweisen, dass der Teilnehmer mehr Zeit mit der Analyse und Interpretation des Inhalts der Informationen innerhalb der verschiedenen AOIs) im Anfangsmoment der Verarbeitung, aber nicht am Ende der Verarbeitung. Die längsten Zeiten in diesen Parametern wurden in der Gruppe der Graduate & Master es Students und der University of Experience Students in dieser Studie festgestellt. Diese Ergebnisse werden durch die Schlussfolgerungen anderer Studien4,12,15unterstützt. Schließlich kann dieses Protokoll angewendet werden, um Unterschiede während der Informationsverarbeitung zu untersuchen, abhängig von der Codierungsphase des Studenten.
Auf der Grundlage des Vorstehenden ist die erste Schlussfolgerung, dass die Anwendung der Eye-Tracking-Methodik während der Erfüllung der Aufgaben nützliche Daten für die Untersuchung der Informationsverarbeitung1,2lieferte. Ebenso erleichterten die aus der Eye-Tracking-Technologie extrahierten und mit unbeaufsichtigten Lerntechniken (Clustering) analysierten Daten das Wissen von Clustern nach den vorgegebenen Parametern11,15. Dieser Aspekt ist sehr relevant für das Studium der Informationsverarbeitung bei jedem Teilnehmer und für den Vorschlag betreffend personalisierte Pädagogische Antworten3,4,5,6,22,23, die zu einem effektiveren Lernen führen soll23.
Es ist auch wichtig, darauf hinzuweisen, dass die experimentellen Ergebnisse die Ergebnisse anderer Forschungen in Bezug auf bestätigten: Unterschiede in der Verarbeitung nach Anfänger-Experten-Variablen und Teilnehmeralter und die Verwendung von SRL-Materialien, die die Auswirkungen dieser Variablen minimieren und die erwartete Leistung der Teilnehmer7,8,9,10erhöhen.
Es ist jedoch notwendig, jede Verallgemeinerung dieser Ergebnisse mit Vorsicht zu behandeln, da Convenience-Sampling angewendet wurde, und die Arbeit konzentrierte sich auf spezifische Inhalte im Zusammenhang mit der Kunstgeschichte. Daher wird die Stichprobe in der zukünftigen Forschung erweitert und die Ergebnisse in anderen Disziplinen überprüft werden.
Wie in der Einleitung angedeutet, ist die Darstellung von Informationen auf multimodale Weise über verschiedene Informationskanäle (audity, visual oder beides) mit SRL-Methodik, zusammen mit dem Einsatz von Eye-Tracking-Technologie und Machine-Learning-Techniken, der Schlüssel zum Verständnis der Art und Weise, wie die Teilnehmer die Informationen verarbeiten, um personalisiertes Lerndesign entsprechend den pädagogischen Bedürfnissen jedes Benutzers anzubieten und infolgedessen erfolgreiches Lernen und seine Entwicklung unter allen Schülern zu fördern29,30.
Zusammenfassend ist der Einsatz der Eye-Tracking-Technik keine Übliche Anwendung in Bildungsrahmen, was im Wesentlichen auf Kostenfaktoren von materiellen bis zu persönlichen Ressourcen zurückzuführen ist. Jedoch, seine Verwendung beginnt nach und nach zu erhöhen, und es ist wichtig, seine übliche Verwendung in der Beobachtung von Aufgaben im autoregulierten Lernen zu sehen. Der Vorteil dieser Eye-Tracking-Technologie besteht darin, dass sie die Aufzeichnung der Interaktion des Lernenden mit der Aufgabe ermöglicht, die Vorteile der Zuverlässigkeit und Gültigkeit hat, in diesem Fall auf die einfache Beobachtung des Lernprozesses. Darüber hinaus bietet die Eye-Tracking-Methodik verschiedene Techniken der registrierten Informationsvisualisierung und diese Informationen in Datenbanken können auch mit Computerprogrammen oder leistungsfähigeren Tools analysiert werden. Daher eröffnet es eine Vielzahl von Möglichkeiten für Die Untersuchung in natürlichen Kontexten.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Die Autoren erklären, dass sie keine konkurrierenden finanziellen Interessen haben.
Acknowledgments
Die Arbeit wurde im Rahmen des Projekts "Self-Regulated Learning in SmartArt Erasmus+ Adult Education" 2019-1-ES01-KA204-095615-Coordinator 6 entwickelt, das von der Europäischen Kommission finanziert wird. Das Video der Task-Abschlussphase hatte die vorherige informierte Zustimmung von Rut Velasco Séiz. Wir schätzen die Teilnahme von Lehrern und Schülern an der Aufgabenstellungsphase.
Materials
| Name | Company | Catalog Number | Comments |
| iViewer XTM | iViewer | ||
| SMI Experimenter Center 3.0 | SMI | ||
| SMI Be Gaze | SMI |
References
- van Marlen, T., van Wermeskerken, M., Jarodzka, H., van Gog, T. Effectiveness of eye movement modeling examples in problem solving: The role of verbal ambiguity and prior knowledge. Learning and Instruction. 58, 274-283 (2018).
- Taub, M., Azevedo, R., Bradbury, A. E., Millar, G. C., Lester, J. Using sequence mining to reveal the efficiency in scientific reasoning during STEM learning with a game-based learning environment. Learning and Instruction. 54, 93-103 (2018).
- Cloude, E. B., Taub, M., Lester, J., Azevedo, R. The Role of Achievement Goal Orientation on Metacognitive Process Use in Game-Based Learning. Artificial Intelligence in Education. Isotani, S., Millan, E., Ogan, A., Hastings, P., McLaren, B., Luckin, R. , Springer International Publishing. Switzerland. 36-40 (2019).
- Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
- Sáiz-Manzanares, M. C., Rodríguez-Diez, J. J., Marticorena-Sánchez, R., Zaparín-Yáñez, M. J., Cerezo-Menéndez, R. Lifelong learning from sustainable education: An analysis with eye tracking and data mining techniques. Sustainability. 12 (5), 2-18 (2020).
- Alemdag, E., Cagiltay, K. A systematic review of eye tracking research on multimedia learning. Computers & Education. 125, 413-428 (2018).
- Ho, H. N. J., Tsai, M. -J., Wang, C. -Y., Tsai, C. -C. Prior knowledge and online inquiry-based science reading: evidence from eye tracking. International Journal of Science and Mathematics Education. 12, 525-554 (2014).
- Catrysse, L., Gijbels, D., Donche, V. It is not only about the depth of processing: What if eye am not interested in the text. Learning and Instruction. 58, 284-294 (2018).
- Mayer, R. E.
- Prokop, M., Pilař, L., Tichá, I. Impact of think-aloud on eye-tracking: A comparison of concurrent and retrospective think-aloud for research on decision-making in the game environment. Sensors. 20 (10), (2020).
- DuMouchel, W. Data Squashing: Constructing Summary Data Sets. Handbook of Massive Data Sets. Abello, J., Pardalos, P. M., Resende, M. G. C. , Springer. Boston, MA, US. 579-591 (2002).
- Stull, A. T., Fiorella, L., Mayer, R. E. An eye-tracking analysis of instructor presence in video lectures. Computers in Human Behavior. 88, 263-272 (2018).
- König, S. D., Buffalo, E. A. A nonparametric method for detecting fixations and saccades using cluster analysis: Removing the need for arbitrary thresholds. Journal of Neuroscience Methods. 30 (227), 121-131 (2014).
- Maltz, M., Shinar, D. Eye Movements of Younger and Older Drivers. Human Factors. 41 (1), 15-25 (1999).
- Burch, M., Kull, A., Weiskopf, D. AOI rivers for visualizing dynamic eye gaze frequencies. Computer Graphics Forum. 32 (3), 281-290 (2013).
- Dzeng, R. -J., Lin, C. -T., Fang, Y. -C. Using eye-tracker to compare search patterns between experienced and novice workers for site hazard identification. Safety Science. 82, 56-67 (2016).
- Kurzhals, K., Weiskopf, D. Space-time visual analytics of eye-tracking data for dynamic stimuli. IEEE Transactions on Visualization and Computer Graphics. 19 (12), 2129-2138 (2013).
- Sharafi, Z., Soh, Z., Guéhéneuc, Y. -G. A systematic literature review on the usage of eye-tracking in software engineering. Information and Software Technology. 67, 79-107 (2015).
- Dalrymple, K. A., Jiang, M., Zhao, Q., Elison, J. T. Machine learning accurately classifies age of toddlers based on eye tracking. Scientific Reports. 9 (1), 6255 (2019).
- Seifert, L., Cordier, R., Orth, D., Courtine, Y., Croft, J. L. Role of route previewing strategies on climbing fluency and exploratory movements. PLoS One. 12 (4), 1-22 (2017).
- Takeuchi, H., Habuchi, Y. A quantitative method for analyzing scan path data obtained by eye tracker. IEEE Symposium on Computational Intelligence and Data Mining, CIDM 2007. , Honolulu, HI, USA. 283-286 (2007).
- Takeuchi, H., Matsuda, N. Scan-path analysis by the string-edit method considering fixation duration. 6th International Conference on Soft Computing and Intelligent Systems, and 13th International Symposium on Advanced Intelligence Systems, SCIS/ISIS 2012. , Kobe, Japan. 1724-1728 (2012).
- Sáiz, M. C., Marticorena, R., Anaiz, Á, Zaparaín, M. J. Task analysis with eye tracking technology. srl at Smartart. II Congress of the International Scientific Association of Psychopedagogy Proceedings. Peralbo, M., Risso, A., Barca, A., Duarte, B., Almeda, L., Brenlla, J. C. , Asociacion Cientifica Internacional de Psicopedagogia. Coruña, Spain. 4093-4104 (2019).
- Khedher, A. B., Jraidi, I., Frasson, C. Tracking Students' Analytical Reasoning Using Visual Scan Paths. IEEE 17th International Conference on Advanced Learning Technologies (ICALT). , IEEE. Timisoara, Romania. 53-54 (2017).
- Xia, C., Han, J., Qi, F., Shi, G. Predicting Human Saccadic Scanpaths Based on Iterative Representation Learning. IEEE Trans Image Process. 8 (7), 3502-3515 (2019).
- Cerezo, R., Fernández, E., Gómez, C., Sánchez-Santillán, M., Taub, M., Azevedo, R. Multimodal Protocol for Assessing Metacognition and Self-Regulation in Adults with Learning Difficulties. Journal of Visualized Experiments. , e60331 (2020).
- Scherer, R., Siddiq, F., Tondeur, J. The technology acceptance model (TAM): A meta-analytic structural equation modeling approach to explaining teachers' adoption of digital technology in education. Computers & Education. 128 (0317), 13-35 (2019).
- Bruder, C., Eißfeldt, H., Maschke, P., Hasse, C. Differences in monitoring between experts and novices. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 57 (1), 295-298 (2013).
- Azevedo, R., Gašević, D. Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
- Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
- IBM Corp. SPSS Statistical Package for the Social Sciences (SPSS) (Version 24). , Madrid, Spain. (2016).
- Orange Software Package. , Available from: https://orange.biolab.si/docs/ (2020).
