Auf künstlicher Intelligenz basierendes System zur Erkennung des Aufmerksamkeitsniveaus von Schülern

In modernen Bildungsumgebungen ist die genaue Bewertung und Aufrechterhaltung der Aufmerksamkeit der Schüler entscheidend für effektives Lehren und Lernen. Traditionelle Methoden zur Messung des Engagements, wie z. B. Selbstauskünfte oder subjektive Beobachtungen von Lehrern, sind jedoch zeitaufwändig und anfällig für Verzerrungen. Um diese Herausforderung zu bewältigen, haben sich Techniken der künstlichen Intelligenz (KI) als vielversprechende Lösungen für die automatisierte Aufmerksamkeitserkennung herausgestellt. Ein wichtiger Aspekt für das Verständnis des Engagements der Schüler ist die Emotionserkennung¹. KI-Systeme können Gesichtsausdrücke analysieren, um Emotionen wie Neutralität, Ekel, Überraschung, Traurigkeit, Angst, Glück und Wut^{zu identifizieren 2}.

Auch die Blickrichtung und die Körperhaltung sind entscheidende Indikatoren für die Aufmerksamkeit der Schülerinnen^{und Schüler 3}. Durch den Einsatz von Kameras und fortschrittlichen Algorithmen für maschinelles Lernen können KI-Systeme genau verfolgen, wohin die Schüler schauen, und ihre Körperhaltung analysieren, um Anzeichen von Desinteresse oder Müdigkeit zu erkennen⁴. Darüber hinaus verbessert die Einbeziehung biometrischer Daten die Genauigkeit und Zuverlässigkeit der Aufmerksamkeitserkennung⁵. Durch das Sammeln von Messwerten wie Herzfrequenz und Blutsauerstoffsättigung durch Smartwatches, die von Schülern getragen werden, können objektive Aufmerksamkeitsindikatoren erhalten werden, die andere Informationsquellen ergänzen.

In diesem Artikel wird ein System vorgeschlagen, das den Aufmerksamkeitsgrad einer Person mithilfe von Farbkameras und anderen verschiedenen Sensoren bewertet. Es kombiniert Emotionserkennung, Blickrichtungsanalyse, Bewertung der Körperhaltung und biometrische Daten, um Pädagogen ein umfassendes Set an Tools zur Optimierung des Lehr-Lern-Prozesses und zur Verbesserung des Engagements der Schüler zur Verfügung zu stellen. Durch den Einsatz dieser Tools können Pädagogen ein umfassendes Verständnis des Lehr-Lern-Prozesses erlangen und das Engagement der Schüler verbessern, wodurch die gesamte Bildungserfahrung optimiert wird. Durch den Einsatz von KI-Techniken ist es sogar möglich, diese Daten automatisiert auszuwerten.

Das Hauptziel dieser Arbeit ist es, das System zu beschreiben, das es uns ermöglicht, alle Informationen zu erfassen und, sobald sie erfasst sind, ein KI-Modell zu trainieren, das es uns ermöglicht, die Aufmerksamkeit der gesamten Klasse in Echtzeit zu gewinnen. Obwohl in anderen Arbeiten bereits vorgeschlagen wurde, Aufmerksamkeit anhand visueller oder emotionaler Informationen zu erregen⁶, schlägt diese Arbeit den kombinierten Einsatz dieser Techniken vor, der einen ganzheitlichen Ansatz bietet, der den Einsatz komplexerer und effektiverer KI-Techniken ermöglicht. Darüber hinaus beschränken sich die bisher verfügbaren Datensätze entweder auf eine Reihe von Videos oder auf biometrische Daten. Die Literatur enthält keine Datensätze, die vollständige Daten mit Bildern des Gesichts oder des Körpers des Schülers, biometrischen Daten, Daten zur Position des Lehrers usw. liefern. Mit dem hier vorgestellten System ist es möglich, diese Art von Datensatz zu erfassen.

Das System ordnet jedem Schüler zu jedem Zeitpunkt ein gewisses Maß an Aufmerksamkeit zu. Dieser Wert ist ein Wahrscheinlichkeitswert für Aufmerksamkeit zwischen 0% und 100%, der als niedriges Aufmerksamkeitsniveau (0%-40%), mittleres Aufmerksamkeitsniveau (40%-75%) und hohes Aufmerksamkeitsniveau (75%-100%) interpretiert werden kann. Im gesamten Text wird diese Wahrscheinlichkeit der Aufmerksamkeit als das Aufmerksamkeitsniveau, die Aufmerksamkeit der Schüler oder die Frage, ob die Schüler abgelenkt sind oder nicht, bezeichnet, aber diese beziehen sich alle auf den gleichen Ausgabewert unseres Systems.

Im Laufe der Jahre ist der Bereich der automatischen Engagement-Erkennung aufgrund seines Potenzials, die Bildung zu revolutionieren, erheblich gewachsen. Forscher haben verschiedene Ansätze für diesen Forschungsbereich vorgeschlagen.

Ma et ^al.7 stellten eine neuartige Methode vor, die auf einer Neural Turing Machine zur automatischen Engagement-Erkennung basiert. Sie extrahierten bestimmte Merkmale wie Blick, Gesichtsbewegungseinheiten, Kopf- und Körperhaltung, um eine umfassende Darstellung der Engagement-Erkennung zu erstellen.

EyeTab⁸, ein weiteres innovatives System, verwendet Modelle, um mit beiden Augen zu schätzen, wohin jemand schaut. Es wurde speziell entwickelt, um reibungslos auf einem Standard-Tablet ohne Änderungen zu funktionieren. Dieses System nutzt bekannte Algorithmen für die Verarbeitung von Bildern und die Analyse von Computer Vision. Ihre Pipeline zur Blickschätzung umfasst einen Haar-ähnlichen, merkmalsbasierten Augendetektor sowie einen RANSAC-basierten Limbusellipsenanpassungsansatz.

Sanghvi et ^al.9 schlagen einen Ansatz vor, der auf sehbasierten Techniken beruht, um ausdrucksstarke Haltungsmerkmale automatisch aus Videos zu extrahieren, die aus einer Seitenansicht aufgenommen wurden, und das Verhalten der Kinder zu erfassen. Es wird eine erste Evaluation durchgeführt, die das Training mehrerer Erkennungsmodelle unter Verwendung kontextualisierter affektiver Haltungsausdrücke umfasst. Die erzielten Ergebnisse zeigen, dass Haltungsmuster die Auseinandersetzung der Kinder mit dem Roboter effektiv vorhersagen können.

In anderen Arbeiten, wie z.B. Gupta et ^al.10, wird eine Deep-Learning-basierte Methode eingesetzt, um das Echtzeit-Engagement von Online-Lernenden zu erkennen, indem ihre Gesichtsausdrücke analysiert und ihre Emotionen klassifiziert werden. Der Ansatz nutzt die Erkennung von Gesichtsemotionen, um einen Engagement-Index (EI) zu berechnen, der zwei Engagement-Zustände vorhersagt: engagiert und unengagiert. Verschiedene Deep-Learning-Modelle, darunter Inception-V3, VGG19 und ResNet-50, werden evaluiert und verglichen, um das effektivste prädiktive Klassifizierungsmodell für die Echtzeit-Erkennung von Interaktionen zu identifizieren.

In Altuwairqi et ^al.11 stellen die Forscher einen neuartigen automatischen multimodalen Ansatz zur Bewertung des Engagements von Schülern in Echtzeit vor. Um genaue und zuverlässige Messungen zu gewährleisten, integrierte und analysierte das Team drei verschiedene Modalitäten, die das Verhalten der Schüler erfassen: Gesichtsausdrücke für Emotionen, Tastenanschläge auf der Tastatur und Mausbewegungen.

Guillén et ^al.12 schlagen die Entwicklung eines Überwachungssystems vor, das die Elektrokardiographie (EKG) als primäres physiologisches Signal verwendet, um das Vorhandensein oder Fehlen von kognitiver Aufmerksamkeit bei Individuen während der Ausführung einer Aufgabe zu analysieren und vorherzusagen.

Alban et ^al.13 verwenden ein neuronales Netzwerk (NN), um Emotionen zu erkennen, indem sie die Herzfrequenz (HR) und die elektrodermale Aktivität (EDA) verschiedener Teilnehmer sowohl im Zeit- als auch im Frequenzbereich analysieren. Sie stellen fest, dass eine Zunahme des Root-Mean-Square of Successive Differences (RMSDD) und der Standardabweichung von Normal-zu-Normal-Intervallen (SDNN), gepaart mit einer Abnahme der durchschnittlichen HR, auf eine erhöhte Aktivität im sympathischen Nervensystem hinweist, die mit Angst verbunden ist.

Kajiwara et ^al.14 schlagen ein innovatives System vor, das tragbare Sensoren und tiefe neuronale Netze verwendet, um das Ausmaß der Emotionen und des Engagements von Arbeitern vorherzusagen. Das System folgt einem dreistufigen Prozess. Zunächst erfassen und sammeln tragbare Sensoren Daten über Verhaltensweisen und Pulswellen. Anschließend werden Zeitreihenmerkmale auf der Grundlage der gewonnenen Verhaltens- und physiologischen Daten berechnet. Schließlich werden tiefe neuronale Netze verwendet, um die Zeitreihenmerkmale einzugeben und Vorhersagen über die Emotionen und das Engagement der Person zu treffen.

In anderen Forschungen, wie z.B. Costante et ^al.15, wird ein Ansatz vorgeschlagen, der auf einem neuartigen transfermetrischen Lernalgorithmus basiert, der das Vorwissen über einen vordefinierten Satz von Gesten nutzt, um die Erkennung von benutzerdefinierten Gesten zu verbessern. Diese Verbesserung wird mit minimaler Abhängigkeit von zusätzlichen Trainingsgebieten erreicht. In ähnlicher Weise wird ein sensorgestütztes Rahmenwerk zur Erkennung menschlicher Aktivitäten¹⁶ vorgestellt, um das Ziel der unpersönlichen Erkennung komplexer menschlicher Aktivitäten zu adressieren. Signaldaten, die von am Handgelenk getragenen Sensoren gesammelt werden, werden in dem entwickelten Framework zur Erkennung menschlicher Aktivitäten verwendet, wobei vier RNN-basierte DL-Modelle (Long-Short Term Memorys, Bidirectional Long-Short Term Memorys, Gated Recurrent Units und Bidirectional Gated Recurrent Units) verwendet werden, um die Aktivitäten des Benutzers des tragbaren Geräts zu untersuchen.

Das folgende Protokoll folgt den Richtlinien der Ethikkommission für die Humanforschung der Universität Alicante mit der genehmigten Protokollnummer UA-2022-11-12. Für dieses Experiment und für die Verwendung der Daten hier wurde von allen Teilnehmern eine Einverständniserklärung eingeholt.

1. Hardware-, Software- und Klasseneinrichtung

1. Stellen Sie einen Router mit WiFi-Funktion (die Experimente wurden mit einem DLink DSR 1000AC durchgeführt) an der gewünschten Stelle auf, so dass seine Reichweite den gesamten Raum abdeckt. Hier wurden 25^m2 Klassenräume mit 30 Schülern abgedeckt.
2. Legen Sie für jeden Schülerstandort eine Smartwatch (hier Samsung Galaxy Smartwatch 5) und eine Kamera (hier Logitech C920 Kameras) fest. Legen Sie ein eingebettetes Gerät für jeweils zwei Schüler fest. Befestigen Sie zwei Kameras auf zwei Stativen und verbinden Sie sie mit einem anderen eingebetteten Gerät (im Folgenden als Zenitalkameras bezeichnet).
3. Verbinden Sie die Kameras über eine USB-Verbindung mit den entsprechenden eingebetteten Geräten und schalten Sie sie ein. Schalten Sie auch die Smartwatches ein. Verbinden Sie jedes eingebettete Gerät und jede Smartwatch mit dem WLAN-Netzwerk des Routers, der in Schritt 1.1 eingerichtet wurde.
4. Platzieren Sie die Kameras in der Ecke des Schreibtisches jedes Schülers und richten Sie sie nach vorne und leicht nach oben geneigt, so dass das Gesicht des Schülers auf den Bildern deutlich zu erkennen ist.
5. Platzieren Sie die beiden Stative mit den Kameras vor den Tischen, die den Gängen in der ersten Sitzreihe des Klassenzimmers am nächsten sind. Bringen Sie den Stativständer in die höchste Position, damit die Kameras die meisten Schüler gut sehen können. Jedes eingebettete Gerät wird in der Lage sein, ein oder zwei Schüler zusammen mit ihren jeweiligen Kameras und Uhren zu verwalten. Das Setup ist in Abbildung 1 dargestellt.
6. Führen Sie die Erfassungssoftware auf den Smartwatches und in den eingebetteten Geräten aus, damit sie bereit sind, die Bilder sowie den Beschleunigungsmesser, das Gyroskop, die Herzfrequenz und die Beleuchtungsdaten zu senden. Führen Sie die Serversoftware aus, die die Daten sammelt und speichert. Ein Diagramm all dieser Elemente ist in Abbildung 2 zu sehen.
7. Stellen Sie sicher, dass die Zenitkameras die Szene dominieren, damit sie eine klare Sicht auf die Körper der Schüler haben. Platzieren Sie eine zusätzliche Einzelkamera vor jedem Schüler.
8. Lassen Sie die Schüler an ihren Plätzen sitzen, informieren Sie sie über die Ziele des Experiments und weisen Sie sie an, die Smartwatches an ihrer dominanten Hand zu tragen und nicht mit einem der Elemente des Setups zu interagieren.
9. Starten Sie die Erfassung und Sammlung der Daten auf dem Server und setzen Sie den Unterricht wie gewohnt fort.

Abbildung 1: Hardware- und Datenpipeline. Die Daten der Kameras und Smartwatches werden gesammelt und den Algorithmen des maschinellen Lernens zur Verarbeitung zugeführt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 2: Position der Sensoren, des Lehrers und der Schüler. Diagramm, das die Positionen der Kameras, Smartwatches und der GUI im Klassenzimmer mit dem Lehrer und den Schülern zeigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

2. Pipeline für Erfassung und Datenverarbeitung

HINWEIS: Alle diese Schritte werden automatisch von der Verarbeitungssoftware ausgeführt, die auf einem Server bereitgestellt wird. Die Implementierung, die für die Experimente in dieser Arbeit verwendet wurde, wurde in Python 3.8 geschrieben.

1. Sammeln Sie die erforderlichen Daten, indem Sie alle Bilder und biometrischen Daten von der Smartwatch für jeden Schüler sammeln und einen Datenrahmen erstellen, der Daten von 1 s enthält. Dieser Datenrahmen besteht aus einem Bild der einzelnen Kamera, einem Bild von jeder Zenithalkamera (in diesem Fall zwei), fünfzig Registern der drei Gyroskopwerte, fünfzig Registern der drei Beschleunigungssensorwerte, einem Herzfrequenzwert und einem Lichtbedingungswert.
2. Um die Kopfrichtung zu berechnen, besteht der erste Schritt darin, die Webcam zu verwenden, die auf das Gesicht des Schülers gerichtet ist, und ein Bild abzurufen. Dann wird dieses Bild vom BlazeFace^{17-Algorithmus} zur Schätzung von Landmarken verarbeitet. Das Ergebnis eines solchen Algorithmus ist eine Liste von 2D-Schlüsselpunkten, die bestimmten Bereichen des Gesichts entsprechen.
3. Lösen Sie unter Verwendung der geschätzten Position von Augen, Nase, Mund und Kinn, die vom Algorithmus bereitgestellt werden, das perspektivische n-Punkt-Problem mit der Methode cv::SolvePnPMethod der OpenCV-Bibliothek, einer kanonischen Gesichtseinstellung. Die Rotationsmatrix, die die Kopfrichtung definiert, wird als Ergebnis dieses Verfahrens erhalten.
4. Berechnen Sie die Körperhaltung, indem Sie das Zenitbild aus dem Datenrahmen, in dem der Schüler dargestellt ist, an den BlazePose 18-Landmark-Schätzalgorithmus weiterleiten und eine Liste der 2D-Koordinaten der Gelenke des Körpers abrufen, die im Bild dargestellt sind. Diese Liste von Orientierungspunkten beschreibt die Pose des Schülers.
   HINWEIS: Die Körperhaltung ist wichtig, da sie die Auseinandersetzung eines Schülers mit verschiedenen Aktivitäten während des Unterrichts genau darstellen kann. Wenn der Schüler zum Beispiel natürlich mit den Händen auf dem Schreibtisch sitzt, könnte dies bedeuten, dass er sich Notizen macht. Wenn sie dagegen ständig ihre Arme bewegen, könnte dies bedeuten, dass sie mit jemandem sprechen.
5. Rufen Sie das Bild des Gesichts des Schülers ab und führen Sie die Vorverarbeitung der Ausrichtung durch. Holen Sie sich die Schlüsselpunkte der Augen aus der in Schritt 2.3 berechneten Liste und projizieren Sie sie auf die Bildebene, so dass die Position der Augen erhalten wird.
6. Zeichnen Sie einen virtuellen Vektor nach, der die Position beider Augen verbindet. Berechnen Sie den Winkel zwischen diesem Vektor und der horizontalen Linie und erstellen Sie eine Homografiematrix, um den umgekehrten Winkel auf das Bild und die Schlüsselpunkte anzuwenden, sodass die Augen horizontal ausgerichtet sind.
7. Schneiden Sie das Gesicht mit den Schlüsselpunkten zu, um seine Grenzen zu erkennen, und leiten Sie das Pflaster dem Convolutional Neural Network¹⁹ zur Emotionserkennung zu. Rufen Sie die Ausgabe aus dem Netzwerk ab, bei der es sich um einen Vektor mit 7 Positionen handelt, wobei jede Position die Wahrscheinlichkeit angibt, dass das Gesicht eine der sieben grundlegenden Emotionen zeigt: neutral, glücklich, angewidert, wütend, verängstigt, überrascht und traurig.
8. Messen Sie den Aufmerksamkeitsgrad, indem Sie die Daten des Beschleunigungsmessers, des Gyroskops und der Herzfrequenz aus dem Datenrahmen abrufen (Abbildung 3).
9. Füttern Sie das auf Deep Learning basierende Modell, das von Grund auf neu entwickelt und trainiert wurde und in den repräsentativen Ergebnissen beschrieben wird, mit dem Strom von Beschleunigungsmesser- und Gyroskopdaten. Rufen Sie die Ausgabe des Modells ab, bei der es sich um einen Vektor mit 4 Positionen handelt, wobei jede Position die Wahrscheinlichkeit angibt, dass die Daten eine der folgenden möglichen Aktionen darstellen: Handschreiben, Tippen auf einer Tastatur, Verwenden eines Mobiltelefons oder Ruhen, wie in Abbildung 4 dargestellt.
10. Füttern Sie den endgültigen Aufmerksamkeitsklassifikator mit einer Linearisierung aller Ergebnisse aus den vorherigen Systemen, indem Sie die Kopfrichtung, die Ausgabe der Emotionserkennung, die Körperhaltung sowie die Gyroskop-, Beschleunigungsmesser- und Herzfrequenzdaten zusammenführen. Rufen Sie die Ergebnisse aus diesem endgültigen Klassifizierer ab, bei dem es sich um eine Punktzahl von 0 bis 100 handelt. Klassifizieren Sie diesen kontinuierlichen Wert in eine der drei möglichen diskreten Aufmerksamkeitskategorien: niedriges Aufmerksamkeitsniveau (0-40 %), mittleres Aufmerksamkeitsniveau (40 %-75 %) und hohes Aufmerksamkeitsniveau (75 % - 100 %). Die Struktur des generierten Datensatzes ist in Tabelle 1 dargestellt.
11. Zeigen Sie dem Lehrer die Ergebnisse der Aufmerksamkeitsstufen über die grafische Benutzeroberfläche (GUI) vom Computer des Lehrers aus an, auf die über einen normalen Webbrowser zugegriffen werden kann.

Abbildung 3: Daten, die von der Smartwatch erfasst werden. Die Smartwatch stellt ein Gyroskop, einen Beschleunigungsmesser, eine Herzfrequenz und einen Lichtzustand als Datenströme zur Verfügung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Abbildung 4: Beispiele für die Kategorien, die vom Aktivitätserkennungsmodell berücksichtigt werden. Das Aktivitätserkennungsmodell erkennt vier verschiedene Aktionen: Handschreiben, Tippen auf einer Tastatur, Verwenden eines Smartphones und Ruheposition. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Die Zielgruppe dieser Studie sind Bachelor- und Masterstudierende, so dass die Hauptaltersgruppe zwischen 18 und 25 Jahren liegt. Diese Population wurde ausgewählt, weil sie mit elektronischen Geräten mit weniger Ablenkungen umgehen kann als jüngere Schüler. Insgesamt umfasste die Gruppe 25 Personen. Diese Altersgruppe kann die zuverlässigsten Ergebnisse liefern, um den Vorschlag zu testen.

Die Ergebnisse des Aufmerksamkeitsniveaus, das dem Lehrer gezeigt wird, bestehen aus 2 Teilen. Teil A des Ergebnisses zeigt individuelle Informationen über das aktuelle Aufmerksamkeitsniveau jedes Schülers. Teil B soll dann die durchschnittliche Aufmerksamkeit der gesamten Klasse und ihre zeitliche Geschichte während der gesamten Lektion gewinnen. Dies ermöglicht es uns, einen allgemeinen Trend der Aufmerksamkeit der Schüler im Klassenzimmer zu erfassen und die vom Lehrer verwendete Methodik live anzupassen. Jede Sekunde fordert die Schnittstelle neue Informationen vom Server an. Darüber hinaus beinhaltet diese Ansicht die Verwendung von Browser-Benachrichtigungen, die es ermöglichen, drastische Veränderungen in der Aufmerksamkeit der Schüler auf unaufdringliche Weise anzuzeigen, während der Lehrer seine Aktivitäten normal ausführt, ohne dass diese GUI im Vordergrund bleiben muss. Ein Beispiel für diese GUI ist in Abbildung 5 zu sehen.

Abbildung 5: Grafische Benutzeroberfläche des Systems. Der Grad der Aufmerksamkeit wird in einer GUI angezeigt, auf die jeder Internetbrowser auf jedem fähigen Gerät zugreifen kann, z. B. einem Tablet, Smartphone und Desktop- oder Laptop-Computer. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Was das Aktivitätserkennungsmodell betrifft, so wurde ein rekurrentes neuronales Netz definiert, so dass es eine Sequenz von 200 Messungen mit jeweils 6 Werten als Eingabe erhält: nämlich drei Werte vom Beschleunigungsmesser und 3 vom Gyroskop. Das Modell besteht aus einer LSTM-Schicht mit 64 Einheiten, gefolgt von einer SoftMax-aktivierten, vollständig verbundenen Schicht mit vier Ausgangsneuronen, eines pro Kategorie. Die Architektur ist in Abbildung 6 dargestellt.

Abbildung 6: Architektur des Aktivitätsklassifikators. Als Eingabe nimmt das Modell Smartwatch-Daten und verarbeitet sie über eine LSTM-Schicht, gefolgt von einer vollständig verbundenen Schicht. Die Ausgabe ist die Wahrscheinlichkeit, dass die Stichprobe jede Aktivität abbildet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Als Ausgabe gibt der Klassifizierer die Klasse zurück, die der geschätzten Aktion entspricht, die vom Schüler ausgeführt wird. Dieses neuronale Netzwerk wurde mit Daten trainiert, die von 6 verschiedenen Personen erfasst wurden. Jeder wurde aufgenommen, während er 200 Sekunden lang Aktionen aus den vier verschiedenen Kategorien ausführte. Alle erfassten Daten wurden dupliziert, wodurch ein neuer gespiegelter Datensatz erzeugt wurde, indem der von den Sensoren in der X-Achse erhaltene Wert invertiert wurde. Dies ist vergleichbar mit dem Sammeln von Daten sowohl von der rechten als auch von der linken Hand aller Personen. Dies ist eine gängige Praxis im Bereich des maschinellen Lernens und soll dazu dienen, mehr Stichproben aus dem vorhandenen Datensatz zu generieren, um eine Überanpassung zu vermeiden.

Die 200 Messungen (ein Datensatz pro Sekunde) werden in Streams von 4 s gruppiert, um den Eingaben aus dem LSTM-Netzwerk zu entsprechen, indem das Fenster jeweils um eine Sekunde verschoben wird. Als Ergebnis erhielten wir 197 Kombinationen von Daten, die in einem Intervall von 4 s aufgenommen wurden. Zusammenfassend gibt es insgesamt 9.456 Dateneingaben, 6 Personen, 4 Klassen, 2 Hände und 197 Trainingssätze. Die Daten wurden in 90 % Training und 10 % Validierung unterteilt, und das Netzwerk wurde für 300 Epochen und eine Batchgröße von 64 trainiert.

Wie in Abbildung 7 gezeigt, wurde das Modell für 300 Epochen trainiert. Der Validierungsverlust betrug weniger als 0,1 % und die Validierungsgenauigkeit 97 %. Die erhaltenen Metriken unterstreichen die gute Leistung des Modells.

Abbildung 7: Trainings- und Validierungsverluste und -genauigkeiten. Trainings- und Validierungsverluste und -genauigkeiten zeigen, dass die Leistung des Modells angemessen ist und nicht unter einer Überanpassung leidet. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

Schließlich werden die Ergebnisse jedes Subsystems (Kopfhaltung, Posenschätzung, Emotionsvorhersage und Aktivitätserkennung) in einem Boosting-Klassifikator zusammengeführt, der einen Wahrscheinlichkeitswert dafür liefert, ob der Schüler der Lektion aufmerksam folgt oder nicht.

Um die konzeptionelle und verfahrenstechnische Klärung für eine korrekte Kennzeichnung und Expertenbeiträge voranzutreiben, wurden bestehende Studien wie unten beschrieben konsultiert.

Was den Input von Experten anbelangt, so wurde die Delphi-Methodegewählt 20,21,22, eine Methode, die im technologischen Bereich23 zunehmend an Bedeutung gewinnt. Wie in einer früheren Veröffentlichung erwähnt, ist die Delphi-Methode definiert als ein iterativer, gruppenbezogener und anonymer Prozess, um Meinungen zu einem Thema zu generieren und den Konsens unter Experten zu diesem Thema zu erforschen23. In dem hier vorgestellten Fall trugen 6 Experten für 2 Wochen und 2 Konsultationsrunden bei, in Übereinstimmung mit Khodyakov et al.24. Aufgrund der Bedeutung des Profils der teilnehmenden Experten wurden akademische Spezialisten von Universitäten aus den Bereichen Psychologie, Pädagogik und Informatik in die Konsultation einbezogen. Für die Erhebung der Daten wurde eine quantitative Methode verwendet. Die Ergebnisse haben zu einem Konsens über die in dieser Studie verwendete Kennzeichnung geführt.

In Bezug auf die Studien, die als Grundlage für die Kennzeichnung herangezogen wurden, begannen wir mit einer explorativen Studie in den wichtigsten Datenbanken, wie WOS und Scopus. Erwähnenswert sind in diesem Zusammenhang die Beiträge früherer Studien 25,26,27,28. Sie alle betrachten die Problematik der Versorgung aus spezifischen Perspektiven, aber nicht ganzheitlich aus einem intelligenten System, wie es in dieser Studie thematisiert werden soll. Auf der anderen Seite gibt es Studien, die zwei spezifische Quellen kombinieren, wie z.B. in Zaletelj et al.29, wo sie sich auf Gesichts- und Körpermerkmale konzentrieren, aber sie sind weit entfernt von globalen Ansätzen wie dieser Studie. Eine frühere Arbeit sticht mit30 heraus und zitiert die Taxonomie von Posner, die in dieser Studie berücksichtigt wird. Posner betrachtet Aufmerksamkeit als eine Reihe isolierbarer neuronaler Systeme (Wachsamkeit, Orientierung und exekutive Kontrolle), die oft zusammenarbeiten, um Verhalten zu organisieren30.

Der Boosting-Klassifikator ist ein Ensemble-Algorithmus, der Gewichte für jede schwache Ausgabe des Klassifikators lernt und durch eine gewichtete Kombination jeder einzelnen Entscheidung einen endgültigen Wert generiert. Diese Informationen werden, wie in Schritt 2.9 beschrieben, in Echtzeit über eine Webschnittstelle dargestellt, so dass der Lehrer drastische Veränderungen des Aufmerksamkeitsniveaus der Klasse mit Browserbenachrichtigungen bemerken kann. Mit dieser Visualisierungsoberfläche, die die Entwicklung des allgemeinen Aufmerksamkeitsniveaus der Schüler in Echtzeit anzeigt, können Lehrer ihren Unterricht so anpassen, dass die Schüler in ihren Unterricht eingebunden werden und mehr aus dem Unterricht herausgeholt wird.

Tabelle 1 zeigt die Datensatzstruktur, die sich aus folgenden Elementen zusammensetzt: Einzelne Kamera: ein Bild pro Sekunde bei 960 x 720 Pixel RGB; Zenital-Kameras: zwei Bilder pro Sekunde mit 1920 x 1080 Pixeln RGB; Gyroskop: 50 Daten pro Sekunde, jeder Datensatz wird in 3 Gleitkommawerte mit 19 Dezimalwerten zerlegt, die den Koordinaten X, Y, Z entsprechen. Misst die Winkelbeschleunigung in °/s; Beschleunigungsmesser: 50 Daten pro Sekunde, jeder Datensatz wird in 3 Gleitkommawerte mit 19 Dezimalwerten zerlegt, die den Koordinaten X, Y, Z entsprechen. Misst die Beschleunigung in m/s2; Rotationsvektor: 50 Daten pro Sekunde, jeder Datensatz wird in eine Quaternion mit 4 Gleitkommawerten mit 19 Dezimalstellen (mit Werten zwischen -1 und 1) zerlegt; Herzfrequenz: ein Wert pro Sekunde zur Messung von Schlägen pro Minute; Light-Sensor: ca. 8-10 Werte pro Sekunde zur Messung des Lichtverhältnisses mit ganzen Zahlen; Kopfrichtung: Für jedes Bild stehen 3 Dezimalzahlen für die X-Achse (Rollen), die Y-Achse (Neigung) und die Z-Achse (Gieren), die die Neigung des Kopfes angeben. Körperpose: Für jedes Bild stehen 18 Dezimalzahlen für die X- und Y-Koordinaten von 9 Schlüsselpunkten.

Tabelle 1: Struktur des Datensatzes. Der Datensatz zeigt zu Klassifizierungszwecken unterschiedliche Daten an. Alle angezeigten Daten stammen aus biometrischen Daten und Bildern, die von verschiedenen Kameras aufgenommen wurden.

Die Autoren erklären, dass ihnen keine konkurrierenden finanziellen Interessen oder persönlichen Beziehungen bekannt sind, die die in diesem Artikel berichtete Arbeit beeinflusst haben könnten.