Verhaltensbeteiligungsbewertung in Universitätsklassen mittels Deep-Learning-basierter Videoobjekterkennung

Zusammenfassung

Diese Studie bewertet das Verhaltensengagement der Studierenden, indem sie ihr Verhalten in Universitätsunterrichtsvideos mittels eines Deep-Learning-Algorithmus erkennt. Sieben Verhaltensweisen, die positiv mit dem Lernengagement korrelieren, werden identifiziert, und ein Bewertungsmodell wird verwendet, um das Gesamtengagement einzelner Schüler und der Klasse zu bewerten.

Zusammenfassung

Diese Studie zielt darauf ab, das Lernengagement der Studierenden in Universitätsklassen mittels Deep-Learning-basierter Videoobjekterkennung zu bewerten. Dazu identifizierte diese Studie mittels Korrelationsanalyse zunächst sieben Verhaltensweisen im Klassenzimmer, die eine hochpositive Korrelation mit dem Lernengagement als Indikatoren zur Messung des Lernengagements der Schüler aufwiesen; anschließend sammelte es 30 synchronisierte Videos des echten Unterrichts aus 6 Klassen der Shandong University of Science and Technology (SDUST) und teilte sie in ein Trainings- und ein Testset auf. Nachdem die sieben Verhaltensweisen manuell in den Trainingsdaten annotiert wurden, wurde ein maschineller Lernalgorithmus auf diesem Set überwacht trainiert. Nach dem Training erzeugte das Modell erste Annotationen für die verbleibenden unbeschrifteten Daten. Um eine genauere und effizientere Verhaltenserkennung im Klassenzimmer zu erreichen, wählte diese Studie zwei repräsentative Algorithmen aus, nämlich Faster R-CNN und YOLOv5s, für Verhaltenserkennungsexperimente. Basierend auf einem Vergleich ihrer Erkennungsleistung hinsichtlich Genauigkeit und Zeitaufwand wurde YOLOv5s für die Verhaltenserkennung im Unterricht in dieser Studie ausgewählt. Schließlich nutzte diese Studie die Fokusgruppenmethode, um jedem Verhalten Werte zuzuweisen und ein dreistufiges Modell zur Bewertung des Lernengagements zu entwickeln. Basierend auf automatisch gemessenen Verhaltensdaten ermöglicht das Modell eine Echtzeit- und automatische Bewertung des Lernengagements sowohl auf individueller als auch auf Klassenebene.

Einleitung

Lernengagement, das sich auf die Beteiligung, Konzentration und Bemühungen der Schüler beim Lernen bezieht, umfasst Verhaltensbeteiligung, emotionale und kognitive Beteiligung¹. Das Lernengagement der Schüler zeigt ihre Lernsituation und hilft Lehrern, ihre Lehrstrategien anzupassen². Das Engagement des Lernens im Klassenzimmer wird jedoch hauptsächlich anhand der Selbstberichte der Schüler und der Beobachtungen der Lehrer bewertet³. Das hohe Lehrer-Studierenden-Verhältnis an chinesischen Universitäten bedeutet, dass es für Lehrkräfte viel Zeit und Aufwand kostet, traditionelle manuelle Methoden zur Bewertung der Lernbeteiligung anzuwenden.

In den letzten Jahren, mit der zunehmenden Beliebtheit intelligenter Aufnahme- und Übertragungsklassenräume in China, ist eine automatische Messung des Lernengagements anhand von Klassenzimmervideos^{möglich geworden}. Aus der Perspektive des intelligent-technologie-gestützten Unterrichts hat diese Studie Deep-Learning-Methoden angewendet, um das Verhalten der Schüler in Universitätsunterrichtsvideos zu erkennen, und ein Bewertungsmodell vorgeschlagen, um das Verhaltensengagement der Schüler automatisch zu messen.

Eine kurze Übersicht über Verhaltensbeteiligungsstudien
Es gibt drei Hauptstufen des Verhaltensengagements: (1) Auf Schulebene bezeichnet es die Begeisterung der Schüler, an außerschulischen Aktivitäten teilzunehmen⁵. (2) Auf Klassenzimmerebene umfasst es positive Verhaltensweisen der Schüler im Unterricht, wie die Einhaltung der Klassenordnung, sowie destruktive Verhaltensweisen wie das Schwänzen des Unterrichts oder das Sprechen in Klasse⁶. (3) Auf der Ebene des Lernprozesses bezieht es sich auf die Teilnahme und das Verhalten der Schüler an Lernaufgaben, wie dem Stellen von Fragen und dem Erledigen von Hausaufgaben⁷. Derzeit lassen sich Methoden zur Bewertung des Verhaltensengagements grob in drei Kategorien einteilen: manuelle, halbautomatische und automatische Methoden⁸.

Manuelle Methoden, darunter Selbstbeurteilung, Interviews, Lehrerbeobachtung und andere traditionelle Bewertungsmethoden, sind arbeitsintensiv und schwierig, um Objektivität und Genauigkeit sicherzustellen. Die Loganalyse ist eine repräsentative, halbautomatische Bewertungsmethode, die hauptsächlich die Lerndaten der Schüler analysiert, die von Lernplattformen gesammelt wurden, einschließlich Indikatoren wie Anmeldehäufigkeit, Online-Dauer und Antwortgenauigkeit. Diese Methode kann das Lernengagement der Schüler objektiver bewerten; Das große Datenvolumen und die Komplexität stellen jedoch Herausforderungen für die spätere Verarbeitung^{mit sich 4}. Die automatische Methode basiert auf Computer Vision und nutzt intelligente Geräte wie Aufzeichnungs- und Übertragungsplattformen, um die Gesichtsausdrücke, Gesten, Verhaltensweisen und andere visuelle Hinweise der Schüler im Unterricht zu erfassen, hauptsächlich zur Einschätzung des Klassenverhaltens. Im Vergleich zu den beiden vorherigen Methoden ermöglicht dieser Ansatz eine schnelle Messung des Verhaltensengagements durch Computer und Algorithmen und ist weniger anfällig für subjektive Interferenz⁹.

Eine kurze Übersicht über die Bewertung des Verhaltensengagements auf Basis der Objekterkennung
Mit dem Aufstieg des Deep Learning werden Objekterkennungstechniken zunehmend auf die Lernbeteiligungsanalyse angewandt. Objekterkennungsalgorithmen führen Objektklassifikation und -lokalisierung in Bildern auf Basis von konvolutionalen neuronalen Netzen durch. In Smart Classrooms mit Videoaufzeichnungssystemen können solche Algorithmen visuelle Informationen zu Haltungen, Gesten und Gesichtsausdrücken der Schüler aus Unterrichtsvideos erkennen und so die automatische Erkennung des Verhaltens der Schüler und deren Verhaltensbeteiligung ermöglichen. Folglich kann der Lernzustand im Klassenzimmer, der sich in den nonverbalen Verhaltensweisen der Schüler widerspiegelt, effektiv interpretiert^{werden 9}.

Eine Vielzahl von Geräten und Algorithmen wurde eingesetzt, um die vielfältigen nonverbalen Verhaltensweisen der Schüler anhand von Videos zu sammeln und zu identifizieren. Rahman et ^al.10 sowie Zaletelj und Košir¹¹ nutzten Kinect-Sensoren, um die Sichtlinien, Gesichtsinformationen, Körperhaltungsmerkmale usw. der Schüler zu erfassen und analysierten das Aufmerksamkeitsniveau der Schüler mit maschinellen Lernalgorithmen. Whitehill et ^al.8 nutzten eine iPad-Webcam, um die Gesichtsausdrücke der Schüler aufzuzeichnen und so ein Erkennungsmodell zu trainieren, was bewies, dass die maschinelle Lerntechnik in Bezug auf die Genauigkeit der Bewertung des Lernengagements der menschlichen Beobachtung gleichwertig ist. Sukumaran und Manoharan¹² erkannten das Engagement des Schülers mithilfe von EGG-Signalen. Ashwin und Guddeti¹³ nutzten konvolutionelle neuronale Netze, um Unterrichtsvideos im Labor zu analysieren und so nonverbale Verhaltensweisen wie Gesichtsausdrücke, Handhaltungen und Körperhaltungen zu erkennen und das Lernengagement zu bewerten. Bai et ^al.14 nutzten Faster R-CNN mit multiplexierter Funktionsfusion, um Verhaltensweisen im Klassenzimmer wie Lernen, Schlafen und Kopf nach unten durch Transferlernen zu erkennen. Deng et ^al.9 analysierten Fernunterrichtsvideos durch die Kombination von Faster R-CNN Deep-Learning-Techniken und schlugen eine Methode zur Verhaltenserkennung und Unterrichtsbeteiligungsmessung basierend auf Kopf-, Hand- und Körperhaltungen der Schüler vor.

Frühe Studien wurden hauptsächlich in Laborumgebungen durchgeführt, von denen sich viele auf eine einzelne Person in einem einzigen Szenario konzentrierten 10,11,12,13, während neuere Studien zunehmend reale Klassenzimmerumgebungen untersuchten 9,14,15,16,17,18,19 . Darüber hinaus ist das Spektrum der untersuchten Verhaltensweisen zunehmend vielfältig geworden. So analysierten Bai et ^al.14 und Ouyang et ^al.15 Unterrichtsvideos, in denen nur zwei Verhaltensweisen – Kopf oben und Kopf unten – identifiziert wurden. Deng et ^al.9 untersuchten Videos aus Grundschulklassen und erweiterten die erkannten Verhaltenskategorien von Kopfbewegungen auf Hand- und Körperbewegungen. Zhang und Kollegen¹⁶ sammelten fünf Arten von Verhaltensweisen der Schüler, darunter nach oben schauen, nach unten schauen, schlafen, sich umschauen und gähnen.

Da die Daten jedoch aus Grundschulklassen erhoben wurden, in denen die Schüler typischerweise in festen Positionen sitzen, blieb die Bandbreite beobachtbarer Verhaltensweisen relativ begrenzt. Daher konzentrierten sich spätere Studien zunehmend auf Universitätsklassenzimmer. Viele Universitätsklassen sind groß, mit etwa hundert Studierenden, die oft zufällig sitzen, was es erschwert, das Verhalten der Studierenden zu erkennen. Darüber hinaus zeigen die Studierenden in realen universitären Klassenzimmern eine größere Verhaltensvielfalt und Interaktivität, einschließlich Interaktionen mit Lehrern, Kommilitonen, Tafeln und Lehrbüchern. Yan et ^al.17 schlugen eine auf Deep-Learning-Basis basierende Posture-Erkennungsmethode, BetaPose, vor, die entwickelt wurde, um die Genauigkeit der Haltungserkennung in überfüllten Klassenzimmerszenen zu verbessern. Tan et ^al.18 integrierten ein Koordinaten-Aufmerksamkeitsmodul (CA) in das YOLOv9-Netzwerk, und das daraus resultierende CA-YOLOv9-Modell wurde zur Erkennung von sieben Klassenverhaltensweisen in komplexen universitären Klassenzimmerumgebungen mit großer Studierendenpopulation angewandt. Wang et ^al.19 schlugen ein bidirektionales Feature-Augmentationsnetzwerk (BATNet) vor, um das Verhalten der Schüler in intelligenten Klassenräumen zu identifizieren, insbesondere bei kleinen und verstopften Zielgruppen.

Mit den entwickelten Algorithmen wurden die Geschwindigkeit und Genauigkeit der Verhaltenserkennung erheblich verbessert; Aktuelle Studien haben jedoch die Erklärung ignoriert, ob es eine Korrelation zwischen erkanntem Verhalten im Klassenzimmer und dem Engagement der Schüler gibt, sodass Fragen wie die Frage, ob bestimmte Verhaltensweisen als Parameter zur Messung des Verhaltensengagements verwendet werden können und welche Verhaltensweisen das Lernengagement effektiv widerspiegeln können, unbeantwortet bleiben. Außerdem muss eine Möglichkeit gefunden werden, das Verhaltensengagement der Schüler explizit zu zeigen. Daher identifizierte diese Studie das Verhalten im Klassenzimmer, das stark mit dem Lernengagement der Schüler zusammenhängt, mittels Korrelationsanalyse; Gleichzeitig wurde ein Bewertungssystem entwickelt, um ein Bewertungsmodell für das Verhaltensengagement zu erstellen. Daher kann eine automatische Messung des Verhaltensengagements sowohl für einzelne Schüler als auch für die gesamte Klasse erreicht werden.

Protokoll

Alle Videos wurden in Übereinstimmung mit den aktuellen ethischen Praktiken der menschlichen Forschung gemäß der Shandong University of Science and Technology aufgenommen und verwendet. Die Genehmigung für die Nutzung der Daten wurde erteilt.

Zunächst wurde eine Korrelationsanalyse durchgeführt, um das Verhalten der Schüler zu identifizieren, das als Indikatoren für das Verhaltensengagement dienen könnte. Nachdem der Datensatz durch Frame-Extraktion erstellt und in einen Trainingssatz und einen Testsatz unterteilt wurde, wurden zwei repräsentative Algorithmen zur Objekterkennung im Trainingssatz ausgeführt und hinsichtlich Genauigkeit und Effizienz verglichen. Schließlich wurde der Algorithmus mit besserer Leistung (YOLO-v5s) ausgewählt, um auf dem Testsatz zur Verhaltenserkennung auszuführen. Abbildung 1 zeigt das Flussdiagramm des Prozesses der Identifikation und Erkennung des Verhaltens der Schüler.

Abbildung 1. Flussdiagramm zur Identifikation und Erkennung des Verhaltens der Schüler. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Identifikation von Indikatoren
Vor der Durchführung von Objekterkennungsexperimenten mussten nonverbale Verhaltensweisen identifiziert werden, die auf das Verhaltensengagement der Schüler hinweisen. Bis heute haben Studien zur Verhaltensbeteiligung auf Basis von Objekterkennung Erfolg bei der Erkennung verschiedener nonverbaler Verhaltensweisen erzielt, darunter Sichtlinien, Gesichtsinformationen und Körperhaltung 9,10,11,12,13,14. Ob bestimmte Verhaltensweisen als Indikatoren für das Verhaltensengagement der Schüler gerechtfertigt sind, wurde jedoch bisher nicht diskutiert. Daher wurde in dieser Studie eine Korrelationsanalyse zwischen dem Verhalten der Schüler und ihrem Verhaltensengagement verwendet, um Verhaltensweisen zu identifizieren, die auf Verhaltensbeteiligung hinweisen.

(1) Verhaltens-Engagement-Test
Diese Studie wählte 122 Bachelor-Studierende aus vier natürlichen Klassen von Nicht-Englisch-Studierenden an der SDUST-Jinan als Stichprobe für eine korrelative Studie aus. Zunächst wurden Selbstberichtsskalen eingesetzt, um Verhaltensbeteiligungsdaten der 122 Schüler zu sammeln, mit dem Ziel, ihren Verhaltensstatus aus einer internen Erfahrungsperspektive zu verstehen. Da die Videodaten aus dem Klassenzimmer dieser Studie aus "Academic English"-Kursen stammten, wurde das von Ren Qingmei²⁰ entwickelte multidimensionale Bewertungsinstrument für das Lernengagement in Englischklassen am College übernommen. Dieses Instrument ist speziell für die chinesische Fremdsprachenlehrumgebung konzipiert und verwendet die gleiche klassische Kategorisierung des Lernengagements wie diese Studie, die drei Dimensionen umfasst: Verhaltens-, Affektiv- und kognitives Engagement. Darunter besteht das Instrument zur Verhaltensbeteiligung aus neun Punkten, die der Interaktion zwischen Lehrer und Schüler entsprechen (z. B. "Ich beantworte aktiv Fragen, die der Lehrer im Englischunterricht stellt"), individueller Einsatz (z. B. "Ich berücksichtige die Schwierigkeiten beim Englischunterricht sorgfältig"), Interaktion mit Gleichaltrigen (z. B. "Ich arbeite mit anderen Schülern zusammen, um Lernaufgaben im Englischunterricht zu erledigen") usw. Jeder Punkt wird in einem Likert-5-Punkte-Format präsentiert, mit Antwortoptionen wie "fast nie, selten, manchmal, oft, immer", bewertet von 1 bis 5, wobei die Schüler die Option auswählen müssen, die am besten zu ihrem Lernerlebnis passt. Schüler mit 15 Punkten oder darunter wurden als Schüler mit geringem Engagement eingestuft, solche mit 16–30 Punkten als Schüler mit moderatem Engagement und diejenigen mit 31–45 Punkten als Schüler mit hohem Engagement. Schließlich wurden 120 gültige Skalen gesammelt, wobei 17 Schüler in der Kategorie mit geringem Engagement, 45 in der Kategorie mit moderatem Engagement und 58 in der Kategorie mit hohem Engagement waren.

(2) Verhaltensidentifikation
Unterdessen wurden vier aufgenommene Videos mit insgesamt 50 Minuten aus voll besuchten "Academic English"-Kursen in diesen vier Kursen gesammelt. Mit einem alle 15. Sekunden gezeichneten Rahmen wurden schließlich 200 Bilder zur Beobachtung extrahiert. Basierend auf wiederholten Anschauungen der Videoproben durch drei Schüler identifizierte diese Studie zunächst 12 Arten von Verhaltensweisen im Klassenzimmer, nämlich das Herumschauen, das Handy benutzen, diskutieren, umherwandern, herumlaufen, essen oder trinken, Notizen machen oder lesen, aufmerksames Zuhören, aufstehen (um eine Frage zu beantworten), gähnen, schlafen und den Computer benutzen. Beispiele für die 12 Verhaltensweisen sind in Abbildung 2 dargestellt.

Abbildung 2. Beispiele für 12 Verhaltensweisen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Jeder Typ wurde von detaillierten Beschreibungen visueller Merkmale und raumzeitlichen Kontexts begleitet und bildete das Standardverfahren für Classroom Behavior Annotation, das eine konzeptionelle Konsistenz zwischen den Annotationen sicherstellte. Tabelle 1 zeigt die 12 Kategorien des Verhaltens der Schüler und die Beschreibungen jedes einzelnen Verhaltens.

Das Umschauen bedeutete, den Kopf deutlich nach links, rechts und zurück zu drehen. Schüler galten als Teil einer Diskussion, wenn sie den Kopf drehten und den Mund öffneten. Im Klassenzimmer war aufmerksames Zuhören damit verbunden, direkt auf die Tafel oder auf den Lehrer zu schauen, der vor ihnen stand; Wenn der Blick woanders hin gerichtet war, war es sehr wahrscheinlich, dass der Schüler umherwanderte. Wenn der Schüler eine kopfgesenkte Haltung zeigte und ein Objekt wie ein Buch oder Notizbuch vorhanden war, konnte dieses Verhalten als Notizen machen oder ein Buch lesen identifiziert werden. Wenn das Verhalten eine stehende Haltung beinhaltete und der Schüler mit offenem Mund auf seinem Platz stand, galt es als Antwort auf eine Frage in stehender Position; Wenn der Schüler von seinem Platz abgestanden war, galt er als unterwegs, was darauf hindeuten könnte, dass der Schüler zu spät zum Unterricht kam oder das Klassenzimmer verließ usw. Wenn ein Schüler mit dem Kopf auf dem Tisch lag, wurde er als schlafend identifiziert. Wenn ein Schüler Essen oder Getränke in den Händen hielt, wurde das Verhalten als Essen oder Trinken identifiziert. Ein weit geöffneter Mund oder eine körperdehnende Verhaltenshaltung deutete darauf hin, dass der Schüler gähnte.

Verhaltenskategorie	Verhaltensbeschreibung
Sich umschauen	Offensichtliche Kopfbewegung nach rechts, links oder nach hinten
Nutzung des Mobiltelefons	Ein Handy mit den Händen berühren
Diskussion	Mund offen, begleitet von einer Kopfbewegung
Umherwandern	Ein glasiger Blick auf irrelevante Stellen
Im Umlauf	Vom Sitz absteigen
Essen oder Trinken	Mund offen und in Kontakt mit Nahrung oder Wasser
Notizen machen oder lesen	Notizen machen oder in ein Buch schauen.
Aufmerksam zuhören	Ich starrte auf die Tafel oder den Lehrer
Aufstehen (um Fragen zu beantworten)	Aufstehen am Sitz mit offenem Mund
Gähnen	Mund offen oder Körper dehnt sich
Schlafen	Kopf auf den Schreibtisch
Mit dem Computer	Ein geöffneter Computer auf dem Schreibtisch

Tabelle 1: Kategorien und Beschreibungen des Verhaltens der Schüler.

(3) Korrelationsanalyse
Anhand der oben genannten Kriterien wurden 12 erfahrene Lehrkräfte eingeladen, Videos der 120 Schüler anzusehen und deren Verhaltenstypen und -häufigkeiten aufzuzeichnen. Die Verhaltensweisen wurden gemäß Tabelle 1 identifiziert. Die Lehrer wurden in vier Gruppen unterteilt, jeweils drei Lehrer. Jede Gruppe war dafür verantwortlich, 30 Schüler aufzuzeichnen, wobei jeder der drei Lehrer unabhängig das Verhalten von 30 Schülern dokumentierte. Cronbachs Alpha (als α bezeichnet) ist ein Indikator zur Messung der internen Konsistenz einer Skala oder eines Fragebogens. Der Wertbereich von Cronbachs Alpha liegt von 0 bis 1, und α ≥ 0,8 wird üblicherweise als gute interne Konsistenz²¹ interpretiert. Wenn es einen hohen Grad an Konsistenz (α > 0,8, also einen hohen Grad an Konsistenz) in der Häufigkeit einer bestimmten Verhaltensart bei allen drei Lehrkräften gab, wurde die Häufigkeit des Verhaltens als Durchschnitt der drei Frequenzen aufgezeichnet. Anschließend wurde eine Korrelationsanalyse zwischen den beiden Faktoren durchgeführt, wobei die Daten einerseits die Häufigkeiten unterschiedlicher Verhaltensweisen jedes Schülers und andererseits deren Verhaltensbeteiligung repräsentierten. Das Ergebnis ist in Tabelle 2 dargestellt.

Verhaltensweisen		Verhaltensbeteiligung
Essen oder Trinken	Pearson-Korrelation	.319**
	Sig. (zweischwänzig)	0.004
	N	120
Gähnen	Pearson-Korrelation	-.335**
	Sig. (zweischwänzig)	0
	N	120
Diskussion	Pearson-Korrelation	.546**
	Sig. (zweischwänzig)	0
	N	120
Im Umlauf	Pearson-Korrelation	-.774**
	Sig. (zweischwänzig)	0
	N	120
Wandern	Pearson-Korrelation	.293**
	Sig. (zweischwänzig)	0.008
	N	120
Sich umschauen	Pearson-Korrelation	-.834**
	Sig. (zweischwänzig)	0
	N	120
Lesen oder Notizen machen	Pearson-Korrelation	.912**
	Sig. (zweischwänzig)	0
	N	120
Aufmerksam zuhören	Pearson-Korrelation	.881**
	Sig. (zweischwänzig)	0
	N	120
Aufstehen	Pearson-Korrelation	.330**
(um eine Frage zu beantworten)	Sig. (zweischwänzig)	0
	N	120
Schlafen	Pearson-Korrelation	-.411**
	Sig. (zweischwänzig)	0
	N	120
Verwendung	Pearson-Korrelation	.591**
Mobiltelefon	Sig. (zweischwänzig)	0
	N	120
Mit dem Computer	Pearson-Korrelation	.362**
	Sig. (zweischwänzig)	0.001
	N	120

Tabelle 2: Ergebnisse der Korrelationsanalyse.

In der Korrelationsanalyse ist r der Korrelationskoeffizient und bezeichnet den linearen Korrelationsgrad zwischen zwei Variablen, der von −1 bis 1 reicht. Je nach Beziehungsgrad kann Korrelation in folgende Typen eingeteilt werden:
Hohe Korrelation (│r│ ≥ 0,70)
Mittlere Korrelation (0,40 ≤ │r│ ≤ 0,70)
Geringe Korrelation (│r│ ≤ 0,40)

Je nach Richtung der Beziehung kann sie in folgende Typen eingeteilt werden:
Positive Korrelation (r > 0)
Negative Korrelation (r < 0)
Keine Korrelation (r = 0)

Aus Tabelle 1 lässt sich erkennen, dass sieben Verhaltensweisen, darunter das Umschauen (r = −0,834**, p < 0,05), das Umschauen (r = 0,591**, p < 0,05), das Diskutieren (r = 0,546, p < 0,05), das Herumgehen (r = −0,774**, p < 0,05), Notizen machen oder Lesen (r = 0,912**, p < 0,05), das aufmerksame Zuhören (r = −0,881**, p < 0,05) und das Schlafen (r = −0,411**, p < 0,05), eine hohe oder mittlere Korrelation mit der Verhaltensbeteiligung aufwiesen, während Verhaltensweisen wie Essen oder Trinken (r = 0,319**, p = 0,04), Aufstehen (um eine Frage zu beantworten) (r = 0,330**, p = 0,00), Gähnen (r = −0,335**, p < 0,05), Herumwandern (r = 0,293, p > 0,05) und Computernutzung (r = 0,362, p < 0,05) eine geringe oder keine Korrelation zur Verhaltensbeteiligung aufwiesen. Basierend auf der Korrelationsanalyse identifizierte diese Studie letztlich sieben Verhaltensweisen als Indikatoren für Lernengagement, nämlich das Umschauen, das Benutzen eines Handys, Diskussionen, Herumgehen, Notizen machen oder lesen, aufmerksames Zuhören und Schlafen.

Aufbau des Datensatzes
Die in dieser Studie verwendeten Videodaten wurden von der direkten Aufzeichnungsplattform von SDUST gesammelt, die synchronisierte Videos des echten Unterrichts im Klassenzimmer des Kurses "Academic English" bereitstellte. Zehn Videos aus vier Klassen von Nicht-Englisch-Studiengängen wurden gesammelt, jeweils etwa 50 Minuten lang, um einen lernbaren Datensatz des Klassenverhaltens der Schüler zu erstellen. Mit einem Bild, das alle 15 Sekunden gezeichnet wurde, wurden letztlich 2.000 Bilder mit einer Auflösung von 1.920 × 1.080 extrahiert.

Aufteilung des Datensatzes
Das Experiment teilte den Verhaltensdatensatz der Schüler in zwei völlig unabhängige Teile auf: einen Trainingssatz und einen Testset, wie in Tabelle 3 gezeigt, ohne gemeinsame Bilder. Der Datensatz deckte alle sieben Verhaltensweisen der Schüler ab. Der Trainingssatz und der Testsatz wurden jeweils zum Training von Modellparametern und zur Bewertung der Genauigkeit verwendet. Die Trainingsparameter wurden wie in Tabelle 4 dargestellt festgelegt.

Datensatz	Anzahl der Bilder
Gesamt	2830
Trainingsset	2111
Testsatz	719

Tabelle 3: Aufteilung des Datensatzes für das Schülerverhalten.

Parameter	Wert
Lernrate	0.01
Schwung	0.937
Gewichtsabnahme	0.0005
Epoche	100
Chargengröße	16

Tabelle 4: Festlegung der experimentellen Parameter.

Um Datenlecks zu verhindern, die durch das Auftreten desselben Schülers in verschiedenen Teilgruppen verursacht werden, und um die natürliche zeitliche Kontinuität des Verhaltens zu bewahren, wurde eine "Stratified Temporal Split"-Methode eingeführt.

Subjektdisjunktion: Der Datensatz wurde durch eindeutige Studenten-IDs aufgeteilt, um sicherzustellen, dass die Studierenden in den Trainings-, Validierungs- und Testsets sich gegenseitig ausschließen.

Zeitliche Partitionierung: Die Videos waren chronologisch sortiert. Die ersten 70 % der temporalen Segmente wurden für das Training verwendet, die nächsten 15 % für die Validierung und die letzten 15 % für Tests. Diese Methode simulierte die reale zeitliche Verallgemeinerung besser im Vergleich zur zufälligen Aufteilung.

Klassenausgleich: Für unterrepräsentierte Kategorien wie "schlafen" und "Handynutzung" wurde moderate Übersampling innerhalb des Trainingssets angewendet, um sicherzustellen, dass das Modell Eigenschaften aus allen Kategorien lernt.

Annotation des Trainingsdatensatzes
Ein Open-Source-Annotationstool wurde verwendet, um die Trainingsdaten manuell zu annotieren. Das Werkzeug wurde zur Annotation von Begrenzungsboxen eingesetzt. Der spezifische Arbeitsablauf war wie folgt: (1) Keyframes wurden mit einer festen Rate (1 Bild/s) aus Überwachungsvideos extrahiert, die verschiedene Schulen, Zeitfenster und Kurstypen abdeckten, gefolgt von Anonymisierungsprozessen wie Gesichtsverschärfung; (2) Nach dem Annotations-SOP verwendeten Annotatoren rechteckige Kästchen, um den Schüler, der ein bestimmtes Verhalten zeigt, präzise zu markieren und die entsprechende Kategorie zu benennen; (3) Anmerkungen wurden als XML-Dateien im PASCAL-VOC-Format exportiert.

Um die Qualität des Etiketts zu gewährleisten, insbesondere um Fehler bei der Unterscheidung mehrdeutiger Verhaltensweisen (z. B. Diskussion vs. Umherwandern) zu vermeiden, wurde ein kollaborativer Mechanismus "Dreistufiges Annotation-Schiedsverfahren" implementiert:

Anfangsbemerkung: Jedes Keyframe wurde unabhängig von drei geschulten Annotatoren annotiert. Jedes Label besteht aus einem Kategorienlabel und einer Begrenzungsbox.

Konsistenzverifikation: Intersection-over-Union und Kategorienkonsistenz zwischen Annotationen wurden berechnet. Begrenzungsboxen, die Ergebnisse der Annotation mit IoU > 0.8 und identischen Kategorielabels sind, galten als "konsistente Annotationen". Begrenzungsboxen mit IoU ≤ 0,8 oder nicht identischen Kategoriebezeichnungen galten als "inkonsistente Annotationen".

Sachverständiges Schiedsverfahren: Bei inkonsistenten Anmerkungen (z. B. mehrdeutige Fälle wie "sich umsehen" vs. "diskutieren") traf ein Gremium von Experten mit Lehrerfahrung die endgültige Entscheidung basierend auf dem Videoclip, dem Verhaltenskontext und pädagogischem Vorwissen. Die endgültige Feststellung erfolgt durch die Überprüfung der Etikettgenauigkeit durch Inspektion des Ausgangsvideosegments des Schlüsselbildes.

Die Annotation zeigte, dass das Verhalten der Schüler durch mehrere, intensive und kleine Ziele gekennzeichnet war, wie in Abbildung 3 gezeigt.

Abbildung 3. Ein Beispiel für eine Bildannotation im Klassenzimmer. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Die Schüler im Unterricht zeigten Verhaltensweisen wie aufmerksames Zuhören, das Benutzen eines Handys und häufiges Lesen oder Notizen, während die Häufigkeit des Herumlaufens, Herumwanderns usw. relativ gering war. Abbildung 4 zeigt die Verteilung der Verhaltensweisen im Unterricht im Trainingsdatensatz.

Abbildung 4. Verteilung der Verhaltensweisen im Trainingsdatensatz. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Erkennung des Verhaltens der Schüler
Die auf Deep-Learning-Objekterkennung basierenden Frameworks wurden hauptsächlich in zwei Kategorien unterteilt:²²: zweistufige Methoden, vertreten durch die Faster R-CNN-Serie, und einstufige Methoden, vertreten durch YOLO. Für die erste Kategorie generierten die zweistufigen Detektionsmethoden zunächst Regionsvorschläge mittels eines Region Proposal Network (RPN), bevor detaillierte Klassenwahrscheinlichkeitsberechnungen und Begrenzungsbox-Regressionen durchgeführt wurden. Für die zweite Kategorie vereinfachten die einstufigen Methoden den Erkennungsprozess, indem sie gleichzeitig Objektklassen und Begrenzungsboxen in einer einzigen Stufe vorhersagten. Während zweistufige Methoden bereits früher in der Entwicklung des Fachgebiets entstanden, haben einstufige Ansätze aufgrund ihrer vereinfachten Architektur und rechnerischen Effizienz an Popularität gewonnen. Um eine genauere und effizientere Verhaltenserkennung im Klassenzimmer zu erreichen, wählte diese Studie repräsentative Algorithmen aus beiden Kategorien aus, nämlich Faster R-CNN^23,24 und YOLO-v5^25,26, um Verhaltenserkennungsexperimente im Klassenzimmer durchzuführen, verglich die Erkennungsergebnisse der beiden Algorithmen, bevor schließlich der verwendete Algorithmus für die Verhaltenserkennung in dieser Studie entschieden wurde.

Um die experimentellen Ergebnisse effizient zu bewerten, lag der Fokus auf der Gesamtgenauigkeit der Erkennung im Vergleich zu den Zeitkosten jedes algorithmischen Modells. Zur Messung der beiden Modelle wurden mittlere durchschnittliche Präzision (mAP) und Trainingszeit (h) verwendet.

Sieben Verhaltenskategorien wurden mit beiden Methoden zur Erkennung erkannt, und die durchschnittlichen Erkennungsgenauigkeitswerte (AP) wurden in Tabelle 5 erfasst. Unter ihnen übertroffen YOLO-v5 Faster R-CNN bei der Erkennung von drei Aktionskategorien, nämlich Herumlaufen, aufmerksames Zuhören von Vorlesungen und Nutzung von Mobiltelefonen, mit AP-Werten von 100 %, 62,7 % bzw. 31,8 %.

Netzwerkmodell	Diskussion	Unterwegs	Aufmerksam zuhören	Sich umsehen	Schlafen	Notizen machen oder lesen	Nutzung des Mobiltelefons
Schnelleres R-CNN	32.6	99.5	45.4	9.3	22	52.6	26.8
YOLO-v5s	17.8	100	62.7	3.8	19	51	31.8

Tabelle 5: Die durchschnittliche Präzision der beiden Algorithmen für eine einzelne Klasse.

Die Trainingszeit und die durchschnittliche Detektionsgenauigkeit der beiden klassischen Detektionsnetzwerke auf dem Testsatz bei einem IoU von 0,5 sind in Tabelle 6 dargestellt. Obwohl das Faster R-CNN-Netzwerk eine höhere Genauigkeit hatte, war seine Laufzeit relativ lang. Im Vergleich dazu hatten YOLO-v5 eine um 30 % kürzere Laufzeit und nur eine Genauigkeitsreduktion um 0,3 %, was eine größere Effizienzsteigerung zeigte. Angesichts des Bedarfs an Echtzeit-Erkennung des Schülerverhaltens im Klassenzimmer in dieser Studie wurde erwartet, dass die Trainingszeit für das Netzwerk so kurz wie möglich sein sollte. Unter Berücksichtigung sowohl der Erkennungsgenauigkeit als auch der Zeitaufwand der auf dem Trainingssatz trainierten Modelle kam diese Arbeit zu dem Schluss, dass YOLO-v5s besser für die Verhaltenserkennung von Schülern im Unterricht geeignet ist.

Netzwerkmodell	h	mAP@0,5 (%)
Schnelleres R-CNN	2.88	41.17
YOLO-v5s	2.016	40.87

Tabelle 6: Vergleich der Erkennungsleistung.

Daher wurde in dieser Studie YOLO-v5s ausgewählt, um das Verhalten im Unterricht zu erkennen. Die von YOLO-v5s erzeugten Detektionsergebnisse sind in Abbildung 5 dargestellt und zeigen eine kontinuierliche Multi-Target-Verhaltenserkennung zusammen mit den entsprechenden Labels.

Abbildung 5. Beispiele für Detektionsergebnisse des Testsets. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

(1) Datenerweiterung und Vorverarbeitung
Um die Modellrobustheit und Verallgemeinerung zu erhöhen, wurde während des Trainings eine Strategie der zusammengesetzten Datenergänzung eingesetzt, die zufällige affine Transformationen, Farbjitter und zufällige Okklusion umfasst. Alle Bilder wurden einheitlich auf 640 × 640 Pixel verkleinert.

(2) Trainingsstrategie
Der Ausbildungsprozess war in drei Phasen unterteilt:
Phase des eingefrorenen Rückgrats (Epochen 1–100): Das Rückgratnetzwerk war eingefroren, und nur der Detektionskopf wurde trainiert, wobei eine niedrige Lernrate zum Aufwärmen verwendet wurde.
Full Network Fine-tuning Phase (Epochen 101-250): Alle Netzwerkschichten wurden auftauen. Ein Cosinus-Annealing-Scheduler hat die Lernrate angepasst.
Verfeinerungsphase (Epochen 251–300): Der exponentielle gleitende Durchschnitt wurde zur Stabilisierung des Trainings angewendet, und die Intensität der Datenerweiterung wurde für die Modellverfeinerung reduziert.

Um das Klassenungleichgewicht zu beheben, wurden klassenspezifische Gewichte umgekehrt proportional zu ihren Frequenzen im Trainingsset auf die Verlustfunktion angewendet.

(3) Nachbearbeitung und temporale Optimierung
Um zeitliche Konsistenz im Klassenverhalten zu gewährleisten, wurde nach der Modellinferenz ein temporaler Konsistenzfilter angewendet. Konkret musste für ein erkanntes Ziel in einer Videosequenz seine Verhaltenskategorie in mindestens drei aufeinanderfolgenden Bildern identifiziert werden, um bestätigt zu werden, wodurch vorübergehende Fehlalarme effektiv gefiltert wurden.

Etablierung der Methode zur Bewertung von verhaltensbezogener Beteiligung
Diese Studie verwendete die Fokusgruppenmethode, um jedem Verhalten Werte zuzuweisen. Zwanzig Universitätslehrer der ersten Reihe wurden eingeladen, das Engagement der sieben Verhaltenskategorien anhand ihrer Erfahrung im Klassenmanagement zu bewerten. Alle 20 Lehrer unterrichteten seit mehr als zehn Jahren und hatten eine breite Palette von Kursen in verschiedenen Fachrichtungen unterrichtet. Die Engagement-Werte reichten von 0 bis 3, wobei 0-1 auf niedriges Engagement, 1-2 auf mittleres Engagement und 2-3 auf hohes Engagement hindeutete. Wenn es einen hohen Grad an Konsistenz (α > 0,8) in den Bewertungen mehrerer Bewerter für eine bestimmte Art von Verhalten gab, wurde das Engagement dieses Verhaltens durch die Durchschnittswerte der einzelnen Lehrer gemessen. Die endgültigen Bewertungen für jede Verhaltensart sind in Tabelle 7 dargestellt.

Verhaltenstyp	Schau dich um	Mit dem Handy	Diskussion	Herumlaufen	Notizen machen oder Lesen	Hören Sie aufmerksam zu	Schlaf
Engagement-Score	0.9	1.2	1.9	0.6	2.7	2.8	0.2

Tabelle 7: Verhaltensbewertungen.

Die Formel für das Verhaltensengagement jedes Schülers lautet

E_Si = Verhaltensbeteiligung des Schülers, S_j = Verhaltenswert, f_j = Verhaltenshäufigkeit j.

Unter der Annahme, dass die Anzahl der erkannten Verhaltensweisen eines Schülers in einer Klasse 100 beträgt, darunter 4 "Diskussion", 68 "aufmerksames Zuhören", 25 "Lesen/Notizen machen" und 3 "Umsehen", so betrug der Gesamtwert des Schülers für persönliches Engagement (1,9 × 4 + 2,8 × 68 + 2,7 × 25 + 0,9 × 3) / 100 = 2,68. Nimmt man die gesamte Vorlesung als Maßstab, wurde das Verhaltensengagement in vier Stufen unterteilt, entsprechend einer Equal-Interval-Division einer 0-3-Skala: Ein Wert unter 0,75 wurde als "nicht engagiert", 0,76-1,5 als "leicht engagiert", 1,6-2,25 als "engagiert" und 2,26-3 als "sehr engagiert" definiert; daher wurde der Schüler als "sehr engagiert" für den Kurs bewertet.

Das Verhaltensengagement der gesamten Klasse bezog sich auf die durchschnittliche Punktzahl aller Schüler. Die Formel für das Verhaltensengagement der Klasse lautet:

E_c = Verhaltensbeteiligung der Klasse, E_S = Verhaltensbeteiligung eines bestimmten Schülers, n = Anzahl von Schülern

Ergebnisse

Durch das Erkennen von Verhaltensweisen und die Verwendung des Bewertungsmodells wurde eine automatische Messung des Verhaltensengagements der Schüler erreicht. Nehmen wir eine Klasse im Video als Beispiel, könnte das Echtzeit-Verhaltensengagement jedes Schülers anhand der Ergebnisse der Verhaltenserkennung und des Bewertungsmodells berechnet werden. Abbildung 6 zeigt das Verhaltensengagement von zwei Schülern in dieser Klasse und zeigt ihr ...

Diskussion

Diese Studie erkannte die automatische Erkennung und Messung des Verhaltensengagements. Im Vergleich zu früheren Studien waren die identifizierten Verhaltensweisen repräsentativer für Universitätsklassen (wie die Nutzung von Mobiltelefonen), und die Bewertung der Verhaltensbeteiligung wurde in Abbildungen dargestellt, was es intuitiv machte, etwas zu erkennen. Dieser automatische Messansatz ermöglichte es Lehrern, das Engagement einzelner Schüler sowie der gesamten Klasse effizient und k...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Unterrichtsvideos			Die in dieser Studie verwendeten Videodaten werden von der Direktaufzeichnungsplattform der Shandong University of Science and Technology (SDUST) gesammelt und sind synchronisierte Videos des echten Unterrichts im Unterricht des Kurses Akademisches Englisch. 30 Videos von 6 Klassen von Nicht-Englisch-Studierenden wurden gesammelt, jeweils etwa 50 Minuten lang, um einen trainierbaren Datensatz der Studierenden zu erstellen Verhalten im Klassenzimmer.
IBM SPSS Statistik 26	IBM		SPSS für Windows ist ein modulares Softwarepaket, das Dateneingabe-, Organisations- und Analysefunktionen integriert. Zu den grundlegenden Funktionen gehören Datenmanagement, statistische Analyse, Diagrammanalyse, Output-Management und so weiter. SPSS wird in diesem Artikel hauptsächlich für Konsistenzanalysen und Korrelationsanalysen verwendet.
Beschriftung 1.8.6			Labeling ist ein visuelles Annotationswerkzeug. Es ist in Python geschrieben und verwendet Qt für seine grafische Oberfläche. Anmerkungen werden als XML-Dateien im PASCAL VOC-Format gespeichert, das von ImageNet verwendet wird. Zusätzlich unterstützt es das YOLO-Format. Es wird für Datensätze verwendet, die für Objekterkennungsnetzwerke wie Faster R-CNN, YOLO und SSD benötigt werden, um Objekte in Bildern zu annotieren.
MMDetection 2.22.0			MMDetection, 2.22.0, MMDetection ist eine Werkzeugkiste zur Objekterkennung, die umfangreiche Objekterkennungs-, Instanzsegmentierungs- und Panoramasegmentierungsmethoden sowie verwandte Komponenten und Module umfasst.