Bewertung des Engagements von Universitätsstudierenden im Unterricht, des reflexiven Ausdrucks und prosozialer Intentionen mittels Verhaltensbeobachtung und Learning Analytics

Zusammenfassung

Dieses Protokoll integriert Klassenzimmerbeobachtung, reflektierendes Schreiben, die Messung prosocialer Intentionen und Lernanalytik, um das verhaltensbezogene Engagement, die reflektierende Ausdrucksfähigkeit und die sozial ausgerichteten Lernergebnisse von Studierenden über einen vierwöchigen Unterrichtszeitraum hinweg zu bewerten. Es legt die Genehmigung durch eine Ethikkommission, den Inhalt der Instrumente, den Software-Workflow, das Vorgehen bei fehlenden Daten, Fehlerbehebungsverfahren sowie die Interpretation repräsentativer Ergebnisse fest, einschließlich beobachteter Umsetzungsbeschränkungen.

Zusammenfassung

Um der Notwendigkeit multidimensionaler Bewertungen der Studierendenbeteiligung jenseits traditioneller Metriken gerecht zu werden, beschreibt dieses Protokoll einen strukturierten Ansatz zur Beurteilung von Klassenraum-Engagement, reflektierendem Ausdruck, Aktivitäten der Lernanalytik und prosocialer Intention in Bachelor-Lehrveranstaltungen. Das Protokoll kombiniert intervallbasierte Verhaltensbeobachtung, wöchentliches strukturiertes reflektierendes Schreiben, anonymisierte Aufzeichnungen aus dem Lernmanagementsystem sowie einen vorher-nachher-Fragebogen zur prosocialen Intention. Die überarbeiteten Verfahren liefern ein reproduzierbares Verhaltenscodierungsmodell, eine Rubrik für den reflektierenden Ausdruck mit Bewertungsbeispielen, Schritte zur Software- und Datenverwaltung sowie klare Anleitungen zur Fehlerbehebung bei Beobachteruneinigkeit, fehlenden Plattformdatensätzen, geringen Abgaberaten bei Reflexionen, schlechter Kamerabildqualität, Teilnehmerabwanderung und inkonsistentem Vorwissen. Dieses Protokoll sollte verwendet werden, wenn Forschende eine wenig intrusive, reproduzierbare Methode benötigen, um live beobachtetes Klassenraumverhalten, die Selbstinterpretation der Studierenden und routinemäßige Aktivitäten im Lernmanagementsystem (LMS) während des Bachelorunterrichts zu kombinieren. Es eignet sich weniger für vollständig asynchrone Kurse ohne beobachtbare Interaktion, für Kontexte, in denen unabhängige Beobachtung oder Datensatzverknüpfung untersagt ist, oder für Studien, die biometrische Analysen oder Emotionserkennung erfordern. Die repräsentativen Ergebnisse stammen aus einer durchgeführten empirischen Anwendung nach nachgewiesener ethischer Genehmigung, Anonymisierung der Kursdaten und Vorbereitung für ein Repository.

Einleitung

Die Bewertung der Studierendenbeteiligung in der Hochschulbildung erfordert einen umfassenden, mehrquelligen Ansatz. Obwohl studentisches Engagement weithin als mehrdimensionales Konstrukt verstanden wird, das beobachtbares Verhalten, kognitiven Aufwand und Interaktion mit der Umwelt umfasst, stützen sich aktuelle analytische Ansätze vorwiegend auf oberflächliche Protokolldaten wie Anmeldehäufigkeiten und vom System erfasste Aktionen¹. Diese übermäßige Abhängigkeit stellt eine erhebliche Herausforderung für praktische, klassenbasierte Forschung dar. Die wichtigsten Formen der unterrichtlichen Beteiligung – direkte Interaktionen unter Lernenden, kognitive Reflexion und soziale Beiträge – finden oft vollständig außerhalb des begrenzten Sichtfelds der Plattformen statt².

Die Komplexität des modernen Hochschulunterrichts hat sich mit der Einführung hybrider pädagogischer Modelle, die digitale Plattformen mit traditionellem Präsenzunterricht verbinden, verstärkt. Obwohl systematische Übersichten über Learning Analytics bestätigen, dass digitale Spuren wertvolle Einblicke in die Zeitzuweisung, Zugriffsmuster und Langzeitbehaltensraten bieten, können allein diese Metriken nicht bestimmen, ob die Aufmerksamkeit eines Lernenden tatsächlich effizient oder sinnvoll ist³. Folglich plädieren aktuelle wissenschaftliche Arbeiten dafür, Learning Analytics stärker in theoretischen Rahmenbedingungen zu verankern, indem digitale Spuren mit umfassenderen, kontextabhängigen Maßen der Teilnahme – wie Klassenraumverhalten und reflektierenden Aktivitäten – verknüpft werden⁴.

Das reflektierende Schreiben verleiht dieser Bewertung eine wesentliche qualitative Dimension. Strukturierte Nachbesprechungen und Lerntagebücher erfassen die Interpretationen der Studierenden zu den Lernaktivitäten, verdeutlichen instruktionale Herausforderungen und verbinden theoretische Inhalte mit nachfolgenden praktischen Handlungen. Aktuelle empirische Befunde beschreiben den reflektierenden Ausdruck als integrierte, mehrkomponentige Konstruktion, die deskriptive Wiedergabe, analytische Schlussfolgerung, selbstreferenzielle Darstellung und Generalisierung von Bedeutung umfasst⁵. Darüber hinaus zeigen Untersuchungen, dass die wiederholte Anleitung zur Reflexion bei Studierenden schrittweise ihre Fähigkeit zur Selbstbeobachtung stärkt; mit zunehmender Häufigkeit strukturierter Reflexion im Studienverlauf verbessern sich auch die unabhängigen explorativen Fähigkeiten der Studierenden⁶.

Eine zweite große Lücke in der aktuellen Beforschung des studentischen Engagements besteht in der häufigen Marginalisierung der Klassenzimmer-Sozialisation. Während bestehende Studien stark auf individuelles Verhalten oder kognitive Prozesse abzielen, fungieren Universitätsseminare als inhärent soziale Lernumgebungen, in denen Studierende einander durch Zusammenarbeit und reaktive Interaktionen beeinflussen. Neuere Befunde zeigen, dass das Klassenklima und die Strukturen der Beteiligung stark mit prosozialem Verhalten und einer beitragorientierten Grundhaltung korrelieren – Ergebnisse, die im Vergleich zu traditionellen Kennzahlen der akademischen Leistung oder der Studierendenzufriedenheit bislang unterrepräsentiert sind. Prosoziales Verhalten in akademischen Kontexten ist nicht lediglich ein Nebenprodukt emotionaler Zustände oder Stress; vielmehr hängt es grundlegend davon ab, wie sich Studierende innerhalb kollektiver Lernaktivitäten positionieren⁷. Die Messung prosozialer Intentionen bietet daher eine geeignete Perspektive, um zu ermitteln, ob das Engagement im Unterricht über die isolierte Aufgabenerledigung hinausgeht und kooperative, förderliche Verhaltensweisen auch jenseits des unmittelbaren Lehrkontexts fördert⁸.

Diese konzeptionellen Entwicklungen unterstreichen die Notwendigkeit eines integrierten Rahmens zur Datensammlung, der innerhalb eines einzigen Unterrichtszeitraums eingesetzt wird. Ein Design mit mehreren Quellen verringert die Einschränkungen, die mit der alleinigen Verwendung einer einzelnen Metrik verbunden sind, ermöglicht die Kreuzvalidierung verschiedener Partizipationsformen und zeigt auf, wie Studierende ihre außerunterrichtlichen Aktivitäten interpretieren, um eigenständiges Lernen zu fördern⁹. Während reflektierende Bewertungen den inneren kognitiven Zustand der Lernenden erfassen, verbessert die Verankerung dieser Selbsteinschätzungen mit objektiven Verhaltensspuren die Interpretierbarkeit der Lern-Daten erheblich. Derzeit fehlen praktische, einsatzbereite Unterrichtsprotokolle, die systematische Verhaltensbeobachtung, strukturierte reflektierende Berichterstattung und Lernanalytik nahtlos für den routinemäßigen Einsatz an Hochschulen miteinander verbinden.

Um diese methodischen Mängel zu beheben, stellt dieser Artikel ein Bewertungsprotokoll vor, das darauf ausgelegt ist, das Klassenraumengagement, die reflektierende Ausdrucksweise und die prosoziale Intention von Universitätsstudierenden gleichzeitig zu messen. Speziell für den Bachelorbereich entwickelt, bietet das Protokoll eine straff optimierte Methodik, die mit minimalem Verwaltungsaufwand verbunden ist, ohne dabei die wissenschaftliche Reproduzierbarkeit zu beeinträchtigen. Indem es die analytische Lücke zwischen beobachtbarem Verhalten, artikulierter Selbstwahrnehmung und sozial ausgerichteten Lernergebnissen schließt, kommt dieser Rahmenkonzept dem zunehmenden Bedarf nach größerer begrifflicher Klarheit in der Forschung zur Mensch-Technik-Interaktion in Bildungsumgebungen entgegen¹⁰.

Protokoll

Alle Methoden, an denen menschliche Teilnehmer beteiligt waren, wurden in Übereinstimmung mit der Deklaration von Helsinki und den einschlägigen institutionellen Richtlinien durchgeführt. Für die durchgeführte Studie wurde das Protokoll vom Ethikkomitee des Nanchang Institute of Technology vor Beginn der Rekrutierung genehmigt (Genehmigungsnummer: NITE778291). Von jedem teilnehmenden Studenten wurde eine schriftliche informierte Einwilligung eingeholt. Für die Analyse wurden ausschließlich anonymisierte aggregierte Daten aus Klassenbeobachtungen, Reflexionsbewertungen, Lernanalysen und Fragebögen verwendet; identifizierbare Klassenvideos, Namen, institutionelle IDs und nicht geschwärzte Reflexionstexte wurden von der öffentlichen Veröffentlichung ausgeschlossen.

1. Studiendesign und Auswahl der Teilnehmer

1. Führen Sie das Protokoll über vier aufeinanderfolgende Unterrichtszeiträume für jeden ausgewählten Kursabschnitt durch. Notieren Sie anonymisierte Kursbezeichnungen, Unterrichtsformate, Klassengröße, Unterrichtserfahrung der Dozierenden sowie, ob der Kurs ganzklassige Anleitung, Gruppenarbeit oder individuelle Übungsphasen umfasst. Streben Sie eine anfängliche Kursbelegung von etwa 180 bis 210 Studierenden im Alter von 18 Jahren oder älter an, oder passen Sie die Zielstichprobengröße an den jeweiligen Kurskontext an.
2. Stellen Sie sicher, dass alle Teilnehmenden über einen aktiven institutionellen Zugang zur Kursplattform verfügen, die beobachteten Veranstaltungen besuchen und die üblicherweise bereitgestellte Kursanleitung erhalten haben. Wenn die erforderlichen Vorkenntnisse erheblich variieren, stellen Sie vor Beginn des Beobachtungszeitraums einen kurzen Überbrückungsleitfaden, eine vorab bereitgestellte Ressourcenliste oder eine von der Dozierenden geleitete Wiederholung bereit und dokumentieren Sie diese Unterstützungsmaßnahmen als kontextuelle Metadaten.
3. Erlangen Sie von allen Studierenden eine schriftliche, informierte Einwilligung nach Vorlage eines umfassenden schriftlichen Informationsschreibens. Geben Sie im Einwilligungsformular klar an, dass die Studie Beobachtungen des Klassenverhaltens, wöchentliches reflektierendes Schreiben sowie anonymisierte Aufzeichnungen der Lernplattform miteinander verknüpft.
4. Nehmen Sie nur Studierende, die ihre Einwilligung erteilt haben, in den Forschungsdatensatz auf. Gewährleisten Sie, dass die Ablehnung der Teilnahme keinerlei Auswirkungen auf Anwesenheit, Leistungsbeurteilung, Kurszugang oder Kommunikation mit der Dozierenden hat.
   1. Erläutern Sie vor der ersten Reflexionsaufgabe, welche Nutzung von KI-basierten (künstliche Intelligenz) Werkzeugen erlaubt oder untersagt ist.
      HINWEIS: KI-Werkzeuge dürfen nur verwendet werden, wenn dies durch die Kursrichtlinien erlaubt ist und ausschließlich zur allgemeinen Lernunterstützung; reflektierende Abgaben und Antworten zu prosocialen Absichten müssen die eigene Erfahrung der Studierenden beschreiben und jegliche KI-Unterstützung offenlegen.
   2. Falls die Dozierenden die Verwendung von KI zur Überbrückung von Vorkenntnissen erlauben, stellen Sie allen Studierenden dieselben genehmigten Prompts oder Ressourcen zur Verfügung und dokumentieren Sie diese Maßnahme als Anpassung des Protokolls. Verwenden Sie keine KI-generierten Zusammenfassungen als primäres Belegmaterial für Studierendenreflexionen, es sei denn, die Validierungsstudie bewertet ausdrücklich KI-unterstützte Antworten.
5. Schließen Sie Studierende vor der Analyse aus, wenn sie keine Einwilligung erteilen, den Kurs während des Protokollzeitraums verlassen oder keine vollständigen übereinstimmenden Daten aus Beobachtung, Reflexion und Analyseplattform vorweisen können. Verwenden Sie ein Messwiederholungsdesign, um über einen Zeitraum von 4 Wochen hinweg konsistente Daten aus drei unterschiedlichen Quellen zu sammeln².

2. Erfassung von Basisdaten und Identitätsverwaltung

1. Benennen Sie eine einzige Datenverwalterin oder einen einzigen Datenverwalter, die oder der jeder teilnehmenden Person über einen pseudorandomisierten Prozess eine achtstellige alphanumerische Studien-ID zuweist.
2. Erstellen Sie eine Verknüpfungsdatei mit Identität und Studien-ID, die die Namen der Studierenden, institutionellen IDs, Kursabschnitte und Studiennummern enthält. Speichern Sie diese Datei sicher und getrennt von den Analyse-Dateien, sodass sie für Beobachter, Reflexionskodierer und Forschende vollständig unzugänglich bleibt.
3. Löschen oder archivieren Sie diese Verknüpfungsdatei nach der abschließenden Datenprüfung gemäß der genehmigten datenschutzrechtlichen Aufbewahrungsrichtlinie der Institution, wobei die Einhaltung aktueller Praktiken im Bereich der Lernanalytik im Hochschulwesen bezüglich eingeschränkter Verknüpfung und Anonymisierung gewährleistet bleibt¹.
4. Erheben Sie zu Beginn, in der ersten Woche vor der ersten beobachteten Unterrichtsstunde, Basisdaten zur Demografie der Teilnehmenden hinsichtlich Alter, Geschlecht, Studienjahr und Fachrichtung.
5. Verwenden Sie den sechsstufigen Fragebogen zur prosozialen Intention aus Zusatzdatei 1 als strukturiertes Baselinemessinstrument vor der ersten beobachteten Unterrichtsstunde. Führen Sie ihn elektronisch über das Lernmanagementsystem (LMS) oder in Papierform ausschließlich mit der zugewiesenen Studien-ID durch. Die Studierenden bewerten jedes Item auf einer 5-Punkte-Skala von 1 = stimme überhaupt nicht zu bis 5 = stimme voll und ganz zu; berechnen Sie den Baseline-Wert als Mittelwert der beantworteten Items, sofern mindestens fünf der sechs Items ausgefüllt wurden.
6. Exportieren Sie alle danach gesammelten Reflexionstexte ohne Namen, E-Mail-Adressen oder andere personenbezogene Merkmale, um vor Beginn des qualitativen Kodierungsprozesses vollständige Anonymität sicherzustellen.

3. Vorbereitung der Klassenraumbeobachtung

1. Planen Sie für jede Kursgruppe einmal wöchentlich Beobachtungen über vier aufeinanderfolgende Wochen. Definieren Sie bei einem standardmäßigen 90-minütigen Unterricht eine beobachtete Zeitspanne von 70 Minuten, indem Sie die ersten 10 Minuten und die letzten 10 Minuten von der Kodierung ausschließen⁵.
2. Beginnen Sie die Kodierung in der 10.^ten Minute und beenden Sie sie in der 80.^sten Minute eines standardmäßigen 90-minütigen Unterrichts. Diese Pufferzeiten gehören nicht zum 70-minütigen Beobachtungsfenster; daher ergibt ein Standardunterricht 70 Minuten kodierter Beobachtung und keine 30-minütige Sitzung.
3. Schließen Sie jeden unterbrochenen Unterrichtsabschnitt von der abschließenden Bewertung aus, falls der Unterricht durch Alarme, Raumwechsel oder Plattformausfälle länger als 5 Minuten gestört wird.
4. Behandeln Sie das Klassenraumengagement als beobachtbare Zusammensetzung mehrerer Verhaltensweisen, indem Sie mehrere Verhaltensindikatoren gleichzeitig an jedem Messzeitpunkt erfassen¹¹. Zu den Indikatoren gehören Aufgabenbezogenheit, mündliche Beteiligung, Zusammenarbeit unter Lernenden, aufgabenfokussierte Notizen- oder Gerätenutzung, Ablenkung von der Aufgabe und Hilfe suchendes Verhalten.
5. Richten Sie die Sitzordnung im Klassenraum gruppenweise vor der ersten Beobachtung ein und bewahren Sie diese Sitzordnung während des gesamten vierwöchigen Zeitraums streng unverändert.
6. Platzieren Sie zwei geschulte Beobachter an festen Positionen mit vollständiger Sicht auf den gesamten Raum, sodass sie unabhängig voneinander kodieren können. Falls institutionelle Videoaufnahmen erlaubt sind und die Teilnehmenden zustimmen, installieren Sie zwei stationäre Kameras im hinteren mittleren und hinteren seitlichen Bereich und synchronisieren Sie diese vor der Sitzung.
7. Nutzen Sie Videoaufzeichnungen ausschließlich für die Schulung der Beobachter, die Überprüfung der Zuverlässigkeit und die Klärung von Sichtproblemen; verwenden Sie Videoaufnahmen nicht als primäre Quelle für die Kodierung und führen Sie keine Analysen von Gesichts- oder Stimmemotionen, biometrischen Daten oder Identifikationserkennung durch.

4. Verhaltenskodierung in zeitlichen Intervallen

1. Teilen Sie das 70-minütige Beobachtungsfenster in aufeinanderfolgende Intervalle ein, die jeweils aus einer 20-s-Visuell-Abtastung und einer 10-s-Aufzeichnungsphase bestehen. Falls für eine große Vorlesung, ein Labor oder einen Online-Kurs eine abweichende Intervalllänge erforderlich ist, geben Sie die angepasste Intervallstruktur an und begründen Sie diese, bevor die Datenerhebung beginnt.
   ANMERKUNG: Diese 20-s/10-s-Struktur stellt ein Gleichgewicht zwischen ökologischer Klassenraumbeobachtung und der Arbeitsbelastung des Kodierers her: Die Abtastphase ist lang genug, um anhaltende Aufmerksamkeit, Zusammenarbeit und abgelenktes Verhalten zu erkennen, während die Aufzeichnungsphase die Belastung des Gedächtnisses verringert und konsistente binäre Entscheidungen unterstützt.
2. Scannen Sie pro Intervall in einer kontinuierlichen Schleife eine klar definierte Gruppe von bis zu zehn Studierenden basierend auf der Sitzordnung.
3. Verwenden Sie spezifische Scankriterien, um Inkonsistenzen bei der Kodierung aufgrund unscharfer operationeller Definitionen zu vermeiden⁴. Kodieren Sie sechs binäre Indikatoren auf Studierendenebene während jedes Scans. Dazu gehören Aufgabenbezogene Aufmerksamkeit, mündliche Beteiligung, Zusammenarbeit unter Kommilitonen, aufgabenfokussiertes Notizenmachen oder Gerätenutzung, abgelenktes Verhalten und Hilfesuchverhalten.
4. Kennzeichnen Sie einen Indikator mit "1", wenn das definierte Verhalten während der 20-s-Abtastung zu irgendeinem Zeitpunkt auftritt. Andernfalls kennzeichnen Sie ihn mit "0". Kodieren Sie das Intervall als fehlend, wenn ein Studierender während mindestens 10 s der Abtastung nicht sichtbar ist.
5. Notieren Sie aufgabenbezogene Aufmerksamkeit, wenn ein Studierender sich visuell mindestens 5 aufeinanderfolgende Sekunden lang dem Dozenten, den zugewiesenen Aufgaben, präsentierten Informationen oder Kommilitonen, die an einer aufgabenbezogenen Diskussion beteiligt sind, zuwendet. Kodieren Sie mündliche Beteiligung bei jedem hörbaren und aufgabenbezogenen Beitrag.
6. Kodieren Sie Zusammenarbeit unter Kommilitonen, wenn Studierende sichtbare, aufgabenbezogene Austauschprozesse, gemeinsame Problemlösungen oder gegenseitige Erklärungen durchführen. Notieren Sie aufgabenfokussiertes Notizenmachen oder Gerätenutzung bei aktivem Schreiben, Tippen oder digitaler Interaktion mit Kursmaterialien.
7. Kennzeichnen Sie abgelenktes Verhalten, wenn ein Studierender mindestens 5 aufeinanderfolgende Sekunden lang in nicht verwandte Gespräche verwickelt ist, nicht-akademische Geräte nutzt oder dauerhaft desinteressiert ist. Erfassen Sie Hilfesuchverhalten, wenn ein Studierender explizit Klarstellung oder Unterstützung vom Dozenten oder von Kommilitonen anfordert.
8. Berechnen Sie die wöchentliche Verhaltenswertung für jeden Studierenden als Gesamtanzahl der positiven Bewertungen geteilt durch alle gültigen Bewertungen. Leiten Sie anschließend die Mittelwerte über 4 Wochen für alle sechs Indikatoren ab.
9. Berechnen Sie einen kombinierten Index für beobachtetes Klassenraumengagement (OCEI) für Studierenden i in Woche w mithilfe des vorab festgelegten mathematischen Modells: OCEI_iw = [Aufgabenbezogene Aufmerksamkeit_iw + Mündliche Beteiligung_iw + Zusammenarbeit unter Kommilitonen_iw + Aufgabenfokussiertes Notizenmachen/Gerätenutzung_iw + (1 – Abgelenktes Verhalten_iw)]/5.
10. Führen Sie das Hilfesuchverhalten als unabhängige Analysevariable weiter, da es je nach Kontext entweder konstruktive Klarstellung oder Schwierigkeiten mit dem Lehrinhalt widerspiegeln kann¹². Siehe Abbildung 1 für den Studienarbeitsablauf und Tabelle 1 für die Beobachtungsindizes und Kodierregeln.

5. Beobachterschulung und Zuverlässigkeitsbewertung

1. Führen Sie eine Beobachterschulung mit einer 60-minütigen manuellen Schulungseinheit durch und führen Sie drei Kalibrierungsrunden vor Beginn des eigentlichen Programms durch.
2. Führen Sie die erste Kalibrierungsrunde mithilfe einer geführten Kodierung eines nicht-studienbezogenen Klassenzimmervideos durch. Führen Sie die beiden folgenden Runden als eigenständige Kodierungen unterschiedlicher nicht-studienbezogener Videos durch, gefolgt von direkten statistischen Vergleichen mit dem leitenden Kodierer.
3. Beginnen Sie die formale Datenerhebung erst, wenn Cohens Kappa den Wert von 0,75 erreicht oder überschreitet und die gesamte Übereinstimmung zwischen den Bewertern über 85 % liegt.
4. Führen Sie eine doppelblinde Drift-Überprüfung an 10 % der vollständigen Sitzungen sowie an einem zufällig ausgewählten 10-Minuten-Abschnitt der verbleibenden Sitzungen während des gesamten 4-Wochen-Protokolls durch.
5. Kalibrieren Sie das Kodierungsteam innerhalb von 72 Stunden erneut und überprüfen Sie die betroffenen Sitzungen erneut, bevor die Daten gesperrt werden, falls der Kappa-Wert für einen Indikator unter 0,70 fällt. Geben Sie kontinuierlich Rückmeldungen und organisieren Sie Kalibrierungsübungen, um die Stabilität der Bewertungen im Zeitverlauf aufrechtzuerhalten¹³.

6. Sammlung und Auswertung reflektiver Aussagen

1. Weisen Sie die Studierenden an, für jede beobachtete Unterrichtsstunde einen strukturierten Reflexionstext (100–350 Wörter) einzureichen, wodurch pro Teilnehmer über das vierwöchige Protokoll hinweg vier Einträge entstehen.
2. Stellen Sie die Reflexionsfragen innerhalb von 2 Stunden nach der beobachteten Unterrichtsstunde über das LMS oder ein gedrucktes Formular bereit und schließen Sie die Abgabefrist 72 Stunden später. Das Formular muss das Feld „Study ID“ sowie die folgenden drei Fragen in derselben Reihenfolge für alle Studierenden anzeigen:
   1. Geben Sie an, wo sie sich während des Unterrichts am stärksten und am wenigsten eingebunden gefühlt haben.
   2. Erklären Sie die kontextuellen Ursachen, einschließlich Aufgabenschwierigkeit, Vorkenntnisse, Gruppeninteraktion, Erklärungen der Lehrkraft oder Plattformnutzung.
   3. Beschreiben Sie, wie sich ihre Beteiligung auf das Klassenklima ausgewirkt hat und welche zukünftigen Maßnahmen sie ergreifen möchten.
      HINWEIS: Behalten Sie Einträge unter 100 Wörtern bei, markieren Sie sie jedoch in der Datenbank als informationsarm. Kennzeichnen Sie außerdem Einträge, die die Aspekte Beteiligung, kontextuelle Ursachen oder zukünftige Maßnahmen/soziale Wirkung auslassen, da diese Auslassungen die Bewertung der Reflexionsqualität und die Machbarkeitsberichterstattung beeinflussen.
3. Weisen Sie zwei verblindete Kodierer*innen zur Bewertung der Einreichungen hinsichtlich deskriptiver Spezifität, analytischer Tiefe, selbstregulatorischer Orientierung und sozial-prosozialer Bedeutung zu.
   1. Bewerten Sie jede Dimension anhand einer 4-Punkte-Skala, wobei 0 für Fehlen, 1 für schwache oder vage Hinweise, 2 für klare, aber begrenzte Hinweise und 3 für starke und ausführliche Hinweise steht. Beispielsweise erhält die analytische Tiefe die Punktzahl 0, wenn kein Grund genannt wird, 1, wenn der Studierende lediglich angibt, dass die Aufgabe schwierig war, 2, wenn der Studierende die Schwierigkeit mit einem bestimmten Konzept oder einer Unterrichtsbedingung verknüpft, und 3, wenn der Studierende die Wechselwirkung zwischen Vorwissen, Diskussion unter Kommiliton*innen, Rückmeldungen der Lehrkraft und einer geplanten Lernstrategie erklärt. Tabelle 2 und ergänzende Datei 1 enthalten Beispiele für Bewertungsstufen für alle vier Reflexionsdimensionen.
4. Beginnen Sie die formale Bewertung erst, nachdem für jede Dimension bei den Pilottexten ein Intraklassenkorrelationskoeffizient von 0,80 oder höher erreicht wurde¹⁴.
5. Doppelbewerten Sie während des Protokolls zufällig 15 % der Studienreflexionen, um Raterdrift zu kontrollieren. Bewerten Sie die Reflexionstexte anhand dieser mehrdimensionalen qualitativen Kriterien, anstatt sich ausschließlich auf Textlänge oder Wortfrequenz zu stützen.
6. Entwickeln oder adaptieren Sie den Bewertungsraster für reflexive Äußerungen durch Expertenprüfung durch mindestens zwei Bildungsforscher*innen und eine*n Kursleiter*in. Erproben Sie den Raster an 20 bis 30 nicht zur Studie gehörenden Reflexionen, überarbeiten Sie unklare Beschreibungen und dokumentieren Sie die endgültige Version des Rasters, bevor die formale Kodierung beginnt.
7. Reichen Sie den in ergänzender Datei 1 dargestellten Fragebogen zur prosocialen Intention ein. Bitten Sie die Studierenden, ihre Bereitschaft einzuschätzen, Kommiliton*innen, die Schwierigkeiten haben, zu helfen, Lernressourcen zu teilen, konstruktiv zu Diskussionen beizutragen, Kommiliton*innen zu ermutigen, bei Gruppenaufgaben fair zu handeln und das Lernklima im Unterricht zu verbessern. Verwenden Sie eine 5-Punkte-Skala von 1 (stimme überhaupt nicht zu) bis 5 (stimme voll und ganz zu). Berechnen Sie den Mittelwert, wenn mindestens fünf der sechs Items ausgefüllt sind, und geben Sie Cronbachs Alpha für die Basis- und Nach-Protokoll-Erhebungen an.

7. Extraktion von Lernanalytik

1. Weisen Sie einem externen Administrator die Extraktion der Lernanalyse-Daten nach Woche 4 zu, um eine Verunreinigung der Beobachtungs- und Reflexionsprozesse zu verhindern.
2. Legen Sie das Extraktionsintervall von 00:00 Uhr am Tag der ersten beobachteten Unterrichtsstunde bis 23:59 Uhr am letzten Tag des endgültigen Reflexionszeitraums fest.
3. Extrahieren Sie nur die vorab festgelegten Variablen, die für das Protokoll erforderlich sind. Erfassen Sie die Anzahl der aktiven Tage auf der Plattform, die Anzahl der eindeutigen Ressourcenzugriffe, den Anteil der geöffneten zugewiesenen Ressourcen, die Anzahl der geposteten Diskussionsantworten, die durchschnittliche Videodurchlaufquote und die Pünktlichkeit bei Abgaben.
4. Bereinigen Sie die Rohexporte, indem Sie Konten von Lehrenden und wissenschaftlichen Hilfskräften, doppelte Datensätze, Testereignisse sowie Datenpunkte außerhalb des festgelegten Zeitraums entfernen.
5. Definieren Sie einen aktiven Tag als jeden Kalendertag, an dem mindestens ein authentifizierter Zugriff auf den Kurs sowie eine sinnvolle Interaktion – wie das Öffnen von Dateien, das Anschauen von Videos oder das Verfassen von Antworten – stattgefunden hat.
6. Zählen Sie eindeutige Ressourcenzugriffe, wobei doppelte Aktualisierungen innerhalb eines Zeitfensters von 60 s ignoriert werden. Ermitteln Sie die Videodurchlaufquote, indem Sie den angesehenen Anteil bezogen auf die geplante Dauer bis 01:00 Uhr abschneiden und anschließend über alle zugewiesenen Medieninhalte mitteln.
7. Berechnen Sie die Abgabepünktlichkeit basierend auf dem Anteil der vor den festgelegten Fristen abgegebenen Aufgaben. Berechnen Sie den Anteil der nächtlichen Zugriffe als Verhältnis sinnvoller Aktivitäten zwischen 00:00 und 06:00 Uhr zur Gesamtanzahl sinnvoller Aktivitäten im Beobachtungszeitraum. Nutzen Sie diese zeitlich begrenzten und leistungsbezogenen Kennzahlen, um aussagekräftigere Informationen zu erhalten als durch eine einfache Protokollsumme¹⁵.
8. Verwenden Sie einen vorab festgelegten Datenverarbeitungsworkflow für den Rohexport aus dem Learning-Management-System. Speichern Sie den ursprünglichen Export als schreibgeschützte Datei, erstellen Sie eine anonymisierte Arbeitskopie, entfernen Sie Konten von Lehrenden und wissenschaftlichen Hilfskräften sowie doppelte oder Testereignisse, und führen Sie ein Verarbeitungsprotokoll mit der Anzahl der Datensätze nach jedem Bereinigungsschritt.
9. Führen Sie die Datenbereinigung in einer Tabellenkalkulation oder später sowie die statistische Analyse in R Version 4.4.0 oder höher oder vergleichbarer Software durch.
   1. Verwenden Sie in einer Tabellenkalkulation die in 7.9.1.1–7.9.1.2 beschriebenen Schritte.
      1. Importieren Sie die anonymisierten CSV-Dateien über Daten > Daten abrufen > Aus Text/CSV und verwenden Sie Daten > Duplikate entfernen, um doppelte Studien-ID/Zeitstempel/Ereignis-Zeilen zu löschen.
      2. Wenden Sie Filter an, um Konten von Lehrenden oder wissenschaftlichen Hilfskräften sowie Datensätze außerhalb des Zeitfensters auszuschließen, und speichern Sie ein Verarbeitungsprotokoll mit der Anzahl der verbleibenden Zeilen nach jedem Schritt.
   2. Verwenden Sie in R die in 7.9.2.1–7.9.2.3 beschriebenen Schritte.
      1. Importieren Sie die Dateien mit readr::read_csv(), gestalten Sie wöchentliche Datensätze um mit dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() und tidyr::pivot_wider().
      2. Berechnen Sie Cohens Kappa mit irr::kappa2(), ICCs mit psych::ICC() und Cronbachs Alpha mit psych::alpha().
      3. Passen Sie lineare Modelle mit berücksichtigter Kursabschnitts-Anpassung mittels stats::lm() an; verwenden Sie lme4::lmer(), wenn ein vorab festgelegter zufälliger Intercept für den Kursabschnitt erforderlich ist, und verwenden Sie lme4::glmer(family = binomial) nur bei binären Ergebnissen. Archivieren Sie das genaue Skript sowie die verwendeten Paketversionen zusammen mit den Einreichungsunterlagen.
10. Verwenden Sie die folgende reproduzierbare Analyseabfolge.
    1. Berechnen Sie die Beobachtungsanteile pro Studierender und Woche, ermitteln Sie den OCEI mithilfe der Formel aus Schritt 4.9 und verknüpfen Sie die wöchentlichen Reflexionsscores über Studien-ID und Woche.
    2. Aggregieren Sie die Variablen der Lernanalyse über das identische 4-Wochen-Fenster, prüfen Sie den Anteil fehlender Werte nach Datenquelle, berechnen Sie deskriptive Statistiken und Reliabilitätsschätzungen und passen Sie die vorab festgelegten Assoziationsmodelle an.
    3. Fügen Sie keine ungeplanten Prädiktoren hinzu, nachdem die Ergebnisse eingesehen wurden, es sei denn, sie werden als explorativ gekennzeichnet.
11. (Optional) Lagern Sie aus Transparenzgründen ein anonymisiertes Analyseskript, einen Codebuch, leere Kodierbögen, Reflexionsaufforderungen, eine Reflexionsrubrik und den prosozialen Fragebogen im öffentlichen Repository oder als ergänzendes Material ein. Lagern Sie keine identifizierbaren Rohvideodaten aus dem Unterricht, Namen, institutionelle IDs oder nicht geschwärzte Reflexionstexte ein.

8. Nachprotokoll-Messung und Datensatzintegration

1. Verabreichen Sie das Instrument zur Erfassung prosozialer Absichten unmittelbar nach Abschluss des letzten Reflexionszeitraums erneut.
2. Bitten Sie die Studierenden, ihre Bereitschaft, Mitschülern zu helfen, Ressourcen zu teilen, konstruktiv zu Diskussionen beizutragen, Kommilitonen zu ermutigen, fair zu handeln und das Lernklima zu verbessern, auf einer Skala von 1 (stimme überhaupt nicht zu) bis 5 (stimme voll zu) zu bewerten. Berechnen Sie für jede Person die Gesamtpunktzahl nach dem Protokoll, indem Sie die Antworten mitteln, sofern mindestens fünf der sechs Items beantwortet wurden.
3. Vereinigen Sie die Beobachtungsdateien, Reflexionspunktzahlen und Lernanalyse-Datensätze unter Verwendung der anonymisierten Studien-ID. Erstellen Sie aus dieser Zusammenführung zwei endgültige Datensätze, um eine personenbezogene Gesamtdatei und eine wochenbezogene Long-Format-Datei zu generieren.
4. Setzen Sie keine Imputation für fehlende Beobachtungsintervalle aufgrund mangelnder Sichtbarkeit der Studierenden oder für fehlende wöchentliche Reflexionen aufgrund nicht abgegebener Erklärungen ein. Kennzeichnen Sie unvollständig ausgefüllte Reflexionen, unvollständige Variablen der Lernanalyse, inhaltsarme Reflexionen und nicht zuzuordnende Studien-IDs vor der Analyse.
5. Verwenden Sie eine Analyse vollständiger Fälle für vorab festgelegte Assoziationsmodelle, geben Sie die Anzahl der ausgeschlossenen Fälle für jedes Modell an und führen Sie eine Sensitivitätsprüfung durch, bei der eingeschlossene und ausgeschlossene Studierende anhand verfügbarer Basisvariablen verglichen werden.
6. Behalten Sie die prosociale Absicht als primäres Outcome-Maß bei, um die unterstützenden und kooperativen Einstellungen widerzuspiegeln, die strukturellen Veränderungen in der Teilnahme von Universitätsstudierenden zugrunde liegen.

9. Fehlerbehebung und Protokollanpassungen

1. Wenn zwei Beobachter bei einem gleichen Schülerteam in mehr als einer binären Kategoriemustern auseinandergehen oder wenn Cohens Kappa für einen Indikator unter 0,70 liegt, die formale Bewertung für die betroffene Sitzung unterbrechen, die operationalen Definitionen überprüfen, einen 10-minütigen Neukalibrierungsabschnitt durchführen und das betroffene Intervall vor der Datensperre erneut codieren.
2. Wenn Plattformexporte unvollständig sind, das fehlende Feld dokumentieren, eine zweite Exportdatei vom externen Administrator anfordern und den Schüler in Beobachtungs- und Reflexionszusammenfassungen beibehalten, während die nicht verfügbare Analysevariable aus Modellen ausgeschlossen wird, die dieses Feld benötigen.
3. Wenn weniger als 80 % der erwarteten Reflexionen innerhalb von 48 Stunden nach Öffnung der Aufgabe abgegeben wurden, eine neutrale Erinnerung an die gesamte Klasse senden, technischen Support für Zugangsprobleme verlängern und die endgültigen Zahlen für pünktliche, verspätete und fehlende Abgaben getrennt berichten.
4. Wenn mehr als 10 % der Schüler in einem Team während mindestens der Hälfte des Beobachtungsfensters nicht sichtbar sind, die betroffenen Intervalle als fehlend codieren und sich auf die Aufzeichnungen der Live-Beobachter stützen, anstatt Verhalten aus verdecktem Videomaterial zu erschließen.
5. Wenn ein Schüler die Teilnahme zurückzieht, die weitere Beteiligung verweigert oder keine verknüpfbaren Daten über verschiedene Quellen hinweg vorliegen, diesen Schüler aus den verknüpften Assoziationsmodellen entfernen, aber aggregierte Zahlen zur Protokoll-Durchführbarkeit beibehalten, sofern dies durch die ethische Genehmigung erlaubt ist.
6. Wenn mehrere Schüler signalisieren, dass ein Abschnitt schwer verständlich ist, sollte die Lehrkraft die übliche pädagogische Reaktion zeigen, beispielsweise eine kurze erneute Erklärung, ein durchgerechnetes Beispiel, eine Diskussion unter Lernenden oder ein ergänzendes Lernangebot. Dies als Kontextereignis dokumentieren, da es das Hilfesuchverhalten, die Tiefe der Reflexion und die Plattformaktivität beeinflussen kann.
7. Die Größe der Schülerteams, die Intervalllänge, die Reflexionsaufforderungen und die Analysevariablen an das Unterrichtsformat anpassen, jedoch die gleiche Logik vordefinierter Verhaltensindikatoren, anonymisierter Aufzeichnungen, unabhängiger Codierung und transparenter Regeln für fehlende Daten beibehalten.
8. Geringe Reliabilität, hohe Datenlücken, begrenzte Reflexionstiefe, schwache prosoziale Veränderungen und geringe Übereinstimmung zwischen den Datenquellen als informative Implementierungsergebnisse betrachten und nicht als Protokollfehler. Diese Ergebnisse berichten und erläutern, ob sie auf den Klassenkontext, Einschränkungen der Messinstrumente oder Probleme bei der Datenerfassung zurückzuführen sind.

Ergebnisse

Teilnahmeberechtigung, Datenvervollständigung und Zuverlässigkeit der Bewertung
Anfangs wurden 204 Studierende aus allen Kursabschnitten zur Teilnahme eingeladen, woraufhin 198 Personen ihre Einwilligung gaben. 14 Fälle wurden anschließend aufgrund eines Kursausstiegs während des Erhebungszeitraums oder unvollständiger Datenverknüpfung zwischen Beobachtungs-, Reflexions- und Plattformdatensätzen ausgeschlossen. Daher umfasste die endgültige Stichprobe für die Analyse 184 Studierende. Die Merkmale der Teilnehmenden, die wöchentlichen Abschlussraten sowie die Gesamtvervollständigung der Daten sind in Tabelle 3 dargestellt.

Im Verlauf des vierwöchigen Programms wurden 24 Unterrichtsstunden beobachtet, wodurch für jeden Teilnehmer eine synchronisierte Lernanalyse-Datensammlung entstand. Von den erwarteten 736 reflektierenden Berichten wurden 701 innerhalb des 72-Stunden-Zeitfensters abgegeben, 18 verspätet eingereicht und 17 fehlten gänzlich. Letztendlich schlossen 171 Studierende alle wöchentlichen Reflexionen pünktlich ab. Nach Ausschluss von Dozentenkonten, doppelten Einträgen und Aktivitäten außerhalb des Zeitfensters wurden die Lernanalyse-Daten vollständig für die verbleibenden 184 Teilnehmer extrahiert.

Die Beobachtungskodierung blieb während des gesamten Protokollzeitraums äußerst stabil. Die Interrater-Reliabilität für die sechs Verhaltensindizes der Klassenraumbeobachtung zeigte Cohen-Kappa-Werte zwischen 0,76 und 0,84, wobei die Gesamtübereinstimmung bei Drifttests über 86 % lag. Bei den Bewertungen für reflektierte Äußerungen variierten die Intraklassenkorrelationskoeffizienten (ICCs) über die vier Dimensionen hinweg zwischen 0,82 und 0,89. Tabelle 4 zeigt die deskriptiven Statistiken und Reliabilitätsindizes für die primären Untersuchungsvariablen.

Klassenzimmer-Verhaltensbeobachtung
Die beobachteten Verhaltensweisen im Klassenzimmer zeigten im Verlauf des vierwöchigen Protokolls eine schrittweise Verbesserung. Wie in Abbildung 2 dargestellt, waren die Konzentration auf die Aufgabe, die verbale Beteiligung und die Zusammenarbeit unter Mitschülern in der vierten Woche deutlich höher als in den Anfangswochen. Insbesondere stieg die verbale Beteiligung von 0,18 ± 0,09 in der ersten Woche auf 0,24 ± 0,10 in der vierten Woche an (p < 0,05). Die Zusammenarbeit unter Mitschülern erhöhte sich ebenfalls von 0,29 ± 0,11 auf 0,35 ± 0,12 (p = 0,006). Die Konzentration auf die Aufgabe verbesserte sich hochsignifikant, wobei sie sich von 0,71 ± 0,12 auf 0,76 ± 0,11 veränderte (p < 0,001).

Umgekehrt zeigte die aufgabenbezogene Notiznahme oder Gerätenutzung nur geringfügige wöchentliche Zunahmen, die keine statistische Signifikanz erreichten (p = 0.08). Das Hilfe suchende Verhalten blieb während des gesamten Beobachtungszeitraums konstant niedrig und zeigte keinen signifikanten Zeiteffekt (p = 0.21). Ablenkungen außerhalb der Aufgabe nahmen signifikant von 0,14 ± 0,08 in Woche 1 auf 0,11 ± 0,07 in Woche 4 ab (p = 0,03). Insgesamt stieg der zusammengesetzte beobachtete Index für Klassenraum-Engagement signifikant von 0,52 ± 0,10 in der ersten Woche auf 0,58 ± 0,11 in der letzten Woche an (p < 0,001).

Reflektive Ausdrucksformen während des vierwöchigen Protokolls
Die reflektiven Ausdrucksformen entwickelten sich über den Untersuchungszeitraum hinweg, wobei das Ausmaß der Veränderung zwischen den einzelnen Teilbereichen variierte. Wie in Abbildung 3 dargestellt, stieg die Gesamtpunktzahl für Reflexion von Woche 1 auf 7,2 ± 1,9 in Woche 4 an (p < 0,001).

Die analytische Tiefe war am Ende der Woche 4 im Vergleich zu den ersten beiden Wochen deutlich größer (p < 0,001). Ebenso stieg die sozial-prososhiale Bedeutung von 1,08 ± 0,55 auf 1,54 ± 0,60 (p < 0,001), und die selbstregulatorische Orientierung erhöhte sich von 1,42 ± 0,63 auf 1,69 ± 0,65 (p < 0,05). Im Gegensatz dazu zeigte die deskriptive Spezifität einen leichten Anstieg von 2,14 ± 0,57 auf 2,24 ± 0,55, der statistisch nicht signifikant war (p = 0,09).

Die Einreichungen lagen im Durchschnitt zwischen 223 und 231 Wörtern pro Eintrag im gesamten Protokoll. Von den erwarteten 736 reflektierenden Berichten wurden 18 verspätet eingereicht und 17 fehlten ganz; Einträge mit geringem Informationsgehalt sowie Antworten, die den Kontext-Grund- oder Zukunftsaktion/soziale Auswirkungs-Aufforderung ausließen, wurden in der Datenbank markiert. Diese Fälle wurden als Indikatoren für die Durchführbarkeit beibehalten und nur dann von den wochenbezogenen Modellen zur Reflexionsqualität ausgeschlossen, wenn die entsprechende Bewertung nicht vergeben werden konnte.

Lernanalysemuster während des Untersuchungszeitraums
Die Plattformaktivitätsmetriken zeigten über das vierwöchige Zeitfenster hinweg eine erhebliche interindividuelle Varianz, wie in Abbildung 4 dargestellt.

Über den gesamten Zeitraum betrugen die durchschnittlichen aktiven Tage der Studierenden auf der Plattform 9,7 ± 2,4. Die mittlere Anzahl an eindeutigen Zugriffen auf Ressourcen lag bei 27,3 ± 8,6, wobei die Studierenden durchschnittlich einen Anteil von 0,81 ± 0,14 der zugewiesenen Ressourcen öffneten. Außerdem betrug die durchschnittliche Anzahl an Diskussionsantworten 4,8 ± 2,7. Die durchschnittliche Pünktlichkeit bei Abgaben und die mittlere Videoabschlussrate lagen bei 0,86 ± 0,18 bzw. 0,79 ± 0,17. Der Anteil des Plattformzugriffs in den späten Nachtstunden betrug im Durchschnitt 0,12 ± 0,09.

Bemerkenswerterweise zeigten Diskussionsantworten und die Pünktlichkeit bei Abgaben stärkere positive Korrelationen mit anderen Beteiligungsindikatoren, trotz der breiten Streuung der Pünktlichkeitsscores.

Kreuzassoziation von Beobachtungen, Reflexionen und Lern-Daten
Die drei Datenquellen zeigten aussagekräftige, wenn auch nicht einheitliche, Assoziationen. Wie in Abbildung 5 dargestellt, erzielten Studierende mit höheren Werten des beobachteten Klassenraum-Engagements tendenziell auch höhere Gesamtwerte bei den Reflexionen. Im abschnittsadjustierten Modell sagte das beobachtete Klassenraum-Engagement die Gesamtpunktzahl der Reflexion positiv voraus (β = 0.34, p < 0.001).

Unter den Variablen der Lernanalytik waren Diskussionsantworten und die Pünktlichkeit bei Abgaben signifikant und positiv mit der Qualität der Reflexion korreliert. Wie in Tabelle 5 detailliert beschrieben, sagten Diskussionsantworten die Gesamtpunktzahl der Reflexion positiv voraus (β = 0.19, p = 0.013), ebenso wie die Pünktlichkeit bei Abgaben (β = 0.17, p = 0.028). Während die absolute Anzahl der Ressourcenaufrufe und der Anteil der geöffneten zugewiesenen Ressourcen anfänglich positive Zusammenhänge zeigten, schwächten sich diese nach der Anpassung für störende Variablen signifikant ab. Der Anteil von Zugriffen in der Nacht zeigte keine signifikante Assoziation mit der Gesamtpunktzahl der Reflexion (p = 0.18).

Die Daten zeigten außerdem leichte Kreuzkorrelationen zwischen dem beobachteten Klassenraumverhalten und bestimmten Plattformaktivitäten; beispielsweise korrelierten die rohen Zugriffe auf Ressourcen nur geringfügig mit dem Index für beobachtete Klassenraumengagement. Darüber hinaus wiesen Studierende, die häufiger an Gruppendiskussionen teilnahmen, eine höhere verbale Kommunikationsfähigkeit auf, während jene mit stärkerer Verhaltensregulation weniger Aufschieberneigung bei der Abgabe von Aufgaben zeigten.

Veränderungen der prosozialen Intention
Die prosoziale Intention zeigte einen signifikanten Anstieg von der Ausgangsmessung bis zur Nachuntersuchung. Der mittlere Wert für die prosoziale Intention stieg von 3,61 ± 0,53 bei der Ausgangsmessung auf 3,84 ± 0,50 nach dem vierwöchigen Protokoll an (p < 0,001). Abbildung 6 veranschaulicht die gepaarten Verteilungen und die adjustierten Zusammenhänge.

Im endgültigen adjustierten Modell sagte ein höherer beobachteter Index der Klassenraum-Engagement eine stärkere Zunahme der prosozialen Absicht nach dem Protokoll im Vergleich zum Basiswertscore voraus (β = 0.21, p < 0.05). Unter den reflektierenden Dimensionen entfaltete die sozial-prosoziale Bedeutung den stärksten unabhängigen Effekt auf die prosoziale Absicht nach dem Protokoll (β = 0.29, p < 0.001). Obwohl die verbale Beteiligung eine positive, unadjustierte Korrelation mit den prosozialen Ergebnissen im Nachtest zeigte, verlor dieser Zusammenhang nach Berücksichtigung der Basiswerte an statistischer Signifikanz (p = 0.09). Schließlich blieb die Nutzungshäufigkeit in den späten Abendstunden unverbunden mit der prosozialen Absicht nach dem Protokoll (p = 0.27).

Beobachtete Implementierungsbeschränkungen und Nullbefunde
Die durchgeführte Studie ergab mehrere suboptimale, jedoch aussagekräftige Ergebnisse statt protokollstoppender Fehlschläge. Keine beobachtete Sitzung musste aufgrund eines Kappa-Werts unter 0,70 ausgeschlossen werden, kein Lernanalyse-Feld blieb nach dem endgültigen Export unverfügbar, und kein Sichtbarkeitsproblem überschritt die vorab festgelegte Schwelle für fehlende Daten. Die beobachteten Einschränkungen konzentrierten sich auf die Vollständigkeit der Reflexionen und auf Null- oder marginale Verhaltensbefunde: 18 Reflexionen wurden verspätet eingereicht, 17 erwartete Reflexionen fehlten, die aufgabenfokussierte Notizen- und Gerätenutzung zeigte nur einen marginalen Anstieg (p = 0,08), die Hilfesuche zeigte keinen signifikanten Zeiteffekt (p = 0,21), und der nächtliche Zugriff war nicht mit der Gesamtpunktzahl der Reflexion oder der proszialen Absicht nach dem Protokoll assoziiert.

Diese Ergebnisse wurden beibehalten, da sie die Durchführbarkeit und Randbedingungen des Protokolls beschreiben. Späte oder fehlende Rückmeldungen wurden in den Übersichten zum Teilnehmerfluss und zur Datenvollständigkeit berichtet; marginale oder nicht vorhandene Zusammenhänge wurden ohne selektive Auslassungen berichtet; und die Fehlersuchverfahren im Protokollabschnitt legen fest, wie hypothetische Fehler wie Beobachterdrift, eingeschränkte Sichtbarkeit oder fehlende LMS-Felder bei zukünftigen Anwendungen zu behandeln sind.

Anonymisierte Analyse-Dateien, das Datenwörterbuch, Analyse-Skripte, leere Codierformulare, Reflexionsanregungen, der Reflexions-Rubrik sowie der Fragebogen zur prosocialen Intention wurden in Zenodo hinterlegt: https://zenodo.org/records/20607517. Identifizierbare Rohdaten von Unterrichtsvideos, Namen, institutionelle IDs und nicht geschwärzte Reflexionstexte wurden nicht öffentlich freigegeben.

Abbildung 1: Studienablauf und Protokoll zur Integration von Daten aus mehreren Quellen. (A) Rekrutierung der Teilnehmer, Einholung der Einwilligungen und Zuweisung der Studien-ID in zwei Bachelorveranstaltungen und sechs Kursabschnitten. (B) Der vierwöchige Datenerhebungszyklus: wöchentliche Klassenraumbeobachtung, reflektierende Schreibaufgabe und zeitlich abgestimmtes Erfassungsfenster für Lernanalytik. (C) Drei parallele Datenströme: Beobachtung des Klassenraumverhaltens, Bewertung reflektierender Äußerungen und anonymisierte Aufzeichnungen der Lernplattform. (D) Erstellung des individuellen Gesamtdatensatzes pro Teilnehmer und der wochenbasierten Langformat-Datenbank, woraus die primären Forschungsergebnisse resultieren: Index der beobachteten Klassenraumbeteiligung, Reflexionsscore und prosoziale Intention. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 2: Wöchentliche Veränderungen des beobachteten Klassenraumverhaltens während des vierwöchigen Protokolls. (A) Aufgabenbezogene Aufmerksamkeit. (B) Mündliche Beteiligung. (C) Zusammenarbeit unter Mitschülern. (D) Aufgabenbezogenes Notizenmachen oder aufgabenbezogener Gerätegebrauch. (E) Ablenkung von der Aufgabe. (F) Hilfesuche. Die Werte sind wöchentliche, auf Schülerebene berechnete Anteilswerte, abgeleitet aus intervallbasierten Klassenraumbeobachtungen. Die Punkte zeigen die wöchentlichen Mittelwerte, und die Fehlerbalken zeigen die Standardabweichungen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3: Wöchentliche Veränderungen der reflektierenden Ausdrucksweise über die vier reflektierenden Abgaben hinweg. (A) Deskriptive Spezifität. (B) Analytische Tiefe. (C) Selbstregulatorische Orientierung. (D) Sozial-prosioziale Bedeutung. (E) Gesamtreflexionsscore. Die Reflexionsscores wurden von zwei unabhängigen, verblindeten Auswertern anhand eines vorab festgelegten Bewertungsrasters vergeben. Die Punkte zeigen die wöchentlichen Mittelwerte, und die Fehlerbalken geben die Standardabweichungen an. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 4: Verteilung von Indikatoren der Lernanalytik innerhalb des vierwöchigen Untersuchungszeitraums. (A) Aktive Tage auf der Lernplattform. (B) Aufrufe von Ressourcen. (C) Anteil der geöffneten zugewiesenen Ressourcen. (D) Verfasste Antworten in Diskussionen. (E) Mittlere Videovollendungsrate. (F) Pünktlichkeit bei Abgaben. (G) Anteil von Zugriffen in der Nacht. Alle Werte wurden über denselben vierwöchigen Zeitraum berechnet, der auch für Klassenzimmerbeobachtungen und reflektierendes Schreiben verwendet wurde. Violin-Diagramme zeigen Verteilungen auf Ebene der Studierenden, Boxplots veranschaulichen Median und Interquartilsabstand. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 5: Zusammenhänge zwischen beobachtetem Unterrichtsengagement, reflektierendem Ausdruck und ausgewählten Indikatoren der Lernanalyse. (A) Zusammenhang zwischen dem Index für beobachtetes Unterrichtsengagement und der Gesamtpunktzahl der Reflexion. (B) Zusammenhang zwischen veröffentlichten Diskussionsbeiträgen und der Gesamtpunktzahl der Reflexion. (C) Zusammenhang zwischen der Pünktlichkeit bei Abgaben und der Gesamtpunktzahl der Reflexion. (D) Zusammenhang zwischen mündlicher Beteiligung und der Gesamtpunktzahl der Reflexion. Die Trendlinien zeigen angepasste lineare Zusammenhänge; schattierte Bänder geben 95 % Konfidenzintervalle an. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 6: Veränderung der prosocialen Absicht und deren Zusammenhänge mit Klassenraum-Engagement und reflektierendem Sinn. (A) Gekoppelte Verteilung der prosocialen Absichtswerte vor und nach dem Protokoll. Linien verbinden die gepaarten Vorher/Nachher-Werte desselben Schülers. (B) Zusammenhang zwischen dem beobachteten Klassenraum-Engagement-Index und der prosocialen Absicht nach dem Protokoll, bereinigt um den Ausgangswert. (C) Zusammenhang zwischen sozialem/prosocialen Sinn und der prosocialen Absicht nach dem Protokoll. (D) Zusammenhang zwischen verbaler Beteiligung und der prosocialen Absicht nach dem Protokoll. Die schattierten Bänder in den Teilabbildungen B–D zeigen 95 % Konfidenzintervalle an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Tabelle 1: Indikatoren und Kodierregeln für die Beobachtung auf Schüler*innenebene im Klassenzimmer. In der Tabelle sind die operationalen Definitionen und Kodierkriterien für Aufmerksamkeit auf die Aufgabe, mündliche Beteiligung, Zusammenarbeit mit Mitschüler*innen, aufgabenbezogenes Notieren oder Gerätbenutzung, Ablenkung von der Aufgabe sowie Hilfesuche aufgeführt. Das 70-minütige Kodierfenster, der 20-Sekunden-Scan-/10-Sekunden-Aufzeichnungszyklus, das Cluster-Scan-Verfahren, die Regel bei fehlender Sichtbarkeit und die OCEI-Formel werden im Protokollabschnitt beschrieben. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Tabelle 2: Bewertungsrahmen für reflektierende Texte, beispielhafte Texte je Bewertungsstufe und Definitionen der lernanalytischen Variablen. Die Tabelle beschreibt die Bewertungsskala für reflektierende Texte, einschließlich Beispielen der Bewertungen 0, 1, 2 und 3 für jede reflektierende Dimension sowie der operationalen Definitionen der extrahierten lernanalytischen Variablen. Zu den reflektierenden Komponenten gehören beschreibende Genauigkeit, analytische Tiefe, selbstregulierte Orientierung, sozial-prosioziale Bedeutung, Gesamtbewertung der Reflexion, Wortanzahl und Abgabestatus. Die lernanalytischen Kenngrößen umfassen aktive Tage, Ansichten von Ressourcen, Anteil geöffneter zugewiesener Ressourcen, verfasste Diskussionsbeiträge, durchschnittliche Videodurchlaufquote, Pünktlichkeit bei Aufgabenabgaben und Anteil des Zugriffs in Nachtstunden. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Tabelle 3: Teilnehmermerkmale, Einschlussfluss und Datenvollständigkeit. Die Tabelle fasst die Eignung der Teilnehmer, Einwilligungsraten, Ausschlusskriterien, endgültige Stichprobengröße und Datenvollständigkeit über die drei Datenquellen hinweg zusammen. Sie berichtet über baseline-demografische Merkmale sowie erwartete reflektierende Einträge, pünktliche Abgaben, verspätete Abgaben, fehlende Reflexionen und erfolgreiche Extraktionen aus den Lernanalysen. Werte sind als n (%) angegeben, sofern nicht anders angegeben. Aufgrund von Rundungen können sich die Prozentangaben möglicherweise nicht exakt zu 100 % summieren. Gemäß dem Protokoll werden verspätete Reflexionen archiviert, aber von den wochenbezogenen Reflexionsanalysen ausgeschlossen. Eine vollständige Extraktion aus den Lernanalysen bezeichnet den erfolgreichen Abruf der anonymisierten Aufzeichnungen des Studienzeitraums nach Entfernung von Dozentenkonten, doppelten Einträgen und Ereignissen außerhalb des Zeitfensters. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Tabelle 4: Deskriptive Statistiken und Test-Retest-Reliabilitätswerte der primären Untersuchungsvariablen. Die Tabelle zeigt wochenbezogene Mittelwerte, Standardabweichungen und Reliabilitätsindizes für beobachtetes Klassenraumverhalten, reflektierende Ausdrucksweise, Lernanalytik und prosoziale Intention. Die Reliabilität der Klassenraumbeobachtungsdaten wird mithilfe Cohens Kappa bewertet. Die Zuverlässigkeit der Bewertung von Reflexionen wird als Intra-Klassen-Korrelationskoeffizient (ICC) für doppelt bewertete Texte angegeben. Die innere Konsistenz des Messinstruments für prosoziale Intention wird mittels Cronbachs α berichtet. Die Variablen der Lernanalytik werden über denselben vierwöchigen Zeitraum berechnet, der auch für Beobachtungen und Reflexionen verwendet wurde. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Tabelle 5: Multivariablee Zusammenhänge zwischen beobachteter Klassenraum-Engagement, reflektierendem Ausdruck, Lernanalytik und prosozialem Intention. Die Tabelle beschreibt die in den Hauptanalysen verwendeten inferenzstatistischen Modelle. Dargestellt sind multivariable Prädiktoren der Gesamtpunktzahl der Reflexion, adjustierte Prädiktoren der prosozialen Intention nach dem Protokoll (unter Kontrolle der Ausgangswerte) sowie ausgewählte unadjustierte Zusammenhänge. Die β-Werte stellen nicht standardisierte Regressionskoeffizienten dar. Alle multivariablen Modelle sind auf Kursabschnitt hin adjustiert. Für alle Schätzungen werden Standardfehler (SE), 95 %-Konfidenzintervalle (KI) und p-Werte angegeben. Bitte klicken Sie hier, um diese Tabelle herunterzuladen.

Diskussion

Diese Studie schlägt ein praktisches Protokoll vor, das Verhaltensbeobachtung, reflektierendes Schreiben und Lernanalytik integriert, um die Beteiligung, Selbstäußerung und prosoziale Wahrnehmung von Studierenden innerhalb eines einzigen Unterrichtszeitraums umfassend zu untersuchen. Indem verschiedene Dimensionen des Engagements erfasst werden, begegnet dieser dreimodale Ansatz aktuellen Kritikpunkten in der Hochschulforschung, die argumentieren, dass Zeitnutzungsmetriken und sensorbasierte Überwachung allein betrachtet unzureichend sind¹. Im Verlauf des vierwöchigen Protokolls verbesserte sich das sichtbare Klassenraum-Engagement signifikant. Insbesondere stiegen die mündliche Beteiligung und die Zusammenarbeit unter Kommilitonen parallel zur Aufmerksamkeit während der Aufgabenbearbeitung, während Hilfesuche und aufgabenfokussiertes Notizenmachen nur geringfügige Veränderungen zeigten. Diese Verhaltensänderungen deuten darauf hin, dass sich das Engagement der Studierenden im Laufe der Akklimatisierung an das Unterrichtsumfeld zu einer strategischeren, sozial interaktiven und beitragsorientierten Teilnahme weiterentwickelt¹⁶.

Aus methodischer Sicht hängt der Wert des Protokolls weniger von der Beobachtung einheitlich positiver Ergebnisse ab, sondern vielmehr von einer disziplinierten Durchführung. Der überarbeitete Arbeitsablauf betont daher eine vorab festgelegte OCEI-Formel, unabhängige Beobachtung, dokumentierte Softwareverarbeitung, Beispiele für Bewertungsraster, Zuverlässigkeitsgrenzwerte und explizite Regeln für fehlende Daten. Diese Ergänzungen sollen das Protokoll in typischen Unterrichtsumgebungen reproduzierbar machen, in denen Plattformaufzeichnungen, Schüleranwesenheit, Kamerabildqualität und Reflexionsqualität unvollkommen sind.

Das Protokoll sollte auch als formatsensitiv interpretiert werden. Bei großen Vorlesungsveranstaltungen benötigen Beobachter möglicherweise kleinere rotierende Gruppen und eine längere Eichphase; bei Online-Kursen kann die Verhaltensbeobachtung auf Interaktionsprotokollen und sichtbarer Beteiligung basieren statt auf der Raumbeobachtung; in Laborräumen erfordert verhaltensbezogene Sicherheit möglicherweise einen zusätzlichen Indikator; und in kulturell vielfältigen Lernumgebungen sollten Reflexionsanregungen und Fragen zu prosozialen Absichten vor der Anwendung auf sprachliche Klarheit und kulturelle Angemessenheit überprüft werden.

Das reflektierende Schreiben liefert eine zusätzliche Ebene des Einblicks in diese Verhaltensmuster. Die Gesamtwerte der Reflexion zeigten im Verlauf des Protokolls einen stetigen Anstieg, wobei die deutlichsten Verbesserungen in der analytischen Tiefe und der sozial-prosociogen Bedeutung festzustellen waren. Statt lediglich Unterrichtsereignisse zu schildern, zeigten die Studierenden eine zunehmende Fähigkeit, Unterrichtssituationen aus einer breiteren, sozial bewussteren Perspektive zu analysieren. Dies steht im Einklang mit jüngsten Erkenntnissen, dass wiederholte, strukturierte Reflexionsaufgaben die Entwicklung von höherstufigem Sinnstiftungsvermögen und wissensbasiertem Diskurs fördern, selbst wenn das Textvolumen auf der Oberfläche relativ konstant bleibt⁹. Folglich sollte das reflektierende Schreiben in der Hochschulbildung am besten als mehrdimensionales Konstrukt verstanden werden, bei dem Fähigkeiten im Bereich Interpretation, Transfer und selbstregulatorische Projektion im Laufe der Zeit unterschiedlich schnell wachsen⁵.

Die Integration von Lernanalytik untermauert weiterhin die Notwendigkeit eines Protokolls mit mehreren Datenquellen. Inhaltliche Handlungen wie Diskussionsantworten und die pünktliche Abgabe von Aufgaben erwiesen sich als weitaus aussagekräftigere Indikatoren für Engagement als die reine Aktivitätsmenge. Im Gegensatz dazu zeigte der Plattformzugriff in den späten Abendstunden keine signifikante Verbindung zur Qualität der Reflexion oder zu prosocialen Absichten. Diese Ergebnisse bestätigen frühere Forschungsergebnisse, die vor einer übermäßigen Orientierung an einfachen Häufigkeits- oder Login-Kennzahlen bei der Bewertung der Studierendenbeteiligung warnen⁴. Unsere Ergebnisse deuten darauf hin, dass Studierende, die konstruktiv mit Kursmaterialien interagieren, eine stärkere Fähigkeit zur Reflexion entwickeln; grundlegende Plattformaktivitäten spiegeln jedoch das beobachtbare Engagement im Unterricht nicht vollständig wider. Die moderate Überschneidung – statt übermäßiger Redundanz – zwischen Beobachtung, Reflexion und Analytik rechtfertigt somit den Einsatz zusammengesetzter Messstrategien gegenüber unabhängigen, auf einer einzigen Quelle basierenden Schlussfolgerungen¹⁷.

Ein weiterer Beitrag dieser Studie besteht in der Erweiterung der evaluierten Ergebnisse über herkömmliche Beteiligungsmetriken hinaus. Die prosocial orientierte Intention zeigte eine messbare Zunahme vom Pre-Test zum Post-Test, wobei die stärksten Zusammenhänge bei jenen Studierenden auftraten, die sozial-prosociare Themen in ihren Reflexionen artikulierten und ein umfangreiches Interaktionsprofil aufwiesen. Dies steht im Einklang mit aktuellen Forschungsergebnissen zur Hochschulbildung, die postulieren, dass kooperative, beitragsorientierte Eigenschaften integraler Bestandteil von Unterrichtsinteraktionen sind und nicht bloße Nebeneffekte darstellen⁸. Darüber hinaus unterstützen diese Ergebnisse die Konzeption von Lehrveranstaltungen als komplexe soziale Systeme. Wenn Studierende aktiv ihre relativen Beiträge zur Lerngemeinschaft bewerten, verlagert sich ihr Verhalten tendenziell von bloßer Konformität hin zu konstruktiver, prosocialer Beteiligung¹⁸.

Diese Schlussfolgerungen liefern umsetzbare Erkenntnisse für die Gestaltung des Unterrichts. Das vorgeschlagene Protokoll erfordert keine spezialisierten Sensoren oder invasiven Überwachungssysteme. Indem es ausschließlich auf intervallbasierte Beobachtung, wöchentliche strukturierte Reflexionen und standardmäßige Daten der Kursplattform setzt, bietet diese Kombination eine äußerst praktikable Lösung für den Lehramtsunterricht, der transparente, formative Nachweise der Beteiligung erfordert, jedoch über keine fortschrittliche technologische Infrastruktur verfügt. Aktuelle pädagogische Rahmenkonzepte, die Lerngemeinschaften und wertschöpfendes Lehren betonen, legen nahe, dass die Neupositionierung der Studierenden als aktive Mitgestalter statt passiver Konsumenten die Teilhabe an der Hochschulbildung mit größerer Bedeutung erfüllt¹⁹. Unser empirischer Befund, dass Indikatoren im Zusammenhang mit Beiträgen eng mit der Qualität der Reflexion und prosocialen Absichten korrelieren – und zwar weitaus stärker als einfacher Plattformverkehr –, stützt diesen pädagogischen Wandel nachdrücklich.

Mehrere Einschränkungen müssen berücksichtigt werden. Erstens erfordert die Übertragbarkeit des Protokolls auf laborbasierte, vorlesungsdominierte, vollständig asynchrone Online- oder kulturell vielfältige Umgebungen aufgrund der begrenzten Anzahl an Kursabschnitten eine gezielte Anpassung und erneute Zuverlässigkeitsprüfungen. Zweitens wird prosocialer Intention durch Selbstbericht erfasst und sollte als berichtete Absicht und nicht als direkte Verhaltenswahrheit interpretiert werden. Drittens erfassen Lernanalysen nur plattformvermittelte Aktivitäten und könnten daher die Vorbereitung außerhalb der Plattform, informelle Peer-Unterstützung sowie nicht offengelegte, KI-gestützte Lernaktivitäten verfehlen. Viertens kann das vierwöchige Beobachtungsfenster kurzfristige Implementierungsmuster identifizieren, jedoch möglicherweise keine langfristigen Entwicklungsverläufe erfassen. Schließlich sollten die vierwöchigen repräsentativen Werte als kontextspezifische Nachweise der Implementierung und nicht als verallgemeinerbare kausale Schätzungen interpretiert werden²⁰.

Zukünftige Forschungsarbeiten sollten diesen Rahmen in mehreren Richtungen erweitern. Die Replikation des Protokolls über verschiedene akademische Disziplinen und Lehrformen hinweg ist ein entscheidender nächster Schritt. Außerdem sind Längsschnittbefragungen erforderlich, um zu ermitteln, ob diese kurzfristigen reflektierenden Praktiken dauerhafte prosoziale Einstellungen oder nachhaltige Verhaltensvorteile hervorrufen. Folgestudien könnten diesen Beobachtungsrahmen zudem mit alternativen Methoden vergleichen, beispielsweise mit Peer-Assessment, der Analyse gruppenbasierter Artefakte oder der Ereignissequenzanalyse. Dennoch bietet dieses Protokoll in seiner gegenwärtigen Form einen robusten, funktionalen Mechanismus, um zu überprüfen, was Studierende im Unterricht tun, wie sie diese Handlungen danach interpretieren und wie sie sich sozial im weiteren Lernumfeld positionieren.

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Codierbogen für Klassenzimmerbeobachtungen	Eigenentwicklung	Sechs binäre Verhaltensindikatoren	Intervallbasierte Kodierung von Aufmerksamkeit auf die Aufgabe, verbaler Beteiligung, Zusammenarbeit mit Kommilitonen, aufgabenbezogenem Notizenmachen/-verwenden von Geräten, Ablenkung von der Aufgabe und Hilfesuche.
GraphPad Prism	Graphpad	Version 10.2.3	Erstellung von Workflow-Diagrammen, wöchentlichen Trenddiagrammen, Verteilungsdiagrammen und Assoziationsgrafiken.
Institutionelles Lernmanagementsystem / Kursplattform	Wirtshochschule	Vorhandenes institutionelles LMS-Kontosystem	Sammlung anonymisierter Lernanalytik-Daten.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Erstellung von Workflow-Diagrammen, wöchentlichen Trenddiagrammen, Verteilungsdiagrammen und Assoziationsgrafiken.
R	R Foundation		ggplot2 3.5.1
Tabellenkalkulationssoftware	Microsoft Corporation	Microsoft Excel 365 v2402	Dateneingabe, Datensäuberung, Überprüfung der Anonymisierung sowie Zusammenführung der Beobachtungs-, Reflexions- und Analytik-Datensätze.
SPSS Statistics	IBM Corp	Version 26.0	Statistische Analyse-Software; Deskriptive Statistiken, Vergleiche mit Messwiederholungen, Cohens Kappa, ICC, Cronbachs Alpha, Korrelationen und Regressionsmodelle.