Bewertung des Engagements von Universitätsstudierenden im Unterricht, des reflexiven Ausdrucks und prosozialer Intentionen mittels Verhaltensbeobachtung und Learning Analytics

Zusammenfassung

Dieses Protokoll integriert Klassenzimmerbeobachtung, reflektierendes Schreiben, die Messung prosocialer Intentionen und Lernanalytik, um das verhaltensbezogene Engagement, die reflektierende Ausdrucksfähigkeit und die sozial ausgerichteten Lernergebnisse von Studierenden über einen vierwöchigen Unterrichtszeitraum hinweg zu bewerten. Es legt die Genehmigung durch eine Ethikkommission, den Inhalt der Instrumente, den Software-Workflow, das Vorgehen bei fehlenden Daten, Fehlerbehebungsverfahren sowie die Interpretation repräsentativer Ergebnisse fest, einschließlich beobachteter Umsetzungsbeschränkungen.

Zusammenfassung

Um der Notwendigkeit multidimensionaler Bewertungen der Studierendenbeteiligung jenseits traditioneller Metriken gerecht zu werden, beschreibt dieses Protokoll einen strukturierten Ansatz zur Beurteilung von Klassenraum-Engagement, reflektierendem Ausdruck, Aktivitäten der Lernanalytik und prosocialer Intention in Bachelor-Lehrveranstaltungen. Das Protokoll kombiniert intervallbasierte Verhaltensbeobachtung, wöchentliches strukturiertes reflektierendes Schreiben, anonymisierte Aufzeichnungen aus dem Lernmanagementsystem sowie einen vorher-nachher-Fragebogen zur prosocialen Intention. Die überarbeiteten Verfahren liefern ein reproduzierbares Verhaltenscodierungsmodell, eine Rubrik für den reflektierenden Ausdruck mit Bewertungsbeispielen, Schritte zur Software- und Datenverwaltung sowie klare Anleitungen zur Fehlerbehebung bei Beobachteruneinigkeit, fehlenden Plattformdatensätzen, geringen Abgaberaten bei Reflexionen, schlechter Kamerabildqualität, Teilnehmerabwanderung und inkonsistentem Vorwissen. Dieses Protokoll sollte verwendet werden, wenn Forschende eine wenig intrusive, reproduzierbare Methode benötigen, um live beobachtetes Klassenraumverhalten, die Selbstinterpretation der Studierenden und routinemäßige Aktivitäten im Lernmanagementsystem (LMS) während des Bachelorunterrichts zu kombinieren. Es eignet sich weniger für vollständig asynchrone Kurse ohne beobachtbare Interaktion, für Kontexte, in denen unabhängige Beobachtung oder Datensatzverknüpfung untersagt ist, oder für Studien, die biometrische Analysen oder Emotionserkennung erfordern. Die repräsentativen Ergebnisse stammen aus einer durchgeführten empirischen Anwendung nach nachgewiesener ethischer Genehmigung, Anonymisierung der Kursdaten und Vorbereitung für ein Repository.

Einleitung

Die Bewertung der Studierendenbeteiligung in der Hochschulbildung erfordert einen umfassenden, mehrquelligen Ansatz. Obwohl studentisches Engagement weithin als mehrdimensionales Konstrukt verstanden wird, das beobachtbares Verhalten, kognitiven Aufwand und Interaktion mit der Umwelt umfasst, stützen sich aktuelle analytische Ansätze vorwiegend auf oberflächliche Protokolldaten wie Anmeldehäufigkeiten und vom System erfasste Aktionen¹. Diese übermäßige Abhängigkeit stellt eine erhebliche Herausforderung für praktische, klassenbasierte Forschung dar. Die wichtigsten Formen der unterrichtlichen Beteiligung – direkte Interaktionen unter Lernenden, kognitive Reflexion und soziale Beiträge – finden oft vollständig außerhalb des begrenzten Sichtfelds der Plattformen statt².

Die Komplexität des modernen Hochschulunterrichts hat sich mit der Einführung hybrider pädagogischer Modelle, die digitale Plattformen mit traditionellem Präsenzunterricht verbinden, verstärkt. Obwohl systematische Übersichten über Learning Analytics bestätigen, dass digitale Spuren wertvolle Einblicke in die Zeitzuweisung, Zugriffsmuster und Langzeitbehaltensraten bieten, können allein diese Metriken nicht bestimmen, ob die Aufmerksamkeit eines Lernenden tatsächlich effizient oder sinnvoll ist³. Folglich plädieren aktuelle wissenschaftliche Arbeiten dafür, Learning Analytics stärker in theoretischen Rahmenbedingungen zu verankern, indem digitale Spuren mit umfassenderen, kontextabhängigen Maßen der Teilnahme – wie Klassenraumverhalten und reflektierenden Aktivitäten – verknüpft werden⁴.

Das reflektierende Schreiben verleiht dieser Bewertung eine wesentliche qualitative Dimension. Strukturierte Nachbesprechungen und Lerntagebücher erfassen die Interpretationen der Studierenden zu den Lernaktivitäten, verdeutlichen instruktionale Herausforderungen und verbinden theoretische Inhalte mit nachfolgenden praktischen Handlungen. Aktuelle empirische Befunde beschreiben den reflektierenden Ausdruck als integrierte, mehrkomponentige Konstruktion, die deskriptive Wiedergabe, analytische Schlussfolgerung, selbstreferenzielle Darstellung und Generalisierung von Bedeutung umfasst⁵. Darüber hinaus zeigen Untersuchungen, dass die wiederholte Anleitung zur Reflexion bei Studierenden schrittweise ihre Fähigkeit zur Selbstbeobachtung stärkt; mit zunehmender Häufigkeit strukturierter Reflexion im Studienverlauf verbessern sich auch die unabhängigen explorativen Fähigkeiten der Studierenden⁶.

Eine zweite große Lücke in der aktuellen Beforschung des studentischen Engagements besteht in der häufigen Marginalisierung der Klassenzimmer-Sozialisation. Während bestehende Studien stark auf individuelles Verhalten oder kognitive Prozesse abzielen, fungieren Universitätsseminare als inhärent soziale Lernumgebungen, in denen Studierende einander durch Zusammenarbeit und reaktive Interaktionen beeinflussen. Neuere Befunde zeigen, dass das Klassenklima und die Strukturen der Beteiligung stark mit prosozialem Verhalten und einer beitragorientierten Grundhaltung korrelieren – Ergebnisse, die im Vergleich zu traditionellen Kennzahlen der akademischen Leistung oder der Studierendenzufriedenheit bislang unterrepräsentiert sind. Prosoziales Verhalten in akademischen Kontexten ist nicht lediglich ein Nebenprodukt emotionaler Zustände oder Stress; vielmehr hängt es grundlegend davon ab, wie sich Studierende innerhalb kollektiver Lernaktivitäten positionieren⁷. Die Messung prosozialer Intentionen bietet daher eine geeignete Perspektive, um zu ermitteln, ob das Engagement im Unterricht über die isolierte Aufgabenerledigung hinausgeht und kooperative, förderliche Verhaltensweisen auch jenseits des unmittelbaren Lehrkontexts fördert⁸.

Diese konzeptionellen Entwicklungen unterstreichen die Notwendigkeit eines integrierten Rahmens zur Datensammlung, der innerhalb eines einzigen Unterrichtszeitraums eingesetzt wird. Ein Design mit mehreren Quellen verringert die Einschränkungen, die mit der alleinigen Verwendung einer einzelnen Metrik verbunden sind, ermöglicht die Kreuzvalidierung verschiedener Partizipationsformen und zeigt auf, wie Studierende ihre außerunterrichtlichen Aktivitäten interpretieren, um eigenständiges Lernen zu fördern⁹. Während reflektierende Bewertungen den inneren kognitiven Zustand der Lernenden erfassen, verbessert die Verankerung dieser Selbsteinschätzungen mit objektiven Verhaltensspuren die Interpretierbarkeit der Lern-Daten erheblich. Derzeit fehlen praktische, einsatzbereite Unterrichtsprotokolle, die systematische Verhaltensbeobachtung, strukturierte reflektierende Berichterstattung und Lernanalytik nahtlos für den routinemäßigen Einsatz an Hochschulen miteinander verbinden.

Um diese methodischen Mängel zu beheben, stellt dieser Artikel ein Bewertungsprotokoll vor, das darauf ausgelegt ist, das Klassenraumengagement, die reflektierende Ausdrucksweise und die prosoziale Intention von Universitätsstudierenden gleichzeitig zu messen. Speziell für den Bachelorbereich entwickelt, bietet das Protokoll eine straff optimierte Methodik, die mit minimalem Verwaltungsaufwand verbunden ist, ohne dabei die wissenschaftliche Reproduzierbarkeit zu beeinträchtigen. Indem es die analytische Lücke zwischen beobachtbarem Verhalten, artikulierter Selbstwahrnehmung und sozial ausgerichteten Lernergebnissen schließt, kommt dieser Rahmenkonzept dem zunehmenden Bedarf nach größerer begrifflicher Klarheit in der Forschung zur Mensch-Technik-Interaktion in Bildungsumgebungen entgegen¹⁰.

Protokoll

Alle Methoden, an denen menschliche Teilnehmer beteiligt waren, wurden in Übereinstimmung mit der Deklaration von Helsinki und den einschlägigen institutionellen Richtlinien durchgeführt. Für die durchgeführte Studie wurde das Protokoll vom Ethikkomitee des Nanchang Institute of Technology vor Beginn der Rekrutierung genehmigt (Genehmigungsnummer: NITE778291). Von jedem teilnehmenden Studenten wurde eine schriftliche informierte Einwilligung eingeholt. Für die Analyse wurden ausschließlich anonymisierte aggregierte Daten aus Klassenbeobachtungen, Reflexionsbewertungen, Lernanalysen und Fragebögen verwendet; identifizierbare Klassenvideos, Namen, institutionelle IDs und nicht geschwärzte Reflexionstexte wurden von der öffentlichen Veröffentlichung ausgeschlossen.

1. Studiendesign und Auswahl der Teilnehmer

1. Führen Sie das Protokoll über vier aufeinanderfolgende Unterrichtszeiträume für jeden ausgewählten Kursabschnitt durch. Notieren Sie anonymisierte Kursbezeichnungen, Unterrichtsformate, Klassengröße, Unterrichtserfahrung der Dozierenden sowie, ob der Kurs ganzklassige Anleitung, Gruppenarbeit oder individuelle Übungsphasen umfasst. Streben Sie eine anfängliche Kursbelegung von etwa 180 bis 210 Studierenden im Alter von 18 Jahren oder älter an, oder passen Sie die Zielstichprobengröße an den jeweiligen Kurskontext an.
2. Stellen Sie sicher, dass alle Teilnehmenden über einen aktiven institutionellen Zugang zur Kursplattform verfügen, die beobachteten Veranstaltungen besuchen und die üblicherweise bereitgestellte Kursanleitung erhalten haben. Wenn die erforderlichen Vorkenntnisse erheblich variieren, stellen Sie vor Beginn des Beobachtungszeitraums einen kurzen Überbrückungsleitfaden, eine vorab bereitgestellte Ressourcenliste oder eine von der Dozierenden geleitete Wiederholung bereit und dokumentieren Sie diese Unterstützungsmaßnahmen als kontextuelle Metadaten.
3. Erlangen Sie von allen Studierenden eine schriftliche, informierte Einwilligung nach Vorlage eines umfassenden schriftlichen Informationsschreibens. Geben Sie im Einwilligungsformular klar an, dass die Studie Beobachtungen des Klassenverhaltens, wöchentliches reflektierendes Schreiben sowie anonymisierte Aufzeichnungen der Lernplattform miteinander verknüpft.
4. Nehmen Sie nur Studierende, die ihre Einwilligung erteilt haben, in den Forschungsdatensatz auf. Gewährleisten Sie, dass die Ablehnung der Teilnahme keinerlei Auswirkungen auf Anwesenheit, Leistungsbeurteilung, Kurszugang oder Kommunikation mit der Dozierenden hat.
   1. Erläutern Sie vor der ersten Reflexionsaufgabe, welche Nutzung von KI-basierten (künstliche Intelligenz) Werkzeugen erlaubt oder untersagt ist.
      HINWEIS: KI-Werkzeuge dürfen nur verwendet werden, wenn dies durch die Kursrichtlinien erlaubt ist und ausschließlich zur allgemeinen Lernunterstützung; reflektierende Abgaben und Antworten zu prosocialen Absichten müssen die eigene Erfahrung der Studierenden beschreiben und jegliche KI-Unterstützung offenlegen.
   2. Falls die Dozierenden die Verwendung von KI zur Überbrückung von Vorkenntnissen erlauben, stellen Sie allen Studierenden dieselben genehmigten Prompts oder Ressourcen zur Verfügung und dokumentieren Sie diese Maßnahme als Anpassung des Protokolls. Verwenden Sie keine KI-generierten Zusammenfassungen als primäres Belegmaterial für Studierendenreflexionen, es sei denn, die Validierungsstudie bewertet ausdrücklich KI-unterstützte Antworten.
5. Schließen Sie Studierende vor der Analyse aus, wenn sie keine Einwilligung erteilen, den Kurs während des Protokollzeitraums verlassen oder keine vollständigen übereinstimmenden Daten aus Beobachtung, Reflexion und Analyseplattform vorweisen können. Verwenden Sie ein Messwiederholungsdesign, um über einen Zeitraum von 4 Wochen hinweg konsistente Daten aus drei unterschiedlichen Quellen zu sammeln².

2. Erfassung von Basisdaten und Identitätsverwaltung

1. Benennen Sie eine einzige Datenverwalterin oder einen einzigen Datenverwalter, die oder der jeder teilnehmenden Person über einen pseudorandomisierten Prozess eine achtstellige alphanumerische Studien-ID zuweist.
2. Erstellen Sie eine Verknüpfungsdatei mit Identität und Studien-ID, die die Namen der Studierenden, institutionellen IDs, Kursabschnitte und Studiennummern enthält. Speichern Sie diese Datei sicher und getrennt von den Analyse-Dateien, sodass sie für Beobachter, Reflexionskodierer und Forschende vollständig unzugänglich bleibt.
3. Löschen oder archivieren Sie diese Verknüpfungsdatei nach der abschließenden Datenprüfung gemäß der genehmigten datenschutzrechtlichen Aufbewahrungsrichtlinie der Institution, wobei die Einhaltung aktueller Praktiken im Bereich der Lernanalytik im Hochschulwesen bezüglich eingeschränkter Verknüpfung und Anonymisierung gewährleistet bleibt¹.
4. Erheben Sie zu Beginn, in der ersten Woche vor der ersten beobachteten Unterrichtsstunde, Basisdaten zur Demografie der Teilnehmenden hinsichtlich Alter, Geschlecht, Studienjahr und Fachrichtung.
5. Verwenden Sie den sechsstufigen Fragebogen zur prosozialen Intention aus Zusatzdatei 1 als strukturiertes Baselinemessinstrument vor der ersten beobachteten Unterrichtsstunde. Führen Sie ihn elektronisch über das Lernmanagementsystem (LMS) oder in Papierform ausschließlich mit der zugewiesenen Studien-ID durch. Die Studierenden bewerten jedes Item auf einer 5-Punkte-Skala von 1 = stimme überhaupt nicht zu bis 5 = stimme voll und ganz zu; berechnen Sie den Baseline-Wert als Mittelwert der beantworteten Items, sofern mindestens fünf der sechs Items ausgefüllt wurden.
6. Exportieren Sie alle danach gesammelten Reflexionstexte ohne Namen, E-Mail-Adressen oder andere personenbezogene Merkmale, um vor Beginn des qualitativen Kodierungsprozesses vollständige Anonymität sicherzustellen.

3. Vorbereitung der Klassenraumbeobachtung

1. Planen Sie für jede Kursgruppe einmal wöchentlich Beobachtungen über vier aufeinanderfolgende Wochen. Definieren Sie bei einem standardmäßigen 90-minütigen Unterricht eine beobachtete Zeitspanne von 70 Minuten, indem Sie die ersten 10 Minuten und die letzten 10 Minuten von der Kodierung ausschließen⁵.
2. Beginnen Sie die Kodierung in der 10.^ten Minute und beenden Sie sie in der 80.^sten Minute eines standardmäßigen 90-minütigen Unterrichts. Diese Pufferzeiten gehören nicht zum 70-minütigen Beobachtungsfenster; daher ergibt ein Standardunterricht 70 Minuten kodierter Beobachtung und keine 30-minütige Sitzung.
3. Schließen Sie jeden unterbrochenen Unterrichtsabschnitt von der abschließenden Bewertung aus, falls der Unterricht durch Alarme, Raumwechsel oder Plattformausfälle länger als 5 Minuten gestört wird.
4. Behandeln Sie das Klassenraumengagement als beobachtbare Zusammensetzung mehrerer Verhaltensweisen, indem Sie mehrere Verhaltensindikatoren gleichzeitig an jedem Messzeitpunkt erfassen¹¹. Zu den Indikatoren gehören Aufgabenbezogenheit, mündliche Beteiligung, Zusammenarbeit unter Lernenden, aufgabenfokussierte Notizen- oder Gerätenutzung, Ablenkung von der Aufgabe und Hilfe suchendes Verhalten.
5. Richten Sie die Sitzordnung im Klassenraum gruppenweise vor der ersten Beobachtung ein und bewahren Sie diese Sitzordnung während des gesamten vierwöchigen Zeitraums streng unverändert.
6. Platzieren Sie zwei geschulte Beobachter an festen Positionen mit vollständiger Sicht auf den gesamten Raum, sodass sie unabhängig voneinander kodieren können. Falls institutionelle Videoaufnahmen erlaubt sind und die Teilnehmenden zustimmen, installieren Sie zwei stationäre Kameras im hinteren mittleren und hinteren seitlichen Bereich und synchronisieren Sie diese vor der Sitzung.
7. Nutzen Sie Videoaufzeichnungen ausschließlich für die Schulung der Beobachter, die Überprüfung der Zuverlässigkeit und die Klärung von Sichtproblemen; verwenden Sie Videoaufnahmen nicht als primäre Quelle für die Kodierung und führen Sie keine Analysen von Gesichts- oder Stimmemotionen, biometrischen Daten oder Identifikationserkennung durch.

4. Verhaltenskodierung in zeitlichen Intervallen

1. Teilen Sie das 70-minütige Beobachtungsfenster in aufeinanderfolgende Intervalle ein, die jeweils aus einer 20-s-Visuell-Abtastung und einer 10-s-Aufzeichnungsphase bestehen. Falls für eine große Vorlesung, ein Labor oder einen Online-Kurs eine abweichende Intervalllänge erforderlich ist, geben Sie die angepasste Intervallstruktur an und begründen Sie diese, bevor die Datenerhebung beginnt.
   ANMERKUNG: Diese 20-s/10-s-Struktur stellt ein Gleichgewicht zwischen ökologischer Klassenraumbeobachtung und der Arbeitsbelastung des Kodierers her: Die Abtastphase ist lang genug, um anhaltende Aufmerksamkeit, Zusammenarbeit und abgelenktes Verhalten zu erkennen, während die Aufzeichnungsphase die Belastung des Gedächtnisses verringert und konsistente binäre Entscheidungen unterstützt.
2. Scannen Sie pro Intervall in einer kontinuierlichen Schleife eine klar definierte Gruppe von bis zu zehn Studierenden basierend auf der Sitzordnung.
3. Verwenden Sie spezifische Scankriterien, um Inkonsistenzen bei der Kodierung aufgrund unscharfer operationeller Definitionen zu vermeiden⁴. Kodieren Sie sechs binäre Indikatoren auf Studierendenebene während jedes Scans. Dazu gehören Aufgabenbezogene Aufmerksamkeit, mündliche Beteiligung, Zusammenarbeit unter Kommilitonen, aufgabenfokussiertes Notizenmachen oder Gerätenutzung, abgelenktes Verhalten und Hilfesuchverhalten.
4. Kennzeichnen Sie einen Indikator mit "1", wenn das definierte Verhalten während der 20-s-Abtastung zu irgendeinem Zeitpunkt auftritt. Andernfalls kennzeichnen Sie ihn mit "0". Kodieren Sie das Intervall als fehlend, wenn ein Studierender während mindestens 10 s der Abtastung nicht sichtbar ist.
5. Notieren Sie aufgabenbezogene Aufmerksamkeit, wenn ein Studierender sich visuell mindestens 5 aufeinanderfolgende Sekunden lang dem Dozenten, den zugewiesenen Aufgaben, präsentierten Informationen oder Kommilitonen, die an einer aufgabenbezogenen Diskussion beteiligt sind, zuwendet. Kodieren Sie mündliche Beteiligung bei jedem hörbaren und aufgabenbezogenen Beitrag.
6. Kodieren Sie Zusammenarbeit unter Kommilitonen, wenn Studierende sichtbare, aufgabenbezogene Austauschprozesse, gemeinsame Problemlösungen oder gegenseitige Erklärungen durchführen. Notieren Sie aufgabenfokussiertes Notizenmachen oder Gerätenutzung bei aktivem Schreiben, Tippen oder digitaler Interaktion mit Kursmaterialien.
7. Kennzeichnen Sie abgelenktes Verhalten, wenn ein Studierender mindestens 5 aufeinanderfolgende Sekunden lang in nicht verwandte Gespräche verwickelt ist, nicht-akademische Geräte nutzt oder dauerhaft desinteressiert ist. Erfassen Sie Hilfesuchverhalten, wenn ein Studierender explizit Klarstellung oder Unterstützung vom Dozenten oder von Kommilitonen anfordert.
8. Berechnen Sie die wöchentliche Verhaltenswertung für jeden Studierenden als Gesamtanzahl der positiven Bewertungen geteilt durch alle gültigen Bewertungen. Leiten Sie anschließend die Mittelwerte über 4 Wochen für alle sechs Indikatoren ab.
9. Berechnen Sie einen kombinierten Index für beobachtetes Klassenraumengagement (OCEI) für Studierenden i in Woche w mithilfe des vorab festgelegten mathematischen Modells: OCEI_iw = [Aufgabenbezogene Aufmerksamkeit_iw + Mündliche Beteiligung_iw + Zusammenarbeit unter Kommilitonen_iw + Aufgabenfokussiertes Notizenmachen/Gerätenutzung_iw + (1 – Abgelenktes Verhalten_iw)]/5.
10. Führen Sie das Hilfesuchverhalten als unabhängige Analysevariable weiter, da es je nach Kontext entweder konstruktive Klarstellung oder Schwierigkeiten mit dem Lehrinhalt widerspiegeln kann¹². Siehe Abbildung 1 für den Studienarbeitsablauf und Tabelle 1 für die Beobachtungsindizes und Kodierregeln.

5. Beobachterschulung und Zuverlässigkeitsbewertung

1. Führen Sie eine Beobachterschulung mit einer 60-minütigen manuellen Schulungseinheit durch und führen Sie drei Kalibrierungsrunden vor Beginn des eigentlichen Programms durch.
2. Führen Sie die erste Kalibrierungsrunde mithilfe einer geführten Kodierung eines nicht-studienbezogenen Klassenzimmervideos durch. Führen Sie die beiden folgenden Runden als eigenständige Kodierungen unterschiedlicher nicht-studienbezogener Videos durch, gefolgt von direkten statistischen Vergleichen mit dem leitenden Kodierer.
3. Beginnen Sie die formale Datenerhebung erst, wenn Cohens Kappa den Wert von 0,75 erreicht oder überschreitet und die gesamte Übereinstimmung zwischen den Bewertern über 85 % liegt.
4. Führen Sie eine doppelblinde Drift-Überprüfung an 10 % der vollständigen Sitzungen sowie an einem zufällig ausgewählten 10-Minuten-Abschnitt der verbleibenden Sitzungen während des gesamten 4-Wochen-Protokolls durch.
5. Kalibrieren Sie das Kodierungsteam innerhalb von 72 Stunden erneut und überprüfen Sie die betroffenen Sitzungen erneut, bevor die Daten gesperrt werden, falls der Kappa-Wert für einen Indikator unter 0,70 fällt. Geben Sie kontinuierlich Rückmeldungen und organisieren Sie Kalibrierungsübungen, um die Stabilität der Bewertungen im Zeitverlauf aufrechtzuerhalten¹³.

6. Sammlung und Auswertung reflektiver Aussagen

1. Weisen Sie die Studierenden an, für jede beobachtete Unterrichtsstunde einen strukturierten Reflexionstext (100–350 Wörter) einzureichen, wodurch pro Teilnehmer über das vierwöchige Protokoll hinweg vier Einträge entstehen.
2. Stellen Sie die Reflexionsfragen innerhalb von 2 Stunden nach der beobachteten Unterrichtsstunde über das LMS oder ein gedrucktes Formular bereit und schließen Sie die Abgabefrist 72 Stunden später. Das Formular muss das Feld „Study ID“ sowie die folgenden drei Fragen in derselben Reihenfolge für alle Studierenden anzeigen:
   1. Geben Sie an, wo sie sich während des Unterrichts am stärksten und am wenigsten eingebunden gefühlt haben.
   2. Erklären Sie die kontextuellen Ursachen, einschließlich Aufgabenschwierigkeit, Vorkenntnisse, Gruppeninteraktion, Erklärungen der Lehrkraft oder Plattformnutzung.
   3. Beschreiben Sie, wie sich ihre Beteiligung auf das Klassenklima ausgewirkt hat und welche zukünftigen Maßnahmen sie ergreifen möchten.
      HINWEIS: Behalten Sie Einträge unter 100 Wörtern bei, markieren Sie sie jedoch in der Datenbank als informationsarm. Kennzeichnen Sie außerdem Einträge, die die Aspekte Beteiligung, kontextuelle Ursachen oder zukünftige Maßnahmen/soziale Wirkung auslassen, da diese Auslassungen die Bewertung der Reflexionsqualität und die Machbarkeitsberichterstattung beeinflussen.
3. Weisen Sie zwei verblindete Kodierer*innen zur Bewertung der Einreichungen hinsichtlich deskriptiver Spezifität, analytischer Tiefe, selbstregulatorischer Orientierung und sozial-prosozialer Bedeutung zu.
   1. Bewerten Sie jede Dimension anhand einer 4-Punkte-Skala, wobei 0 für Fehlen, 1 für schwache oder vage Hinweise, 2 für klare, aber begrenzte Hinweise und 3 für starke und ausführliche Hinweise steht. Beispielsweise erhält die analytische Tiefe die Punktzahl 0, wenn kein Grund genannt wird, 1, wenn der Studierende lediglich angibt, dass die Aufgabe schwierig war, 2, wenn der Studierende die Schwierigkeit mit einem bestimmten Konzept oder einer Unterrichtsbedingung verknüpft, und 3, wenn der Studierende die Wechselwirkung zwischen Vorwissen, Diskussion unter Kommiliton*innen, Rückmeldungen der Lehrkraft und einer geplanten Lernstrategie erklärt. Tabelle 2 und ergänzende Datei 1 enthalten Beispiele für Bewertungsstufen für alle vier Reflexionsdimensionen.
4. Beginnen Sie die formale Bewertung erst, nachdem für jede Dimension bei den Pilottexten ein Intraklassenkorrelationskoeffizient von 0,80 oder höher erreicht wurde¹⁴.
5. Doppelbewerten Sie während des Protokolls zufällig 15 % der Studienreflexionen, um Raterdrift zu kontrollieren. Bewerten Sie die Reflexionstexte anhand dieser mehrdimensionalen qualitativen Kriterien, anstatt sich ausschließlich auf Textlänge oder Wortfrequenz zu stützen.
6. Entwickeln oder adaptieren Sie den Bewertungsraster für reflexive Äußerungen durch Expertenprüfung durch mindestens zwei Bildungsforscher*innen und eine*n Kursleiter*in. Erproben Sie den Raster an 20 bis 30 nicht zur Studie gehörenden Reflexionen, überarbeiten Sie unklare Beschreibungen und dokumentieren Sie die endgültige Version des Rasters, bevor die formale Kodierung beginnt.
7. Reichen Sie den in ergänzender Datei 1 dargestellten Fragebogen zur prosocialen Intention ein. Bitten Sie die Studierenden, ihre Bereitschaft einzuschätzen, Kommiliton*innen, die Schwierigkeiten haben, zu helfen, Lernressourcen zu teilen, konstruktiv zu Diskussionen beizutragen, Kommiliton*innen zu ermutigen, bei Gruppenaufgaben fair zu handeln und das Lernklima im Unterricht zu verbessern. Verwenden Sie eine 5-Punkte-Skala von 1 (stimme überhaupt nicht zu) bis 5 (stimme voll und ganz zu). Berechnen Sie den Mittelwert, wenn mindestens fünf der sechs Items ausgefüllt sind, und geben Sie Cronbachs Alpha für die Basis- und Nach-Protokoll-Erhebungen an.

7. Extraktion von Lernanalytik

1. Weisen Sie einem externen Administrator die Extraktion der Lernanalyse-Daten nach Woche 4 zu, um eine Verunreinigung der Beobachtungs- und Reflexionsprozesse zu verhindern.
2. Legen Sie das Extraktionsintervall von 00:00 Uhr am Tag der ersten beobachteten Unterrichtsstunde bis 23:59 Uhr am letzten Tag des endgültigen Reflexionszeitraums fest.
3. Extrahieren Sie nur die vorab festgelegten Variablen, die für das Protokoll erforderlich sind. Erfassen Sie die Anzahl der aktiven Tage auf der Plattform, die Anzahl der eindeutigen Ressourcenzugriffe, den Anteil der geöffneten zugewiesenen Ressourcen, die Anzahl der geposteten Diskussionsantworten, die durchschnittliche Videodurchlaufquote und die Pünktlichkeit bei Abgaben.
4. Bereinigen Sie die Rohexporte, indem Sie Konten von Lehrenden und wissenschaftlichen Hilfskräften, doppelte Datensätze, Testereignisse sowie Datenpunkte außerhalb des festgelegten Zeitraums entfernen.
5. Definieren Sie einen aktiven Tag als jeden Kalendertag, an dem mindestens ein authentifizierter Zugriff auf den Kurs sowie eine sinnvolle Interaktion – wie das Öffnen von Dateien, das Anschauen von Videos oder das Verfassen von Antworten – stattgefunden hat.
6. Zählen Sie eindeutige Ressourcenzugriffe, wobei doppelte Aktualisierungen innerhalb eines Zeitfensters von 60 s ignoriert werden. Ermitteln Sie die Videodurchlaufquote, indem Sie den angesehenen Anteil bezogen auf die geplante Dauer bis 01:00 Uhr abschneiden und anschließend über alle zugewiesenen Medieninhalte mitteln.
7. Berechnen Sie die Abgabepünktlichkeit basierend auf dem Anteil der vor den festgelegten Fristen abgegebenen Aufgaben. Berechnen Sie den Anteil der nächtlichen Zugriffe als Verhältnis sinnvoller Aktivitäten zwischen 00:00 und 06:00 Uhr zur Gesamtanzahl sinnvoller Aktivitäten im Beobachtungszeitraum. Nutzen Sie diese zeitlich begrenzten und leistungsbezogenen Kennzahlen, um aussagekräftigere Informationen zu erhalten als durch eine einfache Protokollsumme¹⁵.
8. Verwenden Sie einen vorab festgelegten Datenverarbeitungsworkflow für den Rohexport aus dem Learning-Management-System. Speichern Sie den ursprünglichen Export als schreibgeschützte Datei, erstellen Sie eine anonymisierte Arbeitskopie, entfernen Sie Konten von Lehrenden und wissenschaftlichen Hilfskräften sowie doppelte oder Testereignisse, und führen Sie ein Verarbeitungsprotokoll mit der Anzahl der Datensätze nach jedem Bereinigungsschritt.
9. Führen Sie die Datenbereinigung in einer Tabellenkalkulation oder später sowie die statistische Analyse in R Version 4.4.0 oder höher oder vergleichbarer Software durch.
   1. Verwenden Sie in einer Tabellenkalkulation die in 7.9.1.1–7.9.1.2 beschriebenen Schritte.
      1. Importieren Sie die anonymisierten CSV-Dateien über Daten > Daten abrufen > Aus Text/CSV und verwenden Sie Daten > Duplikate entfernen, um doppelte Studien-ID/Zeitstempel/Ereignis-Zeilen zu löschen.
      2. Wenden Sie Filter an, um Konten von Lehrenden oder wissenschaftlichen Hilfskräften sowie Datensätze außerhalb des Zeitfensters auszuschließen, und speichern Sie ein Verarbeitungsprotokoll mit der Anzahl der verbleibenden Zeilen nach jedem Schritt.
   2. Verwenden Sie in R die in 7.9.2.1–7.9.2.3 beschriebenen Schritte.
      1. Importieren Sie die Dateien mit readr::read_csv(), gestalten Sie wöchentliche Datensätze um mit dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() und tidyr::pivot_wider().
      2. Berechnen Sie Cohens Kappa mit irr::kappa2(), ICCs mit psych::ICC() und Cronbachs Alpha mit psych::alpha().
      3. Passen Sie lineare Modelle mit berücksichtigter Kursabschnitts-Anpassung mittels stats::lm() an; verwenden Sie lme4::lmer(), wenn ein vorab festgelegter zufälliger Intercept für den Kursabschnitt erforderlich ist, und verwenden Sie lme4::glmer(family = binomial) nur bei binären Ergebnissen. Archivieren Sie das genaue Skript sowie die verwendeten Paketversionen zusammen mit den Einreichungsunterlagen.
10. Verwenden Sie die folgende reproduzierbare Analyseabfolge.
    1. Berechnen Sie die Beobachtungsanteile pro Studierender und Woche, ermitteln Sie den OCEI mithilfe der Formel aus Schritt 4.9 und verknüpfen Sie die wöchentlichen Reflexionsscores über Studien-ID und Woche.
    2. Aggregieren Sie die Variablen der Lernanalyse über das identische 4-Wochen-Fenster, prüfen Sie den Anteil fehlender Werte nach Datenquelle, berechnen Sie deskriptive Statistiken und Reliabilitätsschätzungen und passen Sie die vorab festgelegten Assoziationsmodelle an.
    3. Fügen Sie keine ungeplanten Prädiktoren hinzu, nachdem die Ergebnisse eingesehen wurden, es sei denn, sie werden als explorativ gekennzeichnet.
11. (Optional) Lagern Sie aus Transparenzgründen ein anonymisiertes Analyseskript, einen Codebuch, leere Kodierbögen, Reflexionsaufforderungen, eine Reflexionsrubrik und den prosozialen Fragebogen im öffentlichen Repository oder als ergänzendes Material ein. Lagern Sie keine identifizierbaren Rohvideodaten aus dem Unterricht, Namen, institutionelle IDs oder nicht geschwärzte Reflexionstexte ein.

8. Nachprotokoll-Messung und Datensatzintegration

1. Verabreichen Sie das Instrument zur Erfassung prosozialer Absichten unmittelbar nach Abschluss des letzten Reflexionszeitraums erneut.
2. Bitten Sie die Studierenden, ihre Bereitschaft, Mitschülern zu helfen, Ressourcen zu teilen, konstruktiv zu Diskussionen beizutragen, Kommilitonen zu ermutigen, fair zu handeln und das Lernklima zu verbessern, auf einer Skala von 1 (stimme überhaupt nicht zu) bis 5 (stimme voll zu) zu bewerten. Berechnen Sie für jede Person die Gesamtpunktzahl nach dem Protokoll, indem Sie die Antworten mitteln, sofern mindestens fünf der sechs Items beantwortet wurden.
3. Vereinigen Sie die Beobachtungsdateien, Reflexionspunktzahlen und Lernanalyse-Datensätze unter Verwendung der anonymisierten Studien-ID. Erstellen Sie aus dieser Zusammenführung zwei endgültige Datensätze, um eine personenbezogene Gesamtdatei und eine wochenbezogene Long-Format-Datei zu generieren.
4. Setzen Sie keine Imputation für fehlende Beobachtungsintervalle aufgrund mangelnder Sichtbarkeit der Studierenden oder für fehlende wöchentliche Reflexionen aufgrund nicht abgegebener Erklärungen ein. Kennzeichnen Sie unvollständig ausgefüllte Reflexionen, unvollständige Variablen der Lernanalyse, inhaltsarme Reflexionen und nicht zuzuordnende Studien-IDs vor der Analyse.
5. Verwenden Sie eine Analyse vollständiger Fälle für vorab festgelegte Assoziationsmodelle, geben Sie die Anzahl der ausgeschlossenen Fälle für jedes Modell an und führen Sie eine Sensitivitätsprüfung durch, bei der eingeschlossene und ausgeschlossene Studierende anhand verfügbarer Basisvariablen verglichen werden.
6. Behalten Sie die prosociale Absicht als primäres Outcome-Maß bei, um die unterstützenden und kooperativen Einstellungen widerzuspiegeln, die strukturellen Veränderungen in der Teilnahme von Universitätsstudierenden zugrunde liegen.

9. Fehlerbehebung und Protokollanpassungen

1. Wenn zwei Beobachter bei einem gleichen Schülerteam in mehr als einer binären Kategoriemustern auseinandergehen oder wenn Cohens Kappa für einen Indikator unter 0,70 liegt, die formale Bewertung für die betroffene Sitzung unterbrechen, die operationalen Definitionen überprüfen, einen 10-minütigen Neukalibrierungsabschnitt durchführen und das betroffene Intervall vor der Datensperre erneut codieren.
2. Wenn Plattformexporte unvollständig sind, das fehlende Feld dokumentieren, eine zweite Exportdatei vom externen Administrator anfordern und den Schüler in Beobachtungs- und Reflexionszusammenfassungen beibehalten, während die nicht verfügbare Analysevariable aus Modellen ausgeschlossen wird, die dieses Feld benötigen.
3. Wenn weniger als 80 % der erwarteten Reflexionen innerhalb von 48 Stunden nach Öffnung der Aufgabe abgegeben wurden, eine neutrale Erinnerung an die gesamte Klasse senden, technischen Support für Zugangsprobleme verlängern und die endgültigen Zahlen für pünktliche, verspätete und fehlende Abgaben getrennt berichten.
4. Wenn mehr als 10 % der Schüler in einem Team während mindestens der Hälfte des Beobachtungsfensters nicht sichtbar sind, die betroffenen Intervalle als fehlend codieren und sich auf die Aufzeichnungen der Live-Beobachter stützen, anstatt Verhalten aus verdecktem Videomaterial zu erschließen.
5. Wenn ein Schüler die Teilnahme zurückzieht, die weitere Beteiligung verweigert oder keine verknüpfbaren Daten über verschiedene Quellen hinweg vorliegen, diesen Schüler aus den verknüpften Assoziationsmodellen entfernen, aber aggregierte Zahlen zur Protokoll-Durchführbarkeit beibehalten, sofern dies durch die ethische Genehmigung erlaubt ist.
6. Wenn mehrere Schüler signalisieren, dass ein Abschnitt schwer verständlich ist, sollte die Lehrkraft die übliche pädagogische Reaktion zeigen, beispielsweise eine kurze erneute Erklärung, ein durchgerechnetes Beispiel, eine Diskussion unter Lernenden oder ein ergänzendes Lernangebot. Dies als Kontextereignis dokumentieren, da es das Hilfesuchverhalten, die Tiefe der Reflexion und die Plattformaktivität beeinflussen kann.
7. Die Größe der Schülerteams, die Intervalllänge, die Reflexionsaufforderungen und die Analysevariablen an das Unterrichtsformat anpassen, jedoch die gleiche Logik vordefinierter Verhaltensindikatoren, anonymisierter Aufzeichnungen, unabhängiger Codierung und transparenter Regeln für fehlende Daten beibehalten.
8. Geringe Reliabilität, hohe Datenlücken, begrenzte Reflexionstiefe, schwache prosoziale Veränderungen und geringe Übereinstimmung zwischen den Datenquellen als informative Implementierungsergebnisse betrachten und nicht als Protokollfehler. Diese Ergebnisse berichten und erläutern, ob sie auf den Klassenkontext, Einschränkungen der Messinstrumente oder Probleme bei der Datenerfassung zurückzuführen sind.

Ergebnisse

Teilnahmeberechtigung, Datenvervollständigung und Zuverlässigkeit der Bewertung
Anfangs wurden 204 Studierende aus allen Kursabschnitten zur Teilnahme eingeladen, woraufhin 198 Personen ihre Einwilligung gaben. 14 Fälle wurden anschließend aufgrund eines Kursausstiegs während des Erhebungszeitraums oder unvollständiger Datenverknüpfung zwischen Beobachtungs-, Reflexions- und Plattformdatensätzen ausgeschlossen. Daher umfasste die endgültige Stichprobe für die Analyse 184 Studierende. Die Merkmale der...

Diskussion

Diese Studie schlägt ein praktisches Protokoll vor, das Verhaltensbeobachtung, reflektierendes Schreiben und Lernanalytik integriert, um die Beteiligung, Selbstäußerung und prosoziale Wahrnehmung von Studierenden innerhalb eines einzigen Unterrichtszeitraums umfassend zu untersuchen. Indem verschiedene Dimensionen des Engagements erfasst werden, begegnet dieser dreimodale Ansatz aktuellen Kritikpunkten in der Hochschulforschung, die argumentieren, dass Zeitnutzungsmetriken und sensorbasierte Überwachung allein betrachtet...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Codierbogen für Klassenzimmerbeobachtungen	Eigenentwicklung	Sechs binäre Verhaltensindikatoren	Intervallbasierte Kodierung von Aufmerksamkeit auf die Aufgabe, verbaler Beteiligung, Zusammenarbeit mit Kommilitonen, aufgabenbezogenem Notizenmachen/-verwenden von Geräten, Ablenkung von der Aufgabe und Hilfesuche.
GraphPad Prism	Graphpad	Version 10.2.3	Erstellung von Workflow-Diagrammen, wöchentlichen Trenddiagrammen, Verteilungsdiagrammen und Assoziationsgrafiken.
Institutionelles Lernmanagementsystem / Kursplattform	Wirtshochschule	Vorhandenes institutionelles LMS-Kontosystem	Sammlung anonymisierter Lernanalytik-Daten.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Erstellung von Workflow-Diagrammen, wöchentlichen Trenddiagrammen, Verteilungsdiagrammen und Assoziationsgrafiken.
R	R Foundation		ggplot2 3.5.1
Tabellenkalkulationssoftware	Microsoft Corporation	Microsoft Excel 365 v2402	Dateneingabe, Datensäuberung, Überprüfung der Anonymisierung sowie Zusammenführung der Beobachtungs-, Reflexions- und Analytik-Datensätze.
SPSS Statistics	IBM Corp	Version 26.0	Statistische Analyse-Software; Deskriptive Statistiken, Vergleiche mit Messwiederholungen, Cohens Kappa, ICC, Cronbachs Alpha, Korrelationen und Regressionsmodelle.