Die repräsentativen Ergebnisse zeigen die Ausgaben, die durch den 16 Wochen umfassenden, wettbewerbsintegrierten Protokoll zur Verbesserung der Strategischen-Management-Kursdurchführung erzeugt wurden. Die Ergebnisse sind nach Durchführungsstrengigkeit, Unterrichtsqualität, lernerspezifischen Ergebnissen, teamebenebezogenen Ergebnissen und vorab definierten Warnmustern gegliedert. Da die Daten aus routinemäßigen Bildungsgruppen mit einer historischen Vergleichsgruppe stammen und nicht aus randomisierter Zuordnung, sollten alle Ergebnisse als kontextspezifische Implementierungs- und Evaluierungsergebnisse interpretiert werden, nicht als kausaler Nachweis der Wirksamkeit.
Implementierungstreue und Unterrichtsqualität
Der verfügbare Datensatz mit Bildungsunterlagen umfasste 88 Studierende in der historischen Vergleichsgruppe und 92 Studierende in der Protokollgruppe. Der Datensatz auf Teamebene umfasste 22 Teams der Vergleichsgruppe und 23 Teams der Protokollgruppe. Nach Anwendung der Regel zur paired pre-post-Wissenstestung wurden 79 Studierende der Vergleichsgruppe und 84 Studierende der Protokollgruppe für die Analyse des Wissenszuwachses berücksichtigt.
Die Einhaltung der Implementierung wurde überprüft, bevor die Lernergebnisse interpretiert wurden. Die Protokollkohorte absolvierte 15 von 16 geplanten wöchentlichen Aktivitäten (93,8 %), während die Vergleichskohorte 13 von 16 Aktivitäten (81,3 %) abschloss. Die Unternehmens- oder strukturierte Fallerörterung wurde in der Protokollkohorte durchgeführt, war jedoch kein Bestandteil der vollständigen historischen Vergleichsstruktur. In der Protokollkohorte erledigten 88 von 92 Studierenden alle drei Wettbewerbsaufgaben, was 95,7 % entspricht. In der Vergleichskohorte verfügten 18 von 88 Studierenden über vollständige Aufzeichnungen für drei vergleichbare projektbasierte Bewertungen, was 20,5 % entspricht; diese Aufzeichnungen wurden lediglich zur deskriptiven Gegenüberstellung beibehalten, da der historische Kurs die vollständige Wettbewerbssequenz nicht umgesetzt hatte. Bei 243 von 268 Abgaben der Protokollkohorte wurde das Feedback innerhalb von sieben Kalendertagen zurückgesandt, was 90,7 % entspricht, im Vergleich zu 49 von 66 Abgaben der Vergleichskohorte, was 74,2 % entspricht. Die durchschnittliche Bearbeitungsdauer für das Feedback betrug jeweils 5,8 ± 1,9 Tage und 8,4 ± 2,7 Tage. Die Beobachtungsdurchführung erreichte 81,3 % bzw. 62,5 %. Die Interrater-Reliabilität (ICC) für die überlappende subjektive Bewertung durch zwei Prüfer in der Protokollkohorte betrug 0,82 und lag damit über der vorab festgelegten Schwelle von 0,75. Insgesamt erfüllte die Protokollkohorte 5 von 5 zentralen Indikatoren zur Implementierungstreue, während die Vergleichskohorte 2 von 5 erfüllte.
Die Indikatoren für die Unterrichtsqualität waren in der Protokollgruppe höher. Die Klassenzimmerinteraktion betrug in der Protokollgruppe 3,70 ± 0,44 und in der Vergleichsgruppe 3,15 ± 0,48. Die Vollständigkeit des Fall-Designs lag bei 4,08 ± 0,36 bzw. 3,23 ± 0,42. Die Übereinstimmung zwischen Aufgabe und Bewertungsraster betrug 4,01 ± 0,39 und 2,30 ± 0,51. Das Schülerengagement stieg in der Protokollgruppe um 0,42 ± 0,41 Punkte an, was die vorab festgelegte Signifikanzschwelle von 0,30 Punkten überschreitet, während die Vergleichsgruppe eine Zunahme um 0,07 ± 0,34 Punkte aufwies. Die Teilnahmequote war zwischen den Gruppen vergleichbar: 89,6 % ± 5,8 % und 89,1 % ± 6,2 %. Tabelle 5 fasst diese Indikatoren zusammen.
| Indikator | Datenquelle | Vorgegebene Schwelle | Historische Vergleichsgruppe | Protokollgruppe | Interpretation |
| Geplante wöchentliche Aktivitätsabschlussrate | Protokoll zur Kursdurchführung | ≥85 % | 13/16 Wochen, 81,3 % | 15/16 Wochen, 93,8 % | Erreicht in der Protokollgruppe |
| Durchführung von Unternehmens- oder strukturierten Fallbesprechungen | Protokoll zur Unternehmensbeteiligung | ≥1 durchgeführte Sitzung | 0/1 Sitzung, 0,0 % | 1/1 Sitzung, 100,0 % | Erreicht in der Protokollgruppe |
| Vollständige Aufgaben- oder projektorientierte Projektabschlussrate | Einreichungsunterlagen | ≥85 % | 18/88 Studierende, 20,5 % | 88/92 Studierende, 95,7 % | Erreicht in der Protokollgruppe; historische Daten lediglich beschreibend |
| Rückmeldung innerhalb von 7 Tagen | Rückmeldeprotokoll | ≥80 % | 49/66 Einreichungen, 74,2 % | 243/268 Einreichungen, 90,7 % | Erreicht in der Protokollgruppe |
| Abschluss der Beobachtungscheckliste | Beobachtungsformulare | ≥75 % | 10/16 Sitzungen, 62,5 % | 13/16 Sitzungen, 81,3 % | Erreicht in der Protokollgruppe |
| Übereinstimmung zwischen zwei Bewertern | Bewertungsergebnisse | ICC ≥0,75 | Nicht erforderlich | ICC = 0,82 | Erreicht in der Protokollgruppe |
| Durchlaufzeit für Rückmeldungen | Rückmeldeprotokoll | Mittelwert ≤7 Tage (bevorzugt) | 8,4 ± 2,7 Tage | 5,8 ± 1,9 Tage | Innerhalb des bevorzugten Bereichs in der Protokollgruppe |
| Klassenzimmerinteraktion | Beobachtungscheckliste | Mittelwert ≥3,50 oder Zunahme ≥0,30 | 3,15 ± 0,48 | 3,70 ± 0,44 | Höher in der Protokollgruppe |
| Vollständigkeit der Fallgestaltung | Checkliste zur Fallgestaltung | Mittelwert ≥4,00 (bevorzugt) | 3,23 ± 0,42 | 4,08 ± 0,36 | Höher in der Protokollgruppe |
| Ausrichtung von Aufgabe und Bewertungsraster | Ausrichtungscheckliste | Mittelwert ≥4,00 | 2,30 ± 0,51 | 4,01 ± 0,39 | Erreicht in der Protokollgruppe |
| Zunahme des Studierendenengagements | Anwesenheit, Protokolle, Umfrageelemente | Zunahme ≥0,30 Punkte | +0,07 ± 0,34 | +0,42 ± 0,41 | Erreicht in der Protokollgruppe |
| Anwesenheitsrate | Anwesenheitsaufzeichnung | Beschreibend | 89,1 % ± 6,2 % | 89,6 % ± 5,8 % | Ähnlich in beiden Gruppen |
| Zusammenfassung der Kernimplementierungstreue | Implementierungsindikatoren | Die meisten Kernschwellen erreicht | 2/5 Schwellen erreicht | 5/5 Schwellen erreicht | Protokoll wie vorgesehen umgesetzt |
Tabelle 5: Beispielsweise Indikatoren für Implementierungstreue und Unterrichtsqualität. Diese Tabelle zeigt beispielhafte Ergebnisse zur Implementierungstreue und Unterrichtsqualität für die historische Vergleichsgruppe und die Protokollgruppe und gibt an, ob die vorab festgelegten operationellen Schwellenwerte erreicht wurden.
Abbildung 2 zeigt das Profil zur Umsetzungstreue und Unterrichtsqualität. Abbildung 2A zeigt die geplante wöchentliche Absolvierung von Aktivitäten. Abbildung 2B zeigt den Abschluss einer Sequenz aus drei Aufgaben. Abbildung 2C zeigt die Rückgabe von Feedback innerhalb von 7 Kalendertagen. Abbildung 2D zeigt den Klassenraum-Interaktionsgrad, den Grad der Vollständigkeit der Fallgestaltung, die Übereinstimmung mit der Aufgabenbewertungsskala und die Verbesserung der Schülerbeteiligung. Abbildung 2E zeigt den Abschluss von Beobachtungen sowie den Abschluss von Unternehmens- oder strukturierten Fall-Sitzungen. Prozenterfassungen zur Umsetzungstreue und skalenbasierte Indikatoren zur Unterrichtsqualität sollten jeweils im Kontext ihrer eigenen Messskala interpretiert werden.

Abbildung 2: Umsetzungstreue und Profil der Unterrichtsqualität. Diese Abbildung fasst Indikatoren zur Umsetzungstreue und zur Qualität der Vermittlung für die historische Vergleichskohorte und die Protokollkohorte zusammen. (A) Geplante wöchentliche Aktivitätsabschlüsse. (B) Vollständige Aufgaben- oder projektrelevante Datensatzabschlüsse, wobei die vollständige dreiteilige Aufgabensequenz der Protokollkohorte von den projektrelevanten Datensätzen der historischen Vergleichskohorte unterschieden wird. (C) Innerhalb von 7 Kalendertagen zurückgegebenes Feedback, wobei die Feedback-Bearbeitungszeit als ergänzende Information dargestellt ist. (D) Indikatoren der Unterrichtsqualität, einschließlich Klasseninteraktion, Vollständigkeit der Fallgestaltung, Übereinstimmung von Aufgabe und Bewertungsraster sowie Zuwachs an Schülerengagement. (E) Abschluss der Beobachtungscheckliste sowie Durchführung einer Unternehmens- oder strukturierten Fallbesprechung. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Lernergebnisse auf Schüler- bzw. Studierendenebene
Die Ergebnisse auf Ebene der Studierenden wurden getrennt von den Ergebnissen auf Ebene des Teamwettbewerbs untersucht. Die Ausgangswissenswerte lagen bei 64,18 ± 8,74 in der Protokollkohorte und bei 62,37 ± 8,91 in der Vergleichskohorte, mit einem geringen Unterschied im Ausgangswert von 1,81 Punkten (d = 0,21). Die Wissenswerte nach dem Kurs betrugen 71,08 ± 8,58 bzw. 66,41 ± 9,06, mit einer Differenz von 4,67 Punkten (d = 0,53). Der Wissenszuwachs betrug 6,90 ± 5,41 Punkte und 4,04 ± 5,26 Punkte, mit einer Differenz von 2,86 Punkten (d = 0,54). Die Protokollkohorte übertraf das vorab definierte Signal von 5 Punkten beim Wissenszuwachs.
Die Leistung in der Einzelfallanalyse am Ende des Semesters betrug 82,31 ± 7,06 in der Protokollkohorte und 76,42 ± 7,38 in der Vergleichskohorte, was einer Differenz von 5,89 Punkten entspricht (d = 0,82). Dieses Ergebnis wurde als Indikator für die Leistung nach dem Kurs und nicht als gepaarter Gewinn interpretiert, da keine echte Basislinienbewertung der Fallanalyse durchgeführt wurde. Die Zufriedenheit lag bei 3,66 ± 0,58 und 3,34 ± 0,62 (d = 0,53). Die wahrgenommene praktische Relevanz betrug 3,91 ± 0,55 bzw. 3,41 ± 0,59 (d = 0,88). Der Wettbewerbsdruck war in der Protokollkohorte mit 3,12 ± 0,76 im Vergleich zu 2,48 ± 0,71 (d = 0,87) höher, allerdings gaben 13 von 92 Studierenden der Protokollkohorte hohen Arbeitsaufwand an, was 14,1 % entspricht und unterhalb der vorab definierten Warnschwelle von 20 % liegt. Die endgültige Kursnote wurde als sekundäres bildungswissenschaftliches Ergebnis betrachtet und betrug 87,20 ± 6,10 in der Protokollkohorte und 84,80 ± 6,70 in der Vergleichskohorte (d = 0,37). Tabelle 6 fasst die Ergebnisse auf Ebene der Studierenden und auf Teamebene zusammen.
| Ergebnis | Ebene | Historische Vergleichsgruppe | Protokollgruppe | Differenz | Effektgröße | Interpretation |
| Verfügbares Sample aus Bildungsdaten | Schüler | n = 88 | n = 92 | — | — | Verwendbare anonymisierte Kursunterlagen |
| Paarweise Wissensanalyse-Gruppe | Schüler | n = 79 | n = 84 | — | — | Schüler mit Vorher- und Nachher-Wissenstests |
| Wissenstest zu Beginn | Schüler | 62,37 ± 8,91 | 64,18 ± 8,74 | 1,81 | 0,21 | Kleine Differenz zu Beginn |
| Wissenstest nach dem Kurs | Schüler | 66,41 ± 9,06 | 71,08 ± 8,58 | 4,67 | 0,53 | Höher in der Protokollgruppe |
| Wissenszuwachs | Schüler | 4,04 ± 5,26 | 6,90 ± 5,41 | 2,86 | 0,54 | Protokollgruppe übertraf das ≥5-Punkte-Signal |
| Einzel-Fallanalyse-Bewertung | Schüler | 76,42 ± 7,38 | 82,31 ± 7,06 | 5,89 | 0,82 | Übertraf das ≥3-Punkte-Fallanalyse-Signal |
| Zuwachs bei Schülerengagement | Schüler | +0,07 ± 0,34 | +0,42 ± 0,41 | +0,35 | 0,93 | Übertraf das ≥0,30-Punkte-Signal |
| Zufriedenheitsbewertung | Schüler | 3,34 ± 0,62 | 3,66 ± 0,58 | 0,32 | 0,53 | Höher in der Protokollgruppe |
| Wahrgenommene praktische Relevanz | Schüler | 3,41 ± 0,59 | 3,91 ± 0,55 | 0,5 | 0,88 | Höher in der Protokollgruppe |
| Wettbewerbsdruck-Bewertung | Schüler | 2,48 ± 0,71 | 3,12 ± 0,76 | 0,64 | 0,87 | Höherer Druck in der Protokollgruppe |
| Hoher Arbeitsbelastungsdruck | Schüler | Nicht bewertet, da Wettbewerbsdruck | 13/92, 14,1 % | — | — | Unter der 20 %-Warnschwelle |
| Endgültige Kursbewertung | Schüler | 84,80 ± 6,70 | 87,20 ± 6,10 | 2,4 | 0,37 | Sekundäres Bildungsergebnis |
| Anzahl der Teams | Team | n = 22 | n = 23 | — | — | Team-Ebene-Analysen separat berichtet |
| Ausgesetzte Entscheidungsrunden | Team | 0,77 ± 0,81 Runden | 5,09 ± 0,79 Runden | 4,32 | Nicht geschätzt | Indikator für Implementierungsausmaß |
| Aufgabe 1 oder abgebildete Diagnosebewertung | Team | 69,84 ± 6,45 | 72,18 ± 6,28 | 2,34 | 0,37 | Deutliche Differenz auf Team-Ebene |
| Aufgabe 2 oder abgebildete Entscheidungsbewertung | Team | 71,09 ± 6,12 | 73,52 ± 5,91 | 2,43 | 0,4 | Deutliche Differenz auf Team-Ebene |
| Aufgabe 3 oder abgebildete Endverteidigungsbewertung | Team | 72,71 ± 6,36 | 77,20 ± 6,04 | 4,49 | 0,72 | Größte Differenz auf Team-Ebene |
| Endgültige Teambewertung | Team | 71,21 ± 5,81 | 74,30 ± 5,52 | 3,09 | 0,55 | Mittlere Differenz auf Team-Ebene |
| Strategische Diagnose-Dimension | Team | 14,60 ± 1,80 | 15,60 ± 1,70 | 1 | — | Dimension des Endverteidigungs-Rasters |
| Strategische Entscheidung-Dimension | Team | 17,90 ± 2,20 | 19,10 ± 2,10 | 1,2 | — | Dimension des Endverteidigungs-Rasters |
| Durchführbarkeit der Umsetzung-Dimension | Team | 14,40 ± 1,90 | 15,50 ± 1,80 | 1,1 | — | Dimension des Endverteidigungs-Rasters |
| Innovations-Dimension | Team | 10,80 ± 1,60 | 11,50 ± 1,50 | 0,7 | — | Dimension des Endverteidigungs-Rasters |
| Nutzung von Belegen-Dimension | Team | 7,10 ± 1,00 | 7,50 ± 0,90 | 0,4 | — | Dimension des Endverteidigungs-Rasters |
| Mündliche Verteidigung-Dimension | Team | 7,91 ± 1,10 | 8,00 ± 1,00 | 0,09 | — | Dimension des Endverteidigungs-Rasters |
| Durchschnittliche Peer-Beitragseinschätzung | Team | 3,72 ± 0,41 | 3,91 ± 0,36 | 0,19 | 0,49 | Kein gravierendes Teamprozessversagen |
| Teams mit ungleicher Beitragsverteilung | Team | 4/22, 18,2 % | 3/23, 13,0 % | −5,2 Prozentpunkte | — | Kein systematisches Ungleichgewicht |
| Auszeichnungsverteilung | Team | Nicht zutreffend | 10 ohne; 8 Dritte; 2 Zweite; 3 Erste | — | — | Nur in der Protokollgruppe |
| Muster zur Warnung vor Bewertungsinflation | Team | Nicht zutreffend | 2/23 Teams, 8,7 % | — | — | Für Fehlerbehebung markiert |
Tabelle 6: Vertretende Ergebnisse auf Ebene der Studierenden und auf Teamebene. Diese Tabelle zeigt vertretende Ergebnisse auf Ebene der Studierenden und auf Teamebene, einschließlich der verfügbaren Stichprobe aus Bildungsakten, der gepaarten Stichprobe zur Wissensanalyse, Wissenstestscores, Wissenszuwachs, individueller Fallanalysescore, Engagement, Zufriedenheit, wahrgenommene praktische Relevanz, Arbeitsbelastung, endgültiger Kurs-Score, Teamaufgaben-Scores, Bewertungsscores nach Rubrikdimensionen bei der Abschlusspräsentation, peerseitige Beiträge, Verteilung von Auszeichnungen und Warnhinweise.
Abbildung 3 zeigt Ergebnisse auf Ebene der Studierenden mit Unsicherheitsschätzungen, wo anwendbar. Abbildung 3A zeigt die Wissenswerte vor und nach dem Kurs. Abbildung 3B zeigt Wissenszuwachs. Abbildung 3C zeigt die Leistungsfähigkeit bei der Einzelanalyse von Fällen. Abbildung 3D zeigt Steigerungen in der Engagement, Zufriedenheit und wahrgenommene praktische Relevanz. Abbildung 3E zeigt die endgültige Kursnote als sekundären Endpunkt.

Abbildung 3: Repräsentative Lernergebnisse auf Ebene der Studierenden. Diese Abbildung zeigt die Ergebnisse auf individueller Ebene getrennt von den wettkampforientierten Ergebnissen auf Teamebene. (A) Wissenstests zum strategischen Management im Ausgangszustand (Baseline) und nach Abschluss des Kurses. (B) Wissenszuwachs von der Baseline-Bewertung bis zur Nachkursbewertung. (C) Bewertung der individuellen Fallanalyse in der späten Semesterphase. (D) Zunahme der Lernengagement-Werte und Umfrageergebnisse zu Wahrnehmungsindikatoren, einschließlich Zufriedenheit und wahrgenommener praktischer Relevanz; dargestellt mit separaten Skalen, wo erforderlich. (E) Endgültige Kursnote als sekundäres bildungsbezogenes Ergebnis sowie der im Vergleich zum vordefinierten Warnschwellenwert hohe Arbeitsbelastungsdruck der Kurskohorte. Die Werte sind als Mittelwert ± SD angegeben, sofern ±-Werte dargestellt sind, und die Fehlerbalken repräsentieren die Standardabweichung (SD). In (E) zeigt die gestrichelte Referenzlinie die vordefinierte Warnschwelle für hohen Arbeitsdruck von 20 %. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Ergebnisse auf Ebene der Teamwettbewerbe
Teamergebnisse wurden getrennt von Ergebnissen auf Ebene der Studierenden analysiert. Für die deskriptive Berichterstattung wurden Fallprojektakten des Vergleichskohortenansatzes, wenn verfügbar, vergleichbaren Bewertungszeitpunkten zugeordnet, doch diese Akten repräsentierten nicht den Abschluss der vollständigen, wettbewerbsintegrierten Sequenz. Die Exposition gegenüber Entscheidungsrunden wurde als Indikator für die Implementierungsexposition und nicht als Schätzwert für den Lerneffekt angegeben. Die Protokollkohorte absolvierte 5,09 ± 0,79 Entscheidungsrunden, während die Vergleichskohorte 0,77 ± 0,81 zugeordnete Runden absolvierte.
In der Protokollkohorte betrug die durchschnittliche Punktzahl für Aufgabe 1 72,18 ± 6,28, die durchschnittliche Punktzahl für Aufgabe 2 betrug 73,52 ± 5,91 und die durchschnittliche Punktzahl für Aufgabe 3 betrug 77,20 ± 6,04. Die entsprechenden abgebildeten Vergleichskohorten-Punktzahlen lagen bei 69,84 ± 6,45, 71,09 ± 6,12 und 72,71 ± 6,36. Die endgültige Team-Punktzahl betrug in der Protokollkohorte 74,30 ± 5,52 und in der Vergleichskohorte 71,21 ± 5,81. Die Dimensionen des Endverteidigungs- oder abgebildeten Endprojekt-Bewertungsrasters waren wie folgt: strategische Diagnose, 15,60 ± 1,70 und 14,60 ± 1,80; strategische Entscheidung, 19,10 ± 2,10 und 17,90 ± 2,20; Umsetzbarkeit, 15,50 ± 1,80 und 14,40 ± 1,90; Innovation, 11,50 ± 1,50 und 10,80 ± 1,60; Nutzung von Belegen, 7,50 ± 0,90 und 7,10 ± 1,00; sowie mündliche Verteidigung, 8,00 ± 1,00 und 7,91 ± 1,10.
Die Preisvergabe wurde nur für den Protokoll-Kohortenbericht erstattet, da die Vergleichskohorte die vollständige wettbewerbsbasierte Preistruktur nicht nutzte. In der Protokollkohorte erhielten 10 Teams keinen Preis, 8 erhielten den dritten Preis, 2 den zweiten Preis und 3 den ersten Preis. Der mittlere Peer-Beitrag betrug 3,91 ± 0,36 in der Protokollkohorte und 3,72 ± 0,41 in der Vergleichskohorte. Eine Ungleichheit bei den Beiträgen wurde in 3 von 23 Teams der Protokollkohorte und in 4 von 22 Teams der Vergleichskohorte festgestellt. Ein Muster mit Hinweis auf Punkteaufblähung wurde in 2 von 23 Teams der Protokollkohorte identifiziert, was 8,7 % entspricht.
Abbildung 4 zeigt Ergebnisse auf Teamebene und Warnmuster. Abbildung 4A zeigt die Teamergebnisse für Aufgabe 1, Aufgabe 2 und Aufgabe 3. Abbildung 4B zeigt die Bewertungsergebnisse nach einzelnen Kriterien der Endpräsentation. Abbildung 4C zeigt ausschließlich die Verteilung der Auszeichnungen nach Protokollkohorte. Abbildung 4D zeigt Fälle mit Warnhinweisen auf Punkteinflation. Abbildung 4E zeigt die Balance der Beiträge der Teammitglieder untereinander sowie die Anzahl der Fälle mit unausgewogenen Beiträgen.

Abbildung 4: Teamübergreifende Wettbewerbsergebnisse und Warnmuster. Diese Abbildung zeigt teambezogene Ergebnisse getrennt von lernergebnissen auf Ebene der Studierenden. (A) Teamergebnisse nach Aufgabenphasen für Aufgabe 1 strategische Diagnose, Aufgabe 2 strategische Entscheidung und Aufgabe 3 abschließende Verteidigung, wobei die zugeordneten Projektergebnisse für die historische Vergleichsgruppe angegeben sind, sofern verfügbar. (B) Ergebnisse nach Dimensionen des Bewertungsrasters für die abschließende Verteidigung, einschließlich strategischer Diagnose, strategischer Entscheidung, Umsetzbarkeit, Innovationsgehalt, Nutzung von Belegen und mündlicher Verteidigung. (C) Verteilung der Auszeichnungen ausschließlich für die Protokollkohorte, da die historische Vergleichsgruppe nicht die vollständige, auf Auszeichnungen basierende Wettbewerbsstruktur nutzte. (D) Warnmuster der Ergebnisaufblähung, definiert als hohe Leistung in der abschließenden Verteidigung ohne unterstützende Stärke in der Diagnose oder Belege für individuelles Lernen. (E) Die Peer-Beitragsbewertung und die Zählung von Beitragsumverteilungen werden als getrennte teambezogene Indikatoren dargestellt. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Suboptimale Muster und Hinweise zur Fehlerbehebung
Zwei der 23 Protokoll-Kohorten-Teams wiesen ein vorab definiertes Muster zur Warnung vor Score-Inflation auf. Diese Teams erzielten relativ hohe Endbewertungsscores, zeigten jedoch schwächere diagnostische Scores in Aufgabe 1 und unterdurchschnittliche individuelle Wissenszuwächse. Dieses Muster wurde für die Überprüfung in der nächsten Kursdurchführung markiert, anstatt als Hinweis auf eine Verbesserung des Lernens interpretiert zu werden. Kein starker Deckeffekt wurde beobachtet, da die Ausgangswerte für Wissen unter 85 von 100 lagen und die Ausgangszufriedenheit unter 4,50 von 5 betrug. Die Teilnahme war zwischen den Kohorten vergleichbar, und es wurde kein systematisches Ungleichgewicht bei der Teambeiträge festgestellt, obwohl drei Protokoll-Kohorten-Teams eine Überwachung erforderten.
Insgesamt zeigten die repräsentativen Ergebnisse, dass das Protokoll auf drei Ebenen interpretierbare Ergebnisse lieferte: Implementierungstreue, Lernnachweise auf Ebene der Studierenden und Leistung der Teams im Wettbewerb. Die Warnfälle unterstützten die Anwendung des Protokolls für die Kursüberwachung, Fehlerbehebung und anschließende Kursverbesserung.
Der anonymisierte Datensatz, der diese Studie unterstützt, wurde in figshare.com hinterlegt und ist verfügbar unter https://doi.org/10.6084/m9.figshare.33094931. Der Datensatz umfasst Datensätze auf Ebene der Studierenden, Team-Ergebnisse aus Wettbewerben, Implementierungsindikatoren, Teilnehmerfluss-Dokumentationen, Prüfprotokolle zur fehlenden Daten und Bewertungsergebnisse. Identifikatoren der Studierenden, Einwilligungsdokumente, Verknüpfungsdateien und identifizierbare Freitextkommentare sind nicht enthalten.
Zusatz-Tabelle S1: Schulung der Bewertenden, Bewertungsübereinstimmung und Verfahren zur Ergebnisabstimmung. Diese Tabelle enthält Angaben zur Zuweisung der Bewertenden, zur Überprüfung der Unabhängigkeit, zur Einführung in den Bewertungsleitfaden, zur Kalibrierung der Bewertung, zur Überprüfung der Bewertungsübereinstimmung, zur Regel bei Punktedifferenzen, zum Verfahren zur Ergebnisabstimmung, zur Prüfung der Dateneingabe, zur Sperre der Ergebnisse und zum Archivierungsverfahren.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Tabelle S2: Fehlersuchmatrix für Protokollabweichungen und suboptimale Durchführung. Diese Tabelle listet Protokollabweichungen und Muster suboptimaler Durchführung auf, einschließlich Auslöserregeln, Korrekturmaßnahmen, erforderliche Aufzeichnungen und Interpretationshinweise.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Tabelle S3: Datensatzstruktur und Variablenverzeichnis für den anonymisierten Bildungsdatensatz. Diese Tabelle definiert Variablen auf Ebene der Studierenden, auf Teamebene und auf Ebene der Unterrichtssitzungen, einschließlich Variablencodes, Beschreibungen, Datentypen, Codierungsbereiche, Datenquellen und Regeln für fehlende Daten.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatzdatei 1: Operative Vorlagen, Bewertungsmaterialien und Workbook mit anonymisierten Datensätzen. Diese Zusatzdatei enthält die operativen Vorlagen, Bewertungsmaterialien, Bewertungsformulare, Umfrageitems, Fallgestaltungsprüfung, Regeln für fehlende Daten, die Struktur des Workbooks mit anonymisierten Datensätzen, das Bereinigungsprotokoll, die Vorlage für die Zusammenfassung der Analyse sowie die Aufzeichnung der Versionskontrolle, die zur Sicherstellung der Reproduzierbarkeit verwendet wurden. Bitte klicken Sie hier, um diese Datei herunterzuladen.