$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Die repräsentativen Ergebnisse zeigen die Ausgaben, die durch den 16 Wochen umfassenden, in den Unterricht integrierten Verbesserungsprotokoll für das Strategische Management erzielt wurden. Die Ergebnisse sind nach Implementierungstreue, Unterrichtsqualität, Lernender-Ebene-Ergebnissen, Team-Ebene-Ergebnissen und vorab definierten Warnmustern geordnet. Da die Daten aus regulären Bildungskohorten mit einer historischen Vergleichsgruppe und nicht aus einer randomisierten Zuordnung stammten, sollten alle Ergebnisse als kontextspezifische Implementierungs- und Evaluierungsergebnisse interpretiert werden, nicht jedoch als kausaler Nachweis der Wirksamkeit.
Einhaltungstreue der Durchführung und Unterrichtsqualität
Der verfügbare Datensatz mit Bildungsakten umfasste 88 Studierende in der historischen Vergleichsgruppe und 92 Studierende in der Protokollgruppe. Der Datensatz auf Teamebene umfasste 22 Teams der Vergleichsgruppe und 23 Teams der Protokollgruppe. Nach Anwendung der Regel zur gepaarten Vorher-Nachher-Wissenstestung wurden 79 Studierende der Vergleichsgruppe und 84 Studierende der Protokollgruppe für die Analyse des Wissenszuwachses berücksichtigt.
Die Einhaltung der Implementierung wurde überprüft, bevor die Lernergebnisse interpretiert wurden. Die Protokollkohorte absolvierte 15 von 16 geplanten wöchentlichen Aktivitäten (93,8 %), während die Vergleichskohorte 13 von 16 Aktivitäten (81,3 %) abschloss. Die Sitzung mit Unternehmens- oder strukturierten Fällen wurde in der Protokollkohorte durchgeführt, war jedoch kein Bestandteil der vollständigen historischen Vergleichsstruktur. In der Protokollkohorte erledigten 88 von 92 Studierenden alle drei Wettbewerbsaufgaben, was 95,7 % entspricht. In der Vergleichskohorte verfügten 18 von 88 Studierenden über vollständige Aufzeichnungen für drei vergleichbare projektbasierte Bewertungen, was 20,5 % entspricht; diese Aufzeichnungen wurden lediglich zur beschreibenden Gegenüberstellung beibehalten, da der historische Kurs die vollständige Wettbewerbssequenz nicht durchführte. Bei 243 von 268 Abgaben der Protokollkohorte wurde das Feedback innerhalb von 7 Kalendertagen zurückgegeben, was 90,7 % entspricht, im Vergleich zu 49 von 66 Abgaben der Vergleichskohorte, was 74,2 % entspricht. Die durchschnittliche Bearbeitungszeit für das Feedback betrug jeweils 5,8 ± 1,9 Tage und 8,4 ± 2,7 Tage. Die Abschlussquote bei den Beobachtungen lag bei 81,3 % bzw. 62,5 %. Der ICC für die überlappende subjektive Bewertung durch zwei Prüfer in der Protokollkohorte betrug 0,82 und übertraf damit die vorab festgelegte Schwelle von 0,75. Insgesamt erfüllte die Protokollkohorte 5 von 5 zentralen Indikatoren zur Implementierungstreue, während die Vergleichskohorte 2 von 5 erfüllte.
Die Indikatoren für die Unterrichtsqualität waren in der Protokollkohorte höher. Die Klassenzimmerinteraktion betrug in der Protokollkohorte 3,70 ± 0,44 und in der Vergleichskohorte 3,15 ± 0,48. Die Vollständigkeit des Fall-Designs lag bei 4,08 ± 0,36 bzw. 3,23 ± 0,42. Die Übereinstimmung zwischen Aufgabe und Bewertungsraster betrug 4,01 ± 0,39 und 2,30 ± 0,51. Das Schülerengagement stieg in der Protokollkohorte um 0,42 ± 0,41 Punkte, wodurch die vorab festgelegte Signifikanzschwelle von 0,30 Punkten überschritten wurde, während die Vergleichskohorte eine Zunahme um 0,07 ± 0,34 Punkte aufwies. Die Teilnahmequote war zwischen den Kohorten vergleichbar: 89,6 % ± 5,8 % und 89,1 % ± 6,2 %. Tabelle 5 fasst diese Indikatoren zusammen.
| Indikator | Datenquelle | Vorgegebene Schwelle | Historische Vergleichsgruppe | Protokollgruppe | Interpretation |
| Geplante wöchentliche Aktivitätsabschlussrate | Protokoll zur Kursdurchführung | ≥85 % | 13/16 Wochen, 81,3 % | 15/16 Wochen, 93,8 % | Erreicht in der Protokollgruppe |
| Durchführung von Unternehmens- oder strukturierten Fallbesprechungen | Protokoll zur Unternehmensbeteiligung | ≥1 durchgeführte Sitzung | 0/1 Sitzung, 0,0 % | 1/1 Sitzung, 100,0 % | Erreicht in der Protokollgruppe |
| Vollständige Aufgaben- oder projektorientierte Aufzeichnungsabschlussrate | Einreichungsunterlagen | ≥85 % | 18/88 Studierende, 20,5 % | 88/92 Studierende, 95,7 % | Erreicht in der Protokollgruppe; historische Daten lediglich deskriptiv |
| Rückmeldung innerhalb von 7 Tagen | Rückmeldeprotokoll | ≥80 % | 49/66 Einreichungen, 74,2 % | 243/268 Einreichungen, 90,7 % | Erreicht in der Protokollgruppe |
| Abschluss der Beobachtungscheckliste | Beobachtungsformulare | ≥75 % | 10/16 Sitzungen, 62,5 % | 13/16 Sitzungen, 81,3 % | Erreicht in der Protokollgruppe |
| Übereinstimmung zwischen zwei Bewertern | Bewertungsergebnisse | ICC ≥0,75 | Nicht erforderlich | ICC = 0,82 | Erreicht in der Protokollgruppe |
| Durchlaufzeit der Rückmeldung | Rückmeldeprotokoll | Mittelwert ≤7 Tage (bevorzugt) | 8,4 ± 2,7 Tage | 5,8 ± 1,9 Tage | Innerhalb des bevorzugten Bereichs in der Protokollgruppe |
| Klasseninteraktion | Beobachtungscheckliste | Mittelwert ≥3,50 oder Zunahme ≥0,30 | 3,15 ± 0,48 | 3,70 ± 0,44 | Höher in der Protokollgruppe |
| Vollständigkeit der Fallgestaltung | Checkliste zur Fallgestaltung | Mittelwert ≥4,00 (bevorzugt) | 3,23 ± 0,42 | 4,08 ± 0,36 | Höher in der Protokollgruppe |
| Ausrichtung der Aufgabe an der Bewertungsrubrik | Ausrichtungscheckliste | Mittelwert ≥4,00 | 2,30 ± 0,51 | 4,01 ± 0,39 | Erreicht in der Protokollgruppe |
| Zuwachs an Studierendenengagement | Anwesenheit, Protokolle, Umfrageitems | Zunahme ≥0,30 Punkte | +0,07 ± 0,34 | +0,42 ± 0,41 | Erreicht in der Protokollgruppe |
| Teilnahmerate | Teilnahmeprotokoll | Deskriptiv | 89,1 % ± 6,2 % | 89,6 % ± 5,8 % | Ähnlich in beiden Gruppen |
| Zusammenfassung der Kernimplementations-Treue | Implementierungsindikatoren | Die meisten Kernschwellen erreicht | 2/5 Schwellen erreicht | 5/5 Schwellen erreicht | Protokoll wie vorgesehen umgesetzt |
Tabelle 5: Repräsentative Indikatoren für die Einhaltung der Implementierungstreue und der Unterrichtsqualität. Diese Tabelle berichtet repräsentative Ergebnisse zur Implementierungstreue und Unterrichtsqualität für die historische Vergleichsgruppe und die Protokollgruppe und zeigt an, ob die vorab festgelegten operationellen Schwellenwerte erreicht wurden.
Abbildung 2 zeigt das Profil zur Einhaltungstreue der Durchführung und zur Qualität der Unterrichtsgestaltung. Abbildung 2A zeigt die geplante wöchentliche Absolvierung von Aktivitäten. Abbildung 2B zeigt die vollständige Bearbeitung einer Sequenz aus drei Aufgaben. Abbildung 2C zeigt die Rückgabe von Feedback innerhalb von 7 Kalendertagen. Abbildung 2D zeigt die Klassengespräche, den Grad der Vollständigkeit der Fallgestaltung, die Übereinstimmung mit der Aufgabenbewertungsskala und die Verbesserung der Schülerbeteiligung. Abbildung 2E zeigt die Durchführung von Beobachtungen sowie die Absolvierung von Unternehmens- oder strukturierten Fallbesprechungen. Prozentsatzbasierte Maße zur Durchführungstreue und skalenbasierte Indikatoren zur Unterrichtsqualität sollten jeweils anhand ihrer eigenen Messskalen interpretiert werden.

Abbildung 2: Umsetzungstreue und Profil der Unterrichtsqualität. Diese Abbildung fasst Indikatoren zur Umsetzungstreue und zur Qualität des Unterrichts für die historische Vergleichsgruppe und die Protokollgruppe zusammen. (A) Geplante wöchentliche Absolvierung von Aktivitäten. (B) Vollständige Aufgaben- oder abgebildete Projektakte-Absolvierung, wobei die vollständige dreiteilige Aufgabensequenz der Protokollgruppe von den abgebildeten Projektakten der historischen Vergleichsgruppe unterschieden wird. (C) Innerhalb von 7 Kalendertagen zurückgegebenes Feedback, wobei die Feedback-Bearbeitungszeit als ergänzende Information dargestellt ist. (D) Indikatoren der Unterrichtsqualität, einschließlich Klasseninteraktion, Vollständigkeit des Fallentwurfs, Übereinstimmung der Aufgaben mit der Bewertungsrubrik und Zunahme der Schülerbeteiligung. (E) Abschluss der Beobachtungscheckliste sowie Durchführung einer Unternehmens- oder strukturierten Fallbesprechung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Lernergebnisse auf Schüler- und Studierendenebene
Die Ergebnisse auf Schüler- und Teamebene wurden getrennt voneinander untersucht. Die Wissenswerte zu Studienbeginn betrugen 64,18 ± 8,74 in der Protokollgruppe und 62,37 ± 8,91 in der Vergleichsgruppe, was einer geringen Differenz von 1,81 Punkten entspricht (d = 0,21). Die Wissenswerte nach dem Kurs lagen bei 71,08 ± 8,58 und 66,41 ± 9,06, mit einer Differenz von 4,67 Punkten (d = 0,53). Der Wissenszuwachs betrug 6,90 ± 5,41 Punkte bzw. 4,04 ± 5,26 Punkte, mit einer Differenz von 2,86 Punkten (d = 0,54). Die Protokollgruppe übertraf den vorab festgelegten Schwellenwert von 5 Punkten beim Wissenszuwachs.
Die Leistung bei der Einzel-Fallanalyse am Ende des Semesters betrug 82,31 ± 7,06 in der Protokollkohorte und 76,42 ± 7,38 in der Vergleichskohorte, was einer Differenz von 5,89 Punkten entspricht (d = 0,82). Dieses Ergebnis wurde als Indikator für die Leistung nach dem Kurs und nicht als gepaarter Gewinn interpretiert, da keine echte Basisbefragung zur Fallanalyse durchgeführt wurde. Die Zufriedenheit lag bei 3,66 ± 0,58 und 3,34 ± 0,62 (d = 0,53). Die wahrgenommene praktische Relevanz betrug 3,91 ± 0,55 und 3,41 ± 0,59 (d = 0,88). Der Wettbewerbsdruck war in der Protokollkohorte mit 3,12 ± 0,76 im Vergleich zu 2,48 ± 0,71 (d = 0,87) höher, jedoch gaben 13 von 92 Studierenden der Protokollkohorte einen hohen Arbeitslastdruck an, was 14,1 % entspricht und unterhalb der vorab festgelegten Warnschwelle von 20 % liegt. Die endgültige Kursnote wurde als sekundäres bildungswissenschaftliches Ergebnis betrachtet und betrug 87,20 ± 6,10 in der Protokollkohorte und 84,80 ± 6,70 in der Vergleichskohorte (d = 0,37). Tabelle 6 fasst die Ergebnisse auf Ebene der Studierenden und auf Teamebene zusammen.
| Ergebnis | Ebene | Historische Vergleichsgruppe | Protokollgruppe | Differenz | Effektgröße | Interpretation |
| Verfügbares Sample aus Bildungsakten | Schüler | n = 88 | n = 92 | — | — | Verwendbare anonymisierte Kursunterlagen |
| Paarweise Wissensanalyse-Sample | Schüler | n = 79 | n = 84 | — | — | Schüler mit Wissenstests zu Beginn und am Ende des Kurses |
| Wissenstest zu Kursbeginn | Schüler | 62,37 ± 8,91 | 64,18 ± 8,74 | 1,81 | 0,21 | Kleine Differenz zu Beginn |
| Wissenstest am Kursende | Schüler | 66,41 ± 9,06 | 71,08 ± 8,58 | 4,67 | 0,53 | Höher in der Protokollgruppe |
| Wissenszuwachs | Schüler | 4,04 ± 5,26 | 6,90 ± 5,41 | 2,86 | 0,54 | Protokollgruppe übertraf das ≥5-Punkte-Signal |
| Einzelanalyse-Score | Schüler | 76,42 ± 7,38 | 82,31 ± 7,06 | 5,89 | 0,82 | Übertraf das ≥3-Punkte-Signal für Fallanalysen |
| Zuwachs an Lernengagement | Schüler | +0,07 ± 0,34 | +0,42 ± 0,41 | +0,35 | 0,93 | Übertraf das ≥0,30-Punkte-Signal |
| Zufriedenheitsscore | Schüler | 3,34 ± 0,62 | 3,66 ± 0,58 | 0,32 | 0,53 | Höher in der Protokollgruppe |
| Wahrgenommene praktische Relevanz | Schüler | 3,41 ± 0,59 | 3,91 ± 0,55 | 0,5 | 0,88 | Höher in der Protokollgruppe |
| Wettbewerbsdruck-Score | Schüler | 2,48 ± 0,71 | 3,12 ± 0,76 | 0,64 | 0,87 | Höherer Druck in der Protokollgruppe |
| Hoher Arbeitslastdruck | Schüler | Nicht bewertet, da Wettbewerbsdruck | 13/92, 14,1 % | — | — | Unterhalb der Warnschwelle von 20 % |
| Endgültiger Kurs-Score | Schüler | 84,80 ± 6,70 | 87,20 ± 6,10 | 2,4 | 0,37 | Sekundäres Bildungsergebnis |
| Anzahl der Teams | Team | n = 22 | n = 23 | — | — | Analysen auf Teamebene separat berichtet |
| Exposition gegenüber Entscheidungsrunden | Team | 0,77 ± 0,81 Runden | 5,09 ± 0,79 Runden | 4,32 | Nicht geschätzt | Indikator für Implementierungsexposition |
| Aufgabe 1 oder zugeordneter Diagnosescore | Team | 69,84 ± 6,45 | 72,18 ± 6,28 | 2,34 | 0,37 | Bescheidene Differenz auf Teamebene |
| Aufgabe 2 oder zugeordneter Entscheidungsscore | Team | 71,09 ± 6,12 | 73,52 ± 5,91 | 2,43 | 0,4 | Bescheidene Differenz auf Teamebene |
| Aufgabe 3 oder zugeordneter Endverteidigungs-Score | Team | 72,71 ± 6,36 | 77,20 ± 6,04 | 4,49 | 0,72 | Größte Differenz auf Teamebene |
| Endgültiger Team-Score | Team | 71,21 ± 5,81 | 74,30 ± 5,52 | 3,09 | 0,55 | Mäßige Differenz auf Teamebene |
| Strategische Diagnose-Dimension | Team | 14,60 ± 1,80 | 15,60 ± 1,70 | 1 | — | Dimension des Endverteidigungs-Rasters |
| Strategische Entscheidungs-Dimension | Team | 17,90 ± 2,20 | 19,10 ± 2,10 | 1,2 | — | Dimension des Endverteidigungs-Rasters |
| Durchführbarkeits-Dimension | Team | 14,40 ± 1,90 | 15,50 ± 1,80 | 1,1 | — | Dimension des Endverteidigungs-Rasters |
| Innovations-Dimension | Team | 10,80 ± 1,60 | 11,50 ± 1,50 | 0,7 | — | Dimension des Endverteidigungs-Rasters |
| Nutzung von Evidenz-Dimension | Team | 7,10 ± 1,00 | 7,50 ± 0,90 | 0,4 | — | Dimension des Endverteidigungs-Rasters |
| Mündliche Verteidigung-Dimension | Team | 7,91 ± 1,10 | 8,00 ± 1,00 | 0,09 | — | Dimension des Endverteidigungs-Rasters |
| Mittlerer Peer-Beitrag | Team | 3,72 ± 0,41 | 3,91 ± 0,36 | 0,19 | 0,49 | Kein gravierender Teamprozessfehler |
| Teams mit ungleichmäßiger Beitragsverteilung | Team | 4/22, 18,2 % | 3/23, 13,0 % | −5,2 Prozentpunkte | — | Kein systematisches Ungleichgewichtsmuster |
| Verteilung der Auszeichnungen | Team | Nicht zutreffend | 10 ohne; 8 Dritte; 2 Zweite; 3 Erste | — | — | Nur Protokollgruppe |
| Muster zur Warnung vor Score-Inflation | Team | Nicht zutreffend | 2/23 Teams, 8,7 % | — | — | Für Fehlerbehebung markiert |
Tabelle 6: Repräsentative Ergebnisse auf Ebene der Studierenden und auf Teamebene. Diese Tabelle zeigt repräsentative Ergebnisse auf Ebene der Studierenden und auf Teamebene, einschließlich der verfügbaren Stichprobe aus Bildungsakten, der gepaarten Stichprobe zur Wissensanalyse, Wissenstestscores, Wissenszuwachs, individueller Fallanalyse-Score, Engagement, Zufriedenheit, wahrgenommene praktische Relevanz, Arbeitsbelastung, endgültiger Kurs-Score, Teamaufgaben-Scores, Bewertungsscores nach den Kriterien des Endpräsentations-Rubrics, Peer-Beitrag, Verteilung von Auszeichnungen und Warnhinweise.
Abbildung 3 zeigt Ergebnisse auf Ebene der Studierenden einschließlich Unsicherheitsabschätzungen, wo zutreffend. Abbildung 3A zeigt die Wissenswerte vor und nach dem Kurs. Abbildung 3B zeigt den Wissenszuwachs. Abbildung 3C zeigt die Leistung bei der individuellen Fallanalyse. Abbildung 3D zeigt den Zuwachs an Engagement, die Zufriedenheit und die wahrgenommene praktische Relevanz. Abbildung 3E zeigt die endgültige Kursnote als sekundäres Ergebnis.

Abbildung 3: Repräsentative Lernergebnisse auf Ebene der Studierenden. Diese Abbildung zeigt die Ergebnisse auf individueller Ebene getrennt von den wettkampforientierten Ergebnissen auf Teamebene. (A) Strategisches-Management-Wissenswerte zu Beginn und nach Abschluss des Kurses. (B) Wissenszuwachs zwischen Ausgangswert und Nachtest. (C) Bewertung der individuellen Fallanalyse im späteren Semesterabschnitt. (D) Indikatoren für Zunahme der Beteiligung und Wahrnehmung in Umfragen, einschließlich Zufriedenheit und wahrgenommene praktische Relevanz, dargestellt mit separaten Skalen, wo erforderlich. (E) Endgültige Kursnote als sekundäres bildungswissenschaftliches Ergebnis sowie der im Vergleich zur vordefinierten Warnschwelle hohe Arbeitsbelastungsdruck innerhalb der Protokoll-Kohorte. Die Werte sind als Mittelwert ± SD angegeben, sofern ±-Werte dargestellt sind, und die Fehlerbalken repräsentieren die Standardabweichung (SD). In (E) zeigt die gestrichelte Referenzlinie die vordefinierte Warnschwelle für hohen Arbeitsbelastungsdruck von 20 %. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Ergebnisse auf Teamebene
Teambezogene Ergebnisse wurden getrennt von schülerbezogenen Ergebnissen analysiert. Zur deskriptiven Darstellung wurden die Fallprojektdatensätze der Vergleichsgruppe, wenn verfügbar, auf vergleichbare Bewertungszeitpunkte abgebildet, wobei diese Datensätze jedoch nicht den Abschluss der vollständigen, wettbewerbsintegrierten Sequenz darstellten. Die Teilnahme an Entscheidungsrunden wurde als Indikator für die Implementierungstiefe und nicht als Schätzung des Lerneffekts berichtet. Die Protokollgruppe absolvierte 5,09 ± 0,79 Entscheidungsrunden, während die Vergleichsgruppe 0,77 ± 0,81 abgebildete Runden absolvierte.
In der Protokollkohorte betrug die durchschnittliche Punktzahl für Aufgabe 1 72,18 ± 6,28, die durchschnittliche Punktzahl für Aufgabe 2 betrug 73,52 ± 5,91 und die durchschnittliche Punktzahl für Aufgabe 3 betrug 77,20 ± 6,04. Die entsprechenden abgebildeten Vergleichskohorten-Punktzahlen lagen bei 69,84 ± 6,45, 71,09 ± 6,12 und 72,71 ± 6,36. Die endgültige Team-Punktzahl betrug in der Protokollkohorte 74,30 ± 5,52 und in der Vergleichskohorte 71,21 ± 5,81. Die Dimensionen des Endverteidigungs- oder abgebildeten Endprojekt-Bewertungsrasters waren wie folgt: strategische Diagnose, 15,60 ± 1,70 und 14,60 ± 1,80; strategische Entscheidung, 19,10 ± 2,10 und 17,90 ± 2,20; Umsetzbarkeit, 15,50 ± 1,80 und 14,40 ± 1,90; Innovation, 11,50 ± 1,50 und 10,80 ± 1,60; Nutzung von Belegen, 7,50 ± 0,90 und 7,10 ± 1,00; sowie mündliche Verteidigung, 8,00 ± 1,00 und 7,91 ± 1,10.
Die Preisvergabe wurde nur für den Protokoll-Kohorten beschrieben, da die Vergleichskohorte nicht die vollständige, auf Preisen basierende Wettbewerbsstruktur nutzte. In der Protokoll-Kohorte erhielten 10 Teams keinen Preis, 8 erhielten den dritten Preis, 2 den zweiten Preis und 3 den ersten Preis. Der mittlere Peer-Beitrag betrug 3,91 ± 0,36 in der Protokoll-Kohorte und 3,72 ± 0,41 in der Vergleichskohorte. Eine Ungleichheit bei den Beiträgen wurde bei 3 von 23 Teams der Protokoll-Kohorte und bei 4 von 22 Teams der Vergleichskohorte festgestellt. Ein Muster mit Hinweisen auf Punkteaufblähung wurde bei 2 von 23 Teams der Protokoll-Kohorte identifiziert, was 8,7 % entspricht.
Abbildung 4 zeigt Ergebnisse auf Teamebene und Warnmuster. Abbildung 4A zeigt die Teamergebnisse für Aufgabe 1, Aufgabe 2 und Aufgabe 3. Abbildung 4B zeigt die Bewertungsergebnisse nach Rubrikdimensionen für die Abschlusspräsentation. Abbildung 4C zeigt ausschließlich die Verteilung der Auszeichnungen nach Protokollkohorte. Abbildung 4D zeigt Fälle mit Warnhinweisen auf Punkteaufblähung. Abbildung 4E zeigt die Balance der Beiträge der Teammitglieder untereinander sowie die Anzahl der ungleichen Beitragsverteilungen.

Abbildung 4: Teamübergreifende Wettbewerbsresultate und Warnmuster. Diese Abbildung zeigt die Ergebnisse auf Teamebene getrennt von den Lernergebnissen auf Ebene der Studierenden. (A) Teampunktzahlen nach Aufgabenabschnitt für strategische Diagnose (Aufgabe 1), strategische Entscheidung (Aufgabe 2) und abschließende Verteidigung (Aufgabe 3), wobei die zugeordneten Projektpunktzahlen für die historische Vergleichsgruppe angegeben sind, sofern verfügbar. (B) Bewertungsergebnisse nach einzelnen Dimensionen des Bewertungsrasters für die abschließende Verteidigung, einschließlich strategischer Diagnose, strategischer Entscheidung, Umsetzbarkeit, Innovation, Nutzung von Belegen und mündlicher Verteidigung. (C) Verteilung der Auszeichnungen nur für den Protokoll-Kohorten, da die historische Vergleichsgruppe nicht die vollständige, auf Auszeichnungen basierende Wettbewerbsstruktur verwendete. (D) Warnmuster für Punkteinflationsproblematik, definiert als hohe Leistung in der abschließenden Verteidigung ohne unterstützende Stärke in der Diagnose oder Belege für individuelles Lernen. (E) Die Bewertung der Beiträge durch Kommilitonen sowie die Anzahl der Ungleichgewichte bei den Beiträgen werden als separate Indikatoren auf Teamebene dargestellt. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.
Suboptimale Muster und Hinweise zur Fehlerbehebung
Zwei der 23 Protokoll-Kohorten-Teams wiesen ein vorab definiertes Muster für eine Punkteinflationswarnung auf. Diese Teams erzielten relativ hohe Endbewertungspunktzahlen, wiesen jedoch schwächere diagnostische Punktzahlen in Aufgabe 1 sowie unterdurchschnittliche individuelle Wissenszuwächse auf. Dieses Muster wurde zur Überprüfung in der nächsten Kursdurchführung markiert, anstatt als Hinweis auf eine Verbesserung des Lernens interpretiert zu werden. Kein gravierender Deckeleffekt wurde beobachtet, da die Ausgangswerte für Wissen unter 85 von 100 lagen und die Ausgangszufriedenheit unter 4,50 von 5 betrug. Die Teilnahme war zwischen den Kohorten vergleichbar, und es wurde kein systematisches Ungleichgewicht bei der Teambeiträge festgestellt, obwohl drei Protokoll-Kohorten-Teams einer Überwachung bedurften.
Insgesamt zeigten die repräsentativen Ergebnisse, dass das Protokoll auf drei Ebenen interpretierbare Ergebnisse lieferte: Implementierungstreue, Lernnachweise auf Ebene der Studierenden und Leistung der Teams im Wettbewerb. Die Warnfälle unterstützten die Anwendung des Protokolls für die Kursüberwachung, Fehlerbehebung und anschließende Kursverbesserung.
Der anonymisierte Datensatz, der diese Studie unterstützt, wurde in figshare.com hinterlegt und ist verfügbar unter https://doi.org/10.6084/m9.figshare.33094931. Der Datensatz umfasst Datensätze auf Ebene der Studierenden, Team-Ebene-Wettbewerbsdatensätze, Implementierungsindikatoren, Teilnehmerfluss-Datensätze, Prüfprotokolle zu fehlenden Daten sowie Bewertungsergebnis-Datensätze. Identifikatoren der Studierenden, Einwilligungsdatensätze, Verknüpfungsdateien und identifizierbare Freitextkommentare sind nicht enthalten.
Ergänzende Tabelle S1: Schulung der Bewertenden, Beurteilungsübereinstimmung und Verfahren zur Ergebnisklärung. Diese Tabelle enthält Angaben zur Zuweisung der Bewertenden, zur Überprüfung der Unabhängigkeit, zur Einführung in das Bewertungsraster, zur Kalibrierung der Bewertung, zur Überprüfung der Übereinstimmung der Bewertungen, zur Regelung bei Bewertungsunterschieden, zum Klärungsverfahren, zur Prüfung der Dateneingabe, zur Sperre der Ergebnisse und zum Archivierungsverfahren.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Tabelle S2: Fehlersuche-Matrix für Protokollabweichungen und suboptimale Durchführung. Diese Tabelle listet Protokollabweichungen und Muster suboptimaler Implementierung auf, einschließlich Auslöserregeln, Korrekturmaßnahmen, erforderliche Aufzeichnungen und Interpretationshinweise.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Ergänzende Tabelle S3: Datensatzstruktur und Variablenverzeichnis für den anonymisierten Bildungsdatensatz. Diese Tabelle definiert Variablen auf Ebene der Studierenden, auf Teamebene und auf Ebene der Unterrichtssitzungen, einschließlich Variablencodes, Beschreibungen, Datentypen, Codierungsbereiche, Datenquellen und Regeln für fehlende Daten.Bitte klicken Sie hier, um diese Datei herunterzuladen.
Zusatzdatei 1: Operative Vorlagen, Bewertungsmaterialien und Arbeitsmappe mit anonymisierten Datensätzen. Diese Zusatzdatei enthält die operativen Vorlagen, Bewertungsmaterialien, Bewertungsbögen, Umfrageitems, Fallgestaltungsprüfung, Regeln für fehlende Daten, die Struktur der Arbeitsmappe mit anonymisierten Datensätzen, das Bereinigungsprotokoll, die Vorlage für die Zusammenfassung der Analyse sowie die Aufzeichnung der Versionskontrolle, die zur Unterstützung der Reproduzierbarkeit verwendet wurden.Bitte klicken Sie hier, um diese Datei herunterzuladen.