Temsili sonuçlar, 16 haftalık yarışma entegreli Stratejik Yönetim dersi iyileştirme protokolü tarafından üretilen çıktıları göstermektedir. Sonuçlar; uygulamaye bağlılık, öğretim kalitesi, öğrenci düzeyindeki çıktılar, ekip düzeyindeki çıktılar ve önceden tanımlanmış uyarı modellerine göre düzenlenmiştir. Veriler, randomize atama yerine tarihsel bir karşılaştırma grubuna sahip rutin eğitim kohortlarından elde edildiği için, tüm sonuçlar etkinliğe dair nedensel kanıtlar olarak değil, bağlama özgü uygulama ve değerlendirme çıktıları olarak yorumlanmalıdır.
Uygulama sadakati ve öğretim kalitesi
Mevcut eğitim kayıt veri seti, tarihsel karşılaştırma kohortunda 88 öğrenciyi ve protokol kohortunda 92 öğrenciyi içermekteydi. Ekip düzeyindeki veri seti, 2 karşılaştırma kohortu ekibini ve 23 protokol kohortu ekibini kapsamaktaydı. Eşleştirilmiş ön-son bilgi testi kuralı uygulandıktan sonra, bilgi kazanımı analizi için karşılaştırma kohortundan 79 öğrenci ve protokol kohortundan 84 öğrenci dahil edilmiştir.
Öğrenme çıktıları yorumlanmadan önce uygulama sadakati kontrol edildi. Protokol kohortu, planlanan 16 haftalık etkinlikten 15'ini (%93,8) tamamlarken, karşılaştırma kohortu 16 etkinliğin 13'ünü (%81,3) tamamladı. Kurumsal veya yapılandırılmış vaka oturumu protokol kohortunda tamamlandı ancak tam tarihsel karşılaştırma yapısının bir parçası değildi. Protokol kohortunda, 92 öğrenciden 88'i (%95,7) üç yarışma görevinin tamamını bitirdi. Karşılaştırma kohortunda ise, 8 öğrenciden 18'inin (%20,5) üç karşılaştırılabilir proje tabanlı değerlendirme için eksiksiz kayıtları vardı; tarihsel kurs tam yarışma dizisini uygulamadığı için bu kayıtlar yalnızca betimsel karşılaştırma amacıyla tutuldu. Geri bildirimler, protokol kohortu gönderimlerinin 268'inden 243'ü (%90,7) için 7 takvim günü içinde verilirken, karşılaştırma kohortu gönderimlerinin 6'sından 49'u (%74,2) için bu süre dahilinde verildi. Ortalama geri bildirim dönüş süresi sırasıyla 5,8 ± 1,9 gün ve 8,4 ± 2,7 gün idi. Gözlem tamamlama oranları %81,3 ve %62,5'e ulaştı. Protokol kohortu için örtüşen sübjektif puanlamanın iki değerlendirici ICC değeri, önceden belirlenen 0,75 eşiğini aşarak 0,82 olarak gerçekleşti. Genel olarak, protokol kohortu 5 temel uygulama sadakati göstergesinden 5'ini sağlarken, karşılaştırma kohortu 5 göstergenin 2'sini sağladı.
Öğretim kalitesi göstergeleri protokol kohortunda daha yüksekti. Sınıf etkileşimi protokol kohortunda 3,70 ± 0,4 ve karşılaştırma kohortunda 3,15 ± 0,48 idi. Vaka tasarımı tamlığı sırasıyla 4,08 ± 0,36 ve 3,23 ± 0,42 idi. Görev-rubrik uyumu 4,01 ± 0,39 ve 2,30 ± 0,51 idi. Öğrenci katılımı, önceden belirlenmiş 0,30 puanlık sinyal eşiğini aşarak protokol kohortunda 0,42 ± 0,41 puan artarken, karşılaştırma kohortunda 0,07 ± 0,34 puan artış gösterdi. Devamlılık kohortlar arasında benzerdi: %89,6 ± %5,8 ve %89,1 ± %6,2. Tablo 5 bu göstergeleri özetlemektedir.
| İndikatör | Veri kaynağı | Önceden belirlenmiş eşik değer | Tarihsel karşılaştırma kohortu | Protokol kohortu | Yorumlama |
| Planlanan haftalık etkinliklerin tamamlanması | Kurs uygulama günlüğü | ≥85% | 13/16 hafta, %81,3 | 15/16 hafta, %93,8 | Protokol kohortunda elde edildi |
| Kurumsal veya yapılandırılmış vaka-oturumu uygulaması | Kurumsal etkileşim günlüğü | ≥1 uygulanan oturum | 0/1 oturum, %0,0 | 1/1 oturum, %10,0 | Protokol kohortunda gerçekleştirildi |
| Görev tamamlama veya eşleştirilmiş proje-kayıt tamamlama | Gönderim kayıtları | ≥85% | 18/88 öğrenci, %20,5 | 8/92 öğrenci, %95,7 | Protokol kohortunda gerçekleştirilmiştir; geçmiş kayıtlar yalnızca betimleyici niteliktedir |
| Geri bildirim 7 gün içinde iletilmiştir | Geri bildirim günlüğü | ≥80% | 6 gönderimin 49'u, %74,2 | 243/268 gönderi, %90,7 | Protokol kohortunda elde edildi |
| Gözlem kontrol listesinin tamamlanması | Gözlem formları | ≥75% | 10/16 oturum, %62,5 | 13/16 oturum, %81,3 | Protokol kohortunda elde edildi |
| İki değerlendirici arasındaki uyum | Değerlendirici puanları | ICC ≥0,75 | Gerekli değil | ICC = 0,82 | Protokol kohortunda gerçekleştirildi |
| Geri bildirim dönüş süresi | Geri bildirim günlüğü | Ortalama ≤7 gün tercih edilir | 8,4 ± 2,7 gün | 5,8 ± 1,9 gün | Protokol kohortunda tercih edilen aralıkta |
| Sınıf içi etkileşim | Gözlem kontrol listesi | Ortalama ≥3,50 veya artış ≥0,30 | 3.15 ± 0.48 | 3.70 ± 0.44 | Protokol kohortunda daha yüksek |
| Vaka tasarımı tamlığı | Vaka tasarımı kontrol listesi | Ortalama ≥4,0 tercih edilir | 3.23 ± 0.42 | 4.08 ± 0.36 | Protokol kohortunda daha yüksek |
| Görev-rubrik uyumu | Hizalama kontrol listesi | Ortalama ≥4,0 | 2.30 ± 0.51 | 4.01 ± 0.39 | Protokol kohortunda elde edildi |
| Öğrenci katılımı artışı | Katılım, kayıtlar, anket maddeleri | ≥0,30 puan artış | +0.07 ± 0.34 | +0.42 ± 0.41 | Protokol kohortunda elde edildi |
| Katılım oranı | Katılım kaydı | Betimleyici | 89.1% ± 6.2% | 89.6% ± 5.8% | Kohortlar arasında benzer |
| Temel uygulama sadakati özeti | Uygulama göstergeleri | Çoğu temel eşik değere ulaşıldı | 2/5 eşik değerine ulaşıldı | 5/5 eşik değerlerine ulaşıldı | Protokol amaçlandığı şekilde uygulanmıştır |
Tablo 5: Temsili uygulama sadakati ve öğretim kalitesi göstergeleri.Bu tablo, tarihsel karşılaştırma kohortu ve protokol kohortu için temsili uygulama sadakati ve öğretim kalitesi çıktılarını raporlamakta ve önceden tanımlanmış operasyonel eşiklerin karşılanıp karşılanmadığını belirtmektedir.
Şekil 2, uygulama sadakati ve öğretim kalitesi profilini sunmaktadır. Şekil 2A planlanan haftalık etkinlik tamamlanma oranını göstermektedir. Şekil 2B üçlü görev dizisi tamamlanmasını göstermektedir. Şekil 2C 7 takvim günü içinde verilen geri bildirimleri göstermektedir. Şekil 2D sınıf içi etkileşimi, vaka tasarımı bütünlüğünü, görev rubrik uyumunu ve öğrenci katılımı kazanımlarını göstermektedir. Şekil 2E gözlem tamamlanmasını ve işletme veya yapılandırılmış vaka oturumu tamamlanmasını göstermektedir. Yüzde tabanlı sadakat ölçümleri ve ölçek tabanlı öğretim göstergeleri, kendi ölçüm ölçekleri dahilinde yorumlanmalıdır.

Şekil 2Uygulama sadakati ve öğretim kalitesi profili. Bu şekil, tarihsel karşılaştırma kohortu ve protokol kohortu için uygulama sadakati ve öğretim kalitesi göstergelerini özetlemektedir.A) Planlanan haftalık etkinlik tamamlanması. (B) Görev tamamlama veya eşleştirilmiş proje kaydı tamamlama; protokol kohortunun tam üçlü görev dizisini, tarihsel karşılaştırma kohortundaki eşleştirilmiş proje kayıtlarından ayırt edin. (C) Geri bildirimler 7 takvim günü içinde iletilmiş olup, geri bildirim dönüş süresi destekleyici bilgi olarak sunulmuştur. (D) Sınıf içi etkileşim, vaka tasarımının bütünlüğü, görev-rubrik uyumu ve öğrenci katılımı artışı dahil olmak üzere öğretim kalitesi göstergeleri. (E) Gözlem kontrol listesinin doldurulması ve işletme veya yapılandırılmış vaka oturumu uygulaması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Öğrenci düzeyindeki öğrenme çıktıları
Öğrenci düzeyindeki sonuçlar, takım düzeyindeki yarışma sonuçlarından ayrı olarak incelenmiştir. Başlangıç bilgi puanları, protokol kohortunda 64,18 ± 8,74 ve karşılaştırma kohortunda 62,37 ± 8,91 olup, başlangıçta 1,81 puanlık (d = 0,21) küçük bir fark vardı. Kurs sonrası bilgi puanları 71,08 ± 8,58 ve 6,41 ± 9,06 ile 4,67 puanlık bir fark (d = 0,53) göstermiştir. Bilgi artışı 6,90 ± 5,41 puan ve 4,04 ± 5,26 puan olup, arada 2,86 puanlık bir fark (d = 0,54) saptanmıştır. Protokol kohortu, önceden belirlenmiş olan 5 puanlık bilgi artışı sinyalini aşmıştır.
Sömestr sonu bireysel vaka analizi performansı, protokol kohortunda 82,31 ± 7,06 ve karşılaştırma kohortunda 76,42 ± 7,38 olarak gerçekleşmiş olup, arada 5,89 puanlık bir fark (d = 0,82) saptanmıştır. Gerçek bir başlangıç vaka analizi değerlendirmesi uygulanmadığı için bu sonuç, eşleştirilmiş bir artıştan ziyade kurs sonrası performans göstergesi olarak yorumlanmıştır. Memnuniyet oranları sırasıyla 3,6 ± 0,58 ve 3,34 ± 0,62 (d = 0,53) olarak belirlenmiştir. Algılanan pratik uygunluk 3,91 ± 0,55 ve 3,41 ± 0,59 (d = 0,8) olarak bulunmuştur. Rekabet baskısı, karşılaştırma kohortundaki 2,48 ± 0,71'e kıyasla protokol kohortunda daha yüksek (% 3,12 ± 0,76) seyretmiş (d = 0,87), ancak protokol kohortundaki 92 öğrencinin 13'ü (% 14,1) yüksek iş yükü baskısı bildirmiş olup bu oran önceden belirlenen % 20'lik uyarı eşiğinin altında kalmıştır. İkincil eğitim çıktısı olarak değerlendirilen final kurs puanı, protokol kohortunda 87,20 ± 6,10 ve karşılaştırma kohortunda 84,80 ± 6,70 (d = 0,37) olarak gerçekleşmiştir. Tablo 6, öğrenci düzeyi ve ekip düzeyi çıktılarını özetlemektedir.
| Sonuç | Seviye | Geçmiş karşılaştırma kohortu | Protokol kohortu | Fark | Etki büyüklüğü | Yorum |
| Mevcut eğitim kaydı örneği | Öğrenci | n = 8 | n = 92 | — | — | Kullanılabilir kimliksizleştirilmiş ders kayıtları |
| Eşleştirilmiş bilgi analizi örneği | Öğrenci | n = 79 | n = 84 | — | — | Başlangıç ve kurs sonrası bilgi skorlarına sahip öğrenciler |
| Başlangıç bilgi skoru | Öğrenci | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | Küçük başlangıç farkı |
| Kurs sonrası bilgi skoru | Öğrenci | 6.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | Protokol kohortunda daha yüksek |
| Bilgi kazanımı | Öğrenci | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | Protokol kohortu ≥5 puanlık sinyali aşmış |
| Bireysel vaka analizi skoru | Öğrenci | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | ≥3 puanlık vaka analizi sinyalini aşmış |
| Öğrenci katılım kazanımı | Öğrenci | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | ≥0.30 puanlık sinyali aşmış |
| Memnuniyet skoru | Öğrenci | 3.34 ± 0.62 | 3.6 ± 0.58 | 0.32 | 0.53 | Protokol kohortunda daha yüksek |
| Algılanan pratik uygunluk | Öğrenci | 3.41 ± 0.59 | 3.91 ± 0.5 | 0.5 | 0.8 | Protokol kohortunda daha yüksek |
| Rekabet baskısı skoru | Öğrenci | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | Protokol kohortunda daha yüksek baskı |
| Yüksek iş yükü baskısı | Öğrenci | Rekabet baskısı olarak değerlendirilmedi | 13/92, 14.1% | — | — | %20 uyarı eşiğinin altında |
| Final ders skoru | Öğrenci | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | İkincil eğitim çıktısı |
| Ekip sayısı | Ekip | n = 2 | n = 23 | — | — | Ekip düzeyi analizleri ayrı raporlanmıştır |
| Karar turu maruziyeti | Ekip | 0.7 ± 0.81 tur | 5.09 ± 0.79 tur | 4.32 | Tahmin edilmedi | Uygulama maruziyeti göstergesi |
| Görev 1 veya eşleştirilmiş tanı skoru | Ekip | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | Kısıtlı ekip düzeyi farkı |
| Görev 2 veya eşleştirilmiş karar skoru | Ekip | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | Kısıtlı ekip düzeyi farkı |
| Görev 3 veya eşleştirilmiş final savunma skoru | Ekip | 72.71 ± 6.36 | 7.20 ± 6.04 | 4.49 | 0.72 | En büyük ekip düzeyi farkı |
| Final ekip skoru | Ekip | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.5 | Orta düzeyde ekip düzeyi farkı |
| Stratejik tanı boyutu | Ekip | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | Final savunma rubrik boyutu |
| Stratejik seçim boyutu | Ekip | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | Final savunma rubrik boyutu |
| Uygulama fizibilitesi boyutu | Ekip | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | Final savunma rubrik boyutu |
| İnovasyon boyutu | Ekip | 10.80 ± 1.60 | 1.50 ± 1.50 | 0.7 | — | Final savunma rubrik boyutu |
| Kanıt kullanımı boyutu | Ekip | 7.10 ± 1.0 | 7.50 ± 0.90 | 0.4 | — | Final savunma rubrik boyutu |
| Sözlü savunma boyutu | Ekip | 7.91 ± 1.10 | 8.0 ± 1.0 | 0.09 | — | Final savunma rubrik boyutu |
| Ortalama akran katkısı | Ekip | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | Önemli bir ekip süreci başarısızlığı yok |
| Katkı dengesizliği olan ekipler | Ekip | 4/2, 18.2% | 3/23, 13.0% | −5.2 yüzde puanı | — | Sistematik bir dengesizlik paterni yok |
| Ödül dağılımı | Ekip | Uygulanamaz | 10 yok; 8 üçüncü; 2 ikinci; 3 birinci | — | — | Yalnızca protokol kohortu |
| Skor şişirme uyarı paterni | Ekip | Uygulanamaz | 2/23 ekip, 8.7% | — | — | Sorun giderme için işaretlendi |
Tablo 6: Temsili öğrenci düzeyi ve ekip düzeyi sonuçlar.Bu tablo; mevcut eğitim kaydı örneği, eşleştirilmiş bilgi analiz örneği, bilgi puanları, bilgi kazanımı, bireysel vaka analiz puanı, katılım, memnuniyet, algılanan pratik uygunluk, iş yükü baskısı, final ders puanı, ekip görevi puanları, final savunması rubrik boyut puanları, akran katkısı, ödül dağılımı ve uyarı göstergeleri dahil olmak üzere temsili öğrenci düzeyi ve ekip düzeyi sonuçlarını rapor etmektedir.
Şekil 3, uygun olan yerlerde belirsizlik tahminleriyle birlikte öğrenci düzeyindeki sonuçları sunmaktadır. Şekil 3A, başlangıç ve kurs sonrası bilgi puanlarını göstermektedir. Şekil 3B, bilgi artışını göstermektedir. Şekil 3C, bireysel vaka analizi performansını göstermektedir. Şekil 3D, etkileşim artışını, memnuniyeti ve algılanan pratik ilgiyi göstermektedir. Şekil 3E ikincil bir sonuç olarak final kurs puanını göstermektedir.

Şekil 3Öğrenci düzeyindeki temsilci öğrenme çıktıları. Bu şekil, bireysel düzeydeki sonuçları, takım düzeyindeki yarışma sonuçlarından ayrı olarak sunmaktadır.A) Temel ve kurs sonrası Stratejik Yönetim bilgi puanları. (B) Başlangıç değerlendirmesinden kurs sonrası değerlendirmeye kadar olan bilgi artışı. (C) Dönem sonu bireysel vaka analiz puanı. (D) Memnuniyet ve algılanan pratik uygunluk dahil olmak üzere, etkileşim kazancı ve anket algı göstergeleri, gerektiğinde ayrı ölçeklerle gösterilmiştir. (E) İkincil eğitimsel sonuç olarak final ders notu ve önceden tanımlanmış uyarı eşiğine göre protokol-kohort yüksek iş yükü baskısı. ± değerlerinin gösterildiği yerlerde değerler ortalama ± SD olarak sunulmuştur ve hata çubukları SD'yi temsil etmektedir. (E), kesikli referans çizgisi, önceden tanımlanmış %20'lik yüksek iş yükü baskısı uyarı eşiğini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Takım düzeyindeki yarışma sonuçları
Ekip düzeyindeki sonuçlar, öğrenci düzeyindeki sonuçlardan ayrı olarak analiz edildi. Betimsel raporlama için, karşılaştırma kohortuna ait vaka-proje kayıtları, mevcut olduğunda karşılaştırılabilir değerlendirme noktalarıyla eşleştirildi; ancak bu kayıtlar, yarışma entegre edilmiş dizinin tamamlandığını temsil etmiyordu. Karar turu maruziyeti, bir öğrenme etkisi tahmini yerine bir uygulama maruziyeti göstergesi olarak bildirildi. Protokol kohortu 5.09 ± 0.79 karar turunu tamamlarken, karşılaştırma kohortu 0.7 ± 0.81 eşleştirilmiş tur tamamladı.
Protokol grubunda, ortalama Görev 1 puanı 72,18 ± 6,28, ortalama Görev 2 puanı 73,52 ± 5,91 ve ortalama Görev 3 puanı 7,20 ± 6,04 idi. Buna karşılık gelen eşleştirilmiş karşılaştırma grubu puanları sırasıyla 69,84 ± 6,45, 71,09 ± 6,12 ve 72,71 ± 6,36 idi. Nihai ekip puanı protokol grubunda 74,30 ± 5,52, karşılaştırma grubunda ise 71,21 ± 5,81 idi. Final savunması veya eşleştirilmiş final projesi rubrik boyutları sırasıyla şöyleydi: stratejik tanı, 15,60 ± 1,70 ve 14,60 ± 1,80; stratejik seçim, 19,10 ± 2,10 ve 17,90 ± 2,20; uygulama fizibilitesi, 15,50 ± 1,80 ve 14,40 ± 1,90; inovasyon, 1,50 ± 1,50 ve 10,80 ± 1,60; kanıt kullanımı, 7,50 ± 0,90 ve 7,10 ± 1,0; ve sözlü savunma, 8,0 ± 1,0 ve 7,91 ± 1,10.
Karşılaştırma kohortu, ödül tabanlı tüm yarışma yapısını kullanmadığı için ödül dağılımı yalnızca protokol kohortu için raporlanmıştır. Protokol kohortunda, 10 ekip hiç ödül almamış, 8 ekip üçüncü ödül, 2 ekip ikinci ödül ve 3 ekip birinci ödül almıştır. Ortalama akran katkısı protokol kohortunda 3,91 ± 0,36, karşılaştırma kohortunda ise 3,72 ± 0,41 olarak gerçekleşmiştir. Katkı dengesizliği, 23 protokol kohortu ekibinden 3'ünde ve 22 karşılaştırma kohortu ekibinden 4'ünde tespit edilmiştir. 23 protokol kohortu ekibinden 2'sinde, %8,7'ye tekabül eden bir puan şişirme uyarı örüntüsü belirlenmiştir.
Şekil 4, ekip düzeyindeki sonuçları ve uyarı modellerini sunmaktadır. Şekil 4A Görev 1, Görev 2 ve Görev 3 ekip puanlarını göstermektedir. Şekil 4B final savunma rubrik boyut puanlarını göstermektedir. Şekil 4C yalnızca protokol-kohort ödül dağılımını göstermektedir. Şekil 4D puan şişirmesi uyarı vakalarını göstermektedir. Şekil 4E akran katkı dengesini ve katkı dengesizliği sayılarını göstermektedir.

Şekil 4Takım düzeyindeki yarışma sonuçları ve uyarı modelleri. Bu şekil, ekip düzeyindeki sonuçları, öğrenci düzeyindeki öğrenme sonuçlarından ayrı olarak sunmaktadır.A) Görev 1 stratejik tanı, Görev 2 stratejik karar ve Görev 3 final savunması için görev aşaması ekip puanları; mevcut olduğu durumlarda tarihsel karşılaştırma kohortu için eşleştirilmiş proje puanları gösterilmiştir. (B) Stratejik tanı, stratejik seçim, uygulama fizibilitesi, inovasyon, kanıt kullanımı ve sözlü savunma dahil olmak üzere final savunma rubrik boyut puanları. (C) Sadece protokol kohortu ödül dağıtımı, çünkü tarihsel karşılaştırma kohortu ödül tabanlı tam yarışma yapısını kullanmamıştır. (D) Destekleyici tanısal güç veya bireysel öğrenme kanıtı olmaksızın yüksek final savunma performansı olarak tanımlanan puan şişirme uyarı örüntüsü. (EAkran katkı puanı ve katkı dengesizliği sayıları, ayrı ekip düzeyindeki göstergeler olarak görüntülenir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Optimal olmayan paternler ve sorun giderme göstergeleri
Protokol kohortundaki 23 ekipten ikisi, önceden tanımlanmış bir puan şişirmesi uyarı örüntüsü göstermiştir. Bu ekipler nispeten yüksek final savunma puanlarına, ancak daha düşük Görev 1 tanı puanlarına ve ortalamanın altında bireysel bilgi kazanımlarına sahipti. Bu örüntü, öğrenme gelişiminin bir kanıtı olarak yorumlanmak yerine, eğitimin bir sonraki yinelemesinde takip edilmek üzere işaretlendi. Temel bilgi puanları 10 üzerinden 85'in, temel memnuniyet ise 5 üzerinden 4,50'nin altında olduğu için önemli bir tavan etkisi uyarısı gözlemlenmemiştir. Kohortlar arasında katılım benzerdi ve üç protokol kohort ekibinin izlenmesi gerekmiş olsa da sistematik bir ekip katkısı dengesizliği gözlemlenmedi.
Genel olarak, temsili sonuçlar protokolün üç seviyede yorumlanabilir çıktılar ürettiğini göstermiştir: uygulama sadakati, öğrenci düzeyinde öğrenme kanıtı ve ekip düzeyinde yarışma performansı. Uyarı vakaları, protokolün ders izleme, sorun giderme ve sonraki ders iyileştirmeleri için kullanımını desteklemiştir.
Bu çalışmayı destekleyen kimliksizleştirilmiş veri seti figshare.com adresine depolanmıştır ve https://doi.org/10.6084/m9.figshare.3094931 adresinden erişilebilir durumdadır. Veri seti; öğrenci düzeyindeki kayıtları, takım düzeyindeki yarışma kayıtlarını, uygulama göstergelerini, katılımcı akış kayıtlarını, eksik veri denetim kayıtlarını ve puanlayıcı skor kayıtlarını içermektedir. Öğrenci tanımlayıcıları, onam kayıtları, bağlantı dosyaları ve tanımlanabilir serbest metin yorumları dahil edilmemiştir.
Ek Tablo S1: Değerlendirici eğitimi, puanlama uyumu ve puan uzlaştırma prosedürü. Bu tablo; değerlendirici ataması, bağımsızlık kontrolü, rubrik oryantasyonu, kalibrasyon puanlaması, puanlama uyum kontrolü, puan farkı kuralı, uzlaştırma prosedürü, veri girişi denetimi, puan kilitleme ve arşivleme prosedürlerini sunmaktadır.Lütfen bu dosyayı indirmek için buraya tıklayın.
Ek Tablo S2: Protokol sapmaları ve optimal olmayan uygulama için sorun giderme matrisi. Bu tablo; tetikleyici kurallar, düzeltici faaliyetler, gerekli kayıtlar ve yorumlama notları da dahil olmak üzere, protokol sapmalarını ve suboptimal uygulama modellerini listelemektedir.Lütfen bu dosyayı indirmek için buraya tıklayın.
Ek Tablo S3: Kimliksizleştirilmiş eğitim veri seti için veri seti yapısı ve değişken sözlüğü. Bu tablo; değişken kodları, açıklamaları, veri türleri, kodlama aralıkları, veri kaynakları ve eksik veri kuralları dahil olmak üzere öğrenci düzeyindeki, ekip düzeyindeki ve sınıf oturumu düzeyindeki değişkenleri tanımlamaktadır.Lütfen bu dosyayı indirmek için buraya tıklayın.
Ek Dosya 1: Operasyonel şablonlar, değerlendirme materyalleri ve kimliksizleştirilmiş veri seti çalışma kitabı. Bu ek dosya; yeniden üretilebilirliği desteklemek amacıyla kullanılan operasyonel şablonları, değerlendirme materyallerini, puanlama formlarını, anket maddelerini, vaka tasarımı kontrolünü, eksik veri kurallarını, kimliksizleştirilmiş veri seti çalışma kitabı yapısını, temizleme günlüğünü, analiz özeti şablonunu ve versiyon kontrol kaydını sağlamaktadır.Lütfen bu dosyayı indirmek için buraya tıklayın.