$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Temsili sonuçlar, 16 haftalık yarışma entegreli Stratejik Yönetim dersi geliştirme protokolü tarafından üretilen çıktıları göstermektedir. Sonuçlar; uygulama sadakati, öğretim kalitesi, öğrenci düzeyindeki çıktılar, ekip düzeyindeki çıktılar ve önceden tanımlanmış uyarı kalıplarına göre düzenlenmiştir. Veriler, randomize atama yerine tarihsel bir karşılaştırma grubu olan rutin eğitim kohortlarından elde edildiği için, tüm sonuçlar etkinliğin nedensel kanıtları olarak değil, bağlama özgü uygulama ve değerlendirme çıktıları olarak yorumlanmalıdır.
Uygulama sadakati ve öğretim kalitesi
Mevcut eğitim kayıtları veri seti, tarihsel karşılaştırma kohortunda 88 öğrenciyi ve protokol kohortunda 92 öğrenciyi içermekteydi. Ekip düzeyindeki veri seti, 22 karşılaştırma kohortu ekibi ve 23 protokol kohortu ekibi içeriyordu. Eşleştirilmiş ön-son bilgi testi kuralı uygulandıktan sonra, bilgi kazanımı analizi için 79 karşılaştırma kohortu öğrencisi ve 84 protokol kohortu öğrencisi tutuldu.
Öğrenme çıktıları yorumlanmadan önce uygulama sadakati kontrol edilmiştir. Protokol kohortu, planlanan 16 haftalık aktivitenin 15'ini (%93,8) tamamlarken, karşılaştırma kohortu 16 aktivitenin 13'ünü (%81,3) tamamlamıştır. İşletme veya yapılandırılmış vaka oturumu protokol kohortunda tamamlanmış, ancak tam tarihsel karşılaştırma yapısının bir parçası olmamıştır. Protokol kohortunda, 92 öğrenciden 88'i (%95,7) her üç yarışma görevini de tamamlamıştır. Karşılaştırma kohortunda, 88 öğrenciden 18'inin (%20,5) üç karşılaştırılabilir proje tabanlı değerlendirme için eksiksiz kayıtları bulunmaktadır; tarihsel kurs tam yarışma dizisini uygulamadığı için bu kayıtlar yalnızca tanımlayıcı karşılaştırma amacıyla saklanmıştır. Geri bildirimler, protokol kohortundaki 268 gönderimin 243'ü için (%90,7) 7 takvim günü içinde iletilmişken, karşılaştırma kohortundaki 66 gönderimin 49'u (%74,2) için aynı süre sınırında iletilmiştir. Ortalama geri bildirim dönüş süresi sırasıyla 5,8 ± 1,9 gün ve 8,4 ± 2,7 gün olarak gerçekleşmiştir. Gözlem tamamlama oranları %81,3 ve %62,5'e ulaşmıştır. Protokol kohortundaki çakışan subjektif puanlama için iki değerlendiricili ICC değeri 0,82 olarak belirlenmiş ve önceden tanımlanan 0,75 eşiği aşılmıştır. Genel olarak, protokol kohortu 5 temel uygulama sadakati göstergesinin 5'ini gerçekleştirirken, karşılaştırma kohortu 5 göstergenin 2'sini gerçekleştirmiştir.
Öğretimsel kalite göstergeleri protokol kohortunda daha yüksekti. Sınıf içi etkileşim, protokol kohortunda 3.70 ± 0.44 ve karşılaştırma kohortunda 3.15 ± 0.48 idi. Vaka tasarım bütünlüğü 4.08 ± 0.36 ve 3.23 ± 0.42 olarak belirlendi. Görev-rubrik uyumu 4.01 ± 0.39 ve 2.30 ± 0.51 idi. Öğrenci katılımı, protokol kohortunda önceden tanımlanmış 0.30 puanlık sinyal eşiğini aşarak 0.42 ± 0.41 puan artarken, karşılaştırma kohortunda 0.07 ± 0.34 puan artış gösterdi. Devam oranı kohortlar arasında benzerdi: %89.6 ± %5.8 ve %89.1 ± %6.2. Tablo 5 bu göstergeleri özetlemektedir.
| Gösterge | Veri kaynağı | Önceden tanımlanmış eşik değer | Geçmiş karşılaştırma kohortu | Protokol kohortu | Yorumlama |
| Planlanan haftalık aktivite tamamlanma oranı | Kurs uygulama günlüğü | ≥85% | 13/16 hafta, 81.3% | 15/16 hafta, 93.8% | Protokol kohortunda başarıldı |
| Kurumsal veya yapılandırılmış vaka oturumu uygulaması | Kurumsal katılım günlüğü | ≥1 uygulanan oturum | 0/1 oturum, 0.0% | 1/1 oturum, 100.0% | Protokol kohortunda başarıldı |
| Görev tamamlama veya eşleştirilmiş proje kaydı tamamlanması | Teslim kayıtları | ≥85% | 18/88 öğrenci, 20.5% | 88/92 öğrenci, 95.7% | Protokol kohortunda başarıldı; geçmiş kayıtlar yalnızca betimleyicidir |
| 7 gün içinde verilen geri bildirim | Geri bildirim günlüğü | ≥80% | 49/66 teslimat, 74.2% | 243/268 teslimat, 90.7% | Protokol kohortunda başarıldı |
| Gözlem kontrol listesi tamamlanma oranı | Gözlem formları | ≥75% | 10/16 oturum, 62.5% | 13/16 oturum, 81.3% | Protokol kohortunda başarıldı |
| İki değerlendirici arası uyum | Değerlendirici puanları | ICC ≥0.75 | Gerekli değil | ICC = 0.82 | Protokol kohortunda başarıldı |
| Geri bildirim dönüş süresi | Geri bildirim günlüğü | Ortalama ≤7 gün tercih edilir | 8.4 ± 2.7 gün | 5.8 ± 1.9 gün | Protokol kohortunda tercih edilen aralıktadır |
| Sınıf içi etkileşim | Gözlem kontrol listesi | Ortalama ≥3.50 veya artış ≥0.30 | 3.15 ± 0.48 | 3.70 ± 0.44 | Protokol kohortunda daha yüksek |
| Vaka tasarım tamlığı | Vaka tasarım kontrol listesi | Ortalama ≥4.00 tercih edilir | 3.23 ± 0.42 | 4.08 ± 0.36 | Protokol kohortunda daha yüksek |
| Görev-rubrik uyumu | Uyum kontrol listesi | Ortalama ≥4.00 | 2.30 ± 0.51 | 4.01 ± 0.39 | Protokol kohortunda başarıldı |
| Öğrenci katılım artışı | Devam durumu, günlükler, anket maddeleri | Artış ≥0.30 puan | +0.07 ± 0.34 | +0.42 ± 0.41 | Protokol kohortunda başarıldı |
| Devam oranı | Devam kayıtları | Betimleyici | 89.1% ± 6.2% | 89.6% ± 5.8% | Kohortlar arasında benzer |
| Temel uygulama sadakati özeti | Uygulama göstergeleri | Çoğu temel eşik değere ulaşıldı | 5 eşik değerden 2'sine ulaşıldı | 5 eşik değerden 5'ine ulaşıldı | Protokol amaçlandığı gibi uygulandı |
Tablo 5: Temsili uygulama sadakati ve öğretim kalitesi göstergeleri. Bu tablo, tarihsel karşılaştırma kohortu ve protokol kohortu için temsili uygulama sadakati ve öğretim kalitesi çıktılarını bildirmekte ve önceden tanımlanmış operasyonel eşiklerin karşılanıp karşılanmadığını belirtmektedir.
Şekil 2, uygulama sadakatini ve öğretim kalitesi profilini sunmaktadır. Şekil 2A, planlanan haftalık etkinliklerin tamamlanma durumunu göstermektedir. Şekil 2B, üçlü görev dizisinin tamamlanma durumunu göstermektedir. Şekil 2C, 7 takvim günü içerisinde verilen geri bildirimleri göstermektedir. Şekil 2D sınıf içi etkileşimi, vaka tasarımının tamlığını, görev rubrik uyumunu ve öğrenci etkileşimindeki artışları göstermektedir. Şekil 2E, gözlem tamamlanmasını ve işletme veya yapılandırılmış vaka oturumu tamamlanmasını göstermektedir. Yüzde bazlı sadakat ölçümleri ve ölçek bazlı öğretim göstergeleri, kendi ölçüm ölçekleri dahilinde yorumlanmalıdır.

Şekil 2: Uygulama sadakati ve öğretim kalitesi profili. Bu şekil, tarihsel karşılaştırma kohortu ve protokol kohortu için uygulama sadakati ve öğretim kalitesi göstergelerini özetlemektedir. (A) Planlanan haftalık etkinlik tamamlama durumu. (B) Protokol kohortunun tam üçlü görev dizisini, tarihsel karşılaştırma kohortundaki eşleşmiş proje kayıtlarından ayıran tam görev veya eşleşmiş proje kayıt tamamlama durumu. (C) 7 takvim günü içinde dönen geri bildirimler; geri bildirim dönüş süresi destekleyici bilgi olarak gösterilmiştir. (D) Sınıf içi etkileşim, vaka tasarımı tamlığı, görev-rubrik uyumu ve öğrenci katılım artışı dahil olmak üzere öğretim kalitesi göstergeleri. (E) Gözlem kontrol listesi tamamlama ve işletme veya yapılandırılmış vaka oturumu uygulaması. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Öğrenci düzeyindeki öğrenim çıktıları
Öğrenci düzeyindeki sonuçlar, ekip düzeyindeki yarışma sonuçlarından ayrı olarak incelenmiştir. Başlangıç bilgi puanları protokol kohortunda 64.18 ± 8.74 ve karşılaştırma kohortunda 62.37 ± 8.91 olup, başlangıçta 1.81 puanlık küçük bir fark (d = 0.21) görülmüştür. Kurs sonrası bilgi puanları 71.08 ± 8.58 ve 66.41 ± 9.06 ile 4.67 puanlık bir fark (d = 0.53) göstermiştir. Bilgi kazanımı 6.90 ± 5.41 puan ve 4.04 ± 5.26 puan olup, arada 2.86 puanlık bir fark (d = 0.54) saptanmıştır. Protokol kohortu, önceden belirlenmiş olan 5 puanlık bilgi kazanımı sinyalini aşmıştır.
Dönem sonu bireysel vaka analizi performansı, protokol kohortunda 82,31 ± 7,06 ve karşılaştırma kohortunda 76,42 ± 7,38 olup, aradaki fark 5,89 puandır (d = 0,82). Gerçek bir başlangıç vaka analizi değerlendirmesi uygulanmadığı için bu sonuç, eşleştirilmiş bir kazanımdan ziyade kurs sonrası performans göstergesi olarak yorumlanmıştır. Memnuniyet oranları 3,66 ± 0,58 ve 3,34 ± 0,62'dir (d = 0,53). Algılanan pratik uygunluk 3,91 ± 0,55 ve 3,41 ± 0,59 olarak belirlenmiştir (d = 0,88). Rekabet baskısı, protokol kohortunda 3,12 ± 0,76 ile 2,48 ± 0,71'e (d = 0,87) kıyasla daha yüksektir; ancak protokol kohortundaki 92 öğrenciden 13'ü (%14,1) yüksek iş yükü baskısı bildirmiş olup bu oran, önceden tanımlanmış %20'lik uyarı eşiğinin altındadır. İkincil bir eğitimsel sonuç olarak ele alınan final kurs puanı, protokol kohortunda 87,20 ± 6,10 ve karşılaştırma kohortunda 84,80 ± 6,70'tir (d = 0,37). Tablo 6, öğrenci düzeyi ve ekip düzeyi sonuçlarını özetlemektedir.
| Sonuç | Düzey | Geçmiş karşılaştırma kohortu | Protokol kohortu | Fark | Etki büyüklüğü | Yorumlama |
| Mevcut eğitim kaydı örneği | Öğrenci | n = 88 | n = 92 | — | — | Kullanılabilir kimliksizleştirilmiş ders kayıtları |
| Eşleştirilmiş bilgi analizi örneği | Öğrenci | n = 79 | n = 84 | — | — | Başlangıç ve ders sonrası bilgi puanları olan öğrenciler |
| Başlangıç bilgi puanı | Öğrenci | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | Küçük başlangıç farkı |
| Ders sonrası bilgi puanı | Öğrenci | 66.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | Protokol kohortunda daha yüksek |
| Bilgi kazanımı | Öğrenci | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | Protokol kohortu ≥5 puanlık sinyali aşmıştır |
| Bireysel vaka analizi puanı | Öğrenci | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | ≥3 puanlık vaka analizi sinyalini aşmıştır |
| Öğrenci katılım kazanımı | Öğrenci | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | ≥0.30 puanlık sinyali aşmıştır |
| Memnuniyet puanı | Öğrenci | 3.34 ± 0.62 | 3.66 ± 0.58 | 0.32 | 0.53 | Protokol kohortunda daha yüksek |
| Algılanan pratik uygunluk | Öğrenci | 3.41 ± 0.59 | 3.91 ± 0.55 | 0.5 | 0.88 | Protokol kohortunda daha yüksek |
| Rekabet baskısı puanı | Öğrenci | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | Protokol kohortunda daha yüksek baskı |
| Yüksek iş yükü baskısı | Öğrenci | Rekabet baskısı olarak değerlendirilmedi | 13/92, %14.1 | — | — | %20 uyarı eşiğinin altında |
| Final ders puanı | Öğrenci | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | İkincil eğitim sonucu |
| Ekip sayısı | Ekip | n = 22 | n = 23 | — | — | Ekip düzeyindeki analizler ayrı raporlanmıştır |
| Karar turu maruziyeti | Ekip | 0.77 ± 0.81 tur | 5.09 ± 0.79 tur | 4.32 | Tahmin edilmedi | Uygulama maruziyet göstergesi |
| Görev 1 veya eşleştirilmiş tanı puanı | Ekip | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | Kısmi ekip düzeyi farkı |
| Görev 2 veya eşleştirilmiş karar puanı | Ekip | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | Kısmi ekip düzeyi farkı |
| Görev 3 veya eşleştirilmiş final savunma puanı | Ekip | 72.71 ± 6.36 | 77.20 ± 6.04 | 4.49 | 0.72 | En büyük ekip düzeyi farkı |
| Final ekip puanı | Ekip | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.55 | Orta düzeyde ekip düzeyi farkı |
| Stratejik tanı boyutu | Ekip | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | Final savunma rubrik boyutu |
| Stratejik seçim boyutu | Ekip | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | Final savunma rubrik boyutu |
| Uygulama fizibilitesi boyutu | Ekip | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | Final savunma rubrik boyutu |
| İnovasyon boyutu | Ekip | 10.80 ± 1.60 | 11.50 ± 1.50 | 0.7 | — | Final savunma rubrik boyutu |
| Kanıt kullanımı boyutu | Ekip | 7.10 ± 1.00 | 7.50 ± 0.90 | 0.4 | — | Final savunma rubrik boyutu |
| Sözlü savunma boyutu | Ekip | 7.91 ± 1.10 | 8.00 ± 1.00 | 0.09 | — | Final savunma rubrik boyutu |
| Akran katkısı ortalaması | Ekip | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | Önemli bir ekip süreci başarısızlığı yok |
| Katkı dengesizliği olan ekipler | Ekip | 4/22, %18.2 | 3/23, %13.0 | −5.2 yüzde puanı | — | Sistematik bir dengesizlik örüntüsü yok |
| Ödül dağılımı | Ekip | Uygulanamaz | 10 yok; 8 üçüncül; 2 ikincil; 3 birincil | — | — | Yalnızca protokol kohortu |
| Puan şişirme uyarı örüntüsü | Ekip | Uygulanamaz | 2/23 ekip, %8.7 | — | — | Sorun giderme için işaretlendi |
Tablo 6: Temsili öğrenci düzeyinde ve ekip düzeyinde çıktılar.Bu tablo; mevcut eğitim kaydı örneği, eşleştirilmiş bilgi analizi örneği, bilgi puanları, bilgi artışı, bireysel vaka analizi puanı, katılım, memnuniyet, algılanan pratik uygunluk, iş yükü baskısı, final ders puanı, ekip görevi puanları, final savunması rubrik boyut puanları, akran katkısı, ödül dağılımı ve uyarı göstergeleri dahil olmak üzere temsili öğrenci düzeyi ve ekip düzeyi çıktılarını rapor etmektedir.
Şekil 3, uygun olan yerlerde belirsizlik tahminleriyle birlikte öğrenci düzeyindeki sonuçları sunmaktadır. Şekil 3A, başlangıç ve kurs sonrası bilgi puanlarını göstermektedir. Şekil 3B, bilgi kazanımını göstermektedir. Şekil 3C, bireysel vaka analiz performansını göstermektedir. Şekil 3D, etkileşim artışını, memnuniyeti ve algılanan pratik uygunluğu göstermektedir. Şekil 3E ikincil bir sonuç olarak final kurs puanını göstermektedir.

Şekil 3: Öğrenci düzeyindeki temsilci öğrenme çıktıları. Bu şekil, bireysel düzeydeki çıktıları, takım düzeyindeki yarışma çıktılarından ayrı olarak sunmaktadır. (A) Başlangıç ve kurs sonrası Stratejik Yönetim bilgi puanları. (B) Başlangıçtan kurs sonrası değerlendirmeye kadar olan bilgi artışı. (C) Sömestir sonu bireysel vaka analizi puanı. (D) Etkileşim artışı ve memnuniyet ile algılanan pratik uygunluk dahil olmak üzere anket algı göstergeleri, gerektiğinde ayrı ölçeklerle gösterilmiştir. (E) İkincil bir eğitim çıktısı olarak final kurs puanı ve önceden tanımlanmış uyarı eşiğine göre protokol kohortunun yüksek iş yükü baskısı. Değerler, ± değerlerinin gösterildiği yerlerde ortalama ± SD olarak sunulmuştur ve hata çubukları SD'yi temsil etmektedir. (E) kısmında, kesikli referans çizgisi %20 olan önceden tanımlanmış yüksek iş yükü baskısı uyarı eşiğini belirtmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Takım düzeyindeki yarışma sonuçları
Ekip düzeyindeki sonuçlar, öğrenci düzeyindeki sonuçlardan ayrı olarak analiz edilmiştir. Tanımlayıcı raporlama için, karşılaştırma kohortuna ait vaka-proje kayıtları, mevcut olduğunda karşılaştırılabilir değerlendirme noktalarıyla eşleştirilmiştir; ancak bu kayıtlar, yarışma entegreli dizinin tamamlandığını temsil etmemektedir. Karar turu maruziyeti, bir öğrenme etkisi tahmini yerine bir uygulama maruziyeti göstergesi olarak raporlanmıştır. Protokol kohortu 5.09 ± 0.79 karar turunu tamamlarken, karşılaştırma kohortu 0.77 ± 0.81 eşleştirilmiş turu tamamlamıştır.
Protokol kohortunda ortalama Görev 1 puanı 72,18 ± 6,28, ortalama Görev 2 puanı 73,52 ± 5,91 ve ortalama Görev 3 puanı 77,20 ± 6,04 olarak belirlendi. Karşılaştırma kohortundaki karşılık gelen eşleştirilmiş puanlar sırasıyla 69,84 ± 6,45, 71,09 ± 6,12 ve 72,71 ± 6,36 idi. Final ekip puanı protokol kohortunda 74,30 ± 5,52 ve karşılaştırma kohortunda 71,21 ± 5,81 olarak gerçekleşti. Final savunma veya eşleştirilmiş final projesi rubrik boyutları sırasıyla şu şekildeydi: stratejik tanı, 15,60 ± 1,70 ve 14,60 ± 1,80; stratejik seçim, 19,10 ± 2,10 ve 17,90 ± 2,20; uygulama fizibilitesi, 15,50 ± 1,80 ve 14,40 ± 1,90; inovasyon, 11,50 ± 1,50 ve 10,80 ± 1,60; kanıt kullanımı, 7,50 ± 0,90 ve 7,10 ± 1,00; ve sözlü savunma, 8,00 ± 1,00 ve 7,91 ± 1,10.
Karşılaştırma kohortu, ödül tabanlı tüm yarışma yapısını kullanmadığı için ödül dağılımı yalnızca protokol kohortu için raporlanmıştır. Protokol kohortunda, 10 takım hiç ödül alamamış, 8 takım üçüncü ödül, 2 takım ikinci ödül ve 3 takım birinci ödül almıştır. Ortalama akran katkısı protokol kohortunda 3.91 ± 0.36 ve karşılaştırma kohortunda 3.72 ± 0.41 olarak belirlenmiştir. Katkı dengesizliği, 23 protokol kohortu takımının 3'ünde ve 22 karşılaştırma kohortu takımının 4'ünde tespit edilmiştir. 23 protokol kohortu takımının 2'sinde, %8,7'ye tekabül eden bir puan şişirme uyarı kalıbı saptanmıştır.
Şekil 4, ekip düzeyindeki sonuçları ve uyarı modellerini sunmaktadır. Şekil 4A, Görev 1, Görev 2 ve Görev 3 ekip puanlarını göstermektedir. Şekil 4B, final savunması rubrik boyut puanlarını göstermektedir. Şekil 4C, yalnızca protokol-kohort ödül dağılımını göstermektedir. Şekil 4D, puan şişirme uyarı vakalarını göstermektedir. Şekil 4E, akran katkı dengesini ve katkı dengesizliği sayılarını göstermektedir.

Şekil 4: Ekip düzeyindeki yarışma sonuçları ve uyarı modelleri. Bu şekil, ekip düzeyindeki sonuçları öğrenci düzeyindeki öğrenme sonuçlarından ayrı olarak sunmaktadır. (A) Görev 1 stratejik tanı, Görev 2 stratejik karar ve Görev 3 final savunması için görev aşaması ekip puanları; mevcut olan durumlarda tarihsel karşılaştırma kohortu için eşleştirilmiş proje puanları gösterilmiştir. (B) Stratejik tanı, stratejik seçim, uygulama fizibilitesi, inovasyon, kanıt kullanımı ve sözlü savunma dahil olmak üzere final savunması rubrik boyut puanları. (C) Sadece protokol kohortu ödül dağılımı, çünkü tarihsel karşılaştırma kohortu ödül tabanlı tam yarışma yapısını kullanmamıştır. (D) Destekleyici tanısal güç veya bireysel öğrenme kanıtı olmaksızın yüksek final savunması performansı olarak tanımlanan puan şişirme uyarı modeli. (E) Akran katkı puanı ve katkı dengesizliği sayıları, ayrı ekip düzeyinde göstergeler olarak sunulmuştur. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Optimal olmayan paternler ve sorun giderme göstergeleri
Protokol kohort ekiplerinden 23 tanesinin ikisi, önceden tanımlanmış bir skor şişirme uyarı örüntüsü göstermiştir. Bu ekipler, nispeten yüksek final savunma skorlarına ancak daha düşük Görev 1 tanı skorlarına ve ortalamanın altında bireysel bilgi kazanımlarına sahipti. Bu örüntü, öğrenme iyileşmesinin bir kanıtı olarak yorumlanmak yerine, bir sonraki ders döngüsünde takip edilmek üzere işaretlenmiştir. Temel bilgi skorları 100 üzerinden 85'in ve temel memnuniyet 5 üzerinden 4,50'nin altında olduğu için herhangi bir önemli tavan etkisi uyarısı gözlemlenmemiştir. Katılım kohortlar arasında benzerdi ve üç protokol kohort ekibinin izlenmesi gerekmiş olsa da, sistematik bir ekip katkı dengesizliği gözlemlenmedi.
Genel olarak, temsilci sonuçlar protokolün üç düzeyde yorumlanabilir çıktılar ürettiğini göstermiştir: uygulama sadakati, öğrenci düzeyinde öğrenme kanıtı ve takım düzeyinde yarışma performansı. Uyarıcı vakalar, protokolün ders izleme, sorun giderme ve sonraki ders iyileştirmeleri için kullanımını desteklemiştir.
Bu çalışmayı destekleyen kimliksizleştirilmiş veri seti figshare.com adresine kaydedilmiştir ve https://doi.org/10.6084/m9.figshare.33094931 adresinden erişilebilir durumdadır. Veri seti; öğrenci düzeyindeki kayıtları, takım düzeyindeki yarışma kayıtlarını, uygulama göstergelerini, katılımcı akış kayıtlarını, eksik veri denetim kayıtlarını ve değerlendirici puan kayıtlarını içermektedir. Öğrenci tanımlayıcıları, onam kayıtları, bağlantı dosyaları ve kimlik belirleyici serbest metin yorumlar dahil edilmemiştir.
Ek Tablo S1: Değerlendirici eğitimi, puanlama uyumu ve puan uzlaşısı prosedürü.Bu tablo; değerlendirici ataması, bağımsızlık kontrolü, rubrik oryantasyonu, kalibrasyon puanlaması, puanlama uyum kontrolü, puan farkı kuralı, uzlaşma prosedürü, veri giriş denetimi, puan kilitleme ve arşivleme prosedürlerini sunmaktadır.Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Tablo S2: Protokol sapmaları ve optimal olmayan uygulama için sorun giderme matrisi.Bu tablo; tetikleyici kuralları, düzeltici eylemleri, gerekli kayıtları ve yorumlama notlarını içeren protokol sapmalarını ve optimal olmayan uygulama modellerini listeler.Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Tablo S3: Kimliksizleştirilmiş eğitim veri seti için veri seti yapısı ve değişken sözlüğü.Bu tablo; değişken kodları, açıklamalar, veri türleri, kodlama aralıkları, veri kaynakları ve eksik veri kuralları dahil olmak üzere öğrenci düzeyindeki, ekip düzeyindeki ve ders oturumu düzeyindeki değişkenleri tanımlar.Bu dosyayı indirmek için lütfen buraya tıklayın.
Ek Dosya 1: Operasyonel şablonlar, değerlendirme materyalleri ve kimliksizleştirilmiş veri seti çalışma kitabı.Bu ek dosya; tekrarlanabilirliği desteklemek için kullanılan operasyonel şablonları, değerlendirme materyallerini, puanlama formlarını, anket maddelerini, vaka tasarım kontrolünü, eksik veri kurallarını, kimliksizleştirilmiş veri seti çalışma kitabı yapısını, temizleme günlüğünü, analiz özeti şablonunu ve versiyon kontrol kaydını içermektedir.Bu dosyayı indirmek için lütfen buraya tıklayın.