Reprezentatywne wyniki przedstawiają efekty wygenerowane przez 16-tygodniowy protokół ulepszenia kursu Zarządzania Strategicznego zintegrowanego z konkursem. Wyniki są uporządkowane według wierności implementacji, jakości dydaktycznej, efektów na poziomie studenta, efektów na poziomie zespołu oraz zdefiniowanych wzorców ostrzegawczych. Ponieważ dane pochodzą z rutynowych kohort edukacyjnych z historyczną grupą porównawczą, a nie z przydziału randomizowanego, wszystkie wyniki należy interpretować jako wyniki implementacji i ewaluacji specyficzne dla danego kontekstu, a nie jako dowody przyczynowe skuteczności.
Wierność implementacji i jakość instruktażu
Dostępny zbiór danych z dokumentacji edukacyjnej obejmował 88 studentów w kohorcie porównawczej oraz 92 studentów w kohorcie protokołu. Zbiór danych na poziomie zespołów obejmował 22 zespoły z kohorty porównawczej i 23 zespoły z kohorty protokołu. Po zastosowaniu reguły sparowanych testów wiedzy przed i po interwencji, do analizy przyrostu wiedzy zakwalifikowano 79 studentów z kohorty porównawczej i 84 studentów z kohorty protokołu.
Przed interpretacją wyników uczenia się sprawdzono wierność implementacji. Grupa protokołu zrealizowała 15 z 16 zaplanowanych cotygodniowych aktywności (93,8%), podczas gdy grupa porównawcza zrealizowała 13 z 16 (81,3%). Sesja przypadku przedsiębiorstwa lub ustrukturyzowana została zrealizowana w grupie protokołu, ale nie stanowiła części pełnej struktury historycznej grupy porównawczej. W grupie protokołu 88 z 92 studentów ukończyło wszystkie trzy zadania konkursowe, co odpowiada 95,7%. W grupie porównawczej 18 z 88 studentów posiadało pełną dokumentację dla trzech porównywalnych ocen opartych na projektach, co odpowiada 20,5%; dokumentacja ta została zachowana wyłącznie do celów porównania opisowego, ponieważ w kursie historycznym nie wdrożono pełnej sekwencji konkursowej. Informacja zwrotna została przekazana w ciągu 7 dni kalendarzowych dla 243 z 268 zgłoszeń w grupie protokołu, co odpowiada 90,7%, w porównaniu do 49 z 66 zgłoszeń w grupie porównawczej, co odpowiada 74,2%. Średni czas przekazania informacji zwrotnej wynosił odpowiednio 5,8 ± 1,9 dnia oraz 8,4 ± 2,7 dnia. Stopień ukończenia obserwacji wyniósł 81,3% i 62,5%. Współczynnik ICC dla dwóch oceniających w przypadku nakładających się ocen subiektywnych w grupie protokołu wyniósł 0,82, przekraczając zdefiniowany próg 0,75. Ogólnie grupa protokołu osiągnęła 5 z 5 podstawowych wskaźników wierności implementacji, podczas gdy grupa porównawcza osiągnęła 2 z 5.
Wskaźniki jakości dydaktycznej były wyższe w kohorcie z protokołem. Interakcja w klasie wyniosła 3,70 ± 0,44 w kohorcie z protokołem i 3,15 ± 0,48 w kohorcie porównawczej. Kompletność projektu przypadku wyniosła odpowiednio 4,08 ± 0,36 i 3,23 ± 0,42. Zgodność zadań z kryteriami oceny wyniosła 4,01 ± 0,39 i 2,30 ± 0,51. Zaangażowanie studentów wzrosło o 0,42 ± 0,41 punktu w kohorcie z protokołem, przekraczając zdefiniowany próg sygnałowy 0,30 punktu, podczas gdy w kohorcie porównawczej wzrost wyniósł 0,07 ± 0,34 punktu. Obecność była podobna w obu kohortach: 89,6% ± 5,8% i 89,1% ± 6,2%. Tabela 5 podsumowuje te wskaźniki.
| Wskaźnik | Źródło danych | Zdefiniowany próg | Historyczna kohorta porównawcza | Kohorta protokołu | Interpretacja |
| Realizacja zaplanowanych cotygodniowych aktywności | Dziennik wdrażania kursu | ≥85% | 13/16 tygodni, 81.3% | 15/16 tygodni, 93.8% | Osiągnięto w kohorcie protokołu |
| Wdrożenie sesji przypadków przedsiębiorstwa lub strukturalnych | Dziennik zaangażowania przedsiębiorstwa | ≥1 wdrożona sesja | 0/1 sesja, 0.0% | 1/1 sesja, 100.0% | Osiągnięto w kohorcie protokołu |
| Ukończenie zadania lub przypisanej dokumentacji projektu | Rejestry przesłanych prac | ≥85% | 18/88 studentów, 20.5% | 88/92 studentów, 95.7% | Osiągnięto w kohorcie protokołu; dane historyczne mają charakter opisowy |
| Informacja zwrotna przekazana w ciągu 7 dni | Dziennik informacji zwrotnych | ≥80% | 49/66 przesłanych prac, 74.2% | 243/268 przesłanych prac, 90.7% | Osiągnięto w kohorcie protokołu |
| Uzupełnienie listy kontrolnej obserwacji | Formularze obserwacyjne | ≥75% | 10/16 sesji, 62.5% | 13/16 sesji, 81.3% | Osiągnięto w kohorcie protokołu |
| Zgodność między dwoma oceniającymi | Wyniki oceniających | ICC ≥0.75 | Niewymagane | ICC = 0.82 | Osiągnięto w kohorcie protokołu |
| Czas przekazania informacji zwrotnej | Dziennik informacji zwrotnych | Preferowana średnia ≤7 dni | 8.4 ± 2.7 dni | 5.8 ± 1.9 dni | W preferowanym zakresie w kohorcie protokołu |
| Interakcje w klasie | Lista kontrolna obserwacji | Średnia ≥3.50 lub wzrost ≥0.30 | 3.15 ± 0.48 | 3.70 ± 0.44 | Wyższa w kohorcie protokołu |
| Kompletność projektu przypadku | Lista kontrolna projektu przypadku | Preferowana średnia ≥4.00 | 3.23 ± 0.42 | 4.08 ± 0.36 | Wyższa w kohorcie protokołu |
| Zgodność zadania z rubryką oceny | Lista kontrolna zgodności | Średnia ≥4.00 | 2.30 ± 0.51 | 4.01 ± 0.39 | Osiągnięto w kohorcie protokołu |
| Wzrost zaangażowania studentów | Obecność, dzienniki, pytania ankietowe | Wzrost ≥0.30 pkt | +0.07 ± 0.34 | +0.42 ± 0.41 | Osiągnięto w kohorcie protokołu |
| Wskaźnik obecności | Rejestr obecności | Opisowy | 89.1% ± 6.2% | 89.6% ± 5.8% | Podobny w obu kohortach |
| Podsumowanie wierności wdrażania kluczowych elementów | Wskaźniki wdrażania | Osiągnięcie większości kluczowych progów | Osiągnięto 2/5 progów | Osiągnięto 5/5 progów | Protokół wdrożony zgodnie z założeniami |
Tabela 5: Reprezentatywne wskaźniki wierności implementacji i jakości instruktażu. W tabeli przedstawiono reprezentatywne wyniki wierności implementacji i jakości instruktażu dla kohorty porównawczej historycznej oraz kohorty protokołu, wskazując, czy osiągnięto zdefiniowane progi operacyjne.
Rysunek 2 przedstawia profil wierności implementacji oraz jakości nauczania. Rysunek 2A pokazuje realizację zaplanowanych aktywności tygodniowych. Rysunek 2B pokazuje realizację sekwencji trzech zadań. Rysunek 2C pokazuje informacje zwrotne przekazane w ciągu 7 dni kalendarzowych. Rysunek 2D pokazuje interakcje w klasie, kompletność projektu przypadku, zgodność zadań z rubryką oceniania oraz wzrost zaangażowania studentów. Rysunek 2E pokazuje realizację obserwacji oraz ukończenie sesji przypadku przedsiębiorstwa lub sesji ustrukturyzowanej. Miary wierności oparte na procentach oraz wskaźniki nauczania oparte na skalach należy interpretować w ramach ich własnych skal pomiarowych.

Rysunek 2: Profil wierności implementacji i jakości instruktażu. Ten rysunek podsumowuje wskaźniki wierności implementacji i jakości instruktażu dla historycznej kohorty porównawczej oraz kohorty protokołu. (A) Ukończenie planowanych aktywności tygodniowych. (B) Ukończenie pełnego zadania lub przypisanego rekordu projektu, z rozróżnieniem pełnej sekwencji trzech zadań w kohorcie protokołu od przypisanych rekordów projektów w historycznej kohorcie porównawczej. (C) Informacje zwrotne przekazane w ciągu 7 dni kalendarzowych, przy czym czas przekazywania informacji zwrotnych przedstawiono jako informacje uzupełniające. (D) Wskaźniki jakości instruktażu, obejmujące interakcje w klasie, kompletność projektu przypadku, zgodność zadania z rubryką oceny oraz wzrost zaangażowania studentów. (E) Ukończenie listy kontrolnej obserwacji oraz implementacja sesji przypadku w przedsiębiorstwie lub sesji ustrukturyzowanej. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Efekty uczenia się na poziomie studenta
Wyniki na poziomie studentów analizowano oddzielnie od wyników rywalizacji na poziomie zespołów. Wyniki wiedzy wyjściowej wynosiły 64,18 ± 8,74 w grupie protokołu i 62,37 ± 8,91 w grupie porównawczej, przy niewielkiej różnicy wyjściowej wynoszącej 1,81 punktu (d = 0,21). Wyniki wiedzy po kursie wynosiły 71,08 ± 8,58 oraz 66,41 ± 9,06, z różnicą 4,67 punktu (d = 0,53). Przyrost wiedzy wyniósł 6,90 ± 5,41 punktu oraz 4,04 ± 5,26 punktu, z różnicą 2,86 punktu (d = 0,54). Grupa protokołu przekroczyła zdefiniowany wcześniej próg przyrostu wiedzy wynoszący 5 punktów.
Wyniki indywidualnej analizy przypadku na koniec semestru wyniosły 82,31 ± 7,06 w grupie protokołu i 76,42 ± 7,38 w grupie porównawczej, co oznacza różnicę 5,89 punktów (d = 0,82). Wynik ten zinterpretowano jako wskaźnik osiągnięć po kursie, a nie jako przyrost sparowany, ponieważ nie przeprowadzono rzeczywistej oceny wyjściowej analizy przypadku. Satysfakcja wyniosła odpowiednio 3,66 ± 0,58 i 3,34 ± 0,62 (d = 0,53). Postrzegana relewantność praktyczna wyniosła 3,91 ± 0,55 i 3,41 ± 0,59 (d = 0,88). Presja konkurencyjna była wyższa w grupie protokołu (3,12 ± 0,76) w porównaniu z grupą porównawczą (2,48 ± 0,71; d = 0,87), jednak wysoka presja związana z obciążeniem pracą została zgłoszona przez 13 z 92 studentów grupy protokołu, co odpowiada 14,1% i znajduje się poniżej zdefiniowanego progu ostrzegawczego 20%. Końcowa ocena z kursu została potraktowana jako wtórny wynik edukacyjny i wyniosła 87,20 ± 6,10 w grupie protokołu oraz 84,80 ± 6,70 w grupie porównawczej (d = 0,37). Tabela 6 podsumowuje wyniki na poziomie studenta i zespołu.
| Wynik | Poziom | Historyczna kohorta porównawcza | Kohorta protokołu | Różnica | Wielkość efektu | Interpretacja |
| Dostępny próbny zapis edukacyjny | Student | n = 88 | n = 92 | — | — | Użyteczne zanonimizowane rekordy kursowe |
| Próbka do analizy wiedzy w układzie parzystym | Student | n = 79 | n = 84 | — | — | Studenci z wynikami wiedzy przed kursem i po jego zakończeniu |
| Wyjściowy wynik wiedzy | Student | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | Niewielka różnica wyjściowa |
| Wynik testu wiedzy po kursie | Student | 66.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | Wyższa w kohorcie protokołu |
| Przyrost wiedzy | Student | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | Kohorta protokołu przekroczyła sygnał ≥5 punktów |
| Wynik analizy pojedynczego przypadku | Student | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | Przekroczono sygnał analizy przypadków ≥3 punktów |
| Wzrost zaangażowania studentów | Student | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | Przekroczono sygnał ≥0,30 pkt |
| Wynik satysfakcji | Student | 3.34 ± 0.62 | 3.66 ± 0.58 | 0.32 | 0.53 | Wyższa w kohorcie protokołu |
| Postrzegana istotność praktyczna | Student | 3.41 ± 0.59 | 3.91 ± 0.55 | 0.5 | 0.88 | Wyższe w kohorcie protokołowej |
| Wskaźnik presji konkurencyjnej | Student | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | Wyższe ciśnienie w kohorcie protokołu |
| Wysoka presja obciążenia pracą | Student | Nie oceniono jako presji konkurencyjnej | 13/92, 14.1% | — | — | Poniżej progu ostrzegawczego 20% |
| Końcowa ocena z kursu | Student | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | Wtórny punkt końcowy edukacyjny |
| Liczba zespołów | Zespół | n = 22 | n = 23 | — | — | Analizy na poziomie zespołów przedstawione oddzielnie |
| Ekspozycja w rundzie decyzyjnej | Zespół | 0,77 ± 0,81 rund | 5,09 ± 0,79 cykli | 4.32 | Nieoszacowane | Wskaźnik ekspozycji implementacyjnej |
| Zadanie 1 lub wynik mapowania diagnozy | Zespół | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | Umiarkowana różnica na poziomie zespołu |
| Zadanie 2 lub zmapowany wynik decyzji | Zespół | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | Umiarkowana różnica na poziomie zespołu |
| Zadanie 3 lub przeliczona ocena z obrony końcowej | Zespół | 72.71 ± 6.36 | 77.20 ± 6.04 | 4.49 | 0.72 | Największa różnica na poziomie zespołu |
| Końcowy wynik zespołu | Zespół | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.55 | Umiarkowana różnica na poziomie zespołu |
| Wymiar strategicznej diagnozy | Zespół | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | Kryterium oceny obrony końcowej |
| Wymiar wyboru strategicznego | Zespół | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | Kryterium oceny obrony końcowej |
| Wymiar wykonalności wdrożenia | Zespół | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | Kryteria oceny obrony końcowej |
| Wymiar innowacji | Zespół | 10.80 ± 1.60 | 11.50 ± 1.50 | 0.7 | — | Kryterium oceny obrony końcowej |
| Wymiar wykorzystania dowodów | Zespół | 7.10 ± 1.00 | 7.50 ± 0.90 | 0.4 | — | Kryteria oceny obrony końcowej |
| Wymiar obrony ustnej | Zespół | 7.91 ± 1.10 | 8.00 ± 1.00 | 0.09 | — | Kryteria oceny obrony końcowej |
| Średnia wkładu recenzentów | Zespół | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | Brak poważnych błędów w procesach zespołowych |
| Zespoły z nierównowagą wkładu pracy | Zespół | 4/22, 18.2% | 3/23, 13.0% | −5,2 punktu procentowego | — | Brak systematycznego wzorca niezrównoważenia |
| Rozkład nagród | Zespół | Nie dotyczy | 10 brak; 8 trzeci; 2 drugi; 3 pierwszy | — | — | Wyłącznie kohorta protokołu |
| Wzorzec ostrzegania przed zawyżaniem ocen | Zespół | Nie dotyczy | 2/23 zespołów, 8,7% | — | — | Oznaczone do rozwiązywania problemów |
Tabela 6: Reprezentatywne wyniki na poziomie studenta i zespołu. W tabel tej przedstawiono reprezentatywne wyniki na poziomie studenta i zespołu, w tym dostępną próbkę dokumentacji edukacyjnej, sparowaną próbkę analizy wiedzy, wyniki testów wiedzy, przyrost wiedzy, indywidualny wynik analizy przypadku, zaangażowanie, satysfakcję, postrzeganą przydatność praktyczną, obciążenie pracą, końcową ocenę z kursu, wyniki zadań zespołowych, wyniki wymiarów rubryki oceny końcowej, wkład rówieśników, podział nagród oraz wskaźniki ostrzegawcze.
Rycina 3 przedstawia wyniki na poziomie studenta wraz z szacunkami niepewności, tam gdzie jest to możliwe. Rycina 3A pokazuje wyniki wiedzy wyjściowej oraz po zakończeniu kursu. Rycina 3B przedstawia przyrost wiedzy. Rycina 3C obrazuje indywidualne wyniki analizy przypadków. Rycina 3D pokazuje wzrost zaangażowania, poziom satysfakcji oraz postrzeganą relewantność praktyczną. Rycina 3E przedstawia końcową ocenę z kursu jako wynik wtórny.

Rysunek 3: Reprezentatywne wyniki uczenia się na poziomie studenta. Na tym rysunku przedstawiono wyniki na poziomie indywidualnym oddzielnie od wyników rywalizacji na poziomie zespołów. (A) Wyniki wiedzy z zakresu zarządzania strategicznego (Strategic Management) przed i po kursie. (B) Przyrost wiedzy od oceny wyjściowej do oceny po kursie. (C) Indywidualna ocena analizy przypadku z końca semestru. (D) Przyrost zaangażowania i wskaźniki postrzegania z ankiety, w tym satysfakcja i postrzegana przydatność praktyczna; tam, gdzie było to konieczne, zastosowano oddzielne skale. (E) Końcowa ocena z kursu jako wtórny wynik edukacyjny oraz wysoki poziom presji obciążenia pracą w kohorcie protokołu w stosunku do predefiniowanego progu ostrzegawczego. Wartości przedstawiono jako średnia ± SD w przypadkach, gdy podano wartości ±, a słupki błędu reprezentują SD. Na panelu (E) przerywana linia referencyjna wskazuje predefiniowany próg ostrzegawczy wysokiej presji obciążenia pracą na poziomie 20%. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Wyniki rywalizacji na poziomie zespołów
Wyniki na poziomie zespołów analizowano oddzielnie od wyników na poziomie studentów. W raportowaniu opisowym rekordy projektów przypadków z kohorty porównawczej przyporządkowano do porównywalnych punktów oceny, jeśli były one dostępne, jednak rekordy te nie reprezentowały ukończenia pełnego cyklu zintegrowanego z konkursem. Ekspozycja na rundy decyzyjne została zaraportowana jako wskaźnik ekspozycji na wdrożenie, a nie jako szacunek efektu uczenia się. Kohorta protokołu ukończyła 5,09 ± 0,79 rund decyzyjnych, podczas gdy kohorta porównawcza ukończyła 0,77 ± 0,81 przyporządkowanych rund.
W grupie protokołu średni wynik Zadania 1 wyniósł 72,18 ± 6,28, średni wynik Zadania 2 wyniósł 73,52 ± 5,91, a średni wynik Zadania 3 wyniósł 77,20 ± 6,04. Odpowiadające im zmapowane wyniki grupy porównawczej wyniosły odpowiednio 69,84 ± 6,45, 71,09 ± 6,12 oraz 72,71 ± 6,36. Końcowy wynik zespołu wyniósł 74,30 ± 5,52 w grupie protokołu i 71,21 ± 5,81 w grupie porównawczej. Wymiary kryteriów oceny obrony końcowej lub zmapowanego projektu końcowego były następujące: diagnoza strategiczna, 15,60 ± 1,70 i 14,60 ± 1,80; wybór strategiczny, 19,10 ± 2,10 i 17,90 ± 2,20; wykonalność wdrożenia, 15,50 ± 1,80 i 14,40 ± 1,90; innowacyjność, 11,50 ± 1,50 i 10,80 ± 1,60; wykorzystanie dowodów, 7,50 ± 0,90 i 7,10 ± 1,00; oraz obrona ustna, 8,00 ± 1,00 i 7,91 ± 1,10, odpowiednio.
Rozkład nagród zgłoszono wyłącznie dla kohorty protokołu, ponieważ kohorta porównawcza nie korzystała z pełnej struktury rywalizacji opartej na nagrodach. W kohorcie protokołu 10 zespołów nie otrzymało żadnej nagrody, 8 otrzymało trzecią nagrodę, 2 otrzymały drugą nagrodę, a 3 otrzymały pierwszą nagrodę. Średni wkład rówieśniczy wyniósł 3,91 ± 0,36 w kohorcie protokołu i 3,72 ± 0,41 w kohorcie porównawczej. Nierównowaga wkładu została zidentyfikowana w 3 z 23 zespołów kohorty protokołu i w 4 z 22 zespołów kohorty porównawczej. Wzorzec ostrzegawczy dotyczący inflacji wyników zidentyfikowano w 2 z 23 zespołów kohorty protokołu, co odpowiada 8,7%.
Rysunek 4 przedstawia wyniki na poziomie zespołów oraz wzorce ostrzeżeń. Rysunek 4A pokazuje wyniki zespołów dla Zadania 1, Zadania 2 i Zadania 3. Rysunek 4B przedstawia wyniki w wymiarach rubryki oceny obrony końcowej. Rysunek 4C pokazuje wyłącznie rozkład nagród w kohortach protokołu. Rysunek 4D przedstawia przypadki ostrzeżeń o zawyżaniu ocen. Rysunek 4E pokazuje równowagę wkładu rówieśniczego oraz liczbę przypadków nierównowagi wkładu.

Rycina 4: Wyniki konkurencji na poziomie zespołu i wzorce ostrzegawcze. Rycina ta przedstawia wyniki na poziomie zespołu oddzielnie od wyników uczenia się na poziomie studenta. (A) Wyniki zespołów na etapie zadań dla Zadania 1 (diagnoza strategiczna), Zadania 2 (decyzja strategiczna) i Zadania 3 (obrona końcowa), z uwzględnieniem przypisanych wyników projektów dla kohorty porównawczej historycznej, tam gdzie były dostępne. (B) Wyniki wymiarów rubryki dla obrony końcowej, obejmujące diagnozę strategiczną, wybór strategiczny, wykonalność wdrożenia, innowacyjność, wykorzystanie dowodów oraz obronę ustną. (C) Rozkład nagród wyłącznie dla kohorty protokołu, ponieważ kohorta porównawcza historyczna nie korzystała z pełnej struktury konkurencji opartej na nagrodach. (D) Wzorzec ostrzegania przed zawyżaniem ocen, zdefiniowany jako wysoka wydajność w obronie końcowej bez wspierającej siły diagnostycznej lub dowodów indywidualnego uczenia się. (E) Wynik wkładu rówieśniczego i liczba niezrównoważeń wkładu są wyświetlane jako oddzielne wskaźniki na poziomie zespołu. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.
Nieoptymalne wzorce i wskaźniki rozwiązywania problemów
Dwa z 23 zespołów z kohorty protokołu wykazały zdefiniowany wcześniej wzorzec ostrzegający przed sztucznym zawyżeniem wyników. Zespoły te uzyskały stosunkowo wysokie końcowe wyniki z obrony, ale słabsze wyniki diagnostyczne w Zadaniu 1 oraz poniżej średniej przyrost wiedzy indywidualnej. Wzorzec ten został oznaczony do dalszej analizy w kolejnej edycji kursu, zamiast być interpretowany jako dowód poprawy procesu uczenia się. Nie zaobserwowano istotnego ostrzeżenia dotyczącego efektu sufitu, ponieważ bazowe wyniki wiedzy były niższe niż 85 z 100, a bazowa satysfakcja była niższa niż 4,50 z 5. Frekwencja była podobna w obu kohortach i nie zaobserwowano systematycznej nierównowagi wkładu w pracę zespołu, choć trzy zespoły z kohorty protokołu wymagały monitorowania.
Ogólnie rzecz biorąc, reprezentatywne wyniki wykazały, że protokół pozwolił na uzyskanie interpretowalnych danych na trzech poziomach: wierności wdrożenia, dowodów uczenia się na poziomie studenta oraz wyników rywalizacji na poziomie zespołu. Przypadki ostrzegawcze potwierdziły przydatność protokołu do monitorowania przebiegu kursu, rozwiązywania problemów oraz późniejszego udoskonalania programu zajęć.
Zanonimizowany zbiór danych wspierający niniejsze badanie został zdeponowany w serwisie figshare.com i jest dostępny pod adresem https://doi.org/10.6084/m9.figshare.33094931. Zbiór danych obejmuje rekordy na poziomie studentów, rekordy z rywalizacji na poziomie zespołów, wskaźniki wdrożenia, rekordy przepływu uczestników, rekordy audytu brakujących danych oraz rekordy ocen raterów. Identyfikatory studentów, rekordy zgód, pliki powiązań oraz identyfikowalne komentarze w tekście wolnym nie zostały uwzględnione.
Tabela uzupełniająca S1: Szkolenie oceniających, zgodność punktacji i procedura uzgadniania wyników.Tabela ta zawiera informacje dotyczące przydziału oceniających, weryfikacji niezależności, zapoznania z rubryką, punktacji kalibracyjnej, weryfikacji zgodności punktacji, reguły różnic w punktacji, procedury uzgadniania, audytu wprowadzania danych, blokady punktacji oraz procedury archiwizacji.Aby pobrać ten plik, kliknij tutaj.
Tabela uzupełniająca S2: Macierz rozwiązywania problemów w przypadku odchyleń od protokołu i nieoptymalnej implementacji. Tabela ta zawiera listę odchyleń od protokołu oraz wzorców nieoptymalnej implementacji, w tym reguły wyzwalające, działania korygujące, wymagane zapisy oraz uwagi dotyczące interpretacji.Kliknij tutaj, aby pobrać ten plik.
Tabela uzupełniająca S3: Struktura zbioru danych i słownik zmiennych dla zanonimizowanego edukacyjnego zbioru danych.Tabela ta definiuje zmienne na poziomie studenta, zespołu oraz sesji zajęć, w tym kody zmiennych, opisy, typy danych, zakresy kodowania, źródła danych oraz zasady dotyczące brakujących danych.Aby pobrać ten plik, kliknij tutaj.
Plik uzupełniający 1: Szablony operacyjne, materiały oceniające i arkusz z zanonimizowanym zbiorem danych.Ten plik uzupełniający zawiera szablony operacyjne, materiały oceniające, formularze punktacyjne, pytania ankietowe, weryfikację projektu przypadków, zasady dotyczące brakujących danych, strukturę arkusza z zanonimizowanym zbiorem danych, dziennik czyszczenia, szablon podsumowania analizy oraz rejestr kontroli wersji wykorzystane w celu zapewnienia powtarzalności.Kliknij tutaj, aby pobrać ten plik.