$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Reprezentatywne wyniki przedstawiają efekty wygenerowane przez 16-tygodniowy protokół usprawnienia kursu Zarządzania Strategicznego zintegrowanego z rywalizacją. Wyniki zostały uporządkowane według wierności implementacji, jakości nauczania, efektów na poziomie studenta, efektów na poziomie zespołu oraz zdefiniowanych wzorców ostrzegawczych. Ponieważ dane pochodzą z rutynowych grup edukacyjnych z historyczną grupą porównawczą, a nie z przydziału randomizowanego, wszystkie wyniki należy interpretować jako efekty implementacji i ewaluacji specyficzne dla danego kontekstu, a nie jako dowody przyczynowe na skuteczność.
Wierność implementacji i jakość instruktażu
Dostępny zbiór danych z dokumentacji edukacyjnej obejmował 88 studentów w kohorcie porównawczej oraz 92 studentów w kohorcie protokołu. Zbiór danych na poziomie zespołów obejmował 22 zespoły z kohorty porównawczej i 23 zespoły z kohorty protokołu. Po zastosowaniu reguły sparowanych testów wiedzy przed i po interwencji, do analizy przyrostu wiedzy zakwalifikowano 79 studentów z kohorty porównawczej oraz 84 studentów z kohorty protokołu.
Przed interpretacją wyników uczenia się sprawdzono wierność implementacji. Kohorta protokołu zrealizowała 15 z 16 zaplanowanych cotygodniowych aktywności (93,8%), natomiast kohorta porównawcza zrealizowała 13 z 16 (81,3%). Sesja przypadku przedsiębiorstwa lub ustrukturyzowana została zrealizowana w kohorcie protokołu, ale nie stanowiła części pełnej historycznej struktury porównawczej. W kohorcie protokołu 88 z 92 studentów ukończyło wszystkie trzy zadania konkursowe, co odpowiada 95,7%. W kohorcie porównawczej 18 z 88 studentów miało pełne rekordy dla trzech porównywalnych ocen opartych na projektach, co odpowiada 20,5%; rekordy te zachowano wyłącznie do porównania opisowego, ponieważ kurs historyczny nie wdrożył pełnej sekwencji konkursowej. Informacje zwrotne przekazano w ciągu 7 dni kalendarzowych dla 243 z 268 prac nadesłanych przez kohortę protokołu, co odpowiada 90,7%, w porównaniu z 49 z 66 prac nadesłanych przez kohortę porównawczą, co odpowiada 74,2%. Średni czas oczekiwania na informację zwrotną wynosił odpowiednio 5,8 ± 1,9 dnia oraz 8,4 ± 2,7 dnia. Stopień ukończenia obserwacji wyniósł 81,3% oraz 62,5%. Współczynnik ICC dla dwóch oceniających w kohorcie protokołu dla nakładających się ocen subiektywnych wyniósł 0,82, przekraczając zdefiniowany próg 0,75. Ogólnie kohorta protokołu osiągnęła 5 z 5 głównych wskaźników wierności implementacji, podczas gdy kohorta porównawcza osiągnęła 2 z 5.
Wskaźniki jakości dydaktycznej były wyższe w grupie stosującej protokół. Interakcje w klasie wynosiły 3,70 ± 0,44 w grupie protokołu oraz 3,15 ± 0,48 w grupie porównawczej. Kompletność projektu studium przypadku wynosiła odpowiednio 4,08 ± 0,36 oraz 3,23 ± 0,42. Zgodność zadań z kryteriami oceny wynosiła 4,01 ± 0,39 oraz 2,30 ± 0,51. Zaangażowanie studentów wzrosło o 0,42 ± 0,41 punktu w grupie protokołu, przekraczając zdefiniowany próg sygnałowy wynoszący 0,30 punktu, podczas gdy w grupie porównawczej wzrost wyniósł 0,07 ± 0,34 punktu. Frekwencja była podobna w obu grupach: 89,6% ± 5,8% oraz 89,1% ± 6,2%. Tabela 5 podsumowuje te wskaźniki.
| Wskaźnik | Źródło danych | Zdefiniowany próg | Historyczna kohorta porównawcza | Kohorta protokołu | Interpretacja |
| Planowane tygodniowe ukończenie aktywności | Dziennik realizacji kursu | ≥85% | 13/16 tygodni, 81.3% | 15/16 tygodni, 93.8% | Osiągnięto w kohorcie protokołu |
| Realizacja sesji przypadku w przedsiębiorstwie lub ustrukturyzowanej | Dziennik zaangażowania przedsiębiorstwa | ≥1 zrealizowana sesja | 0/1 sesja, 0.0% | 1/1 sesja, 100.0% | Osiągnięto w kohorcie protokołu |
| Ukończenie pełnego zadania lub przypisanego rekordu projektu | Rekordy przesłań | ≥85% | 18/88 studentów, 20.5% | 88/92 studentów, 95.7% | Osiągnięto w kohorcie protokołu; rekordy historyczne mają charakter opisowy |
| Informacje zwrotne przekazane w ciągu 7 dni | Dziennik informacji zwrotnych | ≥80% | 49/66 przesłań, 74.2% | 243/268 przesłań, 90.7% | Osiągnięto w kohorcie protokołu |
| Ukończenie listy kontrolnej obserwacji | Formularze obserwacji | ≥75% | 10/16 sesji, 62.5% | 13/16 sesji, 81.3% | Osiągnięto w kohorcie protokołu |
| Zgodność dwóch oceniających | Wyniki oceniających | ICC ≥0.75 | Nie wymagano | ICC = 0.82 | Osiągnięto w kohorcie protokołu |
| Czas przekazania informacji zwrotnej | Dziennik informacji zwrotnych | Preferowana średnia ≤7 dni | 8.4 ± 2.7 dni | 5.8 ± 1.9 dni | W preferowanym zakresie w kohorcie protokołu |
| Interakcja w klasie | Lista kontrolna obserwacji | Średnia ≥3.50 lub wzrost ≥0.30 | 3.15 ± 0.48 | 3.70 ± 0.44 | Wyższa w kohorcie protokołu |
| Kompletność projektu przypadku | Lista kontrolna projektu przypadku | Preferowana średnia ≥4.00 | 3.23 ± 0.42 | 4.08 ± 0.36 | Wyższa w kohorcie protokołu |
| Zgodność zadania z rubryką oceny | Lista kontrolna zgodności | Średnia ≥4.00 | 2.30 ± 0.51 | 4.01 ± 0.39 | Osiągnięto w kohorcie protokołu |
| Wzrost zaangażowania studentów | Frekwencja, dzienniki, pytania ankietowe | Wzrost ≥0.30 punktu | +0.07 ± 0.34 | +0.42 ± 0.41 | Osiągnięto w kohorcie protokołu |
| Wskaźnik frekwencji | Rejestr frekwencji | Opisowy | 89.1% ± 6.2% | 89.6% ± 5.8% | Podobny w obu kohortach |
| Podsumowanie wierności realizacji rdzenia | Wskaźniki realizacji | Osiągnięto większość progów rdzeniowych | Osiągnięto 2/5 progów | Osiągnięto 5/5 progów | Protokół zrealizowano zgodnie z założeniami |
Tabela 5: Reprezentatywne wskaźniki wierności implementacji i jakości instruktażu. W tabeli przedstawiono reprezentatywne wyniki wierności implementacji oraz jakości instruktażu dla kohorty porównawczej (historycznej) i kohorty protokołu, wskazując, czy osiągnięto zdefiniowane progi operacyjne.
Rysunek 2 przedstawia profil wierności implementacji oraz jakości instruktażu. Rysunek 2A pokazuje realizację zaplanowanych tygodniowych aktywności. Rysunek 2B przedstawia realizację sekwencji trzech zadań. Rysunek 2C pokazuje sprzężenia zwrotne przekazane w ciągu 7 dni kalendarzowych. Rysunek 2D przedstawia interakcje w klasie, kompletność projektu studium przypadku, zgodność rubryk zadań oraz wzrost zaangażowania studentów. Rysunek 2E pokazuje realizację obserwacji oraz ukończenie sesji poświęconej studium przypadku przedsiębiorstwa lub sesji ustrukturyzowanej. Mierniki wierności oparte na procentach oraz wskaźniki instruktażowe oparte na skalach należy interpretować w ramach ich własnych skal pomiarowych.

Rysunek 2: Profil wierności implementacji i jakości instruktażu. Ten rysunek podsumowuje wskaźniki wierności implementacji i jakości instruktażu dla kohorty porównawczej historycznej oraz kohorty protokołu. (A) Planowane ukończenie tygodniowych aktywności. (B) Ukończenie pełnego zadania lub przypisanego projektu, z rozróżnieniem pełnej sekwencji trzech zadań w kohorcie protokołu od przypisanych projektów w kohorcie porównawczej historycznej. (C) Informacje zwrotne przekazane w ciągu 7 dni kalendarzowych, przy czym czas odpowiedzi z informacją zwrotną przedstawiono jako informacje uzupełniające. (D) Wskaźniki jakości instruktażu, w tym interakcje w klasie, kompletność projektu przypadku, zgodność zadania z rubryką oceny oraz wzrost zaangażowania studentów. (E) Ukończenie listy kontrolnej obserwacji oraz wdrożenie sesji przypadku przedsiębiorstwa lub ustrukturyzowanego. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Efekty uczenia się na poziomie studenta
Wyniki na poziomie studentów analizowano oddzielnie od wyników rywalizacji na poziomie zespołów. Wyniki wiedzy wyjściowej wynosiły 64,18 ± 8,74 w grupie protokolnej i 62,37 ± 8,91 w grupie porównawczej, przy niewielkiej różnicy wyjściowej wynoszącej 1,81 punktu (d = 0,21). Wyniki wiedzy po kursie wynosiły odpowiednio 71,08 ± 8,58 oraz 66,41 ± 9,06, przy różnicy 4,67 punktu (d = 0,53). Przyrost wiedzy wyniósł 6,90 ± 5,41 punktu oraz 4,04 ± 5,26 punktu, przy różnicy 2,86 punktu (d = 0,54). Grupa protokolna przekroczyła zdefiniowany wcześniej próg sygnału przyrostu wiedzy wynoszący 5 punktów.
Wyniki indywidualnej analizy przypadków pod koniec semestru wyniosły 82,31 ± 7,06 w grupie protokołu oraz 76,42 ± 7,38 w grupie porównawczej, przy różnicy wynoszącej 5,89 punktu (d = 0,82). Wynik ten zinterpretowano jako wskaźnik osiągnięć po kursie, a nie jako przyrost sparowany, ponieważ nie przeprowadzono rzeczywistej oceny analizy przypadków na etapie bazowym. Poziom satysfakcji wyniósł odpowiednio 3,66 ± 0,58 oraz 3,34 ± 0,62 (d = 0,53). Postrzegana relewantność praktyczna wyniosła 3,91 ± 0,55 oraz 3,41 ± 0,59 (d = 0,88). Presja konkurencyjna była wyższa w grupie protokołu (3,12 ± 0,76) w porównaniu z grupą porównawczą (2,48 ± 0,71; d = 0,87), jednak wysoką presję związaną z obciążeniem pracą zgłosiło 13 z 92 studentów z grupy protokołu, co stanowi 14,1% i mieści się poniżej zdefiniowanego progu ostrzegawczego wynoszącego 20%. Końcowa ocena z kursu została potraktowana jako wtórny wynik edukacyjny i wyniosła 87,20 ± 6,10 w grupie protokołu oraz 84,80 ± 6,70 w grupie porównawczej (d = 0,37). Tabela 6 podsumowuje wyniki na poziomie studentów i zespołów.
| Wynik | Poziom | Historyczna kohorta porównawcza | Kohorta protokołu | Różnica | Wielkość efektu | Interpretacja |
| Dostępna próbka dokumentacji edukacyjnej | Student | n = 88 | n = 92 | — | — | Użyteczne zanonimizowane rekordy kursu |
| Sparowana próbka analizy wiedzy | Student | n = 79 | n = 84 | — | — | Studenci z wynikami wiedzy bazowej i pokursowej |
| Bazowy wynik wiedzy | Student | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | Niewielka różnica bazowa |
| Pokursowy wynik wiedzy | Student | 66.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | Wyższy w kohorcie protokołu |
| Przyrost wiedzy | Student | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | Kohorta protokołu przekroczyła sygnał ≥5 punktów |
| Indywidualny wynik analizy przypadku | Student | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | Przekroczono sygnał analizy przypadku ≥3 punktów |
| Przyrost zaangażowania studentów | Student | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | Przekroczono sygnał ≥0.30 punktu |
| Wynik satysfakcji | Student | 3.34 ± 0.62 | 3.66 ± 0.58 | 0.32 | 0.53 | Wyższy w kohorcie protokołu |
| Postrzegana istotność praktyczna | Student | 3.41 ± 0.59 | 3.91 ± 0.55 | 0.5 | 0.88 | Wyższa w kohorcie protokołu |
| Wynik presji konkurencyjnej | Student | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | Wyższa presja w kohorcie protokołu |
| Wysoka presja obciążenia pracą | Student | Nie oceniano jako presji konkurencyjnej | 13/92, 14.1% | — | — | Poniżej progu ostrzegawczego 20% |
| Końcowy wynik kursu | Student | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | Wtórny wynik edukacyjny |
| Liczba zespołów | Zespół | n = 22 | n = 23 | — | — | Analizy na poziomie zespołów raportowane oddzielnie |
| Ekspozycja na rundy decyzyjne | Zespół | 0.77 ± 0.81 rund | 5.09 ± 0.79 rund | 4.32 | Nie oszacowano | Wskaźnik ekspozycji na wdrożenie |
| Wynik zadania 1 lub mapowanej diagnozy | Zespół | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | Umiarkowana różnica na poziomie zespołów |
| Wynik zadania 2 lub mapowanej decyzji | Zespół | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | Umiarkowana różnica na poziomie zespołów |
| Wynik zadania 3 lub mapowanej obrony końcowej | Zespół | 72.71 ± 6.36 | 77.20 ± 6.04 | 4.49 | 0.72 | Największa różnica na poziomie zespołów |
| Końcowy wynik zespołu | Zespół | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.55 | Umiarkowana różnica na poziomie zespołów |
| Wymiar strategicznej diagnozy | Zespół | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | Wymiar rubryki obrony końcowej |
| Wymiar strategicznego wyboru | Zespół | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | Wymiar rubryki obrony końcowej |
| Wymiar wykonalności wdrożenia | Zespół | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | Wymiar rubryki obrony końcowej |
| Wymiar innowacyjności | Zespół | 10.80 ± 1.60 | 11.50 ± 1.50 | 0.7 | — | Wymiar rubryki obrony końcowej |
| Wymiar wykorzystania dowodów | Zespół | 7.10 ± 1.00 | 7.50 ± 0.90 | 0.4 | — | Wymiar rubryki obrony końcowej |
| Wymiar obrony ustnej | Zespół | 7.91 ± 1.10 | 8.00 ± 1.00 | 0.09 | — | Wymiar rubryki obrony końcowej |
| Średnia wkładu rówieśniczego | Zespół | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | Brak poważnych błędów w procesie zespołowym |
| Zespoły z niezrównoważonym wkładem | Zespół | 4/22, 18.2% | 3/23, 13.0% | −5.2 punktu procentowego | — | Brak systematycznego wzorca niezrównoważenia |
| Rozkład nagród | Zespół | Nie dotyczy | 10 brak; 8 trzecie; 2 drugie; 3 pierwsze | — | — | Tylko kohorta protokołu |
| Wzorzec ostrzegawczy o zawyżaniu wyników | Zespół | Nie dotyczy | 2/23 zespoły, 8.7% | — | — | Oznaczone do weryfikacji |
Tabela 6: Reprezentatywne wyniki na poziomie studenta i zespołu. Tabela ta przedstawia reprezentatywne wyniki na poziomie studenta i zespołu, w tym dostępną próbkę z dokumentacji edukacyjnej, parowaną próbkę analizy wiedzy, wyniki testów wiedzy, przyrost wiedzy, indywidualny wynik analizy przypadku, zaangażowanie, satysfakcję, postrzeganą przydatność praktyczną, obciążenie pracą, końcową ocenę z kursu, wyniki zadań zespołowych, wyniki wymiarów rubryki końcowej obrony, wkład rówieśników, dystrybucję nagród oraz wskaźniki ostrzegawcze.
Rysunek 3 przedstawia wyniki na poziomie studentów wraz z szacunkami niepewności, gdzie jest to możliwe. Rysunek 3A pokazuje wyniki wiedzy wyjściowej oraz po zakończeniu kursu. Rysunek 3B pokazuje przyrost wiedzy. Rysunek 3C przedstawia indywidualne wyniki analizy przypadków. Rysunek 3D pokazuje wzrost zaangażowania, satysfakcję oraz postrzeganą istotność praktyczną. Rysunek 3E przedstawia końcową ocenę z kursu jako wynik wtórny.

Rysunek 3: Reprezentatywne efekty uczenia się na poziomie studenta. Ta rycina przedstawia wyniki na poziomie indywidualnym oddzielnie od wyników rywalizacji na poziomie zespołowym. (A) Wyniki wiedzy z zakresu zarządzania strategicznego przed kursem (baseline) i po jego zakończeniu. (B) Przyrost wiedzy od oceny wstępnej do końcowej. (C) Indywidualna ocena analizy przypadku z końca semestru. (D) Przyrost zaangażowania oraz wskaźniki postrzegania w ankiecie, w tym satysfakcja i postrzegana przydatność praktyczna, przedstawione z osobnymi skalami w razie potrzeby. (E) Końcowy wynik kursu jako wtórny efekt edukacyjny oraz wysoka presja obciążenia pracą kohorty protokołu w stosunku do zdefiniowanego progu ostrzegawczego. Wartości przedstawiono jako średnia ± SD w przypadkach podania wartości ±, a słupki błędów reprezentują SD. Na wykresie (E) przerywana linia referencyjna wskazuje zdefiniowany próg ostrzegawczy wysokiej presji obciążenia pracą wynoszący 20%. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Wyniki rywalizacji na poziomie zespołu
Wyniki na poziomie zespołów analizowano oddzielnie od wyników na poziomie uczniów. W raportowaniu opisowym rekordy projektów przypadków z kohorty porównawczej przypisano do porównywalnych punktów oceny, jeśli były one dostępne, jednak rekordy te nie reprezentowały ukończenia pełnej sekwencji zintegrowanej z konkursem. Ekspozycja na rundy decyzyjne była raportowana jako wskaźnik ekspozycji na wdrożenie, a nie jako szacunek efektu uczenia się. Kohorta protokołu ukończyła 5,09 ± 0,79 rund decyzyjnych, podczas gdy kohorta porównawcza ukończyła 0,77 ± 0,81 przypisanych rund.
W kohorcie protokolnej średni wynik dla Zadania 1 wyniósł 72,18 ± 6,28, średni wynik dla Zadania 2 wyniósł 73,52 ± 5,91, a średni wynik dla Zadania 3 wyniósł 77,20 ± 6,04. Odpowiednie przypisane wyniki w kohorcie porównawczej wynosiły odpowiednio 69,84 ± 6,45, 71,09 ± 6,12 oraz 72,71 ± 6,36. Końcowy wynik zespołu wyniósł 74,30 ± 5,52 w kohorcie protokolnej i 71,21 ± 5,81 w kohorcie porównawczej. Wymiary rubryki końcowej obrony lub przypisanego projektu końcowego przedstawiały się następująco: diagnoza strategiczna, 15,60 ± 1,70 i 14,60 ± 1,80; wybór strategiczny, 19,10 ± 2,10 i 17,90 ± 2,20; wykonalność wdrożenia, 15,50 ± 1,80 i 14,40 ± 1,90; innowacyjność, 11,50 ± 1,50 i 10,80 ± 1,60; wykorzystanie dowodów, 7,50 ± 0,90 i 7,10 ± 1,00; oraz obrona ustna, 8,00 ± 1,00 i 7,91 ± 1,10, odpowiednio.
Rozkład nagród zgłoszono wyłącznie dla kohorty protokolarnej, ponieważ kohorta porównawcza nie wykorzystywała pełnej struktury rywalizacji opartej na nagrodach. W kohorcie protokolarnej 10 zespołów nie otrzymało nagrody, 8 otrzymało trzecią nagrodę, 2 otrzymały drugą nagrodę, a 3 otrzymały pierwszą nagrodę. Średni wkład rówieśników wyniósł 3,91 ± 0,36 w kohorcie protokolarnej oraz 3,72 ± 0,41 w kohorcie porównawczej. Nierównowaga wkładu została zidentyfikowana w 3 z 23 zespołów kohorty protokolarnej oraz w 4 z 22 zespołów kohorty porównawczej. Wzór ostrzegający przed inflacją wyników zidentyfikowano w 2 z 23 zespołów kohorty protokolarnej, co odpowiada 8,7%.
Rysunek 4 przedstawia wyniki na poziomie zespołów oraz wzorce ostrzegawcze. Rysunek 4A pokazuje wyniki zespołów dla Zadania 1, Zadania 2 i Zadania 3. Rysunek 4B przedstawia wyniki według wymiarów rubryki oceny końcowej obrony. Rysunek 4C pokazuje wyłącznie rozkład nagród w kohortach protokołów. Rysunek 4D przedstawia przypadki ostrzeżeń o zawyżaniu ocen. Rysunek 4E pokazuje równowagę wkładu rówieśniczego oraz liczbę przypadków nierównomiernego wkładu.

Rycina 4: Wyniki konkurencji na poziomie zespołów i wzorce ostrzeżeń. Ta rycina przedstawia wyniki na poziomie zespołów oddzielnie od wyników uczenia się na poziomie studentów. (A) Wyniki zespołów na etapach zadań dla zadania 1 (diagnoza strategiczna), zadania 2 (decyzja strategiczna) i zadania 3 (obrona końcowa), wraz z naniesionymi wynikami projektowymi dla kohorty porównawczej historycznej, tam gdzie były dostępne. (B) Wyniki wymiarów rubryki obrony końcowej, obejmujące diagnozę strategiczną, wybór strategiczny, wykonalność wdrożenia, innowacyjność, wykorzystanie dowodów oraz obronę ustną. (C) Rozkład nagród wyłącznie dla kohorty protokołu, ponieważ kohorta porównawcza historyczna nie korzystała z pełnej struktury konkurencji opartej na nagrodach. (D) Wzorzec ostrzeżenia o zawyżaniu wyników, zdefiniowany jako wysoka ocena obrony końcowej bez wspierającej siły diagnostycznej lub dowodów na indywidualne uczenie się. (E) Wyniki wkładu rówieśniczego oraz liczba niezrównoważeń wkładu są przedstawione jako oddzielne wskaźniki na poziomie zespołu. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Nieoptymalne wzorce i wskaźniki rozwiązywania problemów
Dwie z 23 zespołów kohorty protokołu wykazały zdefiniowany wcześniej wzorzec ostrzegawczy dotyczący zawyżania wyników. Zespoły te uzyskały stosunkowo wysokie końcowe oceny z obrony, ale słabsze wyniki diagnostyczne w Zadaniu 1 oraz poniżej średniej przyrosty wiedzy indywidualnej. Wzorzec ten został odnotowany w celu monitorowania w kolejnej iteracji kursu, a nie zinterpretowany jako dowód poprawy procesu uczenia się. Nie zaobserwowano istotnego ostrzeżenia dotyczącego efektu sufitowego, ponieważ bazowe wyniki wiedzy były poniżej 85 z 100, a bazowe zadowolenie było poniżej 4,50 z 5. Frekwencja była podobna w obu kohortach i nie zaobserwowano systematycznej nierównowagi wkładu zespołowego, choć trzy zespoły kohorty protokołu wymagały monitorowania.
Ogólnie rzecz biorąc, reprezentatywne wyniki wykazały, że protokół wygenerował interpretowalne dane na trzech poziomach: wierności wdrożenia, dowodów uczenia się na poziomie studenta oraz wyników rywalizacji na poziomie zespołu. Przypadki ostrzegawcze potwierdziły przydatność protokołu do monitorowania przebiegu kursu, rozwiązywania problemów i późniejszego udoskonalania programu nauczania.
Zanonimizowany zestaw danych wspierający niniejsze badanie został zdeponowany w serwisie figshare.com i jest dostępny pod adresem https://doi.org/10.6084/m9.figshare.33094931. Zestaw danych obejmuje rekordy na poziomie studentów, rekordy dotyczące rywalizacji na poziomie zespołów, wskaźniki wdrożenia, rekordy przepływu uczestników, rekordy audytu brakujących danych oraz rekordy wyników oceniających. Identyfikatory studentów, dokumenty zgody, pliki powiązań oraz identyfikowalne komentarze w tekście wolnym nie zostały dołączone.
Tabela uzupełniająca S1: Szkolenie oceniających, zgodność punktacji i procedura uzgadniania wyników.Tabela ta przedstawia przydział osób oceniających, weryfikację niezależności, zapoznanie z rubryką, punktację kalibracyjną, weryfikację zgodności punktacji, zasadę różnicy punktowej, procedurę uzgadniania, audyt wprowadzania danych, blokadę wyników oraz procedurę archiwizacji.Aby pobrać ten plik, kliknij tutaj.
Tabela uzupełniająca S2: Macierz rozwiązywania problemów w przypadku odchyleń od protokołu i nieoptymalnej implementacji. Tabela ta zawiera listę odchyleń od protokołu i wzorców nieoptymalnej implementacji, w tym reguły wyzwalające, działania korygujące, wymagane zapisy oraz uwagi interpretacyjne.Aby pobrać ten plik, kliknij tutaj.
Tabela uzupełniająca S3: Struktura zbioru danych i słownik zmiennych dla zanonimizowanego zbioru danych edukacyjnych.Tabela ta definiuje zmienne na poziomie studenta, zespołu i sesji zajęciowej, w tym kody zmiennych, opisy, typy danych, zakresy kodowania, źródła danych oraz zasady dotyczące brakujących danych.Prosimy kliknąć tutaj, aby pobrać ten plik.
Plik uzupełniający 1: Szablony operacyjne, materiały oceniające i arkusz z zanonimizowanym zbiorem danych.Ten plik uzupełniający zawiera szablony operacyjne, materiały oceniające, formularze punktacji, pytania ankietowe, weryfikację projektu przypadku, zasady postępowania z brakującymi danymi, strukturę arkusza z zanonimizowanym zbiorem danych, dziennik czyszczenia, szablon podsumowania analizy oraz rejestr kontroli wersji wykorzystane w celu zapewnienia powtarzalności.Proszę kliknąć tutaj, aby pobrać ten plik.