Ocena zaangażowania studentów w zajęcia, ekspresji refleksyjnej i intencji prospołecznych z wykorzystaniem obserwacji behawioralnej i analityki uczenia się

Podsumowanie

Niniejszy protokół integruje obserwację zajęć, pisanie refleksyjne, pomiar intencji prospołecznych oraz analitykę uczenia się w celu oceny zaangażowania behawioralnego, ekspresji refleksyjnej i społecznie zorientowanych efektów uczenia się studentów uniwersyteckich w ciągu 4-tygodniowego okna instruktażowego. Określa on kwestie zgody etycznej, zawartość narzędzi, przepływ pracy w oprogramowaniu, sposób postępowania z brakującymi danymi, procedury rozwiązywania problemów oraz interpretację reprezentatywnych wyników, w tym zaobserwowane ograniczenia w implementacji.

Streszczenie

Aby odpowiedzieć na potrzebę wielowymiarowej oceny zaangażowania studentów wykraczającej poza tradycyjne wskaźniki, niniejszy protokół opisuje ustrukturyzowane podejście do oceny zaangażowania w klasie, ekspresji refleksyjnej, aktywności w analityce uczenia się oraz intencji prospołecznych w kursach na poziomie studiów licencjackich. Protokół łączy behawioralną obserwację opartą na interwałach, cotygodniowe ustrukturyzowane pisanie refleksyjne, zanonimizowane zapisy z systemu zarządzania uczeniem się oraz kwestionariusz intencji prospołecznych przed i po badaniu. Zrewidowane procedury zapewniają reprodukowalny model kodowania behawioralnego, rubrykę ekspresji refleksyjnej z przykładami punktacji, kroki dotyczące oprogramowania i zarządzania danymi, a także wyraźne wytyczne w rozwiązywaniu problemów w przypadku rozbieżności między obserwatorami, brakujących zapisów z platformy, niskiego wskaźnika przesyłania refleksji, słabej widoczności z kamery, rezygnacji uczestników oraz niespójnej wiedzy wstępnej. Protokół ten należy stosować, gdy badacze potrzebują mało inwazyjnego, reprodukowalnego sposobu na połączenie rzeczywistych zachowań w klasie, samointerpretacji studentów i rutynowej aktywności w systemie zarządzania uczeniem się (LMS) podczas zajęć na poziomie studiów licencjackich. Jest on mniej odpowiedni dla kursów w pełni asynchronicznych bez obserwowalnych interakcji, w środowiskach zabraniających niezależnej obserwacji lub łączenia rekordów, a także w badaniach wymagających biometrycznych wnioskowania lub rozpoznawania emocji. Reprezentatywne wyniki przedstawiono z przeprowadzonej aplikacji empirycznej po uzyskaniu zweryfikowanej zgody etycznej, zanonimizowaniu zapisów z kursu i przygotowaniu repozytorium.

Wprowadzenie

Ocena uczestnictwa studentów w szkolnictwie wyższym wymaga kompleksowego podejścia opartego na wielu źródłach. Choć zaangażowanie studentów jest powszechnie konceptualizowane jako konstrukt wielowymiarowy, obejmujący obserwowalne zachowania, wysiłek poznawczy oraz interakcję z otoczeniem, obecne podejścia analityczne opierają się głównie na powierzchownych danych z logów, takich jak częstotliwość logowań i rejestrowane przez system działania¹. Nadmierne poleganie na tych danych stanowi istotne wyzwanie dla praktycznych badań prowadzonych w salach wykładowych. Najważniejsze formy uczestnictwa w procesie dydaktycznym — bezpośrednie interakcje z rówieśnikami, refleksja poznawcza oraz wkład społeczny — często odbywają się całkowicie poza ograniczonym zakresem widoczności platformy².

Złożoność współczesnej sali wykładowej na uniwersytecie wzrosła wraz z przyjęciem hybrydowych modeli pedagogicznych, łączących platformy cyfrowe z tradycyjnymi zajęciami stacjonarnymi. Choć systematyczne przeglądy analityki uczenia się potwierdzają, że ślady cyfrowe dostarczają cennych informacji na temat alokacji czasu, wzorców dostępu i wskaźników długoterminowego zapamiętywania, same te metryki nie pozwalają rozstrzygnąć, czy uwaga uczącego się jest faktycznie efektywna lub znacząca³. W związku z tym w aktualnej literaturze przedmiotu postuluje się oparcie analityki uczenia się na silniejszych ramach teoretycznych poprzez zestawienie śladów cyfrowych z bardziej rozbudowanymi, zależnymi od kontekstu miarami partycypacji, takimi jak zachowanie w klasie oraz działania refleksyjne⁴.

Pisanie refleksyjne nadaje tej ocenie kluczowy wymiar jakościowy. Ustrukturyzowane refleksje po zajęciach oraz dzienniki pozwalają uchwycić interpretacje działań edukacyjnych przez studentów, wyjaśnić trudności w nauczaniu i powiązać treść teoretyczną z późniejszymi działaniami praktycznymi. Niedawne dowody empiryczne conceptualizują ekspresję refleksyjną jako zintegrowany, wieloskładnikowy konstrukt obejmujący przypominanie opisowe, wnioskowanie analityczne, reprezentację autoreferencyjną oraz generalizację znaczeń⁵. Ponadto badania wskazują, że zapewnienie studentom powtarzalnego wsparcia w refleksji stopniowo wzmacnia ich zdolność do introspekcji; wraz ze wzrostem częstotliwości ustrukturyzowanej refleksji w trakcie kursu, równolegle poprawiają się niezależne umiejętności eksploracyjne studentów⁶.

Drugą istotną luką w obecnych badaniach nad zaangażowaniem jest częsta marginalizacja socjalizacji w klasie. Podczas gdy istniejące studia kładą silny nacisk na indywidualne zachowanie lub poznanie, sale wykładowe na uniwersytetach funkcjonują jako immanentnie społeczne środowiska uczenia się, w których studenci wpływają na siebie nawzajem poprzez współpracę i responsywne interakcje. Pojawiające się dowody wykazują, że klimat w klasie oraz struktury uczestnictwa silnie korelują z zachowaniami prospołecznymi i nastawieniem zorientowanym na wkład — wynikami, które pozostają niedostatecznie zbadane w porównaniu z tradycyjnymi miernikami osiągnięć akademickich lub satysfakcji studentów. Zachowania prospołeczne w środowisku akademickim nie są jedynie produktem ubocznym stanów emocjonalnych lub stresu; odnoszą się one raczej fundamentalnie do tego, jak studenci sytuują się w ramach zbiorowych działań edukacyjnych⁷. Zatem pomiar intencji prospołecznych służy jako odpowiednie narzędzie do określenia, czy zaangażowanie w klasie wykracza poza odizolowane wykonywanie zadań, aby wspierać zachowania kooperacyjne i motywujące poza bezpośrednim środowiskiem instruktażowym⁸.

Te rozwinięcia koncepcyjne podkreślają konieczność zastosowania zintegrowanego systemu gromadzenia dowodów w ramach jednego okna instruktażowego. Projekt wieloźródłowy ogranicza niedociągnięcia wynikające z polegania na pojedynczym wskaźniku, umożliwiając wzajemną walidację różnych form uczestnictwa oraz ujawniając, w jaki sposób studenci interpretują swoje działania po zajęciach, aby wspierać samodzielną naukę⁹. Podczas gdy oceny refleksyjne oddają wewnętrzny stan poznawczy ucznia, powiązanie tych samoopisów z obiektywnymi śladami behawioralnymi znacząco zwiększa interpretowalność danych o nauce. Obecnie zauważalny jest brak praktycznych, gotowych do zastosowania w klasie protokołów, które w sposób spójny syntetyzowałyby systematyczną obserwację behawioralną, ustrukturyzowaną sprawozdawczość refleksyjną oraz analitykę uczenia się w celu rutynowego wdrożenia na uczelniach.

Aby wyeliminować te niedociągnięcia metodologiczne, w niniejszej pracy przedstawiono protokół ewaluacyjny zaprojektowany do jednoczesnego pomiaru zaangażowania studentów w zajęcia, ekspresji refleksyjnej oraz intencji prospołecznych. Protokół opracowany specjalnie dla środowiska studiów licencjackich oferuje usprawnioną metodologię, która wymaga minimalnego nakładu administracyjnego bez utraty powtarzalności naukowej. Poprzez wypełnienie luki analitycznej między obserwowalnymi zachowaniami, artykułowanym doświadczeniem własnym a zorientowanymi społecznie efektami uczenia się, ramy te odpowiadają na rosnące zapotrzebowanie na większą jasność pojęciową w badaniach nad interakcją człowiek-technologia w środowiskach edukacyjnych¹⁰.

Protokół

Wszystkie metody z udziałem ludzi zostały przeprowadzone zgodnie z Deklaracją Helsińską oraz odpowiednimi wytycznymi instytucjonalnymi. W przypadku przeprowadzonego badania protokół został zatwierdzony przez Komisję Etyki Nanchang Institute of Technology przed rozpoczęciem rekrutacji (numer zatwierdzenia: NITE778291). Od każdego uczestniczącego studenta uzyskano pisemną świadomą zgodę. Do analizy wykorzystano wyłącznie zanonimizowane zagregowane dane z obserwacji klasowych, wyniki refleksji, analitykę uczenia się oraz dane z kwestionariuszy; z publikacji publicznej wykluczono identyfikowalne nagrania wideo z klas, nazwiska, identyfikatory instytucjonalne oraz nieocenzurowane teksty refleksji.

1. Projekt badania i wybór uczestników

1. Wdróż protokół w ciągu czterech kolejnych okresów dydaktycznych dla każdej wybranej sekcji grupy. Zapisz zanonimizowane etykiety kursów, format instruktażowy, liczebność grup, doświadczenie wykładowcy w prowadzeniu kursu oraz informację, czy każda grupa obejmuje instruktaż całoklasowy, pracę grupową czy praktykę indywidualną. Przyjmij docelową liczbę początkowych zapisów na poziomie około 180 do 210 studentów studiów licencjackich w wieku 18 lat lub więcej lub dostosuj docelową wielkość próby do kontekstu kursu.
2. Upewnij się, że wszyscy uczestnicy posiadają aktywne konto instytucjonalne na platformie kursowej, wezmą udział w obserwowanych zajęciach i otrzymali niezbędne wytyczne wstępne, które są standardowo przekazywane grupie. W przypadku znacznych różnic w wiedzy wstępnej dostarcz krótką broszurę uzupełniającą, listę materiałów przed zajęciami lub przeprowadź powtórkę pod kierunkiem wykładowcy przed oknem obserwacyjnym i zapisz udzielone wsparcie jako metadane kontekstowe.
3. Uzyskaj pisemną świadomą zgodę od wszystkich studentów po przekazaniu wyczerpującej karty informacyjnej w formie pisemnej. Wyraźnie zaznacz w formularzu zgody, że badanie łączy obserwację behawioralną w klasie, cotygodniowe pisemne refleksje oraz zanonimizowane rekordy z platformy edukacyjnej.
4. Wprowadź do zbioru danych badawczych wyłącznie studentów, którzy wyrazili zgodę. Zagwarantuj, że odmowa udziału nie wpłynie na obecność, oceny, dostęp do kursu ani komunikację z wykładowcą.
   1. Przed pierwszym zadaniem refleksyjnym wyjaśnij dopuszczalne i zabronione sposoby wykorzystania narzędzi sztucznej inteligencji (AI).
      UWAGA: Narzędzia AI mogą być używane wyłącznie wtedy, gdy pozwalają na to zasady kursu i tylko w celu ogólnego wsparcia w nauce; prace refleksyjne oraz odpowiedzi dotyczące intencji prospołecznych muszą opisywać własne doświadczenia studenta i muszą ujawniać wszelką pomoc ze strony AI.
   2. Jeśli wykładowca zezwala na wsparcie AI w uzupełnianiu wiedzy wstępnej, udostępnij wszystkim studentom te same zatwierdzone prompty lub zasoby i zapisz to wsparcie jako adaptację protokołu. Nie używaj streszczeń wygenerowanych przez AI jako głównego dowodu refleksji studenta, chyba że badanie walidacyjne wprost ocenia odpowiedzi wspomagane przez AI.
5. Wyklucz studentów przed analizą, jeśli odmówią zgody, wycofają się z kursu w oknie czasowym protokołu lub w przypadku braku spójnych danych w rekordach obserwacji, refleksji i analityki. Zastosuj plan z powtarzanymi pomiarami, aby zebrać spójne dane z trzech odrębnych źródeł w okresie 4 tygodni².

2. Pozyskiwanie danych bazowych i zarządzanie tożsamością

1. Wyznaczyć jednego administratora danych, który przypisze ośmioznakowy alfanumeryczny identyfikator badania (Study ID) każdemu uczestnikowi wyrażającemu zgodę za pomocą procesu pseudolosowego.
2. Utworzyć plik powiązań tożsamości z identyfikatorem badania, zawierający imiona i nazwiska studentów, identyfikatory instytucjonalne, sekcje zajęć oraz numery badania. Przechowywać ten plik w sposób bezpieczny i oddzielnie od plików analitycznych, zapewniając, że pozostanie on całkowicie niedostępny dla obserwatorów, koderów refleksji i badaczy.
3. Zniszczyć lub zarchiwizować ten plik powiązań po końcowej weryfikacji danych zgodnie z zatwierdzoną instytucjonalną polityką przechowywania danych, zachowując zgodność z aktualną praktyką analityki uczenia się w szkolnictwie wyższym w zakresie ograniczonego powiązania i deidentyfikacji¹.
4. Zebrać podstawowe dane demograficzne dotyczące wieku, płci, roku studiów i kierunku uczestników w pierwszym tygodniu przed pierwszą obserwowaną lekcją.
5. Przed pierwszą obserwowaną lekcją wykorzystać sześcioelementowy kwestionariusz intencji prospołecznych zawarty w Pliku uzupełniającym 1 jako ustrukturyzowane narzędzie bazowe. Przeprowadzić badanie elektronicznie za pośrednictwem systemu LMS lub na papierze, używając wyłącznie przypisanego identyfikatora Study ID. Studenci oceniają każdy element w 5-stopniowej skali od 1 = zdecydowanie się nie zgadzam do 5 = zdecydowanie się zgadzam; wynik bazowy obliczyć jako średnią z wypełnionych elementów, jeśli udzielono odpowiedzi na co najmniej pięć z sześciu pytań.
6. Wyeksportować wszystkie następnie zebrane teksty refleksyjne bez nazwisk, adresów e-mail ani innych identyfikatorów osobowych, aby zapewnić pełną anonimowość przed rozpoczęciem procesu kodowania jakościowego.

3. Przygotowanie do obserwacji w klasie

1. Zaplanuj obserwacje dla każdej sekcji grupy raz w tygodniu przez 4 kolejne tygodnie. W przypadku standardnych 90-minutowych zajęć zdefiniuj 70-minutowe okno obserwacyjne, wyłączając pierwsze 10 min i ostatnie 10 min z kodowania⁵.
2. Rozpocznij kodowanie w 10^tej minucie i zakończ w 80^tej minucie standardowych 90-minutowych zajęć. Okresy buforowe te nie są częścią 70-minutowego okna obserwacyjnego; w związku z tym standardne zajęcia dostarczają 70 min zakodowanej obserwacji, a nie 30-minutową sesję.
3. Wyklucz z końcowej oceny każdy przerwany blok instruktażowy, jeśli w trakcie zajęć wystąpiła przerwa trwająca ponad 5 min spowodowana alarmami, zmianą sali lub awariami platformy.
4. Traktuj zaangażowanie w klasie jako obserwowalny zespół wielu zachowań, rejestrując jednocześnie kilka wskaźników behawioralnych w każdym punkcie pomiarowym¹¹. Wskaźniki obejmują uwagę skupioną na zadaniu, partycypację werbalną, współpracę z rówieśnikami, robienie notatek lub korzystanie z urządzeń w celu realizacji zadania, rozproszenie uwagi oraz zachowania związane z poszukiwaniem pomocy.
5. Ustaw miejsca w klasie w grupach przed pierwszą obserwacją i rygorystycznie przestrzegaj tego układu miejsc przez cały 4-tygodniowy okres.
6. Umieść dwóch przeszkolonych obserwatorów w stałych lokalizacjach z pełną widocznością pomieszczenia w celu niezależnego kodowania. Jeśli nagrywanie instytucjonalne jest dozwolone i uczestnicy wyrażą zgodę, zainstaluj dwie stacjonarne kamery w tylnej części centrum oraz z boku z tyłu i zsynchronizuj je przed sesją.
7. Używaj nagrań z kamer wyłącznie do szkolenia obserwatorów, weryfikacji niezawodności i rozstrzygania problemów z widocznością; nie używaj nagrań wideo jako głównego źródła kodowania i nie przeprowadzaj analiz emocji z twarzy, emocji z głosu, analiz biometrycznych ani rozpoznawania tożsamości.

4. Kodowanie behawioralne oparte na odstępach czasowych

1. Podziel 70-minutowe okno obserwacji na następujące po sobie interwały składające się z 20-s skanowania wizualnego, po którym następuje 10-s okres rejestracji. Jeśli duży wykład, zajęcia laboratoryjne lub zajęcia online wymagają innej długości interwału, należy zgłosić dostosowaną strukturę interwałów i uzasadnić ją przed rozpoczęciem gromadzenia danych.
   UWAGA: Struktura 20-s/10-s równoważy ekologiczną obserwację w klasie z obciążeniem kodera: okres skanowania jest wystarczająco długi, aby wykryć utrzygałą uwagę, współpracę i zachowania niezwiązane z zadaniem, natomiast okres rejestracji zmniejsza obciążenie pamięci i wspiera spójne decyzje binarne.
2. Skanuj wyraźnie zdefiniowaną grupę do dziesięciu studentów na interwał w ciągłej pętli, zgodnie z układem miejsc siedzących.
3. Stosuj określone kryteria skanowania, aby zapobiec niespójności kodera spowodowanej zbyt ogólnymi definicjami operacyjnymi⁴. Podczas każdego skanowania koduj sześć binarnych wskaźników na poziomie studenta. Obejmują one: uwagę skoncentrowaną na zadaniu, uczestnictwo werbalne, współpracę z rówieśnikami, robienie notatek lub korzystanie z urządzenia w celu realizacji zadania, rozpraszanie się (zachowania niezwiązane z zadaniem) oraz zachowania poszukiwania pomocy.
4. Oznacz wskaźnik jako "1", jeśli określone zachowanie występuje w dowolnym momencie podczas 20-s skanowania. W przeciwnym razie oznacz je jako "0". Zakoduj interwał jako brakujący, jeśli student nie jest widoczny przez co najmniej 10 s skanowania.
5. Rejestruj uwagę skoncentrowaną na zadaniu, gdy student orientuje się wzrokowo w stronę instruktora, przypisanych zadań, prezentowanych informacji lub rówieśników zaangażowanych w dyskusję nad zadaniem przez co najmniej 5 kolejnych s. Koduj uczestnictwo werbalne dla każdego słyszalnego i związanego z zadaniem wkładu.
6. Koduj współpracę z rówieśnikami, gdy studenci angażują się w widoczne wymiany oparte na zadaniu, wspólne rozwiązywanie problemów lub wyjaśnienia rówieśnicze. Rejestruj robienie notatek lub korzystanie z urządzenia w celu realizacji zadania w przypadku aktywnego pisania, pisania na klawiaturze lub cyfrowej interakcji z materiałami kursu.
7. Oznacz rozpraszanie się, jeśli student angażuje się w niepowiązane rozmowy, nieakademickie korzystanie z urządzenia lub wykazuje trwały brak zaangażowania przez co najmniej 5 kolejnych s. Rejestruj poszukiwanie pomocy, gdy student wyraźnie prosi o wyjaśnienie lub pomoc instruktora lub rówieśników.
8. Oblicz tygodniowy wynik behawioralny dla każdego studenta jako całkowitą liczbę ocen dodatnich podzieloną przez wszystkie ważne oceny. Następnie wyznacz średnie 4-tygodniowe dla wszystkich sześciu wskaźników.
9. Oblicz skonsolidowany Indeks Obserwowanego Zaangażowania w Klasie (OCEI) dla studenta i w tygodniu w przy użyciu określonego modelu matematycznego: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. Utrzymuj poszukiwanie pomocy jako niezależną zmienną analityczną, ponieważ w zależności od kontekstu może ono reprezentować albo konstruktywne wyjaśnianie, albo trudności z treścią dydaktyczną¹². Schemat postępowania w badaniu znajduje się na Rysunku 1, a indeksy obserwacyjne i reguły kodowania w Tabeli 1.

5. Szkolenie obserwatorów i ocena wiarygodności

1. Przeprowadzić szkolenie obserwatorów podczas 60-minutowej sesji szkoleniowej z instrukcją obsługi oraz wykonać trzy rundy kalibracyjne przed rozpoczęciem formalnego programu.
2. Przeprowadzić pierwszą rundę kalibracyjną za pomocą kierowanego kodowania nagrania wideo z klasy spoza badania. Kolejne dwie rundy zrealizować jako niezależne kodowania różnych filmów spoza badania, a następnie przeprowadzić bezpośrednie porównania statystyczne z głównym koderem.
3. Rozpocząć formalne gromadzenie danych dopiero wtedy, gdy wartość współczynnika Kappa Cohena osiągnie lub przekroczy 0,75, a całkowita zgodność między sędziami przekroczy 85%.
4. Wdrożyć podwójnie ślepą weryfikację dryfu dla 10% wszystkich sesji oraz jednego zrandomizowanego 10-minutowego segmentu z pozostałych sesji w trakcie trwania 4-tygodniowego protokołu.
5. W przypadku spadku wartości Kappa poniżej 0,70 dla dowolnego wskaźnika, przeprowadzić rekalibrację zespołu kodującego w ciągu 72 h i ponownie zweryfikować dotknięte sesje przed zablokowaniem danych. Nieustannie przekazywać informacje zwrotne i organizować ćwiczenia kalibracyjne w celu utrzymania stabilności oceny w czasie¹³.

6. Gromadzenie i ocena ekspresji refleksyjnej

1. Poleć studentom przesłanie jednego ustrukturyzowanego tekstu refleksyjnego (100-350 słów) po każdych obserwowanych zajęciach, co wygeneruje 4 wpisy na uczestnika w ciągu 4-tygodniowego protokołu.
2. Udostępnij pytania do refleksji za pośrednictwem systemu LMS lub w formie papierowej w ciągu 2 h po obserwowanych zajęciach i zamknij okno przesyłania po 72 h. Formularz powinien zawierać pole Study ID oraz następujące trzy pytania w tej samej kolejności dla każdego studenta:
   1. Wskazanie momentów, w których czuli się najbardziej i najmniej zaangażowani podczas zajęć.
   2. Wyjaśnienie przyczyn kontekstowych, w tym trudności zadania, wiedzy wstępnej, interakcji grupowej, wyjaśnień prowadzącego lub korzystania z platformy.
   3. Opis tego, jak ich uczestnictwo wpłynęło na atmosferę w klasie i jakie działania zamierzają podjąć w przyszłości.
      UWAGA: Zachowaj wpisy krótsze niż 100 słów, ale oznacz je w bazie danych jako niskoinformacyjne. Oznacz również wpisy, w których pominięto pytanie o zaangażowanie, przyczyny kontekstowe lub przyszłe działania/wpływ społeczny, ponieważ pominięcia te wpływają na ocenę jakości refleksji i raportowanie wykonalności.
3. Wyznacz dwóch oślepionych koderów do oceny przesłanych prac pod kątem szczegółowości opisowej, głębi analitycznej, orientacji samoregulacyjnej oraz znaczenia społeczno-prospołecznego.
   1. Oceń każdy wymiar przy użyciu 4-stopniowej skali, gdzie 0 oznacza brak, 1 oznacza słabe lub niejasne dowody, 2 oznacza wyraźne, ale ograniczone dowody, a 3 oznacza silne i szczegółowe dowody. Na przykład głębia analityczna otrzymuje ocenę 0, gdy nie podano żadnego powodu, 1, gdy student stwierdza jedynie, że zajęcia były trudne, 2, gdy student wiąże trudność z konkretnym pojęciem lub warunkami w klasie, oraz 3, gdy student wyjaśnia interakcję między wiedzą uprzednią, dyskusją z rówieśnikami, informacją zwrotną od prowadzącego a planowaną strategią uczenia się. Tabela 2 oraz Plik uzupełniający 1 zawierają przykłady poziomów ocen dla wszystkich czterech wymiarów refleksyjnych.
4. Rozpocznij formalną ocenę dopiero po osiągnięciu współczynnika korelacji wewnątrzklasowej na poziomie 0,80 lub wyższym dla każdego wymiaru w tekstach pilotażowych¹⁴.
5. Przeprowadź losową podwójną ocenę 15% refleksji z badania w trakcie trwania protokołu, aby kontrolować dryf oceniającego. Oceniaj teksty refleksyjne w oparciu o te wielowymiarowe metryki jakościowe, zamiast polegać wyłącznie na długości tekstu lub częstotliwości słów.
6. Opracuj lub dostosuj rubrykę ekspresji refleksyjnej poprzez przegląd ekspercki przeprowadzony przez co najmniej dwóch badaczy edukacji i jednego prowadzącego kurs. Przetestuj rubrykę na 20 do 30 refleksjach spoza badania, popraw niejednoznaczne deskryptory i udokumentuj ostateczną wersję rubryki przed rozpoczęciem formalnego kodowania.
7. Przeprowadź kwestionariusz intencji prospołecznych przedstawiony w Pliku uzupełniającym 1. Poproś studentów o ocenę ich gotowości do pomagania kolegom z klasy, którzy napotykają trudności, dzielenia się zasobami edukacyjnymi, konstruktywnego wnoszenia wkładu w dyskusje, zachęcania rówieśników, sprawiedliwego działania podczas zadań grupowych oraz poprawy klimatu uczenia się w klasie. Użyj 5-stopniowej skali od 1 (zdecydowanie się nie zgadzam) do 5 (zdecydowanie się zgadzam). Oblicz średnią ocenę, gdy wypełniono co najmniej pięć z sześciu pozycji, i podaj alfę Cronbacha dla pomiarów wyjściowych i po zakończeniu protokołu.

7. Ekstrakcja analityki uczenia się

1. Wyznaczyć zewnętrznego administratora do wyodrębnienia danych analityki uczenia się po 4. tygodniu, aby zapobiec zanieczyszczeniu procesów obserwacji i refleksji.
2. Ustawić okno ekstrakcji od godziny 00:00 w dniu pierwszych obserwowanych zajęć do godziny 23:59 w dniu zamknięcia końcowego okna refleksji.
3. Wyodrębnić wyłącznie zdefiniowane wcześniej zmienne niezbędne do protokołu. Zebrać dane dotyczące liczby aktywnych dni na platformie, liczby wyświetleń unikalnych zasobów, proporcji otwartych przypisanych zasobów, liczby zamieszczonych odpowiedzi w dyskusjach, średniego wskaźnika ukończenia materiałów wideo oraz punktualności w oddawaniu zadań.
4. Oczyścić surowe eksporty poprzez usunięcie kont instruktorów i asystentów, duplikatów rekordów, zdarzeń testowych oraz punktów danych spoza wyznaczonego przedziału czasowego.
5. Przyjąć definicję aktywnego dnia jako dowolną datę kalendarzową zawierającą co najmniej jeden uwierzytelniony dostęp do kursu, po którym nastąpiła istotna interakcja, taka jak otwarcie plików, oglądanie filmów wideo lub zamieszczanie odpowiedzi.
6. Zliczyć unikalne otwarcia zasobów, ignorując zdarzenia powtórnego odświeżenia strony występujące w odstępie 60 s. Wyznaczyć wskaźnik ukończenia wideo poprzez ucięcie wyświetlonej części względem zaplanowanego czasu przy wartości 01:00, a następnie wyliczyć średnią dla wszystkich przypisanych elementów multimedialnych.
7. Obliczyć punktualność w oddawaniu zadań na podstawie proporcji zadań przesłanych przed wyznaczonymi terminami. Obliczyć proporcję dostępu w godzinach nocnych jako stosunek istotnych zdarzeń występujących między 00:00 a 06:00 do całkowitej liczby istotnych aktywności w okresie obserwacji. Opierać się na tych metrykach czasowych i zorientowanych na wkład, aby uzyskać pełniejsze informacje niż w przypadku prostej akumulacji logów¹⁵.
8. Zastosować zdefiniowany wcześniej schemat zarządzania danymi dla surowego eksportu z systemu zarządzania uczeniem się (LMS). Zapisać oryginalny eksport jako plik tylko do odczytu, stworzyć zanonimizowaną kopię roboczą, usunąć konta instruktorów i asystentów, usunąć zdarzenia duplikowane lub testowe oraz prowadzić dziennik przetwarzania z liczbą wierszy po każdym etapie oczyszczania.
9. Przeprowadzić oczyszczanie danych w arkuszu kalkulacyjnym lub nowszym, a analizę statystyczną w programie R w wersji 4.4.0 lub nowszej, lub w równoważnym oprogramowaniu.
   1. W arkuszu kalkulacyjnym postępować zgodnie z krokami opisanymi w punktach 7.9.1.1–7.9.1.2.
      1. Zaimportować zanonimizowane pliki CSV, korzystając z opcji Dane > Pobierz dane > Z tekstu/CSV, a następnie użyć opcji Dane > Usuń duplikaty, aby usunąć powtarzające się wiersze Study ID/znacznik czasu/zdarzenie.
      2. Zastosować Filtr, aby wykluczyć konta instruktorów lub asystentów oraz rekordy spoza okna czasowego, a następnie zapisać dziennik przetwarzania z liczbą wierszy po każdym kroku.
   2. W programie R postępować zgodnie z krokami opisanymi w punktach 7.9.2.1–7.9.2.3.
      1. Zaimportować pliki za pomocą readr::read_csv(), a rekordy tygodniowe przekształcić przy użyciu dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() oraz tidyr::pivot_wider().
      2. Obliczyć kappa Cohena za pomocą irr::kappa2(), współczynniki ICC za pomocą psych::ICC() oraz alfę Cronbacha za pomocą psych::alpha().
      3. Dopasować liniowe modele skorygowane o sekcję przy użyciu stats::lm(); stosować lme4::lmer(), gdy wymagany jest zdefiniowany wcześniej losowy punkt przecięcia dla sekcji klasy, a lme4::glmer(family = binomial) wyłącznie dla wyników binarnych. Załączyć dokładny skrypt i wersje pakietów do materiałów przesyłanych wraz z pracą.
10. Zastosować następującą powtarzalną sekwencję analizy.
    1. Obliczyć proporcje obserwacji student-tydzień, wyznaczyć OCEI korzystając ze wzoru w kroku 4.9 oraz połączyć tygodniowe wyniki refleksji według Study ID i tygodnia.
    2. Zagregować zmienne analityki uczenia się w tym samym 4-tygodniowym oknie, sprawdzić brakujące dane w zależności od źródła, obliczyć statystyki opisowe i szacunki niezawodności oraz dopasować zdefiniowane wcześniej modele asocjacyjne.
    3. Nie dodawać nieplanowanych predyktorów po przeanalizowaniu wyników, chyba że zostaną one oznaczone jako eksploracyjne.
11. (Opcjonalnie) W celu zapewnienia przejrzystości, zamieścić w publicznym repozytorium lub materiałach uzupełniających zanonimizowany skrypt analizy, książkę kodową, puste formularze kodowania, pytania do refleksji, rubrykę oceny refleksji oraz kwestionariusz prospołeczny. Nie zamieszczać identyfikowalnych surowych nagrań wideo z klasy, nazwisk, identyfikatorów instytucjonalnych ani nieocenzowanych tekstów refleksji.

8. Pomiary po zakończeniu protokołu i integracja zbiorów danych

1. Przeprowadź badanie instrumentem intencji prospołecznych po raz drugi, bezpośrednio po zakończeniu ostatniego okna refleksji.
2. Poproś studentów o ocenę swojej chęci pomagania kolegom z grupy, dzielenia się zasobami, konstruktywnego wkładu w dyskusje, zachęcania rówieśników, sprawiedliwego działania oraz poprawy klimatu uczenia się w skali od 1 (zdecydowanie się nie zgadzam) do 5 (zdecydowanie się zgadzam). Oblicz całkowity wynik po protokole dla każdej osoby, wyciągając średnią z odpowiedzi, pod warunkiem, że odpowiedzieli na co najmniej pięć z sześciu pozycji.
3. Połącz pliki z obserwacjami, wyniki refleksji oraz zapisy analityki uczenia się, korzystając z zanonimizowanego Study ID. Na podstawie tego połączenia stwórz dwa końcowe zbiory danych: główny plik na poziomie uczestnika oraz plik w formacie długim na poziomie tygodniowym.
4. Nie uzupełniaj brakujących przedziałów obserwacji wynikających z niewidoczności studenta ani brakujących tygodniowych refleksji spowodowanych ich niezłożeniem. Przed analizą oznacz częściowo wypełnione refleksje, niekompletne zmienne analityki uczenia się, refleksje o niskiej zawartości informacji oraz niedopasowane Study ID.
5. Zastosuj analizę przypadków kompletnych dla wcześniej określonych modeli asocjacyjnych, zaraportuj liczbę wykluczonych przypadków dla każdego modelu i przeprowadź analizę wrażliwości, porównując studentów włączonych i wykluczonych pod kątem dostępnych zmiennych bazowych.
6. Zachowaj intencję prospołeczną jako główną miarę wyniku, aby odzwierciedlić wspierające i kolaboracyjne postawy, które stanowią podstawę zmian strukturalnych w partycypacji studentów uniwersytetu.

9. Rozwiązywanie problemów i adaptacje protokołu

1. Jeśli dwóch obserwatorów różni się bardziej niż jednym binarnym wzorcem kategorii w obrębie tej samej grupy studentów lub jeśli współczynnik kappa Cohena spadnie poniżej 0,70 dla któregokolwiek wskaźnika, należy wstrzymać formalne punktowanie dla danej sesji, przejrzeć definicje operacyjne, przeprowadzić 10-minutowy segment rekalibracji i ponownie zakodować dotknięty interwał przed zablokowaniem danych.
2. W przypadku niekompletnych eksportów z platformy należy udokumentować brakujące pole, poprosić zewnętrznego administratora o drugi eksport i pozostawić studenta w podsumowaniach obserwacji/refleksji, wykluczając jednocześnie niedostępną zmienną analityczną z modeli wymagających tego pola.
3. Jeśli mniej niż 80% oczekiwanych refleksji zostanie przesłanych w ciągu 48 h po otwarciu zadania, należy wysłać neutralne przypomnienie do całej grupy, zapewnić wsparcie techniczne w przypadku problemów z dostępem i oddzielnie zaraportować końcową liczbę odpowiedzi przesłanych terminowo, spóźnionych oraz brakujących.
4. Jeśli ponad 10% studentów w grupie nie jest widocznych przez co najmniej połowę okna skanowania, należy zakodować dotknięte interwały jako brakujące i polegać na zapisach obserwatora na żywo, zamiast próbować wnioskować o zachowaniu z zasłoniętego obrazu wideo.
5. Jeśli student wycofa się, odmówi dalszego udziału lub zabraknie danych umożliwiających powiązanie źródeł, należy usunąć tego studenta z powiązanych modeli asocjacyjnych, ale zachować zagregowane dane dotyczące wykonalności protokołu, o ile zezwala na to zgoda komisji etycznej.
6. Jeśli wielu studentów zasygnalizuje, że dany fragment jest trudny do zrozumienia, instruktor powinien zastosować standardową reakcję pedagogiczną, taką jak krótkie ponowne wyjaśnienie, przykład rozwiązany, dyskusja rówieśnicza lub dostarczenie dodatkowych materiałów. Należy zapisać to jako zdarzenie kontekstowe, ponieważ może ono wpływać na poszukiwanie pomocy, głębokość refleksji oraz aktywność na platformie.
7. Należy dostosować wielkość grup studentów, długość interwału, polecenia do refleksji oraz zmienne analityczne do formatu instruktażowego, zachowując jednocześnie tę samą logikę predefiniowanych wskaźników behawioralnych, zanonimizowanych zapisów, niezależnego kodowania i przejrzystych zasad postępowania z brakującymi danymi.
8. Niską niezawodność, dużą liczbę brakujących danych, ograniczoną głębokość refleksji, słabą zmianę prospołeczną oraz słabą zgodność między strumieniami danych należy traktować jako informacyjne wyniki implementacji, a nie jako błędy protokołu. Należy zaraportować te wyniki i wyjaśnić, czy odzwierciedlają one kontekst klasowy, ograniczenia narzędzi czy problemy z przechwytywaniem danych.

Wyniki

Kwalifikowalność uczestników, kompletność danych i wiarygodność wyników
Do udziału zaproszono wstępną kohortę 204 studentów ze wszystkich sekcji kursu, z czego 198 osób wyraziło zgodę. Czternaście przypadków wykluczono w dalszej kolejności z powodu rezygnacji z kursu w trakcie realizacji protokołu lub niepełnego powiązania danych w zapisach z obserwacji, refleksji i platformy. W konsekwencji końcowa próba analityczna objęła 184 studentów. Charakterystyka uczestników, cotygodniowe wskaźniki ukończenia...

Dyskusja

Niniejsze badanie proponuje praktyczny protokół integrujący obserwację behawioralną, pisanie refleksyjne oraz analitykę uczenia się w celu kompleksowego zbadania uczestnictwa, autoekspresji i świadomości prospołecznej studentów uniwersytetu w ramach jednego okna instruktażowego. Poprzez uchwycenie różnych wymiarów zaangażowania, to podejście trimodalne odpowiada na niedawne krytyki w badaniach nad szkolnictwem wyższym, według których metryki czasu użytkowania i monitorowanie oparte na czujnikach są niewystarczające, gdy ...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Arkusz kodowania obserwacji klasowych	Własny	Sześć binarnych wskaźników behawioralnych	Kodowanie interwałowe uwagi skoncentrowanej na zadaniu, partycypacji werbalnej, współpracy z rówieśnikami, robienia notatek/korzystania z urządzeń w celu realizacji zadania, rozproszenia uwagi oraz poszukiwania pomocy.
GraphPad Prism	Graphpad	Wersja 10.2.3	Tworzenie schematów przebiegu pracy, wykresów trendów tygodniowych, wykresów rozkładu i rysunków asocjacyjnych.
Instytucjonalny system zarządzania nauczaniem / platforma kursowa	Uniwersytet goszczący	Istniejący instytucjonalny system kont LMS	Gromadzenie zanonimizowanych analityk uczenia się.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Tworzenie schematów przebiegu pracy, wykresów trendów tygodniowych, wykresów rozkładu i rysunków asocjacyjnych.
R	R Foundation		ggplot2 3.5.1
Oprogramowanie arkusza kalkulacyjnego	Microsoft Corporation	Microsoft Excel 365 v2402	Wprowadzanie danych, oczyszczanie, sprawdzanie anonimizacji oraz scalanie zbiorów danych z obserwacji, refleksji i analityki.
SPSS Statistics	IBM Corp	Wersja 26.0	Oprogramowanie do analizy statystycznej; statystyka opisowa, porównania z powtarzanymi pomiarami, kappa Cohena, ICC, alfa Cronbacha, korelacje i modele regresji.