Ocena zaangażowania studentów w zajęcia, ekspresji refleksyjnej i intencji prospołecznych z wykorzystaniem obserwacji behawioralnej i analityki uczenia się

Podsumowanie

Niniejszy protokół integruje obserwację zajęć, pisanie refleksyjne, pomiar intencji prospołecznych oraz analitykę uczenia się w celu oceny zaangażowania behawioralnego, ekspresji refleksyjnej i społecznie zorientowanych efektów uczenia się studentów uniwersyteckich w ciągu 4-tygodniowego okna instruktażowego. Określa on kwestie zgody etycznej, zawartość narzędzi, przepływ pracy w oprogramowaniu, sposób postępowania z brakującymi danymi, procedury rozwiązywania problemów oraz interpretację reprezentatywnych wyników, w tym zaobserwowane ograniczenia w implementacji.

Streszczenie

Aby odpowiedzieć na potrzebę wielowymiarowej oceny zaangażowania studentów wykraczającej poza tradycyjne wskaźniki, niniejszy protokół opisuje ustrukturyzowane podejście do oceny zaangażowania w klasie, ekspresji refleksyjnej, aktywności w analityce uczenia się oraz intencji prospołecznych w kursach na poziomie studiów licencjackich. Protokół łączy behawioralną obserwację opartą na interwałach, cotygodniowe ustrukturyzowane pisanie refleksyjne, zanonimizowane zapisy z systemu zarządzania uczeniem się oraz kwestionariusz intencji prospołecznych przed i po badaniu. Zrewidowane procedury zapewniają reprodukowalny model kodowania behawioralnego, rubrykę ekspresji refleksyjnej z przykładami punktacji, kroki dotyczące oprogramowania i zarządzania danymi, a także wyraźne wytyczne w rozwiązywaniu problemów w przypadku rozbieżności między obserwatorami, brakujących zapisów z platformy, niskiego wskaźnika przesyłania refleksji, słabej widoczności z kamery, rezygnacji uczestników oraz niespójnej wiedzy wstępnej. Protokół ten należy stosować, gdy badacze potrzebują mało inwazyjnego, reprodukowalnego sposobu na połączenie rzeczywistych zachowań w klasie, samointerpretacji studentów i rutynowej aktywności w systemie zarządzania uczeniem się (LMS) podczas zajęć na poziomie studiów licencjackich. Jest on mniej odpowiedni dla kursów w pełni asynchronicznych bez obserwowalnych interakcji, w środowiskach zabraniających niezależnej obserwacji lub łączenia rekordów, a także w badaniach wymagających biometrycznych wnioskowania lub rozpoznawania emocji. Reprezentatywne wyniki przedstawiono z przeprowadzonej aplikacji empirycznej po uzyskaniu zweryfikowanej zgody etycznej, zanonimizowaniu zapisów z kursu i przygotowaniu repozytorium.

Wprowadzenie

Ocena uczestnictwa studentów w szkolnictwie wyższym wymaga kompleksowego podejścia opartego na wielu źródłach. Choć zaangażowanie studentów jest powszechnie konceptualizowane jako konstrukt wielowymiarowy, obejmujący obserwowalne zachowania, wysiłek poznawczy oraz interakcję z otoczeniem, obecne podejścia analityczne opierają się głównie na powierzchownych danych z logów, takich jak częstotliwość logowań i rejestrowane przez system działania¹. Nadmierne poleganie na tych danych stanowi istotne wyzwanie dla praktycznych badań prowadzonych w salach wykładowych. Najważniejsze formy uczestnictwa w procesie dydaktycznym — bezpośrednie interakcje z rówieśnikami, refleksja poznawcza oraz wkład społeczny — często odbywają się całkowicie poza ograniczonym zakresem widoczności platformy².

Złożoność współczesnej sali wykładowej na uniwersytecie wzrosła wraz z przyjęciem hybrydowych modeli pedagogicznych, łączących platformy cyfrowe z tradycyjnymi zajęciami stacjonarnymi. Choć systematyczne przeglądy analityki uczenia się potwierdzają, że ślady cyfrowe dostarczają cennych informacji na temat alokacji czasu, wzorców dostępu i wskaźników długoterminowego zapamiętywania, same te metryki nie pozwalają rozstrzygnąć, czy uwaga uczącego się jest faktycznie efektywna lub znacząca³. W związku z tym w aktualnej literaturze przedmiotu postuluje się oparcie analityki uczenia się na silniejszych ramach teoretycznych poprzez zestawienie śladów cyfrowych z bardziej rozbudowanymi, zależnymi od kontekstu miarami partycypacji, takimi jak zachowanie w klasie oraz działania refleksyjne⁴.

Pisanie refleksyjne nadaje tej ocenie kluczowy wymiar jakościowy. Ustrukturyzowane refleksje po zajęciach oraz dzienniki pozwalają uchwycić interpretacje działań edukacyjnych przez studentów, wyjaśnić trudności w nauczaniu i powiązać treść teoretyczną z późniejszymi działaniami praktycznymi. Niedawne dowody empiryczne conceptualizują ekspresję refleksyjną jako zintegrowany, wieloskładnikowy konstrukt obejmujący przypominanie opisowe, wnioskowanie analityczne, reprezentację autoreferencyjną oraz generalizację znaczeń⁵. Ponadto badania wskazują, że zapewnienie studentom powtarzalnego wsparcia w refleksji stopniowo wzmacnia ich zdolność do introspekcji; wraz ze wzrostem częstotliwości ustrukturyzowanej refleksji w trakcie kursu, równolegle poprawiają się niezależne umiejętności eksploracyjne studentów⁶.

Drugą istotną luką w obecnych badaniach nad zaangażowaniem jest częsta marginalizacja socjalizacji w klasie. Podczas gdy istniejące studia kładą silny nacisk na indywidualne zachowanie lub poznanie, sale wykładowe na uniwersytetach funkcjonują jako immanentnie społeczne środowiska uczenia się, w których studenci wpływają na siebie nawzajem poprzez współpracę i responsywne interakcje. Pojawiające się dowody wykazują, że klimat w klasie oraz struktury uczestnictwa silnie korelują z zachowaniami prospołecznymi i nastawieniem zorientowanym na wkład — wynikami, które pozostają niedostatecznie zbadane w porównaniu z tradycyjnymi miernikami osiągnięć akademickich lub satysfakcji studentów. Zachowania prospołeczne w środowisku akademickim nie są jedynie produktem ubocznym stanów emocjonalnych lub stresu; odnoszą się one raczej fundamentalnie do tego, jak studenci sytuują się w ramach zbiorowych działań edukacyjnych⁷. Zatem pomiar intencji prospołecznych służy jako odpowiednie narzędzie do określenia, czy zaangażowanie w klasie wykracza poza odizolowane wykonywanie zadań, aby wspierać zachowania kooperacyjne i motywujące poza bezpośrednim środowiskiem instruktażowym⁸.

Te rozwinięcia koncepcyjne podkreślają konieczność zastosowania zintegrowanego systemu gromadzenia dowodów w ramach jednego okna instruktażowego. Projekt wieloźródłowy ogranicza niedociągnięcia wynikające z polegania na pojedynczym wskaźniku, umożliwiając wzajemną walidację różnych form uczestnictwa oraz ujawniając, w jaki sposób studenci interpretują swoje działania po zajęciach, aby wspierać samodzielną naukę⁹. Podczas gdy oceny refleksyjne oddają wewnętrzny stan poznawczy ucznia, powiązanie tych samoopisów z obiektywnymi śladami behawioralnymi znacząco zwiększa interpretowalność danych o nauce. Obecnie zauważalny jest brak praktycznych, gotowych do zastosowania w klasie protokołów, które w sposób spójny syntetyzowałyby systematyczną obserwację behawioralną, ustrukturyzowaną sprawozdawczość refleksyjną oraz analitykę uczenia się w celu rutynowego wdrożenia na uczelniach.

Aby wyeliminować te niedociągnięcia metodologiczne, w niniejszej pracy przedstawiono protokół ewaluacyjny zaprojektowany do jednoczesnego pomiaru zaangażowania studentów w zajęcia, ekspresji refleksyjnej oraz intencji prospołecznych. Protokół opracowany specjalnie dla środowiska studiów licencjackich oferuje usprawnioną metodologię, która wymaga minimalnego nakładu administracyjnego bez utraty powtarzalności naukowej. Poprzez wypełnienie luki analitycznej między obserwowalnymi zachowaniami, artykułowanym doświadczeniem własnym a zorientowanymi społecznie efektami uczenia się, ramy te odpowiadają na rosnące zapotrzebowanie na większą jasność pojęciową w badaniach nad interakcją człowiek-technologia w środowiskach edukacyjnych¹⁰.

Protokół

Wszystkie metody z udziałem ludzi zostały przeprowadzone zgodnie z Deklaracją Helsińską oraz odpowiednimi wytycznymi instytucjonalnymi. W przypadku przeprowadzonego badania protokół został zatwierdzony przez Komisję Etyki Nanchang Institute of Technology przed rozpoczęciem rekrutacji (numer zatwierdzenia: NITE778291). Od każdego uczestniczącego studenta uzyskano pisemną świadomą zgodę. Do analizy wykorzystano wyłącznie zanonimizowane zagregowane dane z obserwacji klasowych, wyniki refleksji, analitykę uczenia się oraz dane z kwestionariuszy; z publikacji publicznej wykluczono identyfikowalne nagrania wideo z klas, nazwiska, identyfikatory instytucjonalne oraz nieocenzurowane teksty refleksji.

1. Projekt badania i wybór uczestników

1. Wdróż protokół w ciągu czterech kolejnych okresów dydaktycznych dla każdej wybranej sekcji grupy. Zapisz zanonimizowane etykiety kursów, format instruktażowy, liczebność grup, doświadczenie wykładowcy w prowadzeniu kursu oraz informację, czy każda grupa obejmuje instruktaż całoklasowy, pracę grupową czy praktykę indywidualną. Przyjmij docelową liczbę początkowych zapisów na poziomie około 180 do 210 studentów studiów licencjackich w wieku 18 lat lub więcej lub dostosuj docelową wielkość próby do kontekstu kursu.
2. Upewnij się, że wszyscy uczestnicy posiadają aktywne konto instytucjonalne na platformie kursowej, wezmą udział w obserwowanych zajęciach i otrzymali niezbędne wytyczne wstępne, które są standardowo przekazywane grupie. W przypadku znacznych różnic w wiedzy wstępnej dostarcz krótką broszurę uzupełniającą, listę materiałów przed zajęciami lub przeprowadź powtórkę pod kierunkiem wykładowcy przed oknem obserwacyjnym i zapisz udzielone wsparcie jako metadane kontekstowe.
3. Uzyskaj pisemną świadomą zgodę od wszystkich studentów po przekazaniu wyczerpującej karty informacyjnej w formie pisemnej. Wyraźnie zaznacz w formularzu zgody, że badanie łączy obserwację behawioralną w klasie, cotygodniowe pisemne refleksje oraz zanonimizowane rekordy z platformy edukacyjnej.
4. Wprowadź do zbioru danych badawczych wyłącznie studentów, którzy wyrazili zgodę. Zagwarantuj, że odmowa udziału nie wpłynie na obecność, oceny, dostęp do kursu ani komunikację z wykładowcą.
   1. Przed pierwszym zadaniem refleksyjnym wyjaśnij dopuszczalne i zabronione sposoby wykorzystania narzędzi sztucznej inteligencji (AI).
      UWAGA: Narzędzia AI mogą być używane wyłącznie wtedy, gdy pozwalają na to zasady kursu i tylko w celu ogólnego wsparcia w nauce; prace refleksyjne oraz odpowiedzi dotyczące intencji prospołecznych muszą opisywać własne doświadczenia studenta i muszą ujawniać wszelką pomoc ze strony AI.
   2. Jeśli wykładowca zezwala na wsparcie AI w uzupełnianiu wiedzy wstępnej, udostępnij wszystkim studentom te same zatwierdzone prompty lub zasoby i zapisz to wsparcie jako adaptację protokołu. Nie używaj streszczeń wygenerowanych przez AI jako głównego dowodu refleksji studenta, chyba że badanie walidacyjne wprost ocenia odpowiedzi wspomagane przez AI.
5. Wyklucz studentów przed analizą, jeśli odmówią zgody, wycofają się z kursu w oknie czasowym protokołu lub w przypadku braku spójnych danych w rekordach obserwacji, refleksji i analityki. Zastosuj plan z powtarzanymi pomiarami, aby zebrać spójne dane z trzech odrębnych źródeł w okresie 4 tygodni².

2. Pozyskiwanie danych bazowych i zarządzanie tożsamością

1. Wyznaczyć jednego administratora danych, który przypisze ośmioznakowy alfanumeryczny identyfikator badania (Study ID) każdemu uczestnikowi wyrażającemu zgodę za pomocą procesu pseudolosowego.
2. Utworzyć plik powiązań tożsamości z identyfikatorem badania, zawierający imiona i nazwiska studentów, identyfikatory instytucjonalne, sekcje zajęć oraz numery badania. Przechowywać ten plik w sposób bezpieczny i oddzielnie od plików analitycznych, zapewniając, że pozostanie on całkowicie niedostępny dla obserwatorów, koderów refleksji i badaczy.
3. Zniszczyć lub zarchiwizować ten plik powiązań po końcowej weryfikacji danych zgodnie z zatwierdzoną instytucjonalną polityką przechowywania danych, zachowując zgodność z aktualną praktyką analityki uczenia się w szkolnictwie wyższym w zakresie ograniczonego powiązania i deidentyfikacji¹.
4. Zebrać podstawowe dane demograficzne dotyczące wieku, płci, roku studiów i kierunku uczestników w pierwszym tygodniu przed pierwszą obserwowaną lekcją.
5. Przed pierwszą obserwowaną lekcją wykorzystać sześcioelementowy kwestionariusz intencji prospołecznych zawarty w Pliku uzupełniającym 1 jako ustrukturyzowane narzędzie bazowe. Przeprowadzić badanie elektronicznie za pośrednictwem systemu LMS lub na papierze, używając wyłącznie przypisanego identyfikatora Study ID. Studenci oceniają każdy element w 5-stopniowej skali od 1 = zdecydowanie się nie zgadzam do 5 = zdecydowanie się zgadzam; wynik bazowy obliczyć jako średnią z wypełnionych elementów, jeśli udzielono odpowiedzi na co najmniej pięć z sześciu pytań.
6. Wyeksportować wszystkie następnie zebrane teksty refleksyjne bez nazwisk, adresów e-mail ani innych identyfikatorów osobowych, aby zapewnić pełną anonimowość przed rozpoczęciem procesu kodowania jakościowego.

3. Przygotowanie do obserwacji w klasie

1. Zaplanuj obserwacje dla każdej sekcji grupy raz w tygodniu przez 4 kolejne tygodnie. W przypadku standardnych 90-minutowych zajęć zdefiniuj 70-minutowe okno obserwacyjne, wyłączając pierwsze 10 min i ostatnie 10 min z kodowania⁵.
2. Rozpocznij kodowanie w 10^tej minucie i zakończ w 80^tej minucie standardowych 90-minutowych zajęć. Okresy buforowe te nie są częścią 70-minutowego okna obserwacyjnego; w związku z tym standardne zajęcia dostarczają 70 min zakodowanej obserwacji, a nie 30-minutową sesję.
3. Wyklucz z końcowej oceny każdy przerwany blok instruktażowy, jeśli w trakcie zajęć wystąpiła przerwa trwająca ponad 5 min spowodowana alarmami, zmianą sali lub awariami platformy.
4. Traktuj zaangażowanie w klasie jako obserwowalny zespół wielu zachowań, rejestrując jednocześnie kilka wskaźników behawioralnych w każdym punkcie pomiarowym¹¹. Wskaźniki obejmują uwagę skupioną na zadaniu, partycypację werbalną, współpracę z rówieśnikami, robienie notatek lub korzystanie z urządzeń w celu realizacji zadania, rozproszenie uwagi oraz zachowania związane z poszukiwaniem pomocy.
5. Ustaw miejsca w klasie w grupach przed pierwszą obserwacją i rygorystycznie przestrzegaj tego układu miejsc przez cały 4-tygodniowy okres.
6. Umieść dwóch przeszkolonych obserwatorów w stałych lokalizacjach z pełną widocznością pomieszczenia w celu niezależnego kodowania. Jeśli nagrywanie instytucjonalne jest dozwolone i uczestnicy wyrażą zgodę, zainstaluj dwie stacjonarne kamery w tylnej części centrum oraz z boku z tyłu i zsynchronizuj je przed sesją.
7. Używaj nagrań z kamer wyłącznie do szkolenia obserwatorów, weryfikacji niezawodności i rozstrzygania problemów z widocznością; nie używaj nagrań wideo jako głównego źródła kodowania i nie przeprowadzaj analiz emocji z twarzy, emocji z głosu, analiz biometrycznych ani rozpoznawania tożsamości.

4. Kodowanie behawioralne oparte na odstępach czasowych

1. Podziel 70-minutowe okno obserwacji na następujące po sobie interwały składające się z 20-s skanowania wizualnego, po którym następuje 10-s okres rejestracji. Jeśli duży wykład, zajęcia laboratoryjne lub zajęcia online wymagają innej długości interwału, należy zgłosić dostosowaną strukturę interwałów i uzasadnić ją przed rozpoczęciem gromadzenia danych.
   UWAGA: Struktura 20-s/10-s równoważy ekologiczną obserwację w klasie z obciążeniem kodera: okres skanowania jest wystarczająco długi, aby wykryć utrzygałą uwagę, współpracę i zachowania niezwiązane z zadaniem, natomiast okres rejestracji zmniejsza obciążenie pamięci i wspiera spójne decyzje binarne.
2. Skanuj wyraźnie zdefiniowaną grupę do dziesięciu studentów na interwał w ciągłej pętli, zgodnie z układem miejsc siedzących.
3. Stosuj określone kryteria skanowania, aby zapobiec niespójności kodera spowodowanej zbyt ogólnymi definicjami operacyjnymi⁴. Podczas każdego skanowania koduj sześć binarnych wskaźników na poziomie studenta. Obejmują one: uwagę skoncentrowaną na zadaniu, uczestnictwo werbalne, współpracę z rówieśnikami, robienie notatek lub korzystanie z urządzenia w celu realizacji zadania, rozpraszanie się (zachowania niezwiązane z zadaniem) oraz zachowania poszukiwania pomocy.
4. Oznacz wskaźnik jako "1", jeśli określone zachowanie występuje w dowolnym momencie podczas 20-s skanowania. W przeciwnym razie oznacz je jako "0". Zakoduj interwał jako brakujący, jeśli student nie jest widoczny przez co najmniej 10 s skanowania.
5. Rejestruj uwagę skoncentrowaną na zadaniu, gdy student orientuje się wzrokowo w stronę instruktora, przypisanych zadań, prezentowanych informacji lub rówieśników zaangażowanych w dyskusję nad zadaniem przez co najmniej 5 kolejnych s. Koduj uczestnictwo werbalne dla każdego słyszalnego i związanego z zadaniem wkładu.
6. Koduj współpracę z rówieśnikami, gdy studenci angażują się w widoczne wymiany oparte na zadaniu, wspólne rozwiązywanie problemów lub wyjaśnienia rówieśnicze. Rejestruj robienie notatek lub korzystanie z urządzenia w celu realizacji zadania w przypadku aktywnego pisania, pisania na klawiaturze lub cyfrowej interakcji z materiałami kursu.
7. Oznacz rozpraszanie się, jeśli student angażuje się w niepowiązane rozmowy, nieakademickie korzystanie z urządzenia lub wykazuje trwały brak zaangażowania przez co najmniej 5 kolejnych s. Rejestruj poszukiwanie pomocy, gdy student wyraźnie prosi o wyjaśnienie lub pomoc instruktora lub rówieśników.
8. Oblicz tygodniowy wynik behawioralny dla każdego studenta jako całkowitą liczbę ocen dodatnich podzieloną przez wszystkie ważne oceny. Następnie wyznacz średnie 4-tygodniowe dla wszystkich sześciu wskaźników.
9. Oblicz skonsolidowany Indeks Obserwowanego Zaangażowania w Klasie (OCEI) dla studenta i w tygodniu w przy użyciu określonego modelu matematycznego: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. Utrzymuj poszukiwanie pomocy jako niezależną zmienną analityczną, ponieważ w zależności od kontekstu może ono reprezentować albo konstruktywne wyjaśnianie, albo trudności z treścią dydaktyczną¹². Schemat postępowania w badaniu znajduje się na Rysunku 1, a indeksy obserwacyjne i reguły kodowania w Tabeli 1.

5. Szkolenie obserwatorów i ocena wiarygodności

1. Przeprowadzić szkolenie obserwatorów podczas 60-minutowej sesji szkoleniowej z instrukcją obsługi oraz wykonać trzy rundy kalibracyjne przed rozpoczęciem formalnego programu.
2. Przeprowadzić pierwszą rundę kalibracyjną za pomocą kierowanego kodowania nagrania wideo z klasy spoza badania. Kolejne dwie rundy zrealizować jako niezależne kodowania różnych filmów spoza badania, a następnie przeprowadzić bezpośrednie porównania statystyczne z głównym koderem.
3. Rozpocząć formalne gromadzenie danych dopiero wtedy, gdy wartość współczynnika Kappa Cohena osiągnie lub przekroczy 0,75, a całkowita zgodność między sędziami przekroczy 85%.
4. Wdrożyć podwójnie ślepą weryfikację dryfu dla 10% wszystkich sesji oraz jednego zrandomizowanego 10-minutowego segmentu z pozostałych sesji w trakcie trwania 4-tygodniowego protokołu.
5. W przypadku spadku wartości Kappa poniżej 0,70 dla dowolnego wskaźnika, przeprowadzić rekalibrację zespołu kodującego w ciągu 72 h i ponownie zweryfikować dotknięte sesje przed zablokowaniem danych. Nieustannie przekazywać informacje zwrotne i organizować ćwiczenia kalibracyjne w celu utrzymania stabilności oceny w czasie¹³.

6. Gromadzenie i ocena ekspresji refleksyjnej

1. Poleć studentom przesłanie jednego ustrukturyzowanego tekstu refleksyjnego (100-350 słów) po każdych obserwowanych zajęciach, co wygeneruje 4 wpisy na uczestnika w ciągu 4-tygodniowego protokołu.
2. Udostępnij pytania do refleksji za pośrednictwem systemu LMS lub w formie papierowej w ciągu 2 h po obserwowanych zajęciach i zamknij okno przesyłania po 72 h. Formularz powinien zawierać pole Study ID oraz następujące trzy pytania w tej samej kolejności dla każdego studenta:
   1. Wskazanie momentów, w których czuli się najbardziej i najmniej zaangażowani podczas zajęć.
   2. Wyjaśnienie przyczyn kontekstowych, w tym trudności zadania, wiedzy wstępnej, interakcji grupowej, wyjaśnień prowadzącego lub korzystania z platformy.
   3. Opis tego, jak ich uczestnictwo wpłynęło na atmosferę w klasie i jakie działania zamierzają podjąć w przyszłości.
      UWAGA: Zachowaj wpisy krótsze niż 100 słów, ale oznacz je w bazie danych jako niskoinformacyjne. Oznacz również wpisy, w których pominięto pytanie o zaangażowanie, przyczyny kontekstowe lub przyszłe działania/wpływ społeczny, ponieważ pominięcia te wpływają na ocenę jakości refleksji i raportowanie wykonalności.
3. Wyznacz dwóch oślepionych koderów do oceny przesłanych prac pod kątem szczegółowości opisowej, głębi analitycznej, orientacji samoregulacyjnej oraz znaczenia społeczno-prospołecznego.
   1. Oceń każdy wymiar przy użyciu 4-stopniowej skali, gdzie 0 oznacza brak, 1 oznacza słabe lub niejasne dowody, 2 oznacza wyraźne, ale ograniczone dowody, a 3 oznacza silne i szczegółowe dowody. Na przykład głębia analityczna otrzymuje ocenę 0, gdy nie podano żadnego powodu, 1, gdy student stwierdza jedynie, że zajęcia były trudne, 2, gdy student wiąże trudność z konkretnym pojęciem lub warunkami w klasie, oraz 3, gdy student wyjaśnia interakcję między wiedzą uprzednią, dyskusją z rówieśnikami, informacją zwrotną od prowadzącego a planowaną strategią uczenia się. Tabela 2 oraz Plik uzupełniający 1 zawierają przykłady poziomów ocen dla wszystkich czterech wymiarów refleksyjnych.
4. Rozpocznij formalną ocenę dopiero po osiągnięciu współczynnika korelacji wewnątrzklasowej na poziomie 0,80 lub wyższym dla każdego wymiaru w tekstach pilotażowych¹⁴.
5. Przeprowadź losową podwójną ocenę 15% refleksji z badania w trakcie trwania protokołu, aby kontrolować dryf oceniającego. Oceniaj teksty refleksyjne w oparciu o te wielowymiarowe metryki jakościowe, zamiast polegać wyłącznie na długości tekstu lub częstotliwości słów.
6. Opracuj lub dostosuj rubrykę ekspresji refleksyjnej poprzez przegląd ekspercki przeprowadzony przez co najmniej dwóch badaczy edukacji i jednego prowadzącego kurs. Przetestuj rubrykę na 20 do 30 refleksjach spoza badania, popraw niejednoznaczne deskryptory i udokumentuj ostateczną wersję rubryki przed rozpoczęciem formalnego kodowania.
7. Przeprowadź kwestionariusz intencji prospołecznych przedstawiony w Pliku uzupełniającym 1. Poproś studentów o ocenę ich gotowości do pomagania kolegom z klasy, którzy napotykają trudności, dzielenia się zasobami edukacyjnymi, konstruktywnego wnoszenia wkładu w dyskusje, zachęcania rówieśników, sprawiedliwego działania podczas zadań grupowych oraz poprawy klimatu uczenia się w klasie. Użyj 5-stopniowej skali od 1 (zdecydowanie się nie zgadzam) do 5 (zdecydowanie się zgadzam). Oblicz średnią ocenę, gdy wypełniono co najmniej pięć z sześciu pozycji, i podaj alfę Cronbacha dla pomiarów wyjściowych i po zakończeniu protokołu.

7. Ekstrakcja analityki uczenia się

1. Wyznaczyć zewnętrznego administratora do wyodrębnienia danych analityki uczenia się po 4. tygodniu, aby zapobiec zanieczyszczeniu procesów obserwacji i refleksji.
2. Ustawić okno ekstrakcji od godziny 00:00 w dniu pierwszych obserwowanych zajęć do godziny 23:59 w dniu zamknięcia końcowego okna refleksji.
3. Wyodrębnić wyłącznie zdefiniowane wcześniej zmienne niezbędne do protokołu. Zebrać dane dotyczące liczby aktywnych dni na platformie, liczby wyświetleń unikalnych zasobów, proporcji otwartych przypisanych zasobów, liczby zamieszczonych odpowiedzi w dyskusjach, średniego wskaźnika ukończenia materiałów wideo oraz punktualności w oddawaniu zadań.
4. Oczyścić surowe eksporty poprzez usunięcie kont instruktorów i asystentów, duplikatów rekordów, zdarzeń testowych oraz punktów danych spoza wyznaczonego przedziału czasowego.
5. Przyjąć definicję aktywnego dnia jako dowolną datę kalendarzową zawierającą co najmniej jeden uwierzytelniony dostęp do kursu, po którym nastąpiła istotna interakcja, taka jak otwarcie plików, oglądanie filmów wideo lub zamieszczanie odpowiedzi.
6. Zliczyć unikalne otwarcia zasobów, ignorując zdarzenia powtórnego odświeżenia strony występujące w odstępie 60 s. Wyznaczyć wskaźnik ukończenia wideo poprzez ucięcie wyświetlonej części względem zaplanowanego czasu przy wartości 01:00, a następnie wyliczyć średnią dla wszystkich przypisanych elementów multimedialnych.
7. Obliczyć punktualność w oddawaniu zadań na podstawie proporcji zadań przesłanych przed wyznaczonymi terminami. Obliczyć proporcję dostępu w godzinach nocnych jako stosunek istotnych zdarzeń występujących między 00:00 a 06:00 do całkowitej liczby istotnych aktywności w okresie obserwacji. Opierać się na tych metrykach czasowych i zorientowanych na wkład, aby uzyskać pełniejsze informacje niż w przypadku prostej akumulacji logów¹⁵.
8. Zastosować zdefiniowany wcześniej schemat zarządzania danymi dla surowego eksportu z systemu zarządzania uczeniem się (LMS). Zapisać oryginalny eksport jako plik tylko do odczytu, stworzyć zanonimizowaną kopię roboczą, usunąć konta instruktorów i asystentów, usunąć zdarzenia duplikowane lub testowe oraz prowadzić dziennik przetwarzania z liczbą wierszy po każdym etapie oczyszczania.
9. Przeprowadzić oczyszczanie danych w arkuszu kalkulacyjnym lub nowszym, a analizę statystyczną w programie R w wersji 4.4.0 lub nowszej, lub w równoważnym oprogramowaniu.
   1. W arkuszu kalkulacyjnym postępować zgodnie z krokami opisanymi w punktach 7.9.1.1–7.9.1.2.
      1. Zaimportować zanonimizowane pliki CSV, korzystając z opcji Dane > Pobierz dane > Z tekstu/CSV, a następnie użyć opcji Dane > Usuń duplikaty, aby usunąć powtarzające się wiersze Study ID/znacznik czasu/zdarzenie.
      2. Zastosować Filtr, aby wykluczyć konta instruktorów lub asystentów oraz rekordy spoza okna czasowego, a następnie zapisać dziennik przetwarzania z liczbą wierszy po każdym kroku.
   2. W programie R postępować zgodnie z krokami opisanymi w punktach 7.9.2.1–7.9.2.3.
      1. Zaimportować pliki za pomocą readr::read_csv(), a rekordy tygodniowe przekształcić przy użyciu dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() oraz tidyr::pivot_wider().
      2. Obliczyć kappa Cohena za pomocą irr::kappa2(), współczynniki ICC za pomocą psych::ICC() oraz alfę Cronbacha za pomocą psych::alpha().
      3. Dopasować liniowe modele skorygowane o sekcję przy użyciu stats::lm(); stosować lme4::lmer(), gdy wymagany jest zdefiniowany wcześniej losowy punkt przecięcia dla sekcji klasy, a lme4::glmer(family = binomial) wyłącznie dla wyników binarnych. Załączyć dokładny skrypt i wersje pakietów do materiałów przesyłanych wraz z pracą.
10. Zastosować następującą powtarzalną sekwencję analizy.
    1. Obliczyć proporcje obserwacji student-tydzień, wyznaczyć OCEI korzystając ze wzoru w kroku 4.9 oraz połączyć tygodniowe wyniki refleksji według Study ID i tygodnia.
    2. Zagregować zmienne analityki uczenia się w tym samym 4-tygodniowym oknie, sprawdzić brakujące dane w zależności od źródła, obliczyć statystyki opisowe i szacunki niezawodności oraz dopasować zdefiniowane wcześniej modele asocjacyjne.
    3. Nie dodawać nieplanowanych predyktorów po przeanalizowaniu wyników, chyba że zostaną one oznaczone jako eksploracyjne.
11. (Opcjonalnie) W celu zapewnienia przejrzystości, zamieścić w publicznym repozytorium lub materiałach uzupełniających zanonimizowany skrypt analizy, książkę kodową, puste formularze kodowania, pytania do refleksji, rubrykę oceny refleksji oraz kwestionariusz prospołeczny. Nie zamieszczać identyfikowalnych surowych nagrań wideo z klasy, nazwisk, identyfikatorów instytucjonalnych ani nieocenzowanych tekstów refleksji.

8. Pomiary po zakończeniu protokołu i integracja zbiorów danych

1. Przeprowadź badanie instrumentem intencji prospołecznych po raz drugi, bezpośrednio po zakończeniu ostatniego okna refleksji.
2. Poproś studentów o ocenę swojej chęci pomagania kolegom z grupy, dzielenia się zasobami, konstruktywnego wkładu w dyskusje, zachęcania rówieśników, sprawiedliwego działania oraz poprawy klimatu uczenia się w skali od 1 (zdecydowanie się nie zgadzam) do 5 (zdecydowanie się zgadzam). Oblicz całkowity wynik po protokole dla każdej osoby, wyciągając średnią z odpowiedzi, pod warunkiem, że odpowiedzieli na co najmniej pięć z sześciu pozycji.
3. Połącz pliki z obserwacjami, wyniki refleksji oraz zapisy analityki uczenia się, korzystając z zanonimizowanego Study ID. Na podstawie tego połączenia stwórz dwa końcowe zbiory danych: główny plik na poziomie uczestnika oraz plik w formacie długim na poziomie tygodniowym.
4. Nie uzupełniaj brakujących przedziałów obserwacji wynikających z niewidoczności studenta ani brakujących tygodniowych refleksji spowodowanych ich niezłożeniem. Przed analizą oznacz częściowo wypełnione refleksje, niekompletne zmienne analityki uczenia się, refleksje o niskiej zawartości informacji oraz niedopasowane Study ID.
5. Zastosuj analizę przypadków kompletnych dla wcześniej określonych modeli asocjacyjnych, zaraportuj liczbę wykluczonych przypadków dla każdego modelu i przeprowadź analizę wrażliwości, porównując studentów włączonych i wykluczonych pod kątem dostępnych zmiennych bazowych.
6. Zachowaj intencję prospołeczną jako główną miarę wyniku, aby odzwierciedlić wspierające i kolaboracyjne postawy, które stanowią podstawę zmian strukturalnych w partycypacji studentów uniwersytetu.

9. Rozwiązywanie problemów i adaptacje protokołu

1. Jeśli dwóch obserwatorów różni się bardziej niż jednym binarnym wzorcem kategorii w obrębie tej samej grupy studentów lub jeśli współczynnik kappa Cohena spadnie poniżej 0,70 dla któregokolwiek wskaźnika, należy wstrzymać formalne punktowanie dla danej sesji, przejrzeć definicje operacyjne, przeprowadzić 10-minutowy segment rekalibracji i ponownie zakodować dotknięty interwał przed zablokowaniem danych.
2. W przypadku niekompletnych eksportów z platformy należy udokumentować brakujące pole, poprosić zewnętrznego administratora o drugi eksport i pozostawić studenta w podsumowaniach obserwacji/refleksji, wykluczając jednocześnie niedostępną zmienną analityczną z modeli wymagających tego pola.
3. Jeśli mniej niż 80% oczekiwanych refleksji zostanie przesłanych w ciągu 48 h po otwarciu zadania, należy wysłać neutralne przypomnienie do całej grupy, zapewnić wsparcie techniczne w przypadku problemów z dostępem i oddzielnie zaraportować końcową liczbę odpowiedzi przesłanych terminowo, spóźnionych oraz brakujących.
4. Jeśli ponad 10% studentów w grupie nie jest widocznych przez co najmniej połowę okna skanowania, należy zakodować dotknięte interwały jako brakujące i polegać na zapisach obserwatora na żywo, zamiast próbować wnioskować o zachowaniu z zasłoniętego obrazu wideo.
5. Jeśli student wycofa się, odmówi dalszego udziału lub zabraknie danych umożliwiających powiązanie źródeł, należy usunąć tego studenta z powiązanych modeli asocjacyjnych, ale zachować zagregowane dane dotyczące wykonalności protokołu, o ile zezwala na to zgoda komisji etycznej.
6. Jeśli wielu studentów zasygnalizuje, że dany fragment jest trudny do zrozumienia, instruktor powinien zastosować standardową reakcję pedagogiczną, taką jak krótkie ponowne wyjaśnienie, przykład rozwiązany, dyskusja rówieśnicza lub dostarczenie dodatkowych materiałów. Należy zapisać to jako zdarzenie kontekstowe, ponieważ może ono wpływać na poszukiwanie pomocy, głębokość refleksji oraz aktywność na platformie.
7. Należy dostosować wielkość grup studentów, długość interwału, polecenia do refleksji oraz zmienne analityczne do formatu instruktażowego, zachowując jednocześnie tę samą logikę predefiniowanych wskaźników behawioralnych, zanonimizowanych zapisów, niezależnego kodowania i przejrzystych zasad postępowania z brakującymi danymi.
8. Niską niezawodność, dużą liczbę brakujących danych, ograniczoną głębokość refleksji, słabą zmianę prospołeczną oraz słabą zgodność między strumieniami danych należy traktować jako informacyjne wyniki implementacji, a nie jako błędy protokołu. Należy zaraportować te wyniki i wyjaśnić, czy odzwierciedlają one kontekst klasowy, ograniczenia narzędzi czy problemy z przechwytywaniem danych.

Wyniki

Kwalifikowalność uczestników, kompletność danych i wiarygodność wyników
Do udziału zaproszono wstępną kohortę 204 studentów ze wszystkich sekcji kursu, z czego 198 osób wyraziło zgodę. Czternaście przypadków wykluczono w dalszej kolejności z powodu rezygnacji z kursu w trakcie realizacji protokołu lub niepełnego powiązania danych w zapisach z obserwacji, refleksji i platformy. W konsekwencji końcowa próba analityczna objęła 184 studentów. Charakterystyka uczestników, cotygodniowe wskaźniki ukończenia zadań oraz ogólna kompletność danych zostały szczegółowo przedstawione w Tabeli 3.

W ciągu 4-tygodniowego programu zaobserwowano 24 sesje zajęć, co pozwoliło na utworzenie zsynchronizowanego zapisu analityki uczenia się dla każdego uczestnika. Z 736 oczekiwanych raportów refleksyjnych 701 przedłożono w ciągu 72 h, 18 przedłożono z opóźnieniem, a 17 brakowało. Ostatecznie 171 studentów pomyślnie i w terminie ukończyło wszystkie cotygodniowe refleksje. Dane analityki uczenia się zostały w pełni wyodrębnione dla końcowej grupy 184 uczestników, po odfiltrowaniu kont instruktorskich, zduplikowanych wpisów oraz działań przeprowadzonych poza wyznaczonym oknem czasowym.

Kodowanie obserwacyjne pozostało wysoce stabilne przez cały okres trwania protokołu. Niezawodność między sędziami dla sześciu wskaźników behawioralnych obserwacji w klasie wykazała wartości kappa Cohena w zakresie od 0,76 do 0,84, przy czym całkowita zgodność podczas testów dryfu przekroczyła 86%. W przypadku wyników ekspresji refleksyjnej współczynniki korelacji wewnątrzklasowej (ICCs) w czterech wymiarach wahały się od 0,82 do 0,89. Tabela 4 przedstawia statystyki opisowe oraz wskaźniki niezawodności dla głównych zmiennych badania.

Obserwacja zachowań w klasie
Zaobserwowane zachowania w klasie wykazały stopniową poprawę w ciągu 4-tygodniowego protokołu. Jak pokazano na Rysunku 2, koncentracja na zadaniu, aktywność słowna oraz współpraca z rówieśnikami były znacząco wyższe w 4. tygodniu w porównaniu z pierwszymi tygodniami. Konkretnie, aktywność słowna wzrosła z 0,18 ± 0,09 w pierwszym tygodniu do 0,24 ± 0,10 w czwartym tygodniu (p < 0,05). Współpraca z rówieśnikami analogicznie wzrosła z 0,29 ± 0,11 do 0,35 ± 0,12 (p = 0,006). Koncentracja na zadaniu wykazała wysoce istotną poprawę, zmieniając się z 0,71 ± 0,12 na 0,76 ± 0,11 (p < 0,001).

Z kolei robienie notatek skupionych na zadaniu lub korzystanie z urządzeń wykazało jedynie niewielkie tygodniowe wzrosty, które nie osiągnęły istotności statystycznej (p = 0,08). Zachowania związane z poszukiwaniem pomocy pozostały na stałe niskie przez cały okres obserwacji, nie wykazując istotnego efektu czasu (p = 0,21). Rozproszenie uwagi (off-task distraction) znacząco spadło z poziomu 0,14 ± 0,08 w tygodniu 1 do 0,11 ± 0,07 w tygodniu 4 (p = 0,03). Ogólnie rzecz biorąc, złożony Obserwowany Wskaźnik Zaangażowania w Klasie (Observed Classroom Engagement Index) wzrósł znacząco z 0,52 ± 0,10 w pierwszym tygodniu do 0,58 ± 0,11 w ostatnim tygodniu (p < 0,001).

Wyrażenia refleksyjne w ramach 4-tygodniowego protokołu
Wyrażenia refleksyjne ewoluowały w okresie badania, choć skala zmian była zróżnicowana w zależności od ich wymiarów składowych. Jak pokazano na Rysunku 3, całkowity wynik refleksji wzrósł z Tygodnia 1 do 7,2 ± 1,9 w Tygodniu 4 (p < 0,001).

Głębokość analityczna była zauważalnie większa pod koniec 4. tygodnia w porównaniu do pierwszych dwóch tygodni (p < 0,001). Podobnie znaczenie społeczno-prospołeczne wzrosło z 1,08 ± 0,55 do 1,54 ± 0,60 (p < 0,001), a orientacja samoregulacyjna zwiększyła się z 1,42 ± 0,63 do 1,69 ± 0,65 (p < 0,05). W przeciwieństwie do tego, swoistość opisowa wykazała lekki trend wzrostowy, z 2,14 ± 0,57 do 2,24 ± 0,55, co nie było istotne statystycznie (p = 0,09).

Przesłane prace miały średnią długość od 223 do 231 słów na wpis w całym protokole. Z 736 oczekiwanych raportów refleksyjnych 18 przesłano z opóźnieniem, a 17 brakowało; w bazie danych oznaczono wpisy o niskiej zawartości informacji oraz odpowiedzi, w których pominięto prompt dotyczący przyczyny kontekstowej lub przyszłych działań/wpływu społecznego. Przypadki te zachowano jako wskaźniki wykonalności i wykluczono jedynie z modeli jakości refleksji dla konkretnych tygodni, gdy nie można było przypisać odpowiedniej oceny.

Wzorce analityki uczenia się w oknie badania
Metryki aktywności na platformie wykazały znaczną zmienność międzyosobniczą w ciągu 4-tygodniowego okna, co przedstawiono na Rysunku 4.

W całym badanym okresie studenci spędzili średnio 9,7 ± 2,4 aktywnych dni na platformie. Średnia liczba wyświetleń poszczególnych zasobów wyniosła 27,3 ± 8,6, przy czym studenci otwierali średnio 0,81 ± 0,14 z przypisanych materiałów. Ponadto średnia liczba odpowiedzi w dyskusjach wyniosła 4,8 ± 2,7. Średnia terminowość oddawania zadań oraz średni wskaźnik ukończenia filmów wyniosły odpowiednio 0,86 ± 0,18 i 0,79 ± 0,17. Udział dostępów do platformy w godzinach nocnych wyniósł średnio 0,12 ± 0,09.

Warto zauważyć, że odpowiedzi w dyskusjach oraz terminowość w oddawaniu zadań wykazały silniejsze korelacje dodatnie z innymi wskaźnikami partycypacji, pomimo szerokiego rozkładu wyników dotyczących punktualności.

Krosasocjacja obserwacji, refleksji i danych o uczeniu się
Trzy źródła danych wykazały znaczące, choć niejednorodne powiązania. Jak pokazano na Rysunku 5, studenci z wyższymi wskaźnikami zaobserwowanego zaangażowania w klasie mieli tendencję do uzyskiwania wyższych całkowitych wyników refleksji. W modelu skorygowanym o sekcję zaobserwowane zaangażowanie w klasie pozytywnie korelowało z całkowitym wynikiem refleksji (β = 0.34, p < 0.001).

Spośród zmiennych analityki uczenia się, odpowiedzi w dyskusjach oraz terminowość oddawania zadań były istotnie i pozytywnie skorelowane z jakością refleksji. Jak szczegółowo wskazano w Tabeli 5, odpowiedzi w dyskusjach pozytywnie przewidywały całkowitą ocenę refleksji (β = 0.19, p = 0.013), podobnie jak terminowość oddawania zadań (β = 0.17, p = 0.028). Chociaż surowa liczba wyświetleń zasobów oraz proporcja otwartych przypisanych zasobów wykazywały początkowo pozytywne powiązania, korelacje te uległy znacznemu osłabieniu po skorygowaniu o zmienne zakłócające. Proporcja dostępu w godzinach nocnych nie wykazała istotnego związku z całkowitą oceną refleksji (p = 0.18).

Dane ujawniły również słabe korelacje krzyżowe między obserwowanym zachowaniem w klasie a konkretnymi aktywnościami na platformie; na przykład liczba wyświetleń surowych zasobów korelowała jedynie w niewielkim stopniu z Observed Classroom Engagement Index. Ponadto studenci, którzy częściej brali udział w dyskusjach grupowych, wykazywali wyższy poziom komunikacji werbalnej, natomiast osoby o lepszej regulacji behawioralnej rzadziej zwlekały z przesyłaniem zadań.

Zmiany w intencji prospołecznej
Intencja prospołeczna wykazała znaczący wzrost od poziomu wyjściowego do badania końcowego. Średni wynik intencji prospołecznej wzrósł z 3,61 ± 0,53 w punkcie wyjściowym do 3,84 ± 0,50 po zastosowaniu 4-tygodniowego protokołu (p < 0,001). Rysunek 6 ilustruje rozkład parzysty oraz skorygowane powiązania.

W ostatecznym modelu skorygowanym wyższy Wskaźnik Obserwowanego Zaangażowania w Klasie (Observed Classroom Engagement Index) korelował z większym wzrostem prospołecznych intencji po zastosowaniu protokołu w stosunku do wyniku bazowego (β = 0.21, p < 0.05). spośród wymiarów refleksyjnych, znaczenie społeczno-prospołeczne wywarło najsilniejszy niezależny wpływ na prospołeczne intencje po protokole (β = 0.29, p < 0.001). Chociaż partycypacja werbalna wykazała pozytywną nieskorygowaną korelację z wynikami prospołecznymi w teście końcowym, powiązanie to utraciło istotność statystyczną po uwzględnieniu wartości bazowych (p = 0.09). Wreszcie, częstotliwość korzystania z dostępu w późnych godzinach nocnych pozostała niezwiązana z prospołecznymi intencjami po protokole (p = 0.27).

Zaobserwowane ograniczenia wdrożeniowe i wyniki nieistotne
Zrealizowane badanie przyniosło kilka suboptymalnych, lecz informacyjnych wyników, zamiast błędów wymuszających przerwanie protokołu. Żadna z obserwowanych sesji nie wymagała wykluczenia z powodu wartości kappa obserwatora poniżej 0.70, żadne pole analityki uczenia się nie pozostało niedostępne po końcowym eksporcie, a żaden problem z widocznością nie przekroczył wcześniej określonego progu brakujących danych. Zaobserwowane ograniczenia koncentrowały się na kompletności refleksji oraz w nieistotnych lub marginalnych wynikach behawioralnych: 18 refleksji przesłano z opóźnieniem, 17 oczekiwanych refleksji brakowało, robienie notatek skoncentrowane na zadaniu/używanie urządzeń wykazało jedynie marginalny wzrost (p = 0.08), poszukiwanie pomocy nie wykazało istotnego efektu czasu (p = 0.21), a dostęp w późnych godzinach nocnych nie był powiązany z całkowitą punktacją refleksji ani z prospołeczną intencją po zakończeniu protokołu.

Wyniki te zachowano, ponieważ opisują one wykonalność wdrożenia oraz warunki brzegowe protokołu. Spóźnione lub brakujące refleksje zostały odnotowane w podsumowaniach przepływu uczestników i kompletności danych; powiązania marginalne lub zerowe zostały zaraportowane bez selektywnego pomijania; a procedury rozwiązywania problemów w sekcji Protokołu określają, w jaki sposób w przyszłych wdrożeniach należy postępować w przypadku hipotetycznych błędów, takich jak dryft obserwatora, ograniczona widoczność lub brakujące pola w systemie LMS.

Zanonimizowane pliki z analizami, słownik danych, skrypty analizy, puste formularze kodowania, pytania do refleksji, rubrykę oceny refleksji oraz kwestionariusz intencji prospołecznych udostępniono w serwisie Zenodo: https://zenodo.org/records/20607517. Surowe nagrania wideo z klas zawierające dane identyfikacyjne, nazwiska, identyfikatory instytucjonalne oraz nieocenzurowane teksty refleksji nie zostały upublicznione.

Rycina 1: Schemat badania i protokół integracji danych z wielu źródeł. (A) Rekrutacja uczestników, gromadzenie zgód oraz przydzielanie identyfikatorów badania w ramach dwóch kursów licencjackich i sześciu sekcji klasowych. (B) 4-tygodniowy cykl zbierania danych: cotygodniowe obserwacje w klasie, zadanie polegające na pisaniu refleksyjnym oraz zsynchronizowane okno przechwytywania analityki uczenia się. (C) Trzy równoległe strumienie danych: obserwacje behawioralne w klasie, punktacja wypowiedzi refleksyjnych oraz zanonimizowane rekordy z platformy edukacyjnej. (D) Konstrukcja głównego zbioru danych na poziomie uczestnika oraz bazy danych w formacie długim na poziomie tygodnia, co pozwoliło uzyskać podstawowe wyniki badań: indeks zaangażowania w klasie, wynik refleksji oraz intencje prospołeczne. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 2: Tygodniowe zmiany w obserwowanym zachowaniu w klasie podczas 4-tygodniowego protokołu. (A) Uwaga skupiona na zadaniu. (B) Udział werbalny. (C) Współpraca z rówieśnikami. (D) Robienie notatek związanych z zadaniem lub korzystanie z urządzenia w celu realizacji zadania. (E) Rozproszenie uwagi. (F) Poszukiwanie pomocy. Wartości stanowią tygodniowe wyniki proporcji na poziomie ucznia, uzyskane z obserwacji w klasie opartych na interwałach. Punkty wskazują średnie tygodniowe, a słupki błędów wskazują odchylenia standardowe. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 3: Tygodniowe zmiany w ekspresji refleksyjnej w czterech przesyłanych pracach refleksyjnych. (A) Specyficzność opisowa. (B) Głębokość analityczna. (C) Orientacja samoregulacyjna. (D) Znaczenie społeczne i prospołeczne. (E) Całkowity wynik refleksji. Wyniki refleksji zostały przypisane przez dwóch oślepych koderów przy użyciu wcześniej określonego rubrykowania. Punkty wskazują średnie tygodniowe, a słupki błędów wskazują odchylenia standardowe. Proszę kliknąć tutaj, aby wyświetlić większą wersję tego rysunku.

Rysunek 4: Rozkład wskaźników analityki uczenia się podczas 4-tygodniowego okna badania. (A) Aktywne dni na platformie edukacyjnej. (B) Wyświetlenia zasobów. (C) Udział otwartych przypisanych zasobów. (D) Wysłane odpowiedzi w dyskusjach. (E) Średni wskaźnik ukończenia filmów. (F) Terminowość oddawania zadań. (G) Udział dostępu w godzinach nocnych. Wszystkie wartości obliczono dla tego samego 4-tygodniowego okna, które wykorzystano do obserwacji w klasie i pisania refleksyjnego. Wykresy skrzypcowe przedstawiają rozkłady na poziomie studentów, a wykresy pudełkowe wskazują mediany oraz zakresy międzykwartylne. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 5: Zależności między obserwowanym zaangażowaniem w klasie, ekspresją refleksyjną a wybranymi wskaźnikami analityki uczenia się. (A) Zależność między Wskaźnikiem Obserwowanego Zaangażowania w Klasie a całkowitą punktacją refleksji. (B) Zależność między liczbą opublikowanych odpowiedzi w dyskusjach a całkowitą punktacją refleksji. (C) Zależność między terminowością oddawania zadań a całkowitą punktacją refleksji. (D) Zależność między partycypacją werbalną a całkowitą punktacją refleksji. Linie trendu reprezentują dopasowane zależności liniowe; zacienione obszary wskazują 95% przedziały ufności. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 6: Zmiana intencji prospołecznych oraz ich związki z zaangażowaniem w klasie i znaczeniem refleksyjnym. (A) Sparowany rozkład wyników intencji prospołecznych w punkcie wyjściowym i po zakończeniu protokołu. Linie łączą sparowane wyniki przed i po interwencji tego samego ucznia. (B) Związek między Observed Classroom Engagement Index a intencjami prospołecznymi po zakończeniu protokołu po skorygowaniu o wynik wyjściowy. (C) Związek między znaczeniem społeczno-prospołecznym a intencjami prospołecznymi po zakończeniu protokołu. (D) Związek między partycypacją werbalną a intencjami prospołecznymi po zakończeniu protokołu. Zacieniowane pasy na panelach B-D oznaczają 95% przedziały ufności. Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Tabela 1: Wskaźniki obserwacji klasowej na poziomie ucznia i zasady kodowania.Tabela szczegółowo opisuje definicje operacyjne i kryteria kodowania dla uwagi skoncentrowanej na zadaniu, partycypacji werbalnej, współpracy rówieśniczej, robienia notatek lub korzystania z urządzenia w celu realizacji zadania, rozproszenia uwagi oraz poszukiwania pomocy. 70-minutowe okno kodowania, cykl skanowania 20 s/rejestracji 10 s, procedura skanowania grupowego, zasada braku widoczności oraz formuła OCEI zostały opisane w sekcji Protokół. Kliknij tutaj, aby pobrać tę tabelę.

Tabela 2: Ramy punktacji ekspresji refleksyjnej, przykłady poziomów punktowych i definicje zmiennych analityki uczenia się. Tabela przedstawia rubrykę punktacji dla tekstów refleksyjnych, w tym przykłady ocen 0, 1, 2 i 3 dla każdego wymiaru refleksji oraz definicje operacyjne dla wyekstrahowanych zmiennych analityki uczenia się. Komponenty refleksyjne obejmują specyfikę opisową, głębię analityczną, orientację samoregulacyjną, znaczenie społeczne i prospołeczne, całkowitą punktację refleksji, liczbę słów oraz status przesłania. Analityka uczenia się obejmuje liczbę aktywnych dni, wyświetlenia zasobów, proporcję otwartych przypisanych zasobów, opublikowane odpowiedzi w dyskusjach, średnią stopę ukończenia filmów, punktualność w oddawaniu zadań oraz proporcję dostępu w godzinach nocnych. Proszę kliknąć tutaj, aby pobrać tę tabelę.

Tabela 3: Charakterystyka uczestników, przepływ włączeń i kompletność danych.Tabela podsumowuje kwalifikowalność uczestników, wskaźniki wyrażenia zgody, kryteria wykluczenia, ostateczną wielkość próby oraz kompletność danych w trzech źródłach danych. Przedstawia ona podstawowe cechy demograficzne wraz z oczekiwanymi wpisami refleksyjnymi, terminowymi zgłoszeniami, zgłoszeniami spóźnionymi, brakującymi refleksjami oraz pomyślnymi ekstrakcjami analityki uczenia się. Wartości przedstawiono jako n (%), chyba że wskazano inaczej. Zaokrąglenia mogą spowodować, że sumy procentowe nie będą wynosić dokładnie 100%. Zgodnie z protokołem, spóźnione refleksje są archiwizowane, ale wykluczane z analiz refleksji specyficznych dla danego tygodnia. Kompletna ekstrakcja analityki uczenia się oznacza pomyślne pobranie zanonimizowanych rekordów z okna badania po usunięciu kont instruktorskich, zduplikowanych wpisów oraz zdarzeń spoza okna czasowego. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Tabela 4: Statystyki opisowe i wyniki rzetelności testów dla głównych zmiennych badania. Tabela przedstawia wartości średnie dla poszczególnych tygodni, odchylenia standardowe oraz indeksy rzetelności dla obserwowanego zachowania w klasie, ekspresji refleksyjnej, analityki uczenia się oraz intencji prospołecznych. Rzetelność danych z obserwacji w klasie została oceniona przy użyciu kappa Cohena. Rzetelność punktacji refleksji przedstawiono jako współczynniki korelacji wewnątrzklasowej (ICCs) dla tekstów ocenianych dwukrotnie. Spójność wewnętrzna pomiaru intencji prospołecznych została raportowana przy użyciu α Cronbacha. Zmienne analityki uczenia się zostały obliczone dla tego samego 4-tygodniowego okresu, który wykorzystano do obserwacji i refleksji. Kliknij tutaj, aby pobrać tę tabelę.

Tabela 5: Wielowymiarowe powiązania między obserwowanym zaangażowaniem w klasie, refleksyjną ekspresją, analityką uczenia się a intencją prospołeczną. Tabela szczegółowo opisuje modele wnioskowania wykorzystane w głównych analizach. Przedstawiono wielowymiarowe predyktory całkowitego wyniku refleksji, skorygowane predyktory intencji prospołecznej po protokole (z kontrolą poziomów wyjściowych) oraz wybrane nieskorygowane powiązania. Wartości β reprezentują niesstandaryzowane współczynniki regresji. Wszystkie modele wielowymiarowe zostały skorygowane o sekcję klasową. Dla wszystkich szacunków podano błędy standardowe (SE), 95% przedziały ufności (CI) oraz wartości p. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Dyskusja

Niniejsze badanie proponuje praktyczny protokół integrujący obserwację behawioralną, pisanie refleksyjne oraz analitykę uczenia się w celu kompleksowego zbadania uczestnictwa, autoekspresji i świadomości prospołecznej studentów uniwersytetu w ramach jednego okna instruktażowego. Poprzez uchwycenie różnych wymiarów zaangażowania, to podejście trimodalne odpowiada na niedawne krytyki w badaniach nad szkolnictwem wyższym, według których metryki czasu użytkowania i monitorowanie oparte na czujnikach są niewystarczające, gdy są oceniane w izolacji¹. W trakcie 4-tygodniowego protokołu widoczne zaangażowanie w klasie uległo znacznej poprawie. W szczególności wzrosła partycypacja werbalna i współpraca z rówieśnikami wraz z uwagą skupioną na zadaniu, podczas gdy poszukiwanie pomocy i robienie notatek ukierunkowanych na zadanie wykazały minimalną zmianę. Te przesunięcia behawioralne wskazują, że w miarę aklimatyzacji studentów do środowiska instruktażowego, ich zaangażowanie ewoluuje w kierunku bardziej strategicznego, interaktywnego społecznie i zorientowanego na wkład uczestnictwa¹⁶.

Z perspektywy skoncentrowanej na metodologii wartość protokołu zależy od zdyscyplinowanej implementacji, a nie od obserwacji jednolicie pozytywnych wyników. Zrewidowany schemat postępowania kładzie zatem nacisk na uprzednio określony wzór OCEI, niezależną obserwację, udokumentowane przetwarzanie programowe, przykłady z rubryk oceny, progi niezawodności oraz wyraźne zasady postępowania z brakującymi danymi. Uzupełnienia te mają na celu zapewnienie odtwarzalności protokołu w zwykłych warunkach klasowych, w których zapisy platformy, obecność uczniów, widoczność kamery i jakość refleksji są niedoskonałe.

Protokół należy również interpretować jako wrażliwy na format zajęć. W przypadku dużych wykładów obserwatorzy mogą potrzebować mniejszych, rotujących klastrów oraz dłuższego okresu kalibracji; w zajęciach online obserwacja behawioralna może opierać się na logach interakcji i widocznej aktywności zamiast na skanowaniu pomieszczenia; w laboratoriach zachowania związane z bezpieczeństwem mogą wymagać dodatkowego wskaźnika; natomiast w klasach zróżnicowanych kulturowo polecenia do refleksji i elementy dotyczące intencji prospołecznych powinny zostać zweryfikowane pod kątem jasności językowej i odpowiedniości kulturowej przed zastosowaniem.

Pisanie refleksyjne zapewnia dodatkową warstwę wglądu w te wzorce behawioralne. Sumaryczne wyniki refleksji wykazały stałą tendencję wzrostową w trakcie trwania protokołu, przy czym najbardziej wyraźne poprawy odnotowano w zakresie głębi analitycznej oraz znaczenia społeczno-prospołecznego. Zamiast jedynie relacjonować zdarzenia z sali lekcyjnej, studenci wykazali rosnącą zdolność do analizowania sytuacji dydaktycznych z szerszej, bardziej świadomej społecznie perspektywy. Jest to zgodne z niedawnymi ustaleniami, według których powtarzalne, ustrukturyzowane zadania refleksyjne sprzyjają nadawaniu znaczeń wyższego rzędu i dyskursowi opartemu na wiedzy, nawet gdy objętość tekstu na poziomie powierzchownym pozostaje stosunkowo stała⁹. W konsekwencji pisanie refleksyjne w szkolnictwie wyższym najlepiej rozumieć jako konstrukt wielowymiarowy, w którym umiejętności związane z interpretacją, transferem i projekcją samoregulacyjną rozwijają się w różnym tempie w czasie⁵.

Integracja analityki uczenia się dodatkowo uzasadnia konieczność zastosowania protokołu wieloźródłowego. Działania merytoryczne, takie jak odpowiedzi w dyskusjach i terminowość oddawania zadań, okazały się znacznie bardziej informatywnymi wskaźnikami zaangażowania niż surowa objętość aktywności. Z kolei dostęp do platformy w godzinach nocnych nie wykazał istotnego związku ani z jakością refleksji, ani z intencją prospołeczną. Wyniki te potwierdzają wcześniejsze badania ostrzegające przed nadmiernym poleganiem na prostych metrykach częstotliwości lub logowań w celu oceny zaangażowania studentów⁴. Nasze wyniki sugerują, że studenci, którzy w konstruktywny sposób wchodzą w interakcję z materiałami kursu, rozwijają większą zdolność do refleksji; jednak podstawowa aktywność na platformie nie odzwierciedla w pełni obserwowalnego zaangażowania w sali wykładowej. Umiarkowana zbieżność — a nie nadmierna redundancja — pomiędzy obserwacją, refleksją a analityką potwierdza zatem zasadność stosowania złożonych strategii pomiarowych zamiast niezależnych wniosków wyciąganych z pojedynczego źródła¹⁷.

Wtórnym wkładem niniejszych badań jest rozszerzenie ocenianych rezultatów poza standardowe wskaźniki uczestnictwa. Intencja prospołeczna wykazała mierzalny wzrost między testem wstępnym a końcowym, wykazując najsilniejsze powiązania wśród studentów, którzy w swoich refleksjach formułowali motywy społeczno-prospołeczne i utrzymywali rozbudowany profil interakcji. Jest to spójne z aktualnymi badaniami nad szkolnictwem wyższym, które zakładają, że cechy kooperacyjne i zorientowane na wkład są integralną częścią interakcji w klasie, a nie jedynie efektami ubocznymi⁸. Ponadto wyniki te wspierają koncepcję klas jako złożonych systemów społecznych. Gdy studenci aktywnie oceniają swój relatywny wkład w społeczność uczącą się, ich zachowanie ma tendencję do zmiany z podstawowego posłuszeństwa w kierunku konstruktywnego, prospołecznego zaangażowania¹⁸.

Wnioski te dostarczają praktycznych wskazówek dla projektowania pedagogicznego. Zaproponowany protokół nie wymaga specjalistycznych czujników ani inwazyjnych systemów monitorowania. Opierając się wyłącznie na obserwacjach interwałowych, cotygodniowych ustrukturyzowanych refleksjach oraz standardowych danych z platformy kursowej, zestawienie to stanowi wysoce wykonalne rozwiązanie dla środowisk nauczania na poziomie studiów licencjackich, które wymagają przejrzystych, formatywnych dowodów zaangażowania, lecz nie dysponują zaawansowaną infrastrukturą technologiczną. Niedawne ramy pedagogiczne kładące nacisk na wspólnoty uczące się i nauczanie oparte na tworzeniu wartości sugerują, że redefinicja roli studentów jako aktywnych współtwórców, a nie pasywnych odbiorców, nadaje uczestnictwu w szkolnictwie wyższym głębszy sens¹⁹. Nasze znalezisko empiryczne, wskazujące na silną korelację wskaźników związanych z wkładem merytorycznym z jakością refleksji i intencjami prospołecznymi — znacznie silniejszą niż w przypadku zwykłego ruchu na platformie — stanowi mocne wsparcie dla tej zmiany pedagogicznej.

Należy uznać kilka ograniczeń. Po pierwsze, ponieważ protokół został opracowany dla ograniczonej liczby sekcji zajęć, jego przeniesienie do środowisk opartych na laboratoriach, z dominującym charakterem wykładowym, w pełni asynchronicznym trybie online lub w środowiskach zróżnicowanych kulturowo wymaga zaplanowanej adaptacji i ponownego badania niezawodności. Po drugie, intencje prospołeczne są mierzone za pomocą samoopisów i powinny być interpretowane jako deklarowane intencje, a nie bezpośrednia obiektywna prawda behawioralna. Po trzecie, analityka uczenia się rejestruje aktywność pośredniczoną przez platformę i może pomijać przygotowania offline, nieformalne wsparcie rówieśnicze oraz naukę wspomaganą przez AI, która nie została ujawniona. Po czwarte, 4-tygodniowe okno obserwacyjne pozwala zidentyfikować krótkoterminowe wzorce wdrażania, ale może nie uchwycić dłuższych trajektorii rozwojowych. Wreszcie, reprezentatywne wartości z okresu 4 tygodni należy interpretować jako dowody wdrażania specyficzne dla danego kontekstu, a nie jako uogólnialne szacunki przyczynowe²⁰.

Przyszłe badania powinny rozszerzyć ten model w kilku kierunkach. Kluczowym kolejnym krokiem jest replikacja protokołu w różnych dyscyplinach akademickich i formach nauczania. Ponadto konieczne są badania podłużne, aby ustalić, czy te krótkoterminowe praktyki refleksyjne generują trwałe postawy prospołeczne lub długofalowe korzyści behawioralne. W kolejnych badaniach można by również porównać ten model obserwacyjny z alternatywnymi metodologiami, takimi jak ocena koleżeńska, analiza artefaktów na poziomie grupy lub analiza sekwencji zdarzeń. Niemniej jednak, w obecnej formie protokół ten zapewnia solidny, operacyjny mechanizm triangulacji tego, co studenci robią w klasie, jak interpretują te działaniae po czasie oraz jak sytuują się społecznie w szerszym środowisku uczenia się.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Arkusz kodowania obserwacji klasowych	Własny	Sześć binarnych wskaźników behawioralnych	Kodowanie interwałowe uwagi skoncentrowanej na zadaniu, partycypacji werbalnej, współpracy z rówieśnikami, robienia notatek/korzystania z urządzeń w celu realizacji zadania, rozproszenia uwagi oraz poszukiwania pomocy.
GraphPad Prism	Graphpad	Wersja 10.2.3	Tworzenie schematów przebiegu pracy, wykresów trendów tygodniowych, wykresów rozkładu i rysunków asocjacyjnych.
Instytucjonalny system zarządzania nauczaniem / platforma kursowa	Uniwersytet goszczący	Istniejący instytucjonalny system kont LMS	Gromadzenie zanonimizowanych analityk uczenia się.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Tworzenie schematów przebiegu pracy, wykresów trendów tygodniowych, wykresów rozkładu i rysunków asocjacyjnych.
R	R Foundation		ggplot2 3.5.1
Oprogramowanie arkusza kalkulacyjnego	Microsoft Corporation	Microsoft Excel 365 v2402	Wprowadzanie danych, oczyszczanie, sprawdzanie anonimizacji oraz scalanie zbiorów danych z obserwacji, refleksji i analityki.
SPSS Statistics	IBM Corp	Wersja 26.0	Oprogramowanie do analizy statystycznej; statystyka opisowa, porównania z powtarzanymi pomiarami, kappa Cohena, ICC, alfa Cronbacha, korelacje i modele regresji.