Ocena zaangażowania studentów w zajęcia, ekspresji refleksyjnej i intencji prospołecznych z wykorzystaniem obserwacji behawioralnej i analityki uczenia się

Podsumowanie

Niniejszy protokół integruje obserwację zajęć, pisanie refleksyjne, pomiar intencji prospołecznych oraz analitykę uczenia się w celu oceny zaangażowania behawioralnego, ekspresji refleksyjnej i społecznie zorientowanych efektów uczenia się studentów uniwersyteckich w ciągu 4-tygodniowego okna instruktażowego. Określa on kwestie zgody etycznej, zawartość narzędzi, przepływ pracy w oprogramowaniu, sposób postępowania z brakującymi danymi, procedury rozwiązywania problemów oraz interpretację reprezentatywnych wyników, w tym zaobserwowane ograniczenia w implementacji.

Streszczenie

Aby odpowiedzieć na potrzebę wielowymiarowej oceny zaangażowania studentów wykraczającej poza tradycyjne wskaźniki, niniejszy protokół opisuje ustrukturyzowane podejście do oceny zaangażowania w klasie, ekspresji refleksyjnej, aktywności w analityce uczenia się oraz intencji prospołecznych w kursach na poziomie studiów licencjackich. Protokół łączy behawioralną obserwację opartą na interwałach, cotygodniowe ustrukturyzowane pisanie refleksyjne, zanonimizowane zapisy z systemu zarządzania uczeniem się oraz kwestionariusz intencji prospołecznych przed i po badaniu. Zrewidowane procedury zapewniają reprodukowalny model kodowania behawioralnego, rubrykę ekspresji refleksyjnej z przykładami punktacji, kroki dotyczące oprogramowania i zarządzania danymi, a także wyraźne wytyczne w rozwiązywaniu problemów w przypadku rozbieżności między obserwatorami, brakujących zapisów z platformy, niskiego wskaźnika przesyłania refleksji, słabej widoczności z kamery, rezygnacji uczestników oraz niespójnej wiedzy wstępnej. Protokół ten należy stosować, gdy badacze potrzebują mało inwazyjnego, reprodukowalnego sposobu na połączenie rzeczywistych zachowań w klasie, samointerpretacji studentów i rutynowej aktywności w systemie zarządzania uczeniem się (LMS) podczas zajęć na poziomie studiów licencjackich. Jest on mniej odpowiedni dla kursów w pełni asynchronicznych bez obserwowalnych interakcji, w środowiskach zabraniających niezależnej obserwacji lub łączenia rekordów, a także w badaniach wymagających biometrycznych wnioskowania lub rozpoznawania emocji. Reprezentatywne wyniki przedstawiono z przeprowadzonej aplikacji empirycznej po uzyskaniu zweryfikowanej zgody etycznej, zanonimizowaniu zapisów z kursu i przygotowaniu repozytorium.

Wprowadzenie

Ocena uczestnictwa studentów w szkolnictwie wyższym wymaga kompleksowego podejścia opartego na wielu źródłach. Choć zaangażowanie studentów jest powszechnie konceptualizowane jako konstrukt wielowymiarowy, obejmujący obserwowalne zachowania, wysiłek poznawczy oraz interakcję z otoczeniem, obecne podejścia analityczne opierają się głównie na powierzchownych danych z logów, takich jak częstotliwość logowań i rejestrowane przez system działania¹. Nadmierne poleganie na tych danych stanowi istotne wyzwanie dla praktycznych badań prowadzonych w salach wykładowych. Najważniejsze formy uczestnictwa w procesie dydaktycznym — bezpośrednie interakcje z rówieśnikami, refleksja poznawcza oraz wkład społeczny — często odbywają się całkowicie poza ograniczonym zakresem widoczności platformy².

Złożoność współczesnej sali wykładowej na uniwersytecie wzrosła wraz z przyjęciem hybrydowych modeli pedagogicznych, łączących platformy cyfrowe z tradycyjnymi zajęciami stacjonarnymi. Choć systematyczne przeglądy analityki uczenia się potwierdzają, że ślady cyfrowe dostarczają cennych informacji na temat alokacji czasu, wzorców dostępu i wskaźników długoterminowego zapamiętywania, same te metryki nie pozwalają rozstrzygnąć, czy uwaga uczącego się jest faktycznie efektywna lub znacząca³. W związku z tym w aktualnej literaturze przedmiotu postuluje się oparcie analityki uczenia się na silniejszych ramach teoretycznych poprzez zestawienie śladów cyfrowych z bardziej rozbudowanymi, zależnymi od kontekstu miarami partycypacji, takimi jak zachowanie w klasie oraz działania refleksyjne⁴.

Pisanie refleksyjne nadaje tej ocenie kluczowy wymiar jakościowy. Ustrukturyzowane refleksje po zajęciach oraz dzienniki pozwalają uchwycić interpretacje działań edukacyjnych przez studentów, wyjaśnić trudności w nauczaniu i powiązać treść teoretyczną z późniejszymi działaniami praktycznymi. Niedawne dowody empiryczne conceptualizują ekspresję refleksyjną jako zintegrowany, wieloskładnikowy konstrukt obejmujący przypominanie opisowe, wnioskowanie analityczne, reprezentację autoreferencyjną oraz generalizację znaczeń⁵. Ponadto badania wskazują, że zapewnienie studentom powtarzalnego wsparcia w refleksji stopniowo wzmacnia ich zdolność do introspekcji; wraz ze wzrostem częstotliwości ustrukturyzowanej refleksji w trakcie kursu, równolegle poprawiają się niezależne umiejętności eksploracyjne studentów⁶.

Drugą istotną luką w obecnych badaniach nad zaangażowaniem jest częsta marginalizacja socjalizacji w klasie. Podczas gdy istniejące studia kładą silny nacisk na indywidualne zachowanie lub poznanie, sale wykładowe na uniwersytetach funkcjonują jako immanentnie społeczne środowiska uczenia się, w których studenci wpływają na siebie nawzajem poprzez współpracę i responsywne interakcje. Pojawiające się dowody wykazują, że klimat w klasie oraz struktury uczestnictwa silnie korelują z zachowaniami prospołecznymi i nastawieniem zorientowanym na wkład — wynikami, które pozostają niedostatecznie zbadane w porównaniu z tradycyjnymi miernikami osiągnięć akademickich lub satysfakcji studentów. Zachowania prospołeczne w środowisku akademickim nie są jedynie produktem ubocznym stanów emocjonalnych lub stresu; odnoszą się one raczej fundamentalnie do tego, jak studenci sytuują się w ramach zbiorowych działań edukacyjnych⁷. Zatem pomiar intencji prospołecznych służy jako odpowiednie narzędzie do określenia, czy zaangażowanie w klasie wykracza poza odizolowane wykonywanie zadań, aby wspierać zachowania kooperacyjne i motywujące poza bezpośrednim środowiskiem instruktażowym⁸.

Te rozwinięcia koncepcyjne podkreślają konieczność zastosowania zintegrowanego systemu gromadzenia dowodów w ramach jednego okna instruktażowego. Projekt wieloźródłowy ogranicza niedociągnięcia wynikające z polegania na pojedynczym wskaźniku, umożliwiając wzajemną walidację różnych form uczestnictwa oraz ujawniając, w jaki sposób studenci interpretują swoje działania po zajęciach, aby wspierać samodzielną naukę⁹. Podczas gdy oceny refleksyjne oddają wewnętrzny stan poznawczy ucznia, powiązanie tych samoopisów z obiektywnymi śladami behawioralnymi znacząco zwiększa interpretowalność danych o nauce. Obecnie zauważalny jest brak praktycznych, gotowych do zastosowania w klasie protokołów, które w sposób spójny syntetyzowałyby systematyczną obserwację behawioralną, ustrukturyzowaną sprawozdawczość refleksyjną oraz analitykę uczenia się w celu rutynowego wdrożenia na uczelniach.

Aby wyeliminować te niedociągnięcia metodologiczne, w niniejszej pracy przedstawiono protokół ewaluacyjny zaprojektowany do jednoczesnego pomiaru zaangażowania studentów w zajęcia, ekspresji refleksyjnej oraz intencji prospołecznych. Protokół opracowany specjalnie dla środowiska studiów licencjackich oferuje usprawnioną metodologię, która wymaga minimalnego nakładu administracyjnego bez utraty powtarzalności naukowej. Poprzez wypełnienie luki analitycznej między obserwowalnymi zachowaniami, artykułowanym doświadczeniem własnym a zorientowanymi społecznie efektami uczenia się, ramy te odpowiadają na rosnące zapotrzebowanie na większą jasność pojęciową w badaniach nad interakcją człowiek-technologia w środowiskach edukacyjnych¹⁰.

Protokół

Wszystkie metody z udziałem ludzi zostały przeprowadzone zgodnie z Deklaracją Helsińską oraz odpowiednimi wytycznymi instytucjonalnymi. W przypadku przeprowadzonego badania protokół został zatwierdzony przez Komisję Etyki Nanchang Institute of Technology przed rozpoczęciem rekrutacji (numer zatwierdzenia: NITE778291). Od każdego uczestniczącego studenta uzyskano pisemną świadomą zgodę. Do analizy wykorzystano wyłącznie zanonimizowane zagregowane dane z obserwacji klasowych, wyniki refleksji, analitykę uczenia się oraz dane z kwestionariuszy; z publikacji publicznej wykluczono identyfikowalne nagrania wideo z klas, nazwiska, identyfikatory instytucjonalne oraz nieocenzurowane teksty refleksji.

1. Projekt badania i wybór uczestników

1. Wdróż protokół w ciągu czterech kolejnych okresów dydaktycznych dla każdej wybranej sekcji grupy. Zapisz zanonimizowane etykiety kursów, format instruktażowy, liczebność grup, doświadczenie wykładowcy w prowadzeniu kursu oraz informację, czy każda grupa obejmuje instruktaż całoklasowy, pracę grupową czy praktykę indywidualną. Przyjmij docelową liczbę początkowych zapisów na poziomie około 180 do 210 studentów studiów licencjackich w wieku 18 lat lub więcej lub dostosuj docelową wielkość próby do kontekstu kursu.
2. Upewnij się, że wszyscy uczestnicy posiadają aktywne konto instytucjonalne na platformie kursowej, wezmą udział w obserwowanych zajęciach i otrzymali niezbędne wytyczne wstępne, które są standardowo przekazywane grupie. W przypadku znacznych różnic w wiedzy wstępnej dostarcz krótką broszurę uzupełniającą, listę materiałów przed zajęciami lub przeprowadź powtórkę pod kierunkiem wykładowcy przed oknem obserwacyjnym i zapisz udzielone wsparcie jako metadane kontekstowe.
3. Uzyskaj pisemną świadomą zgodę od wszystkich studentów po przekazaniu wyczerpującej karty informacyjnej w formie pisemnej. Wyraźnie zaznacz w formularzu zgody, że badanie łączy obserwację behawioralną w klasie, cotygodniowe pisemne refleksje oraz zanonimizowane rekordy z platformy edukacyjnej.
4. Wprowadź do zbioru danych badawczych wyłącznie studentów, którzy wyrazili zgodę. Zagwarantuj, że odmowa udziału nie wpłynie na obecność, oceny, dostęp do kursu ani komunikację z wykładowcą.
   1. Przed pierwszym zadaniem refleksyjnym wyjaśnij dopuszczalne i zabronione sposoby wykorzystania narzędzi sztucznej inteligencji (AI).
      UWAGA: Narzędzia AI mogą być używane wyłącznie wtedy, gdy pozwalają na to zasady kursu i tylko w celu ogólnego wsparcia w nauce; prace refleksyjne oraz odpowiedzi dotyczące intencji prospołecznych muszą opisywać własne doświadczenia studenta i muszą ujawniać wszelką pomoc ze strony AI.
   2. Jeśli wykładowca zezwala na wsparcie AI w uzupełnianiu wiedzy wstępnej, udostępnij wszystkim studentom te same zatwierdzone prompty lub zasoby i zapisz to wsparcie jako adaptację protokołu. Nie używaj streszczeń wygenerowanych przez AI jako głównego dowodu refleksji studenta, chyba że badanie walidacyjne wprost ocenia odpowiedzi wspomagane przez AI.
5. Wyklucz studentów przed analizą, jeśli odmówią zgody, wycofają się z kursu w oknie czasowym protokołu lub w przypadku braku spójnych danych w rekordach obserwacji, refleksji i analityki. Zastosuj plan z powtarzanymi pomiarami, aby zebrać spójne dane z trzech odrębnych źródeł w okresie 4 tygodni².

2. Pozyskiwanie danych bazowych i zarządzanie tożsamością

1. Wyznaczyć jednego administratora danych, który przypisze ośmioznakowy alfanumeryczny identyfikator badania (Study ID) każdemu uczestnikowi wyrażającemu zgodę za pomocą procesu pseudolosowego.
2. Utworzyć plik powiązań tożsamości z identyfikatorem badania, zawierający imiona i nazwiska studentów, identyfikatory instytucjonalne, sekcje zajęć oraz numery badania. Przechowywać ten plik w sposób bezpieczny i oddzielnie od plików analitycznych, zapewniając, że pozostanie on całkowicie niedostępny dla obserwatorów, koderów refleksji i badaczy.
3. Zniszczyć lub zarchiwizować ten plik powiązań po końcowej weryfikacji danych zgodnie z zatwierdzoną instytucjonalną polityką przechowywania danych, zachowując zgodność z aktualną praktyką analityki uczenia się w szkolnictwie wyższym w zakresie ograniczonego powiązania i deidentyfikacji¹.
4. Zebrać podstawowe dane demograficzne dotyczące wieku, płci, roku studiów i kierunku uczestników w pierwszym tygodniu przed pierwszą obserwowaną lekcją.
5. Przed pierwszą obserwowaną lekcją wykorzystać sześcioelementowy kwestionariusz intencji prospołecznych zawarty w Pliku uzupełniającym 1 jako ustrukturyzowane narzędzie bazowe. Przeprowadzić badanie elektronicznie za pośrednictwem systemu LMS lub na papierze, używając wyłącznie przypisanego identyfikatora Study ID. Studenci oceniają każdy element w 5-stopniowej skali od 1 = zdecydowanie się nie zgadzam do 5 = zdecydowanie się zgadzam; wynik bazowy obliczyć jako średnią z wypełnionych elementów, jeśli udzielono odpowiedzi na co najmniej pięć z sześciu pytań.
6. Wyeksportować wszystkie następnie zebrane teksty refleksyjne bez nazwisk, adresów e-mail ani innych identyfikatorów osobowych, aby zapewnić pełną anonimowość przed rozpoczęciem procesu kodowania jakościowego.

3. Przygotowanie do obserwacji w klasie

1. Zaplanuj obserwacje dla każdej sekcji grupy raz w tygodniu przez 4 kolejne tygodnie. W przypadku standardnych 90-minutowych zajęć zdefiniuj 70-minutowe okno obserwacyjne, wyłączając pierwsze 10 min i ostatnie 10 min z kodowania⁵.
2. Rozpocznij kodowanie w 10^tej minucie i zakończ w 80^tej minucie standardowych 90-minutowych zajęć. Okresy buforowe te nie są częścią 70-minutowego okna obserwacyjnego; w związku z tym standardne zajęcia dostarczają 70 min zakodowanej obserwacji, a nie 30-minutową sesję.
3. Wyklucz z końcowej oceny każdy przerwany blok instruktażowy, jeśli w trakcie zajęć wystąpiła przerwa trwająca ponad 5 min spowodowana alarmami, zmianą sali lub awariami platformy.
4. Traktuj zaangażowanie w klasie jako obserwowalny zespół wielu zachowań, rejestrując jednocześnie kilka wskaźników behawioralnych w każdym punkcie pomiarowym¹¹. Wskaźniki obejmują uwagę skupioną na zadaniu, partycypację werbalną, współpracę z rówieśnikami, robienie notatek lub korzystanie z urządzeń w celu realizacji zadania, rozproszenie uwagi oraz zachowania związane z poszukiwaniem pomocy.
5. Ustaw miejsca w klasie w grupach przed pierwszą obserwacją i rygorystycznie przestrzegaj tego układu miejsc przez cały 4-tygodniowy okres.
6. Umieść dwóch przeszkolonych obserwatorów w stałych lokalizacjach z pełną widocznością pomieszczenia w celu niezależnego kodowania. Jeśli nagrywanie instytucjonalne jest dozwolone i uczestnicy wyrażą zgodę, zainstaluj dwie stacjonarne kamery w tylnej części centrum oraz z boku z tyłu i zsynchronizuj je przed sesją.
7. Używaj nagrań z kamer wyłącznie do szkolenia obserwatorów, weryfikacji niezawodności i rozstrzygania problemów z widocznością; nie używaj nagrań wideo jako głównego źródła kodowania i nie przeprowadzaj analiz emocji z twarzy, emocji z głosu, analiz biometrycznych ani rozpoznawania tożsamości.

4. Kodowanie behawioralne oparte na odstępach czasowych

1. Podziel 70-minutowe okno obserwacji na następujące po sobie interwały składające się z 20-s skanowania wizualnego, po którym następuje 10-s okres rejestracji. Jeśli duży wykład, zajęcia laboratoryjne lub zajęcia online wymagają innej długości interwału, należy zgłosić dostosowaną strukturę interwałów i uzasadnić ją przed rozpoczęciem gromadzenia danych.
   UWAGA: Struktura 20-s/10-s równoważy ekologiczną obserwację w klasie z obciążeniem kodera: okres skanowania jest wystarczająco długi, aby wykryć utrzygałą uwagę, współpracę i zachowania niezwiązane z zadaniem, natomiast okres rejestracji zmniejsza obciążenie pamięci i wspiera spójne decyzje binarne.
2. Skanuj wyraźnie zdefiniowaną grupę do dziesięciu studentów na interwał w ciągłej pętli, zgodnie z układem miejsc siedzących.
3. Stosuj określone kryteria skanowania, aby zapobiec niespójności kodera spowodowanej zbyt ogólnymi definicjami operacyjnymi⁴. Podczas każdego skanowania koduj sześć binarnych wskaźników na poziomie studenta. Obejmują one: uwagę skoncentrowaną na zadaniu, uczestnictwo werbalne, współpracę z rówieśnikami, robienie notatek lub korzystanie z urządzenia w celu realizacji zadania, rozpraszanie się (zachowania niezwiązane z zadaniem) oraz zachowania poszukiwania pomocy.
4. Oznacz wskaźnik jako "1", jeśli określone zachowanie występuje w dowolnym momencie podczas 20-s skanowania. W przeciwnym razie oznacz je jako "0". Zakoduj interwał jako brakujący, jeśli student nie jest widoczny przez co najmniej 10 s skanowania.
5. Rejestruj uwagę skoncentrowaną na zadaniu, gdy student orientuje się wzrokowo w stronę instruktora, przypisanych zadań, prezentowanych informacji lub rówieśników zaangażowanych w dyskusję nad zadaniem przez co najmniej 5 kolejnych s. Koduj uczestnictwo werbalne dla każdego słyszalnego i związanego z zadaniem wkładu.
6. Koduj współpracę z rówieśnikami, gdy studenci angażują się w widoczne wymiany oparte na zadaniu, wspólne rozwiązywanie problemów lub wyjaśnienia rówieśnicze. Rejestruj robienie notatek lub korzystanie z urządzenia w celu realizacji zadania w przypadku aktywnego pisania, pisania na klawiaturze lub cyfrowej interakcji z materiałami kursu.
7. Oznacz rozpraszanie się, jeśli student angażuje się w niepowiązane rozmowy, nieakademickie korzystanie z urządzenia lub wykazuje trwały brak zaangażowania przez co najmniej 5 kolejnych s. Rejestruj poszukiwanie pomocy, gdy student wyraźnie prosi o wyjaśnienie lub pomoc instruktora lub rówieśników.
8. Oblicz tygodniowy wynik behawioralny dla każdego studenta jako całkowitą liczbę ocen dodatnich podzieloną przez wszystkie ważne oceny. Następnie wyznacz średnie 4-tygodniowe dla wszystkich sześciu wskaźników.
9. Oblicz skonsolidowany Indeks Obserwowanego Zaangażowania w Klasie (OCEI) dla studenta i w tygodniu w przy użyciu określonego modelu matematycznego: OCEI_iw = [On-task attention_iw + Verbal participation_iw + Peer collaboration_iw + Task-focused note-taking/device use_iw + (1 - Off-task distraction_iw)]/5.
10. Utrzymuj poszukiwanie pomocy jako niezależną zmienną analityczną, ponieważ w zależności od kontekstu może ono reprezentować albo konstruktywne wyjaśnianie, albo trudności z treścią dydaktyczną¹². Schemat postępowania w badaniu znajduje się na Rysunku 1, a indeksy obserwacyjne i reguły kodowania w Tabeli 1.

5. Szkolenie obserwatorów i ocena wiarygodności

1. Przeprowadzić szkolenie obserwatorów podczas 60-minutowej sesji szkoleniowej z instrukcją obsługi oraz wykonać trzy rundy kalibracyjne przed rozpoczęciem formalnego programu.
2. Przeprowadzić pierwszą rundę kalibracyjną za pomocą kierowanego kodowania nagrania wideo z klasy spoza badania. Kolejne dwie rundy zrealizować jako niezależne kodowania różnych filmów spoza badania, a następnie przeprowadzić bezpośrednie porównania statystyczne z głównym koderem.
3. Rozpocząć formalne gromadzenie danych dopiero wtedy, gdy wartość współczynnika Kappa Cohena osiągnie lub przekroczy 0,75, a całkowita zgodność między sędziami przekroczy 85%.
4. Wdrożyć podwójnie ślepą weryfikację dryfu dla 10% wszystkich sesji oraz jednego zrandomizowanego 10-minutowego segmentu z pozostałych sesji w trakcie trwania 4-tygodniowego protokołu.
5. W przypadku spadku wartości Kappa poniżej 0,70 dla dowolnego wskaźnika, przeprowadzić rekalibrację zespołu kodującego w ciągu 72 h i ponownie zweryfikować dotknięte sesje przed zablokowaniem danych. Nieustannie przekazywać informacje zwrotne i organizować ćwiczenia kalibracyjne w celu utrzymania stabilności oceny w czasie¹³.

6. Gromadzenie i ocena ekspresji refleksyjnej

1. Poleć studentom przesłanie jednego ustrukturyzowanego tekstu refleksyjnego (100-350 słów) po każdych obserwowanych zajęciach, co wygeneruje 4 wpisy na uczestnika w ciągu 4-tygodniowego protokołu.
2. Udostępnij pytania do refleksji za pośrednictwem systemu LMS lub w formie papierowej w ciągu 2 h po obserwowanych zajęciach i zamknij okno przesyłania po 72 h. Formularz powinien zawierać pole Study ID oraz następujące trzy pytania w tej samej kolejności dla każdego studenta:
   1. Wskazanie momentów, w których czuli się najbardziej i najmniej zaangażowani podczas zajęć.
   2. Wyjaśnienie przyczyn kontekstowych, w tym trudności zadania, wiedzy wstępnej, interakcji grupowej, wyjaśnień prowadzącego lub korzystania z platformy.
   3. Opis tego, jak ich uczestnictwo wpłynęło na atmosferę w klasie i jakie działania zamierzają podjąć w przyszłości.
      UWAGA: Zachowaj wpisy krótsze niż 100 słów, ale oznacz je w bazie danych jako niskoinformacyjne. Oznacz również wpisy, w których pominięto pytanie o zaangażowanie, przyczyny kontekstowe lub przyszłe działania/wpływ społeczny, ponieważ pominięcia te wpływają na ocenę jakości refleksji i raportowanie wykonalności.
3. Wyznacz dwóch oślepionych koderów do oceny przesłanych prac pod kątem szczegółowości opisowej, głębi analitycznej, orientacji samoregulacyjnej oraz znaczenia społeczno-prospołecznego.
   1. Oceń każdy wymiar przy użyciu 4-stopniowej skali, gdzie 0 oznacza brak, 1 oznacza słabe lub niejasne dowody, 2 oznacza wyraźne, ale ograniczone dowody, a 3 oznacza silne i szczegółowe dowody. Na przykład głębia analityczna otrzymuje ocenę 0, gdy nie podano żadnego powodu, 1, gdy student stwierdza jedynie, że zajęcia były trudne, 2, gdy student wiąże trudność z konkretnym pojęciem lub warunkami w klasie, oraz 3, gdy student wyjaśnia interakcję między wiedzą uprzednią, dyskusją z rówieśnikami, informacją zwrotną od prowadzącego a planowaną strategią uczenia się. Tabela 2 oraz Plik uzupełniający 1 zawierają przykłady poziomów ocen dla wszystkich czterech wymiarów refleksyjnych.
4. Rozpocznij formalną ocenę dopiero po osiągnięciu współczynnika korelacji wewnątrzklasowej na poziomie 0,80 lub wyższym dla każdego wymiaru w tekstach pilotażowych¹⁴.
5. Przeprowadź losową podwójną ocenę 15% refleksji z badania w trakcie trwania protokołu, aby kontrolować dryf oceniającego. Oceniaj teksty refleksyjne w oparciu o te wielowymiarowe metryki jakościowe, zamiast polegać wyłącznie na długości tekstu lub częstotliwości słów.
6. Opracuj lub dostosuj rubrykę ekspresji refleksyjnej poprzez przegląd ekspercki przeprowadzony przez co najmniej dwóch badaczy edukacji i jednego prowadzącego kurs. Przetestuj rubrykę na 20 do 30 refleksjach spoza badania, popraw niejednoznaczne deskryptory i udokumentuj ostateczną wersję rubryki przed rozpoczęciem formalnego kodowania.
7. Przeprowadź kwestionariusz intencji prospołecznych przedstawiony w Pliku uzupełniającym 1. Poproś studentów o ocenę ich gotowości do pomagania kolegom z klasy, którzy napotykają trudności, dzielenia się zasobami edukacyjnymi, konstruktywnego wnoszenia wkładu w dyskusje, zachęcania rówieśników, sprawiedliwego działania podczas zadań grupowych oraz poprawy klimatu uczenia się w klasie. Użyj 5-stopniowej skali od 1 (zdecydowanie się nie zgadzam) do 5 (zdecydowanie się zgadzam). Oblicz średnią ocenę, gdy wypełniono co najmniej pięć z sześciu pozycji, i podaj alfę Cronbacha dla pomiarów wyjściowych i po zakończeniu protokołu.

7. Ekstrakcja analityki uczenia się

1. Wyznaczyć zewnętrznego administratora do wyodrębnienia danych analityki uczenia się po 4. tygodniu, aby zapobiec zanieczyszczeniu procesów obserwacji i refleksji.
2. Ustawić okno ekstrakcji od godziny 00:00 w dniu pierwszych obserwowanych zajęć do godziny 23:59 w dniu zamknięcia końcowego okna refleksji.
3. Wyodrębnić wyłącznie zdefiniowane wcześniej zmienne niezbędne do protokołu. Zebrać dane dotyczące liczby aktywnych dni na platformie, liczby wyświetleń unikalnych zasobów, proporcji otwartych przypisanych zasobów, liczby zamieszczonych odpowiedzi w dyskusjach, średniego wskaźnika ukończenia materiałów wideo oraz punktualności w oddawaniu zadań.
4. Oczyścić surowe eksporty poprzez usunięcie kont instruktorów i asystentów, duplikatów rekordów, zdarzeń testowych oraz punktów danych spoza wyznaczonego przedziału czasowego.
5. Przyjąć definicję aktywnego dnia jako dowolną datę kalendarzową zawierającą co najmniej jeden uwierzytelniony dostęp do kursu, po którym nastąpiła istotna interakcja, taka jak otwarcie plików, oglądanie filmów wideo lub zamieszczanie odpowiedzi.
6. Zliczyć unikalne otwarcia zasobów, ignorując zdarzenia powtórnego odświeżenia strony występujące w odstępie 60 s. Wyznaczyć wskaźnik ukończenia wideo poprzez ucięcie wyświetlonej części względem zaplanowanego czasu przy wartości 01:00, a następnie wyliczyć średnią dla wszystkich przypisanych elementów multimedialnych.
7. Obliczyć punktualność w oddawaniu zadań na podstawie proporcji zadań przesłanych przed wyznaczonymi terminami. Obliczyć proporcję dostępu w godzinach nocnych jako stosunek istotnych zdarzeń występujących między 00:00 a 06:00 do całkowitej liczby istotnych aktywności w okresie obserwacji. Opierać się na tych metrykach czasowych i zorientowanych na wkład, aby uzyskać pełniejsze informacje niż w przypadku prostej akumulacji logów¹⁵.
8. Zastosować zdefiniowany wcześniej schemat zarządzania danymi dla surowego eksportu z systemu zarządzania uczeniem się (LMS). Zapisać oryginalny eksport jako plik tylko do odczytu, stworzyć zanonimizowaną kopię roboczą, usunąć konta instruktorów i asystentów, usunąć zdarzenia duplikowane lub testowe oraz prowadzić dziennik przetwarzania z liczbą wierszy po każdym etapie oczyszczania.
9. Przeprowadzić oczyszczanie danych w arkuszu kalkulacyjnym lub nowszym, a analizę statystyczną w programie R w wersji 4.4.0 lub nowszej, lub w równoważnym oprogramowaniu.
   1. W arkuszu kalkulacyjnym postępować zgodnie z krokami opisanymi w punktach 7.9.1.1–7.9.1.2.
      1. Zaimportować zanonimizowane pliki CSV, korzystając z opcji Dane > Pobierz dane > Z tekstu/CSV, a następnie użyć opcji Dane > Usuń duplikaty, aby usunąć powtarzające się wiersze Study ID/znacznik czasu/zdarzenie.
      2. Zastosować Filtr, aby wykluczyć konta instruktorów lub asystentów oraz rekordy spoza okna czasowego, a następnie zapisać dziennik przetwarzania z liczbą wierszy po każdym kroku.
   2. W programie R postępować zgodnie z krokami opisanymi w punktach 7.9.2.1–7.9.2.3.
      1. Zaimportować pliki za pomocą readr::read_csv(), a rekordy tygodniowe przekształcić przy użyciu dplyr::mutate(), dplyr::group_by(), dplyr::summarise(), tidyr::pivot_longer() oraz tidyr::pivot_wider().
      2. Obliczyć kappa Cohena za pomocą irr::kappa2(), współczynniki ICC za pomocą psych::ICC() oraz alfę Cronbacha za pomocą psych::alpha().
      3. Dopasować liniowe modele skorygowane o sekcję przy użyciu stats::lm(); stosować lme4::lmer(), gdy wymagany jest zdefiniowany wcześniej losowy punkt przecięcia dla sekcji klasy, a lme4::glmer(family = binomial) wyłącznie dla wyników binarnych. Załączyć dokładny skrypt i wersje pakietów do materiałów przesyłanych wraz z pracą.
10. Zastosować następującą powtarzalną sekwencję analizy.
    1. Obliczyć proporcje obserwacji student-tydzień, wyznaczyć OCEI korzystając ze wzoru w kroku 4.9 oraz połączyć tygodniowe wyniki refleksji według Study ID i tygodnia.
    2. Zagregować zmienne analityki uczenia się w tym samym 4-tygodniowym oknie, sprawdzić brakujące dane w zależności od źródła, obliczyć statystyki opisowe i szacunki niezawodności oraz dopasować zdefiniowane wcześniej modele asocjacyjne.
    3. Nie dodawać nieplanowanych predyktorów po przeanalizowaniu wyników, chyba że zostaną one oznaczone jako eksploracyjne.
11. (Opcjonalnie) W celu zapewnienia przejrzystości, zamieścić w publicznym repozytorium lub materiałach uzupełniających zanonimizowany skrypt analizy, książkę kodową, puste formularze kodowania, pytania do refleksji, rubrykę oceny refleksji oraz kwestionariusz prospołeczny. Nie zamieszczać identyfikowalnych surowych nagrań wideo z klasy, nazwisk, identyfikatorów instytucjonalnych ani nieocenzowanych tekstów refleksji.

8. Pomiary po zakończeniu protokołu i integracja zbiorów danych

1. Przeprowadź badanie instrumentem intencji prospołecznych po raz drugi, bezpośrednio po zakończeniu ostatniego okna refleksji.
2. Poproś studentów o ocenę swojej chęci pomagania kolegom z grupy, dzielenia się zasobami, konstruktywnego wkładu w dyskusje, zachęcania rówieśników, sprawiedliwego działania oraz poprawy klimatu uczenia się w skali od 1 (zdecydowanie się nie zgadzam) do 5 (zdecydowanie się zgadzam). Oblicz całkowity wynik po protokole dla każdej osoby, wyciągając średnią z odpowiedzi, pod warunkiem, że odpowiedzieli na co najmniej pięć z sześciu pozycji.
3. Połącz pliki z obserwacjami, wyniki refleksji oraz zapisy analityki uczenia się, korzystając z zanonimizowanego Study ID. Na podstawie tego połączenia stwórz dwa końcowe zbiory danych: główny plik na poziomie uczestnika oraz plik w formacie długim na poziomie tygodniowym.
4. Nie uzupełniaj brakujących przedziałów obserwacji wynikających z niewidoczności studenta ani brakujących tygodniowych refleksji spowodowanych ich niezłożeniem. Przed analizą oznacz częściowo wypełnione refleksje, niekompletne zmienne analityki uczenia się, refleksje o niskiej zawartości informacji oraz niedopasowane Study ID.
5. Zastosuj analizę przypadków kompletnych dla wcześniej określonych modeli asocjacyjnych, zaraportuj liczbę wykluczonych przypadków dla każdego modelu i przeprowadź analizę wrażliwości, porównując studentów włączonych i wykluczonych pod kątem dostępnych zmiennych bazowych.
6. Zachowaj intencję prospołeczną jako główną miarę wyniku, aby odzwierciedlić wspierające i kolaboracyjne postawy, które stanowią podstawę zmian strukturalnych w partycypacji studentów uniwersytetu.

9. Rozwiązywanie problemów i adaptacje protokołu

1. Jeśli dwóch obserwatorów różni się bardziej niż jednym binarnym wzorcem kategorii w obrębie tej samej grupy studentów lub jeśli współczynnik kappa Cohena spadnie poniżej 0,70 dla któregokolwiek wskaźnika, należy wstrzymać formalne punktowanie dla danej sesji, przejrzeć definicje operacyjne, przeprowadzić 10-minutowy segment rekalibracji i ponownie zakodować dotknięty interwał przed zablokowaniem danych.
2. W przypadku niekompletnych eksportów z platformy należy udokumentować brakujące pole, poprosić zewnętrznego administratora o drugi eksport i pozostawić studenta w podsumowaniach obserwacji/refleksji, wykluczając jednocześnie niedostępną zmienną analityczną z modeli wymagających tego pola.
3. Jeśli mniej niż 80% oczekiwanych refleksji zostanie przesłanych w ciągu 48 h po otwarciu zadania, należy wysłać neutralne przypomnienie do całej grupy, zapewnić wsparcie techniczne w przypadku problemów z dostępem i oddzielnie zaraportować końcową liczbę odpowiedzi przesłanych terminowo, spóźnionych oraz brakujących.
4. Jeśli ponad 10% studentów w grupie nie jest widocznych przez co najmniej połowę okna skanowania, należy zakodować dotknięte interwały jako brakujące i polegać na zapisach obserwatora na żywo, zamiast próbować wnioskować o zachowaniu z zasłoniętego obrazu wideo.
5. Jeśli student wycofa się, odmówi dalszego udziału lub zabraknie danych umożliwiających powiązanie źródeł, należy usunąć tego studenta z powiązanych modeli asocjacyjnych, ale zachować zagregowane dane dotyczące wykonalności protokołu, o ile zezwala na to zgoda komisji etycznej.
6. Jeśli wielu studentów zasygnalizuje, że dany fragment jest trudny do zrozumienia, instruktor powinien zastosować standardową reakcję pedagogiczną, taką jak krótkie ponowne wyjaśnienie, przykład rozwiązany, dyskusja rówieśnicza lub dostarczenie dodatkowych materiałów. Należy zapisać to jako zdarzenie kontekstowe, ponieważ może ono wpływać na poszukiwanie pomocy, głębokość refleksji oraz aktywność na platformie.
7. Należy dostosować wielkość grup studentów, długość interwału, polecenia do refleksji oraz zmienne analityczne do formatu instruktażowego, zachowując jednocześnie tę samą logikę predefiniowanych wskaźników behawioralnych, zanonimizowanych zapisów, niezależnego kodowania i przejrzystych zasad postępowania z brakującymi danymi.
8. Niską niezawodność, dużą liczbę brakujących danych, ograniczoną głębokość refleksji, słabą zmianę prospołeczną oraz słabą zgodność między strumieniami danych należy traktować jako informacyjne wyniki implementacji, a nie jako błędy protokołu. Należy zaraportować te wyniki i wyjaśnić, czy odzwierciedlają one kontekst klasowy, ograniczenia narzędzi czy problemy z przechwytywaniem danych.

Wyniki

Kwalifikowalność uczestników, kompletność danych i niezawodność wyników
Do udziału zaproszono początkową kohortę 204 studentów ze wszystkich sekcji zajęć, z czego zgodę wyrażyło 198 osób. Czternaście przypadków zostało następnie wykluczonych z powodu rezygnacji z kursu w oknie czasowym protokołu lub niepełnego powiązania danych w rekordach obserwacji, refleksji i platformy. W konsekwencji ostateczna próbka analityczna obejmowała 184 studentów. Charakterystyka uczestników, tygodniowe wskaźniki ukończenia zadań oraz ogólna kompletność danych zostały szczegółowo przedstawione w Tabeli 3.

W ciągu 4-tygodniowego programu zaobserwowano 24 sesje zajęć, co pozwoliło na wygenerowanie zsynchronizowanego zapisu analityki uczenia się dla każdego uczestnika. Z 736 oczekiwanych raportów refleksyjnych 701 złożono w ciągu 72-godzinnego okna czasowego, 18 przekazano z opóźnieniem, a 17 z nich brakowało. Ostatecznie 171 studentów pomyślnie i w terminie przygotowało wszystkie cotygodniowe refleksje. Pełna analityka uczenia się została wyekstrahowana dla końcowej grupy 184 uczestników, po odfiltrowaniu kont instruktorskich, duplikatów wpisów oraz aktywności poza wyznaczonym oknem czasowym.

Kodowanie obserwacyjne pozostało wysoce stabilne przez cały okres trwania protokołu. Niezawodność między sędziami dla sześciu wskaźników behawioralnych obserwacji w klasie wykazała wartości kappa Cohena w zakresie od 0,76 do 0,84, przy czym ogólna zgodność podczas testów dryfu przekroczyła 86%. W przypadku wyników ekspresji refleksyjnej współczynniki korelacji wewnątrzklasowej (ICCs) w czterech wymiarach wahały się od 0,82 do 0,89. Tabela 4 przedstawia statystyki opisowe i wskaźniki niezawodności dla głównych zmiennych badania.

Obserwacja zachowań w klasie
Obserwowane zachowania w klasie wykazały stopniową poprawę w ciągu 4-tygodniowego protokołu. Jak pokazano na Rysunku 2, koncentracja na zadaniu, aktywność werbalna oraz współpraca z rówieśnikami były znacznie wyższe w 4. tygodniu w porównaniu do tygodni początkowych. W szczególności aktywność werbalna wzrosła z 0,18 ± 0,09 w pierwszym tygodniu do 0,24 ± 0,10 w czwartym tygodniu (p < 0,05). Współpraca z rówieśnikami analogicznie wzrosła z 0,29 ± 0,11 do 0,35 ± 0,12 (p = 0,006). Koncentracja na zadaniu wykazała wysoce istotną poprawę, zmieniając się z 0,71 ± 0,12 na 0,76 ± 0,11 (p < 0,001).

Z kolei robienie notatek skoncentrowane na zadaniu lub korzystanie z urządzeń wykazały jedynie niewielkie wzrosty tygodniowe, które nie osiągnęły istotności statystycznej (p = 0.08). Zachowania związane z poszukiwaniem pomocy pozostały na stałe niskie przez cały okres obserwacji, nie wykazując istotnego efektu czasu (p = 0.21). Rozproszenie uwagi (off-task distraction) istotnie zmniejszyło się z 0,14 ± 0,08 w 1. tygodniu do 0,11 ± 0,07 w 4. tygodniu (p = 0,03). Ogólnie rzecz ujmując, złożony Wskaźnik Zaangażowania w Klasie (Observed Classroom Engagement Index) wzrósł znacząco z 0,52 ± 0,10 w pierwszym tygodniu do 0,58 ± 0,11 w ostatnim tygodniu (p < 0,001).

Wyrażenia refleksyjne w trakcie 4-tygodniowego protokołu
Wyrażanie refleksji ewoluowało w okresie badania, choć skala zmian różniła się w zależności od poszczególnych wymiarów. Jak pokazano na Rysunku 3, całkowity wynik refleksji wzrósł z Tygodnia 1 do 7,2 ± 1,9 w Tygodniu 4 (p < 0,001).

Głębokość analityczna była wyraźnie większa pod koniec 4. tygodnia w porównaniu do pierwszych dwóch tygodni (p < 0,001). Podobnie, znaczenie społeczno-prospołeczne wzrosło z 1,08 ± 0,55 do 1,54 ± 0,60 (p < 0,001), a orientacja samoregulacyjna wzrosła z 1,42 ± 0,63 do 1,69 ± 0,65 (p < 0,05). W przeciwieństwie do tego, specyficzność opisowa wykazała lekki trend wzrostowy, z 2,14 ± 0,57 do 2,24 ± 0,55, co nie było statystycznie istotne (p = 0,09).

Przesłane prace miały średnią długość od 223 do 231 słów na wpis w całym protokole. Z 736 oczekiwanych raportów refleksyjnych 18 przekazano po terminie, a 17 brakowało; wpisy o niskiej zawartości informacji oraz odpowiedzi pomijające pole dotyczące przyczyny kontekstowej lub przyszłych działań/wpływu społecznego zostały oznaczone w bazie danych. Przypadki te zachowano jako wskaźniki wykonalności i wykluczono jedynie z modeli jakości refleksji dla konkretnych tygodni w sytuacjach, gdy nie można było przypisać odpowiedniej oceny.

Wzorce analityki uczenia się w okresie badania
Metryki aktywności na platformie wykazały znaczną zmienność międzyosobniczą w ciągu 4-tygodniowego okna, co przedstawiono na Rysunku 4.

W całym badanym okresie studenci spędzali średnio 9,7 ± 2,4 aktywnych dni na platformie. Średnia liczba wyświetleń poszczególnych zasobów wyniosła 27,3 ± 8,6, przy czym studenci otwierali średnio 0,81 ± 0,14 przydzielonych materiałów. Ponadto średnia liczba odpowiedzi w dyskusjach wyniosła 4,8 ± 2,7. Średnia punktualność w oddawaniu zadań oraz średni wskaźnik ukończenia oglądania filmów wyniosły odpowiednio 0,86 ± 0,18 oraz 0,79 ± 0,17. Udział dostępu do platformy w godzinach nocnych wyniósł średnio 0,12 ± 0,09.

Warto zauważyć, że odpowiedzi w dyskusjach oraz terminowość oddawania zadań wykazały bardziej wyraźne korelacje dodatnie z innymi wskaźnikami uczestnictwa, pomimo szerokiego rozkładu wyników punktowych za punktualność.

Korelacja obserwacji, refleksji i danych o uczeniu się
Trzy źródła danych wykazały istotne, choć niejednolite, zależności. Jak pokazano na Rysunku 5, studenci z wyższymi wskaźnikami zaangażowania w zajęciach (Observed Classroom Engagement Indices) mieli tendencję do osiągania wyższych całkowitych wyników refleksji. W modelu skorygowanym o sekcję zaobserwowane zaangażowanie w zajęciach pozytywnie korelowało z całkowitym wynikiem refleksji (β = 0.34, p < 0.001).

Wśród zmiennych analityki uczenia się, odpowiedzi w dyskusjach oraz punktualność w oddawaniu zadań były istotnie i dodatnio skorelowane z jakością refleksji. Jak szczegółowo przedstawiono w Tabeli 5, odpowiedzi w dyskusjach dodatnio przewidywały całkowitą ocenę refleksji (β = 0.19, p = 0.013), podobnie jak punktualność w oddawaniu zadań (β = 0.17, p = 0.028). Chociaż liczba wyświetleń surowych zasobów oraz proporcja otwartych przypisanych zasobów wykazywały początkowo dodatnie powiązania, korelacje te uległy znacznemu osłabieniu po skorygowaniu o zmienne zakłócające. Proporcja dostępu w godzinach nocnych nie wykazała istotnego związku z całkowitą oceną refleksji (p = 0.18).

Dane ujawniły również niewielkie korelacje krzyżowe między obserwowanym zachowaniem w klasie a konkretnymi działaniami na platformie; na przykład liczba wyświetleń surowych zasobów korelowała jedynie w niewielkim stopniu z Wskaźnikiem Zaangażowania w Obserwowaną Klasę. Ponadto studenci częściej angażujący się w dyskusje grupowe wykazali wyższy poziom komunikacji werbalnej, natomiast osoby z lepszą regulacją behawioralną rzadziej zwlekały z przesyłaniem zadań.

Zmiany w intencji prospołecznej
Intencja prospołeczna wykazała znaczący wzrost od poziomu wyjściowego do badania po interwencji. Średni wynik intencji prospołecznej wzrósł z 3,61 ± 0,53 w punkcie wyjściowym do 3,84 ± 0,50 po zastosowaniu 4-tygodniowego protokołu (p < 0,001). Rycina 6 przedstawia rozkład parzysty oraz skorygowane powiązania.

W końcowym skorygowanym modelu wyższy Wskaźnik Obserwowanego Zaangażowania w Klasie (Observed Classroom Engagement Index) przewidywał większy wzrost prospołecznych intencji po zakończeniu protokołu w stosunku do wyniku bazowego (β = 0.21, p < 0.05). Wśród wymiarów refleksyjnych znaczenie społeczno-prospołeczne wywarło najistotniejszy niezależny wpływ na prospołeczne intencje po protokole (β = 0.29, p < 0.001). Chociaż partycypacja werbalna wykazała pozytywną nieskorygowaną korelację z prospołecznymi wynikami w teście końcowym, powiązanie to straciło istotność statystyczną po skontrolowaniu wartości bazowych (p = 0.09). Wreszcie, wskaźnik dostępu w późnych godzinach nocnych pozostał niepowiązany z prospołecznymi intencjami po protokole (p = 0.27).

Obserwowane ograniczenia implementacyjne i wyniki negatywne
Zrealizowane badanie przyniosło kilka nieoptymalnych, ale informacyjnych wyników, zamiast błędów wymagających przerwania protokołu. Żadna z obserwowanych sesji nie wymagała wykluczenia ze względu na wartość kappa obserwatora poniżej 0,70, żadne pole analityki uczenia się nie pozostało niedostępne po końcowym eksporcie, a żaden problem z widocznością nie przekroczył wcześniej określonego progu braków danych. Obserwowane ograniczenia koncentrowały się na kompletności refleksji oraz w postaci wyników behawioralnych o charakterze negatywnym lub marginalnym: 18 refleksji przesłano z opóźnieniem, brakowało 17 oczekiwanych refleksji, robienie notatek/używanie urządzeń skoncentrowane na zadaniu wykazało jedynie marginalny wzrost (p = 0,08), poszukiwanie pomocy nie wykazało istotnego efektu czasowego (p = 0,21), a dostęp do materiałów w późnych godzinach nocnych nie był powiązany z całkowitym wynikiem refleksji ani z prospołeczną intencją po zakończeniu protokołu.

Wyniki te zostały zachowane, ponieważ opisują one wykonalność wdrożenia oraz warunki brzegowe protokołu. Spóźnione lub brakujące refleksje zostały odnotowane w podsumowaniach przepływu uczestników i kompletności danych; powiązania marginalne lub zerowe zostały zaraportowane bez selektywnego pomijania; a procedury rozwiązywania problemów w sekcji Protokół określają, w jaki sposób w przyszłych wdrożeniach należy postępować w przypadku hipotetycznych błędów, takich jak dryf obserwatora, ograniczona widoczność lub brakujące pola LMS.

Zanonimizowane pliki analizy, słownik danych, skrypty analizy, puste formularze kodowania, pytania do autorefleksji, rubryka oceny autorefleksji oraz kwestionariusz intencji prospołecznych zostały udostępnione w serwisie Zenodo: https://zenodo.org/records/20607517. Surowe nagrania wideo z klas lekcyjnych zawierające dane identyfikacyjne, nazwiska, identyfikatory instytucjonalne oraz nieocenzurowane teksty autorefleksji nie zostały udostępnione publicznie.

Rycina 1: Schemat badania i protokół integracji danych z wielu źródeł. (A) Rekrutacja uczestników, gromadzenie zgód i przypisywanie identyfikatorów badania w ramach dwóch kursów studiów licencjackich i sześciu sekcji klasowych. (B) 4-tygodniowy cykl zbierania danych: cotygodniowa obserwacja w klasie, zadanie polegające na refleksyjnym pisaniu oraz zsynchronizowane okno przechwytywania analityki uczenia się. (C) Trzy równoległe strumienie danych: obserwacja behawioralna w klasie, punktacja ekspresji refleksyjnej i zanonimizowane rekordy z platformy edukacyjnej. (D) Konstrukcja głównego zbioru danych na poziomie uczestnika oraz bazy danych w formacie długim na poziomie tygodniowym, co pozwoliło uzyskać główne wyniki badań: wskaźnik zaobserwowanego zaangażowania w klasie, wynik refleksji oraz intencję prospołeczną. Prosimy kliknąć tutaj, aby zobaczyć powiększoną wersję tej ryciny.

Rysunek 2: Tygodniowe zmiany w obserwowanym zachowaniu w klasie podczas 4-tygodniowego protokołu. (A) Uwaga skoncentrowana na zadaniu. (B) Udział werbalny. (C) Współpraca z rówieśnikami. (D) Robienie notatek skupionych na zadaniu lub korzystanie z urządzenia w celu realizacji zadania. (E) Rozproszenie uwagi. (F) Poszukiwanie pomocy. Wartości stanowią tygodniowe wyniki proporcji na poziomie ucznia, uzyskane z obserwacji w klasie opartych na przedziałach czasowych. Punkty wskazują średnie tygodniowe, a słupki błędów oznaczają odchylenia standardowe. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 3: Tygodniowe zmiany w ekspresji refleksyjnej w czterech przesyłanych pracach refleksyjnych. (A) Specyfika opisowa. (B) Głębokość analityczna. (C) Orientacja samoregulacyjna. (D) Znaczenie społeczne i prospołeczne. (E) Całkowita punktacja refleksji. Punktację refleksji przypisali dwaj oślepieni koderzy zgodnie z wcześniej określonym rubrykiem. Punkty wskazują średnie tygodniowe, a słupki błędów oznaczają odchylenia standardowe. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rysunek 4: Rozkład wskaźników analityki uczenia się w ciągu 4-tygodniowego okna badania. (A) Aktywne dni na platformie edukacyjnej. (B) Wyświetlenia zasobów. (C) Proporcja otwartych przypisanych zasobów. (D) Wysłane odpowiedzi w dyskusjach. (E) Średni wskaźnik ukończenia filmów. (F) Terminowość oddawania zadań. (G) Proporcja dostępu w godzinach nocnych. Wszystkie wartości obliczono dla tego samego 4-tygodniowego okna, które wykorzystano do obserwacji w klasie i pisania refleksyjnego. Wykresy skrzypcowe przedstawiają rozkłady na poziomie studentów, a wykresy pudełkowe wskazują mediany i rozstępy międzykwartylowe. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 5: Powiązania między obserwowanym zaangażowaniem w klasie, ekspresją refleksyjną a wybranymi wskaźnikami analityki uczenia się. (A) Powiązanie między indeksem obserwowanego zaangażowania w klasie a całkowitą punktacją refleksji. (B) Powiązanie między liczbą opublikowanych odpowiedzi w dyskusji a całkowitą punktacją refleksji. (C) Powiązanie między terminowością oddawania zadań a całkowitą punktacją refleksji. (D) Powiązanie między udziałem ustnym a całkowitą punktacją refleksji. Linie trendu reprezentują dopasowane powiązania liniowe; zacieniowane obszary wskazują 95% przedziały ufności. Aby zobaczyć powiększoną wersję tego rysunku, kliknij tutaj.

Rysunek 6: Zmiana intencji prospołecznych i ich związki z zaangażowaniem w zajęcia oraz znaczeniem refleksyjnym. (A) Parowy rozkład wyników intencji prospołecznych przed i po zastosowaniu protokołu. Linie łączą parzyste wyniki przed i po badaniu u tego samego studenta. (B) Związek między wskaźnikiem obserwowanego zaangażowania w zajęcia a intencjami prospołecznymi po zastosowaniu protokołu, po skorygowaniu o wynik bazowy. (C) Związek między znaczeniem społeczno-prospołecznym a intencjami prospołecznymi po zastosowaniu protokołu. (D) Związek między partycypacją werbalną a intencjami prospołecznymi po zastosowaniu protokołu. Zacienione pasy w panelach B-D wskazują 95% przedziały ufności. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.

Tabela 1: Wskaźniki obserwacji klasowej na poziomie ucznia oraz zasady kodowania. Tabela zawiera definicje operacyjne i kryteria kodowania dla uwagi skoncentrowanej na zadaniu, uczestnictwa werbalnego, współpracy z rówieśnikami, robienia notatek lub korzystania z urządzenia w celu realizacji zadania, rozproszenia uwagi oraz poszukiwania pomocy. 70-minutowe okno kodowania, cykl skanowania 20-s/zapisu 10-s, procedura skanowania grupowego, zasada braku widoczności oraz wzór OCEI są opisane w sekcji Protokół. Kliknij tutaj, aby pobrać tę tabelę.

Tabela 2: Schemat oceny ekspresji refleksyjnej, przykłady poziomów punktowych oraz definicje zmiennych analityki uczenia się. Tabela przedstawia rubrykę oceniania tekstów refleksyjnych, w tym przykłady ocen 0, 1, 2 i 3 dla każdego wymiaru refleksji, a także definicje operacyjne dla wyodrębnionych zmiennych analityki uczenia się. Komponenty refleksyjne obejmują specyfikę opisową, głębię analityczną, orientację samoregulacyjną, znaczenie społeczne i prospołeczne, całkowity wynik refleksji, liczbę słów oraz status przesłania. Analityka uczenia się obejmuje aktywne dni, wyświetlenia zasobów, proporcję otwartych przypisanych zasobów, opublikowane odpowiedzi w dyskusjach, średnią stopę ukończenia materiałów wideo, terminowość zadań oraz proporcję dostępu w godzinach nocnych. Kliknij tutaj, aby pobrać tę tabelę.

Tabela 3: Charakterystyka uczestników, schemat kwalifikacji i kompletność danych.Tabela podsumowuje kwalifikowalność uczestników, wskaźniki zgód, kryteria wykluczenia, ostateczną wielkość próby oraz kompletność danych z trzech źródeł. Przedstawia ona bazowe cechy demograficzne wraz z oczekiwaną liczbą wpisów refleksyjnych, przesyłkami terminowymi, przesyłkami spóźnionymi, brakującymi refleksjami oraz pomyślnymi ekstrakcjami analityki uczenia się. Wartości przedstawiono jako n (%) chyba że zaznaczono inaczej. Zaokrąglenia mogą sprawić, że sumy procentowe nie będą wynosić dokładnie 100%. Zgodnie z protokołem, spóźnione refleksje są archiwizowane, lecz wykluczone z analiz refleksji dla konkretnych tygodni. Kompletna ekstrakcja analityki uczenia się oznacza pomyślne pobranie zanonimizowanych rekordów z okna badania po usunięciu kont instruktorów, powielonych wpisów oraz zdarzeń spoza okna czasowego. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Tabela 4: Statystyki opisowe i wyniki niezawodności testów dla głównych zmiennych badania. Tabela przedstawia wartości średnie dla konkretnych tygodni, odchylenia standardowe oraz wskaźniki niezawodności dla obserwowanych zachowań w klasie, ekspresji refleksyjnej, analityki uczenia się i intencji prospołecznych. Niezawodność danych z obserwacji klasowych oceniono za pomocą kappa Cohena. Niezawodność punktacji refleksji przedstawiono jako współczynniki korelacji wewnątrzklasowej (ICC) dla tekstów ocenianych dwukrotnie. Spójność wewnętrzna pomiaru intencji prospołecznych została raportowana za pomocą α Cronbacha. Zmienne analityki uczenia się zostały obliczone dla tego samego 4-tygodniowego okresu, który wykorzystano do obserwacji i refleksji. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Tabela 5: Wielowymiarowe powiązania między obserwowanym zaangażowaniem w klasie, ekspresją refleksyjną, analityką uczenia się a intencją prospołeczną. Tabela szczegółowo opisuje modele wnioskowania wykorzystane w analizach głównych. Przedstawiono wielowymiarowe predyktory całkowitej oceny refleksji, skorygowane predyktory prospołecznej intencji po zastosowaniu protokołu (z kontrolą poziomów wyjściowych) oraz wybrane nieskorygowane powiązania. Wartości β reprezentują niesztandaryzowane współczynniki regresji. Wszystkie modele wielowymiarowe zostały skorygowane o sekcję klasy. Dla wszystkich szacunków podano błędy standardowe (SE), 95% przedziały ufności (CI) i wartości p. Prosimy kliknąć tutaj, aby pobrać tę tabelę.

Dyskusja

Niniejsze badanie proponuje praktyczny protokół integrujący obserwację behawioralną, pisanie refleksyjne oraz analitykę uczenia się w celu kompleksowego zbadania uczestnictwa, autoekspresji i świadomości prospołecznej studentów uniwersytetu w ramach jednego okna instruktażowego. Poprzez uchwycenie różnych wymiarów zaangażowania, to podejście trimodalne odpowiada na niedawne krytyki w badaniach nad szkolnictwem wyższym, według których metryki czasu użytkowania i monitorowanie oparte na czujnikach są niewystarczające, gdy są oceniane w izolacji¹. W trakcie 4-tygodniowego protokołu widoczne zaangażowanie w klasie uległo znacznej poprawie. W szczególności wzrosła partycypacja werbalna i współpraca z rówieśnikami wraz z uwagą skupioną na zadaniu, podczas gdy poszukiwanie pomocy i robienie notatek ukierunkowanych na zadanie wykazały minimalną zmianę. Te przesunięcia behawioralne wskazują, że w miarę aklimatyzacji studentów do środowiska instruktażowego, ich zaangażowanie ewoluuje w kierunku bardziej strategicznego, interaktywnego społecznie i zorientowanego na wkład uczestnictwa¹⁶.

Z perspektywy skoncentrowanej na metodologii wartość protokołu zależy od zdyscyplinowanej implementacji, a nie od obserwacji jednolicie pozytywnych wyników. Zrewidowany schemat postępowania kładzie zatem nacisk na uprzednio określony wzór OCEI, niezależną obserwację, udokumentowane przetwarzanie programowe, przykłady z rubryk oceny, progi niezawodności oraz wyraźne zasady postępowania z brakującymi danymi. Uzupełnienia te mają na celu zapewnienie odtwarzalności protokołu w zwykłych warunkach klasowych, w których zapisy platformy, obecność uczniów, widoczność kamery i jakość refleksji są niedoskonałe.

Protokół należy również interpretować jako wrażliwy na format zajęć. W przypadku dużych wykładów obserwatorzy mogą potrzebować mniejszych, rotujących klastrów oraz dłuższego okresu kalibracji; w zajęciach online obserwacja behawioralna może opierać się na logach interakcji i widocznej aktywności zamiast na skanowaniu pomieszczenia; w laboratoriach zachowania związane z bezpieczeństwem mogą wymagać dodatkowego wskaźnika; natomiast w klasach zróżnicowanych kulturowo polecenia do refleksji i elementy dotyczące intencji prospołecznych powinny zostać zweryfikowane pod kątem jasności językowej i odpowiedniości kulturowej przed zastosowaniem.

Pisanie refleksyjne zapewnia dodatkową warstwę wglądu w te wzorce behawioralne. Sumaryczne wyniki refleksji wykazały stałą tendencję wzrostową w trakcie trwania protokołu, przy czym najbardziej wyraźne poprawy odnotowano w zakresie głębi analitycznej oraz znaczenia społeczno-prospołecznego. Zamiast jedynie relacjonować zdarzenia z sali lekcyjnej, studenci wykazali rosnącą zdolność do analizowania sytuacji dydaktycznych z szerszej, bardziej świadomej społecznie perspektywy. Jest to zgodne z niedawnymi ustaleniami, według których powtarzalne, ustrukturyzowane zadania refleksyjne sprzyjają nadawaniu znaczeń wyższego rzędu i dyskursowi opartemu na wiedzy, nawet gdy objętość tekstu na poziomie powierzchownym pozostaje stosunkowo stała⁹. W konsekwencji pisanie refleksyjne w szkolnictwie wyższym najlepiej rozumieć jako konstrukt wielowymiarowy, w którym umiejętności związane z interpretacją, transferem i projekcją samoregulacyjną rozwijają się w różnym tempie w czasie⁵.

Integracja analityki uczenia się dodatkowo uzasadnia konieczność zastosowania protokołu wieloźródłowego. Działania merytoryczne, takie jak odpowiedzi w dyskusjach i terminowość oddawania zadań, okazały się znacznie bardziej informatywnymi wskaźnikami zaangażowania niż surowa objętość aktywności. Z kolei dostęp do platformy w godzinach nocnych nie wykazał istotnego związku ani z jakością refleksji, ani z intencją prospołeczną. Wyniki te potwierdzają wcześniejsze badania ostrzegające przed nadmiernym poleganiem na prostych metrykach częstotliwości lub logowań w celu oceny zaangażowania studentów⁴. Nasze wyniki sugerują, że studenci, którzy w konstruktywny sposób wchodzą w interakcję z materiałami kursu, rozwijają większą zdolność do refleksji; jednak podstawowa aktywność na platformie nie odzwierciedla w pełni obserwowalnego zaangażowania w sali wykładowej. Umiarkowana zbieżność — a nie nadmierna redundancja — pomiędzy obserwacją, refleksją a analityką potwierdza zatem zasadność stosowania złożonych strategii pomiarowych zamiast niezależnych wniosków wyciąganych z pojedynczego źródła¹⁷.

Wtórnym wkładem niniejszych badań jest rozszerzenie ocenianych rezultatów poza standardowe wskaźniki uczestnictwa. Intencja prospołeczna wykazała mierzalny wzrost między testem wstępnym a końcowym, wykazując najsilniejsze powiązania wśród studentów, którzy w swoich refleksjach formułowali motywy społeczno-prospołeczne i utrzymywali rozbudowany profil interakcji. Jest to spójne z aktualnymi badaniami nad szkolnictwem wyższym, które zakładają, że cechy kooperacyjne i zorientowane na wkład są integralną częścią interakcji w klasie, a nie jedynie efektami ubocznymi⁸. Ponadto wyniki te wspierają koncepcję klas jako złożonych systemów społecznych. Gdy studenci aktywnie oceniają swój relatywny wkład w społeczność uczącą się, ich zachowanie ma tendencję do zmiany z podstawowego posłuszeństwa w kierunku konstruktywnego, prospołecznego zaangażowania¹⁸.

Wnioski te dostarczają praktycznych wskazówek dla projektowania pedagogicznego. Zaproponowany protokół nie wymaga specjalistycznych czujników ani inwazyjnych systemów monitorowania. Opierając się wyłącznie na obserwacjach interwałowych, cotygodniowych ustrukturyzowanych refleksjach oraz standardowych danych z platformy kursowej, zestawienie to stanowi wysoce wykonalne rozwiązanie dla środowisk nauczania na poziomie studiów licencjackich, które wymagają przejrzystych, formatywnych dowodów zaangażowania, lecz nie dysponują zaawansowaną infrastrukturą technologiczną. Niedawne ramy pedagogiczne kładące nacisk na wspólnoty uczące się i nauczanie oparte na tworzeniu wartości sugerują, że redefinicja roli studentów jako aktywnych współtwórców, a nie pasywnych odbiorców, nadaje uczestnictwu w szkolnictwie wyższym głębszy sens¹⁹. Nasze znalezisko empiryczne, wskazujące na silną korelację wskaźników związanych z wkładem merytorycznym z jakością refleksji i intencjami prospołecznymi — znacznie silniejszą niż w przypadku zwykłego ruchu na platformie — stanowi mocne wsparcie dla tej zmiany pedagogicznej.

Należy uznać kilka ograniczeń. Po pierwsze, ponieważ protokół został opracowany dla ograniczonej liczby sekcji zajęć, jego przeniesienie do środowisk opartych na laboratoriach, z dominującym charakterem wykładowym, w pełni asynchronicznym trybie online lub w środowiskach zróżnicowanych kulturowo wymaga zaplanowanej adaptacji i ponownego badania niezawodności. Po drugie, intencje prospołeczne są mierzone za pomocą samoopisów i powinny być interpretowane jako deklarowane intencje, a nie bezpośrednia obiektywna prawda behawioralna. Po trzecie, analityka uczenia się rejestruje aktywność pośredniczoną przez platformę i może pomijać przygotowania offline, nieformalne wsparcie rówieśnicze oraz naukę wspomaganą przez AI, która nie została ujawniona. Po czwarte, 4-tygodniowe okno obserwacyjne pozwala zidentyfikować krótkoterminowe wzorce wdrażania, ale może nie uchwycić dłuższych trajektorii rozwojowych. Wreszcie, reprezentatywne wartości z okresu 4 tygodni należy interpretować jako dowody wdrażania specyficzne dla danego kontekstu, a nie jako uogólnialne szacunki przyczynowe²⁰.

Przyszłe badania powinny rozszerzyć ten model w kilku kierunkach. Kluczowym kolejnym krokiem jest replikacja protokołu w różnych dyscyplinach akademickich i formach nauczania. Ponadto konieczne są badania podłużne, aby ustalić, czy te krótkoterminowe praktyki refleksyjne generują trwałe postawy prospołeczne lub długofalowe korzyści behawioralne. W kolejnych badaniach można by również porównać ten model obserwacyjny z alternatywnymi metodologiami, takimi jak ocena koleżeńska, analiza artefaktów na poziomie grupy lub analiza sekwencji zdarzeń. Niemniej jednak, w obecnej formie protokół ten zapewnia solidny, operacyjny mechanizm triangulacji tego, co studenci robią w klasie, jak interpretują te działaniae po czasie oraz jak sytuują się społecznie w szerszym środowisku uczenia się.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Arkusz kodowania obserwacji klasowych	Własny	Sześć binarnych wskaźników behawioralnych	Kodowanie interwałowe uwagi skoncentrowanej na zadaniu, partycypacji werbalnej, współpracy z rówieśnikami, robienia notatek/korzystania z urządzeń w celu realizacji zadania, rozproszenia uwagi oraz poszukiwania pomocy.
GraphPad Prism	Graphpad	Wersja 10.2.3	Tworzenie schematów przebiegu pracy, wykresów trendów tygodniowych, wykresów rozkładu i rysunków asocjacyjnych.
Instytucjonalny system zarządzania nauczaniem / platforma kursowa	Uniwersytet goszczący	Istniejący instytucjonalny system kont LMS	Gromadzenie zanonimizowanych analityk uczenia się.
Microsoft PowerPoint	Microsoft	Microsoft 365 v2402	Tworzenie schematów przebiegu pracy, wykresów trendów tygodniowych, wykresów rozkładu i rysunków asocjacyjnych.
R	R Foundation		ggplot2 3.5.1
Oprogramowanie arkusza kalkulacyjnego	Microsoft Corporation	Microsoft Excel 365 v2402	Wprowadzanie danych, oczyszczanie, sprawdzanie anonimizacji oraz scalanie zbiorów danych z obserwacji, refleksji i analityki.
SPSS Statistics	IBM Corp	Wersja 26.0	Oprogramowanie do analizy statystycznej; statystyka opisowa, porównania z powtarzanymi pomiarami, kappa Cohena, ICC, alfa Cronbacha, korelacje i modele regresji.