Ocena zaangażowania behawioralnego w klasach uniwersyteckich za pomocą detekcji obiektów wideo opartej na głębokim uczeniu

Podsumowanie

Badanie to ocenia zaangażowanie w zachowania uczniów poprzez wykrywanie ich zachowań w materiałach wideo z zadawanych zajęć uniwersyteckich za pomocą algorytmu głębokiego uczenia. Zidentyfikowano siedem zachowań pozytywnie skorelowanych z zaangażowaniem w naukę, a do oceny ogólnego zaangażowania poszczególnych uczniów i klasy stosuje się model punktacji.

Streszczenie

Celem tego badania jest ocena zaangażowania uczniów w naukę na zajęciach uniwersyteckich za pomocą detekcji obiektów wideo opartej na głębokim uczeniu. Aby to zrobić, poprzez analizę korelacyjną, badania te najpierw zidentyfikowały siedem zachowań w klasie, które wykazują wysoce pozytywną korelację z zaangażowaniem w naukę jako wskaźniki mierzące zaangażowanie uczniów; następnie zebrano 30 zsynchronizowanych nagrań z rzeczywistym nauczaniem w klasie z 6 klas Uniwersytetu Nauki i Technologii w Shandong (SDUST) i podzielono je na zestaw szkoleniowy oraz zestaw testowy. Po ręcznym zaznaczeniu siedmiu zachowań w danych treningowych, algorytm uczenia maszynowego był trenowany w sposób nadzorowany na tym zbiorze. Po wytrenowaniu model generował początkowe adnotacje dla pozostałych nieoznaczonych danych. Aby osiągnąć dokładniejsze i bardziej efektywne rozpoznawanie zachowań w klasie, badanie to wybrało dwa reprezentatywne algorytmy, mianowicie Faster R-CNN i YOLOv5s, do eksperymentów wykrywania zachowań. Na podstawie porównania ich wyników wykrywania pod względem dokładności i kosztu czasu, YOLOv5s zostały wybrane do wykrywania zachowań w klasie w tym badaniu. Na koniec badanie wykorzystało metodę grup fokusowych do przypisania punktów każdemu zachowaniu i opracowania trzypoziomowego modelu punktacji zaangażowania w naukę. Na podstawie automatycznie mierzonych danych behawioralnych model umożliwia w czasie rzeczywistym, automatyczną ocenę zaangażowania w naukę zarówno na poziomie indywidualnym, jak i klasowym.

Wprowadzenie

Zaangażowanie w naukę, czyli uczestnictwo, koncentrację i wysiłek uczniów w nauce, obejmuje zaangażowanie behawioralne, emocjonalne oraz poznawcze^{zaangażowanie 1}. Zaangażowanie uczniów w naukę ujawnia ich sytuację edukacyjną i pomaga nauczycielom dostosować strategie nauczania². Jednak zaangażowanie w naukę w klasie oceniane jest głównie na podstawie samoocen uczniów oraz obserwacji nauczycieli³. Wysoki stosunek nauczycieli do uczniów na chińskich uniwersytetach oznacza, że stosowanie tradycyjnych metod manualnych do oceny zaangażowania w naukę wymaga od nauczycieli ogromnego czasu i wysiłku.

W ostatnich latach, wraz ze wzrostem popularności inteligentnych nagrań i nadawania w klasach w Chinach, możliwe stało się automatyczne mierzenie zaangażowania w naukę na podstawie nagrań z klasy. Z perspektywy nauczania w klasie wspieranej inteligentną technologią, badanie to zastosowało metody głębokiego uczenia do wykrywania zachowań uczniów w materiałach z zajęć uniwersyteckich oraz zaproponowało model punktacji do automatycznego pomiaru zaangażowania w zachowania uczniów.

Krótki przegląd badań zaangażowania behawioralnego
Istnieją trzy główne poziomy zaangażowania behawioralnego: (1) Na poziomie szkoły odnosi się to do entuzjazmu uczniów do udziału w zajęciach pozalekcyjnych⁵. (2) Na poziomie klasy obejmuje ona pozytywne zachowania uczniów, takie jak przestrzeganie porządku klasowego, oraz destrukcyjne, takie jak opuszczanie zajęć lub rozmowa w klasie⁶. (3) Na poziomie procesu uczenia się odnosi się do udziału i zachowań uczniów w zadaniach edukacyjnych, takich jak zadawanie pytań i wykonywanie prac domowych⁷. Obecnie metody oceny zaangażowania behawioralnego można ogólnie podzielić na trzy kategorie: metody manualne, półautomatyczne i automatyczne⁸.

Metody manualne, takie jak samoraport, wywiady, obserwacja nauczyciela i inne tradycyjne metody oceny, są pracochłonne i trudne do zapewnienia obiektywizmu oraz dokładności. Analiza logów to reprezentatywna metoda półautomatycznej oceny, która przede wszystkim analizuje dane z dziennika uczenia uczniów zebrane z platform edukacyjnych, w tym wskaźniki takie jak częstotliwość logowania, czas pracy online oraz dokładność odpowiedzi. Ta metoda pozwala obiektywniej ocenić zaangażowanie uczniów w naukę; Jednak duża ilość i złożoność danych stanowią wyzwania dla dalszego przetwarzania⁴. Metoda automatyczna opiera się na widzeniu komputerowym, wykorzystując inteligentne urządzenia, takie jak platformy do nagrywania i nadawania, do rejestrowania wyrazu twarzy, gestów, zachowań oraz innych wizualnych sygnałów uczniów na lekcji, głównie w celu oceny zachowań w klasie. W porównaniu z poprzednimi dwiema metodami, to podejście umożliwia szybkie mierzenie zaangażowania behawioralnego za pomocą komputerów i algorytmów oraz jest mniej podatne na subiektywne zakłócenia⁹.

Krótki przegląd oceny zaangażowania behawioralnego opartego na wykrywaniu obiektów
Wraz z rozwojem głębokiego uczenia techniki wykrywania obiektów są coraz częściej stosowane w analizie zaangażowania w uczeniu się. Algorytmy wykrywania obiektów wykonują klasyfikację i lokalizację obiektów na obrazach na podstawie splotowych sieci neuronowych. W inteligentnych klasach wyposażonych w systemy nagrywania wideo takie algorytmy mogą rozpoznawać wizualne informacje związane z postawami, gestami i mimiką uczniów z nagrań z klasy, umożliwiając automatyczną identyfikację zachowań uczniów i ocenę ich zaangażowania behawioralnego. W konsekwencji stan nauki w klasie, odzwierciedlony przez niewerbalne zachowania uczniów, można skutecznie interpretować⁹.

Do zbierania i identyfikowania licznych niewerbalnych zachowań uczniów z filmów zastosowano różnorodne urządzenia i algorytmy. Rahman i ^in.10 oraz Zaletelj i Košir¹¹ wykorzystali czujniki Kinect do zbierania linii widzenia uczniów, informacji o twarzy, cech postawy ciała itp., a także analizowali poziom uwagi uczniów za pomocą algorytmów uczenia maszynowego. Whitehill i ^in.8 użyli kamery internetowej na iPadzie do nagrywania mimiki uczniów, aby wytrenować model rozpoznania, udowadniając, że technika uczenia maszynowego jest równa obserwacji człowieka pod względem dokładności oceny zaangażowania w naukę. Sukumaran i Manoharan¹² wykryli zaangażowanie ucznia za pomocą sygnałów EGG. Ashwin i Guddeti,^{13 lat,} wykorzystali konwolucyjne sieci neuronowe do analizy nagrań z klas w warunkach laboratoryjnych, aby wykryć zachowania niewerbalne, takie jak mimika twarzy, postawy rąk czy ciała, aby ocenić zaangażowanie w naukę. Bai i ^in.14 wykorzystali Faster R-CNN z multipleksowaną fuzją cech, aby wykrywać zachowania w klasie, takich jak nauka, sen czy pochylanie głowy, poprzez naukę transferową. Deng i ^in.9 analizowali zdalne nagrania z klasy, łącząc techniki głębokiego uczenia Faster R-CNN i zaproponowali metodę rozpoznawania zachowań oraz pomiaru zaangażowania uczniów na podstawie pozycji głowy, dłoni i ciała uczniów.

Wczesne badania prowadzono głównie w laboratoriach, z których wiele koncentrowało się na pojedynczej osobie w jednym scenariuszu 10,11,12,13, podczas gdy nowsze badania coraz częściej analizują rzeczywiste środowiska klasowe ^{9,14,15,16,17,18,19}. Dodatkowo, zakres badanych zachowań stał się coraz bardziej zróżnicowany. Na przykład Bai i ^in.14 oraz Ouyang i ^in.15 przeanalizowali filmy z klasy, w których zidentyfikowano tylko dwa zachowania — głowę do góry i głowę w dół. Deng i ^in.9 badali nagrania z klas szkół podstawowych i rozszerzyli wykryte kategorie zachowań z ruchów głowy o ruchy rąk i ciała. Zhang i¹⁶ współpracowników zebrali pięć typów zachowań uczniów, w tym patrzenie w górę, w dół, spanie, rozglądanie się i ziewanie.

Jednak ponieważ dane pochodziły z klas szkół podstawowych, gdzie uczniowie zazwyczaj siedzą w stałych pozycjach, zakres obserwowalnych zachowań pozostał stosunkowo ograniczony. Dlatego kolejne badania coraz częściej koncentrowały się na wykładach uniwersyteckich. Wiele sal wykładowych na uczelni jest dużych, z około stu studentami często siedzącymi losowo, co utrudnia wykrycie zachowań studentów. Co więcej, w rzeczywistych salach wykładowych studenci wykazują większą różnorodność zachowań i interaktywność, w tym interakcje z nauczycielami, kolegami z klasy, tablicami i podręcznikami. Yan i ^in.17 zaproponowali metodę rozpoznawania postawy opartą na głębokim uczeniu, BetaPose, zaprojektowaną w celu poprawy dokładności rozpoznawania postawy w zatłoczonych scenach klasowych. Tan i ^in.18 włączyli moduł uwagi współrzędnej (CA) do sieci YOLOv9, a powstały model CA-YOLOv9 został zastosowany do rozpoznawania siedmiu zachowań w klasie w złożonych środowiskach uniwersyteckich z dużą liczbą studentów. Wang i ^in.19 zaproponowali dwukierunkową sieć augmentacji cech (BATNet) do identyfikacji zachowań uczniów w inteligentnych klasach, szczególnie dla małych i zasłoniętych celów.

Dzięki opracowaniu algorytmów znacznie wzrosła szybkość i dokładność wykrywania zachowań; Jednak obecne badania ignorują wyjaśnienie, czy istnieje korelacja między wykrytymi zachowaniami w klasie a zaangażowaniem uczniów, pozostawiając bez odpowiedzi pytania takie jak to, czy pewne zachowania mogą być używane jako parametry do mierzenia zaangażowania behawioralnego oraz które zachowania mogą skutecznie odzwierciedlać zaangażowanie w naukę. Ponadto należy opracować sposób na wyraźne pokazanie zaangażowania behawioralnego uczniów. W ten sposób badanie to zidentyfikowało zachowania w klasie silnie powiązane z zaangażowaniem uczniów w naukę poprzez analizę korelacji; Tymczasem opracowano system oceniania, który skonstruował model oceny zaangażowania behawioralnego. W konsekwencji automatyczny pomiar zaangażowania behawioralnego można osiągnąć zarówno dla poszczególnych uczniów, jak i dla całej klasy.

Protokół

Wszystkie filmy zostały pozyskane i wykorzystane zgodnie z obowiązującymi praktykami etycznymi badań nad ludźmi, zgodnie z zaleceniami Uniwersytetu Nauki i Technologii w Shandong. Uzyskano zgodę na wykorzystanie tych danych.

Po pierwsze, przeprowadzono analizę korelacji w celu zidentyfikowania zachowań uczniów, które mogą służyć jako wskaźniki zaangażowania behawioralnego. Po ustaleniu zbioru danych przez ekstrakcję ramek i podziale na zestaw treningowy oraz testowy, w zbiorze treningowym uruchamiano dwa reprezentatywne algorytmy wykrywania obiektów, które porównano pod względem dokładności i efektywności. Na koniec wybrano algorytm o lepszej wydajności (YOLO-v5s) do uruchomienia na zbiorze testowym w celu wykrywania zachowań. Rysunek 1 przedstawia schemat procesu identyfikacji i wykrywania zachowań uczniów.

Rysunek 1. Schemat blokowy identyfikacji i wykrywania zachowań uczniów. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Identyfikacja wskaźników
Przed przeprowadzeniem eksperymentów z wykrywaniem obiektów należało zidentyfikować zachowania niewerbalne wskazujące na zaangażowanie uczniów w zachowanie. Do tej pory badania zaangażowania behawioralnego oparte na wykrywaniu obiektów przyniosły sukces w wykrywaniu różnych zachowań niewerbalnych, w tym linii widzenia, informacji na twarzy oraz postawy ciała 9,10,11,12,13,14. Jednak pytanie, czy konkretne zachowania są uzasadnione jako wskaźniki zaangażowania uczniów w zachowanie, nie zostało jeszcze omówione. W związku z tym w tym badaniu zastosowano analizę korelacji między zachowaniami uczniów a poziomem zaangażowania behawioralnego, aby zidentyfikować zachowania wskazujące na zaangażowanie behawioralne.

(1) Test zaangażowania behawioralnego
Badanie to wybrało 122 studentów studiów licencjackich z czterech naturalnych klas studentów nieanglistyki na SDUST-Jinan jako próbkę do badania korelacyjnego. Najpierw zastosowano skale samoraportu, aby zebrać dane o zaangażowaniu behawioralnym od 122 uczniów, mając na celu zrozumienie ich statusu zaangażowania behawioralnego z perspektywy doświadczeń wewnętrznych. Ponieważ dane wideo z klas do tego badania pochodziły z zajęć "Academic English", zastosowano wielowymiarowe narzędzie oceny zaangażowania w naukę w klasach angielskiego na uczelniach, opracowane przez Ren Qingmei²⁰ . To narzędzie zostało specjalnie zaprojektowane z myślą o środowisku nauczania języków obcych w języku chińskim i stosuje tę samą klasyczną kategoryzację zaangażowania w naukę co to badanie, obejmującą trzy wymiary: behawioralne, afektywne i poznawcze. Wśród nich instrument zaangażowania behawioralnego składa się z dziewięciu elementów, odpowiadających interakcji nauczyciel-uczeń (np. "Aktywnie odpowiadam na pytania zadawane przez nauczyciela na lekcji angielskiego"), indywidualnemu wysiłkowi (np. "Dokładnie rozważam trudności napotkane podczas nauki angielskiego"), interakcji rówieśniczej (np. "Współpracuję z innymi uczniami przy wykonywaniu zadań na lekcji angielskiego"). itd. Każda pozycja jest prezentowana w skali 5-punktowej Likerta, z opcjami odpowiedzi typu "rzadko, rzadko, czasem, często, zawsze", ocenianą od 1 do 5, wymagającą od uczniów wyboru opcji najlepiej odpowiadającej ich doświadczeniom edukacyjnym. Uczniowie z wynikiem 15 punktów lub mniej zostali sklasyfikowani jako uczniowie o niskim zaangażowaniu, ci z 16-30 punktami jako uczniowie o umiarkowanym zaangażowaniu, a ci z 31-45 punktami jako uczniowie o wysokim zaangażowaniu. Na koniec zebrano 120 ważnych skal, z czego 17 w kategorii o niskim zaangażowaniu, 45 w kategorii umiarkowanego zaangażowania i 58 w kategorii o wysokim zaangażowaniu.

(2) Identyfikacja zachowań
Tymczasem zebrano cztery nagrane filmy o łącznej długości 50 minut z w pełni uczęszczonych zajęć "Akademicki angielski" w tych czterech klasach. Przy jednej klatce rysowanej co 15 sekund ostatecznie wyodrębniono 200 obrazów do obserwacji. Na podstawie wielokrotnych obejrzeń próbek wideo przez trzech uczniów, badanie to początkowo zidentyfikowało 12 typów zachowań uczniów w klasie, mianowicie rozglądanie się, korzystanie z telefonu komórkowego, dyskusje, wędrowanie, chodzenie, jedzenie lub picie, robienie notatek lub czytanie, uważne słuchanie, wstawanie (aby odpowiedzieć na pytanie), ziewanie, sen oraz korzystanie z komputera. Przykłady tych 12 zachowań przedstawiono na rysunku 2.

Rysunek 2. Przykłady 12 zachowań. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Każdy typ był opatrzony szczegółowymi opisami cech wizualnych i kontekstu czasoprzestrzennego, tworząc Standardową Procedurę Operacyjną dla Adnotacji Zachowań Klasowych, która zapewniała spójność koncepcyjną między adnotacjami. Tabela 1 przedstawia 12 kategorii zachowań uczniów oraz opisy każdego z nich.

Rozglądanie się polegało na znacznym obracaniu głowy w lewo, prawo i do tyłu. Uczniowie byli uważani za uczestników dyskusji, jeśli odwrócili głowę i otworzyli usta. W sytuacji klasowej uważne słuchanie wiązało się z patrzeniem bezpośrednio na tablicę lub na nauczyciela stojącego przed nimi; gdy wzrok skierował się gdzie indziej, uczeń bardzo prawdopodobne było, że błądził. Gdy uczeń wykazywał postawę głowy w dół, a na miejscu był przedmiot, taki jak książka lub zeszyt, zachowanie to można było rozpoznać jako robienie notatek lub czytanie książki. Gdy zachowanie polegało na pozycji stojącej, a uczeń stał na swoim miejscu z otwartymi ustami, uważano, że odpowiada na pytanie w pozycji stojącej; Jeśli uczeń nie zszedł z miejsca, uważano go, że chodzi dookoła, co może wskazywać, że spóźnił się na zajęcia lub opuścił klasę itp. Gdy uczeń kładł głowę na biurku, identyfikowano go jako śpiącego. Gdy uczeń trzymał jedzenie lub napoje w rękach, zachowanie to identyfikowano jako jedzenie lub picie. Szeroko otwarte usta lub postawa chowańska rozciągająca ciało wskazywały, że uczeń ziewa.

Kategoria zachowań	Opis zachowania
Rozglądam się	Wyraźny ruch głowy w prawo, lewo lub do tyłu
Korzystanie z telefonu komórkowego	Dotykanie telefonu komórkowego rękami
Dyskusja	Usta otwarte, towarzyszy mu ruch głowy
wędrowanie	Zamglone spojrzenie na nieistotne miejsca
Chodzi w kółko	Zejście z siedziska
Jedzenie lub picie	Usta otwarte i w kontakcie z jedzeniem lub wodą
Robienie notatek lub czytanie	Robienie notatek czy patrzenie w książkę
Słucham uważnie	Wpatrywanie się w tablicę albo nauczyciela
Wstanie (odpowiadając na pytania)	Wstanie na miejscu z otwartymi ustami
Ziewanie	Otwarte usta lub rozciąganie ciała
Spanie	Głowa na biurku
Korzystanie z komputera	Otwarty komputer na biurku

Tabela 1: Kategorie i opisy zachowań uczniów.

(3) Analiza korelacji
Korzystając z powyższych kryteriów, 12 doświadczonych nauczycieli zostało zaproszonych do obejrzenia filmów 120 uczniów oraz rejestrowania ich typów zachowań i częstotliwości. Zachowania zostały zidentyfikowane zgodnie z Tabelą 1. Nauczyciele zostali podzieleni na cztery grupy, po trzech nauczycieli w każdej grupie. Każda grupa była odpowiedzialna za rejestrowanie 30 uczniów, przy czym każdy z trzech nauczycieli niezależnie rejestrował zachowania 30 uczniów. Alfa Cronbacha (określana jako α) to wskaźnik mierzący wewnętrzną spójność skali lub kwestionariusza. Zakres wartości alfa Cronbacha wynosi od 0 do 1, a α ≥ 0,8 jest zwykle interpretowane jako dobra wewnętrzna spójność²¹. Jeśli występował wysoki stopień spójności (α > 0,8, czyli wysoki stopień spójności) w częstotliwości określonego typu zachowań u wszystkich trzech nauczycieli, częstotliwość zachowania była zapisywana jako średnia tych trzech uczestnictw. Następnie, z jednej strony dane reprezentujące częstotliwość różnych zachowań każdego ucznia, a z drugiej ich poziom zaangażowania behawioralnego, przeprowadzono analizę korelacji między tymi dwoma czynnikami. Wynik przedstawiono w Tabeli 2.

Zachowania		Zaangażowanie behawioralne
Jedzenie lub picie	Korelacja Pearsona	.319**
	Sig. (dwuogoniasty)	0.004
	N	120
Ziewanie	Korelacja Pearsona	-.335**
	Sig. (dwuogoniasty)	0
	N	120
Dyskusja	Korelacja Pearsona	.546**
	Sig. (dwuogoniasty)	0
	N	120
Chodzi w kółko	Korelacja Pearsona	-.774**
	Sig. (dwuogoniasty)	0
	N	120
Wędrówka	Korelacja Pearsona	.293**
	Sig. (dwuogoniasty)	0.008
	N	120
Rozglądam się	Korelacja Pearsona	-.834**
	Sig. (dwuogoniasty)	0
	N	120
Czytanie lub robienie notatek	Korelacja Pearsona	.912**
	Sig. (dwuogoniasty)	0
	N	120
Słucham uważnie	Korelacja Pearsona	.881**
	Sig. (dwuogoniasty)	0
	N	120
Wstający	Korelacja Pearsona	.330**
(odpowiadając na pytanie)	Sig. (dwuogoniasty)	0
	N	120
Spanie	Korelacja Pearsona	-.411**
	Sig. (dwuogoniasty)	0
	N	120
Wykorzystanie	Korelacja Pearsona	.591**
Telefon komórkowy	Sig. (dwuogoniasty)	0
	N	120
Korzystanie z komputera	Korelacja Pearsona	.362**
	Sig. (dwuogoniasty)	0.001
	N	120

Tabela 2: Wyniki analizy korelacji.

W analizie korelacji r to współczynnik korelacji, odnoszący się do liniowego stopnia korelacji między dwiema zmiennymi, w zakresie od −1 do 1. W zależności od stopnia zależności, korelację można klasyfikować na następujące typy:
Wysoka korelacja (│r│ ≥ 0,70)
Korelacja średnia (0,40 ≤ │r│ ≤ 0,70)
Niska korelacja (│r│ ≤ 0,40)

W zależności od kierunku relacji można ją zaklasyfikować na następujące typy:
Korelacja dodatnia (r > 0)
Ujemna korelacja (r < 0)
Brak korelacji (r = 0)

Z Tabeli 1 wynika, że siedem zachowań, w tym rozglądanie się (r = −0,834**, p < 0,05), korzystanie z telefonu komórkowego (r = 0,591**, p < 0,05), dyskusje (r = 0,546, p < 0,05), krążenie (r = −0,774**, p < 0,05), robienie notatek lub czytanie (r = 0,912**, p < 0,05), uważne słuchanie (r = −0,881**, p < 0,05), oraz spanie (r = −0,411**, p < 0,05) miało wysoką lub średnią korelację z zaangażowaniem behawioralnym, podczas gdy zachowania takie jak jedzenie lub picie (r = 0,319**, p = 0,04), wstawanie (w celu odpowiedzi na pytanie) (r = 0,330**, p = 0,00), ziewanie (r = −0,335**, p < 0,05), wędrówki (r = 0,293, p > 0,05) oraz korzystanie z komputera (r = 0,362, P < 0,05) wykazał niską lub żadną korelację z zaangażowaniem behawioralnym. Na podstawie analizy korelacji badanie to ostatecznie zidentyfikowało siedem zachowań jako wskaźników zaangażowania w naukę, mianowicie rozglądanie się, korzystanie z telefonu komórkowego, dyskusję, poruszanie się, robienie notatek lub czytanie, uważne słuchanie oraz sen.

Ustanowienie zbioru danych
Dane wideo użyte w tym badaniu zostały zebrane z platformy do bezpośredniego nagrywania SDUST, która dostarczyła zsynchronizowane nagrania rzeczywiste nauczania kursu "Academic English" w klasie. Zebrano dziesięć filmów z czterech klas osób niezwiązanych z anglistyką, każdy trwający około 50 minut, aby ustanowić możliwy do trenowania zbiór danych dotyczących zachowań studentów w klasie. Przy jednej klatce rysowanej co 15 sekund, ostatecznie wyodrębniono 2 000 obrazów z rozdzielczością 1 920 × 1 080.

Rozdzielenie zbioru danych
Eksperyment podzielił zbiór danych o zachowaniu uczniów na dwie całkowicie niezależne części: zestaw treningowy i zestaw testowy, jak pokazano w Tabeli 3, bez udostępniania obrazów. Zbiór danych obejmował wszystkie siedem zachowań uczniów. Zestaw treningowy i zestaw testowy były używane odpowiednio do parametrów modelu treningowego oraz oceny dokładności. Parametry treningowe zostały ustalone zgodnie z Tabelą 4.

Zbiór danych	Liczba obrazów
Razem	2830
Zestaw treningowy	2111
Zestaw testowy	719

Tabela 3: Dzielenie zbioru danych o zachowaniu uczniów.

Parametr	Wartość
Tempo uczenia się	0.01
Pęd	0.937
Spadek masy	0.0005
Epoka	100
Wielkość partii	16

Tabela 4: Ustalanie parametrów eksperymentalnych.

Aby zapobiec wyciekom danych spowodowanym występowaniem tego samego ucznia w różnych podzbiorach oraz zachować naturalną ciągłość czasową zachowań, zastosowano metodę "Stratified Temporal Split".

Rozdzielenie podmiotu: Zbiór danych został podzielony na unikalne identyfikatory uczniów, co zapewniało, że studenci w zestawach szkoleniowych, walidacyjnych i testowych byli wzajemnie wykluczający się.

Podział czasowy: Filmy były uporządkowane chronologicznie. Pierwsze 70% segmentów czasowych służyło do treningu, kolejne 15% do walidacji, a ostatnie 15% do testów. Ta metoda lepiej symulowała rzeczywiste uogólnienia czasowe w porównaniu do losowego podziału.

Balans klas: W kategoriach niedostatecznie reprezentowanych, takich jak "śpiące" i "korzystanie z telefonu", zastosowano umiarkowane nadpróbkowanie w zbiorze treningowym, aby zapewnić, że model nauczył się cech ze wszystkich kategorii.

Adnotacja zbioru danych treningowych
Do ręcznego adnotowania danych treningowych użyto otwartego narzędzia adnotacji. Narzędzie to było wykorzystywane do adnotacji ramek ograniczających. Konkretny workflow wyglądał następująco: (1) Kluczowe klatki były wyodrębniane z ustaloną częstotliwością (1 klatka/s) z nagrań monitoringu obejmujących różne szkoły, przedziały czasowe i typy kursów, po czym następowało przetwarzanie anonimizacji, takie jak rozmycie twarzy; (2) Zgodnie z procedurą adnotacji, annotatorzy używali prostokątnych pól, aby precyzyjnie wyznaczyć ucznia wykonującego określone zachowanie i przypisali mu odpowiednią etykietę kategorii; (3) Adnotacje były eksportowane jako pliki XML w formacie PASCAL VOC.

Aby zapewnić jakość etykiet, zwłaszcza aby uniknąć błędów w rozróżnianiu niejednoznacznych zachowań (np. dyskusja vs. błądzenie), wdrożono mechanizm współpracy "Trzyetapowej Adnotacji-Arbitrażu":

Wstępna adnotacja: Każda klatka kluczowa była niezależnie adnotowana przez trzech wytrenowanych adnotatorów. Każda etykieta składa się z etykiety kategorii oraz ramki ograniczającej.

Weryfikacja spójności: Obliczono spójność przecięcia nad sumą oraz spójność kategorii między adnotacjami. Ramki ograniczające, będące wynikiem początkowej adnotacji z IoU > 0.8 i identycznymi etykietami kategorii, były uważane za "spójne adnotacje". Ramki ograniczające z etykietami kategorii IoU ≤ 0,8 lub nieidentyczne były uznawane za "niespójne adnotacje".

Arbitraż ekspertów: W przypadku niespójnych adnotacji (np. niejednoznacznych przypadków, takich jak "rozglądanie się" vs. "dyskusja"), panel ekspertów z doświadczeniem dydaktycznym podejmował ostateczną decyzję na podstawie klipu wideo, kontekstu behawioralnego i wiedzy pedagogicznej. Ostateczne ustalenie podejmowane jest poprzez weryfikację dokładności etykiety poprzez analizę segmentu wideo źródłowego klatki kluczowej.

Adnotacja ujawniła, że zachowania uczniów charakteryzowały się wieloma intensywnymi i małymi celami, jak pokazano na Rysunku 3.

Rysunek 3. Przykład adnotacji obrazów w klasie. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Uczniowie na zajęciach wykazywali zachowania takie jak uważne słuchanie, korzystanie z telefonu komórkowego oraz częste czytanie lub robienie notatek, podczas gdy częstotliwość chodzenia, wędrówek itp. była stosunkowo niska. Rysunek 4 pokazuje rozkład zachowań klasowych w zbiorze danych treningowych.

Rysunek 4. Rozkład zachowań w zbiorze danych treningowych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Wykrywanie zachowań uczniów
Frameworki do detekcji obiektów oparte na głębokim uczeniu dzieliły się głównie na dwie kategorie:²²: metody dwuetapowe, reprezentowane przez serię Faster R-CNN, oraz metody jednoetapowe, reprezentowane przez YOLO. W pierwszej kategorii metody dwuetapowego wykrywania najpierw generowały propozycje regionów za pomocą sieci propozycji regionów (RPN), a następnie wykonały szczegółowe obliczenia prawdopodobieństwa klas oraz regresję w ramkach ograniczających. W drugiej kategorii metody jednoetapowe usprawniły proces wykrywania, jednocześnie przewidując klasy obiektów i ograniczając ramki w jednym etapie. Podczas gdy metody dwuetapowe pojawiły się wcześniej w rozwoju tej dziedziny, podejścia jednoetapowe zyskały popularność dzięki uproszczonej architekturze i efektywności obliczeniowej. Aby osiągnąć dokładniejsze i bardziej efektywne rozpoznawanie zachowań w klasie, w tym badaniu wybrano reprezentatywne algorytmy z obu kategorii, mianowicie Faster R-CNN^23,24 oraz YOLO-v5^25,26, do przeprowadzenia eksperymentów wykrywania zachowań w klasie, a następnie porównano wyniki detekcji obu algorytmów, zanim ostatecznie podjęto decyzję o algorytmie stosowanym do wykrywania zachowań w tym badaniu.

Aby efektywnie ocenić wyniki eksperymentalne, skupiono się na ogólnej dokładności wykrywania w porównaniu do kosztu czasu każdego modelu algorytmicznego. Do pomiaru obu modeli użyto średniej średniej precyzji (mAP) oraz czasu treningu (h).

Za pomocą obu metod wykryto siedem kategorii zachowań do rozpoznania, a średnie wartości dokładności wykrywania (AP) zostały zarejestrowane w Tabeli 5. Wśród nich YOLO-v5 przewyższały Faster R-CNN w wykrywaniu trzech kategorii działań: poruszania się, uważnego słuchania wykładów oraz korzystania z telefonów komórkowych, z wartościami AP odpowiednio 100%, 62,7% i 31,8%.

Model sieciowy	Dyskusja	Obchodzenie	Słucham uważnie	Rozglądanie się	Spanie	Robienie notatek lub czytanie	Korzystanie z telefonu komórkowego
Faster R-CNN	32.6	99.5	45.4	9.3	22	52.6	26.8
YOLO-v5s	17.8	100	62.7	3.8	19	51	31.8

Tabela 5: Średnia precyzja obu algorytmów dla jednej klasy.

Czas treningu oraz średnia dokładność wykrywania dwóch klasycznych sieci detekcji na zestawie testowym przy IoU wynoszącym 0,5 przedstawiono w Tabeli 6. Chociaż sieć Faster R-CNN miała wyższą dokładność, jej czas działania był stosunkowo długi. Dla porównania, YOLO-v5 miały o 30% krótszy czas pracy i jedynie 0,3% spadek dokładności, co świadczy o większej poprawie efektywności. Biorąc pod uwagę potrzebę wykrywania zachowań uczniów w klasie w czasie rzeczywistym w tym badaniu, oczekiwano, że czas szkolenia sieci będzie jak najkrótszy. Biorąc pod uwagę zarówno dokładność wykrywania, jak i koszt czasu modeli trenowanych na zbiorze treningowym, artykuł ten stwierdził, że YOLO-v5s jest bardziej odpowiedni do wykrywania zachowań uczniów w klasie.

Model sieciowy	h	mAP@0,5 (%)
Faster R-CNN	2.88	41.17
YOLO-v5s	2.016	40.87

Tabela 6: Porównanie wydajności wykrywania.

Dlatego YOLO-v5s został wybrany do wykrywania zachowań w klasie w tym badaniu. Wyniki detekcji uzyskane przez YOLO-v5 są zilustrowane na Rysunku 5, pokazującym ciągłe wykrywanie zachowań wielocelowych wraz z odpowiadającymi etykietami.

Rysunek 5. Przykłady wyników detekcji zbioru testowego. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

(1) Uzupełnianie i wstępne przetwarzanie danych
Aby zwiększyć odporność modelu i uogólnienie, podczas treningu zastosowano strategię augmentacji danych złożonych, w tym losowe transformacje afiniczne, drganie kolorów oraz losową okluzję. Wszystkie obrazy były równomiernie zmieniane do 640 × 640 pikseli.

(2) Strategia szkoleniowa
Proces szkolenia podzielono na trzy etapy:
Faza zamrożonego szkieletu (Epochy 1-100): Sieć szkieletowa została zamrożona, a jedynie głowica wykrywająca była wytrenowana, stosując niską szybkość uczenia się do rozgrzewki.
Faza pełnego dostrojenia sieci (epoki 101-250): Wszystkie warstwy sieci zostały odmrożenie. Planownik wyżarzania kosinusowego dostosowywał tempo uczenia się.
Faza udoskonalania (epoki 251-300): Zastosowano wykładniczą średnią kroczącą do stabilizacji treningu, a intensywność augmentacji danych została zmniejszona w celu udoskonalenia modelu.

Aby rozwiązać problem nierównowagi klasowej, do funkcji utraty zastosowano wagi specyficzne dla klas odwrotnie proporcjonalne do ich częstotliwości w zbiorze treningowym.

(3) Postprocessing i optymalizacja czasowa
Aby utrzymać spójność czasową zachowań w klasie, po wnioskowaniu modelu zastosowano filtr spójności czasowej. Konkretnie, dla wykrytego celu w sekwencji wideo, jego kategoria zachowania musiała zostać zidentyfikowana co najmniej w trzech kolejnych klatkach, aby zostać potwierdzonym, skutecznie filtrując przejściowe fałszywe alarmy.

Ustanowienie metody punktacji zaangażowania behawioralnego
W tym badaniu zastosowano metodę grup fokusowych do przypisywania punktów każdemu zachowaniu. Dwudziestu nauczycieli pierwszej linii na uczelni zostało zaproszonych do oceny zaangażowania siedmiu kategorii zachowań na podstawie swojego doświadczenia w zarządzaniu klasą. Wszyscy 20 nauczycieli uczyli przez ponad 10 lat i prowadzili szeroki zakres kursów w różnych dziedzinach. Wyniki zaangażowania wahały się od 0 do 3, gdzie 0-1 oznaczało niskie zaangażowanie, 1-2 średnie zaangażowanie, a 2-3 wysokie zaangażowanie. Jeśli występował wysoki stopień spójności (α > 0,8) w ocenach wielu oceniających określony typ zachowania, zaangażowanie tego zachowania mierzono przez uśrednianie ocen poszczególnych nauczycieli. Ostateczne oceny dla każdego typu zachowań przedstawiono w Tabeli 7.

Typ zachowania	rozglądając się	Korzystanie z telefonu komórkowego	Dyskusja	Chodzi dookoła	robienie notatek lub czytanie	Słuchaj uważnie	Śpiąc
Wynik zaangażowania	0.9	1.2	1.9	0.6	2.7	2.8	0.2

Tabela 7: Oceny zachowań.

Wzór na zaangażowanie behawioralne każdego ucznia to

E_Si = zaangażowanie behawioralne ucznia, S_j = wynik zachowania, f_j = częstotliwość zachowań j.

Zakładając, że liczba wykrytych zachowań ucznia w klasie wynosiła 100, w tym 4 "dyskusyjne", 68 "uważne słuchanie", 25 "czytanie/robienie notatek" oraz 3 "rozglądanie się", ogólny wynik zaangażowania osobistego ucznia wynosił (1,9 × 4 + 2,8 × 68 + 2,7 × 25 + 0,9 × 3) / 100 = 2,68. Biorąc cały wykład jako punkt odniesienia, zaangażowanie behawioralne podzielono na cztery poziomy według równoprzedziałowego podziału skali 0-3: wynik poniżej 0,75 definiowano jako "niezaangażowany", 0,76-1,5 jako "lekko zaangażowany", 1,6-2,25 jako "zaangażowany", a 2,26-3 jako "bardzo zaangażowany"; dlatego student był oceniany jako "bardzo zaangażowany" w danej klasie.

Zaangażowanie behawioralne całej klasy odnosiło się do średniej oceny wszystkich uczniów. Wzór na zaangażowanie behawioralne klasy jest następujący:

E_c =zaangażowanie behawioralne klasy, _{E S} = zaangażowanie behawioralne konkretnego ucznia, n = liczba uczniów

Wyniki

Dzięki wykrywaniu zachowań i wykorzystaniu modelu punktacji osiągnięto automatyczne pomiary zaangażowania behawioralnego uczniów. Weźmy na przykład jedną klasę z filmu, gdzie zaangażowanie behawioralne każdego ucznia w czasie rzeczywistym można obliczyć na podstawie wyników detekcji zachowań oraz modelu punktacji. Rysunek 6 ilustruje zaangażowanie behawioralne dwóch uczniów na tych zajęciach, prezentując ich poziom zaangażowania w różnych momentach. Stwierdzono, że średnio u...

Dyskusja

To badanie umożliwiło automatyczne rozpoznawanie i pomiar zaangażowania behawioralnego. W porównaniu z wcześniejszymi badaniami, zidentyfikowane zachowania były bardziej reprezentatywne dla sal wykładowych na uczelni (np. korzystanie z telefonów komórkowych), a ocena zaangażowania behawioralnego była przedstawiona w formie wykresów, co czyniło je intuicyjnymi do zobaczenia. To automatyczne podejście do pomiaru pozwoliło nauczycielom efektywnie i jasno oceniać zaangażowanie poszczególnych uczniów, jak i całej klasy, wspie...

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Filmy z klas			Dane wideo użyte w tym badaniu pochodzą z platformy bezpośredniego nagrywania Uniwersytetu Nauki i Technologii w Shandong (SDUST), które są zsynchronizowanymi nagraniami z rzeczywistej lekcji kursu Akademicki angielski. Zebrano 30 filmów z 6 klas studentów niebędących anglistyką, każdy trwający około 50 minut, aby utworzyć możliwy do wytrenowania zestaw danych studentów Zachowania w klasie.
IBM SPSS Statystyki 26	IBM		SPSS dla Windows to modułowy pakiet oprogramowania, który integruje funkcje wprowadzania, organizacji i analizy. Do jego podstawowych funkcji należą zarządzanie danymi, analiza statystyczna, analiza wykresów, zarządzanie wynikami i inne. SPSS jest głównie wykorzystywany do analizy spójności i korelacji w tym artykule.
Oznaczenie 1.8.6			Etykietowanie to narzędzie do wizualnej adnotacji obrazów. Jest napisany w Pythonie i wykorzystuje Qt jako interfejs graficzny. Adnotacje są zapisywane jako pliki XML w formacie PASCAL VOC, który jest używany przez ImageNet. Dodatkowo obsługuje format YOLO. Jest używany w zbiorach danych potrzebnych w sieciach detekcji obiektów, takich jak Faster R-CNN, YOLO i SSD, do adnotacji obiektów na obrazach.
MMDetection 2.22.0			MMDetection, 2.22.0, MMDetection to zestaw narzędzi do wykrywania obiektów, który obejmuje bogate metody wykrywania obiektów, segmentacji instancji oraz segmentacji panoramicznej, a także powiązane komponenty i moduły.