Oparty na sztucznej inteligencji system do wykrywania poziomu uwagi u uczniów

W nowoczesnych środowiskach edukacyjnych, dokładna ocena i utrzymanie uwagi uczniów jest kluczowe dla efektywnego nauczania i uczenia się. Jednak tradycyjne metody mierzenia zaangażowania, takie jak samoocena lub subiektywne obserwacje nauczycieli, są czasochłonne i podatne na uprzedzenia. Aby sprostać temu wyzwaniu, techniki sztucznej inteligencji (AI) okazały się obiecującymi rozwiązaniami w zakresie automatycznego wykrywania uwagi. Jednym z istotnych aspektów zrozumienia poziomu zaangażowania uczniów jest rozpoznawanie emocji¹. Systemy sztucznej inteligencji mogą analizować mimikę twarzy, aby zidentyfikować emocje, takie jak neutralne, wstręt, zaskoczenie, smutek, strach, szczęście i złość².

Kierunek spojrzenia i postawa ciała są również kluczowymi wskaźnikami uwagi uczniów³. Wykorzystując kamery i zaawansowane algorytmy uczenia maszynowego, systemy sztucznej inteligencji mogą dokładnie śledzić, gdzie patrzą uczniowie i analizować ich postawę ciała, aby wykryć oznaki braku zainteresowania lub zmęczenia⁴. Co więcej, włączenie danych biometrycznych zwiększa dokładność i niezawodność wykrywania uwagi⁵. Zbierając pomiary, takie jak tętno i poziom nasycenia krwi tlenem, za pomocą smartwatchy noszonych przez studentów, można uzyskać obiektywne wskaźniki uwagi, uzupełniające inne źródła informacji.

Ten artykuł proponuje system, który ocenia poziom uwagi danej osoby za pomocą kolorowych kamer i innych różnych czujników. Łączy w sobie rozpoznawanie emocji, analizę kierunku spojrzenia, ocenę postawy ciała i dane biometryczne, aby zapewnić nauczycielom kompleksowy zestaw narzędzi do optymalizacji procesu nauczania-uczenia się i zwiększania zaangażowania uczniów. Korzystając z tych narzędzi, nauczyciele mogą uzyskać kompleksowe zrozumienie procesu nauczania-uczenia się i zwiększyć zaangażowanie uczniów, optymalizując w ten sposób ogólne doświadczenie edukacyjne. Dzięki zastosowaniu technik sztucznej inteligencji możliwa jest nawet automatyczna ocena tych danych.

Głównym celem tej pracy jest opisanie systemu, który pozwala nam na przechwycenie wszystkich informacji, a po ich przechwyceniu, na wytrenowanie modelu AI, który pozwala nam przyciągnąć uwagę całej klasy w czasie rzeczywistym. Chociaż w innych pracach zaproponowano już przyciągnięcie uwagi za pomocą informacji wizualnych lub emocjonalnych⁶, w niniejszej pracy zaproponowano łączne wykorzystanie tych technik, co zapewnia holistyczne podejście, aby umożliwić stosowanie bardziej złożonych i skutecznych technik sztucznej inteligencji. Ponadto dotychczas dostępne zbiory danych ograniczają się albo do zestawu nagrań wideo, albo do jednego zestawu danych biometrycznych. W literaturze brak jest zbiorów danych, które dostarczają kompletnych danych z obrazami twarzy ucznia lub jego ciała, danymi biometrycznymi, danymi o pozycji nauczyciela itp. Dzięki przedstawionemu tutaj systemowi możliwe jest przechwycenie tego typu zbioru danych.

System kojarzy poziom uwagi z każdym uczniem w każdym momencie. Ta wartość jest wartością prawdopodobieństwa uwagi z zakresu od 0% do 100%, która może być interpretowana jako niski poziom uwagi (0%-40%), średni poziom uwagi (40%-75%) i wysoki poziom uwagi (75%-100%). W całym tekście to prawdopodobieństwo uwagi jest określane jako poziom uwagi, uwaga ucznia lub to, czy uczniowie są rozproszeni, czy nie, ale wszystkie są związane z tą samą wartością wyjściową naszego systemu.

Z biegiem lat, dziedzina automatycznego wykrywania zaangażowania znacznie się rozrosła ze względu na jej potencjał do zrewolucjonizowania edukacji. Naukowcy zaproponowali różne podejścia do tej dziedziny badań.

Ma et al.⁷ wprowadziło nowatorską metodę opartą na neuronowej maszynie Turinga do automatycznego rozpoznawania zaangażowania. Wyodrębnili pewne cechy, takie jak spojrzenie oczu, jednostki działania twarzy, ułożenie głowy i ułożenie ciała, aby stworzyć kompleksową reprezentację rozpoznawania zaangażowania.

EyeTab⁸, inny innowacyjny system, używał modeli do oszacowania, gdzie ktoś patrzy obojgiem oczu. Został specjalnie stworzony, aby działał płynnie na standardowym tablecie bez żadnych modyfikacji. System ten wykorzystuje dobrze znane algorytmy do przetwarzania obrazów i analizy wizji komputerowej. Ich proces szacowania spojrzenia obejmuje detektor oka oparty na cechach podobny do Haar, a także podejście do dopasowania elipsy limbus oparte na RANSAC.

Sanghvi et al.⁹ proponują podejście, które opiera się na technikach opartych na wizji, aby automatycznie wyodrębnić wyraziste cechy postawy z filmów nagranych z boku, rejestrując zachowanie dzieci. Przeprowadzana jest wstępna ocena, obejmująca trenowanie wielu modeli rozpoznawania przy użyciu kontekstowych afektywnych wyrażeń postawy. Uzyskane wyniki pokazują, że wzorce zachowań posturalnych mogą skutecznie przewidywać zaangażowanie dzieci w kontakt z robotem.

W innych pracach, takich jak Gupta et al.¹⁰, zastosowano metodę opartą na głębokim uczeniu się do wykrywania zaangażowania osób uczących się online w czasie rzeczywistym poprzez analizę ich mimiki twarzy i klasyfikację emocji. Podejście to wykorzystuje rozpoznawanie emocji twarzy do obliczenia wskaźnika zaangażowania (EI), który przewiduje dwa stany zaangażowania: zaangażowany i niezaangażowany. Różne modele głębokiego uczenia, w tym Inception-V3, VGG19 i ResNet-50, są oceniane i porównywane w celu zidentyfikowania najskuteczniejszego modelu klasyfikacji predykcyjnej do wykrywania zaangażowania w czasie rzeczywistym.

W Altuwairqi et al.¹¹, naukowcy prezentują nowatorskie automatyczne podejście multimodalne do oceny poziomu zaangażowania studentów w czasie rzeczywistym. Aby zapewnić dokładne i wiarygodne pomiary, zespół zintegrował i przeanalizował trzy odrębne modalności, które rejestrują zachowania uczniów: mimikę emocji wyrażaną przez emocje, naciśnięcia klawiatury i ruchy myszy.

Guillén et al.¹² proponują opracowanie systemu monitorowania, który wykorzystuje elektrokardiografię (EKG) jako podstawowy sygnał fizjologiczny do analizy i przewidywania obecności lub braku uwagi poznawczej u osób podczas wykonywania zadania.

Alban et al.¹³ wykorzystują sieć neuronową (NN) do wykrywania emocji poprzez analizę wartości tętna (HR) i aktywności elektrodermalnej (EDA) różnych uczestników, zarówno w dziedzinie czasu, jak i częstotliwości. Odkryli, że wzrost średniej kwadratowej kolejnych różnic (RMSDD) i przedziałów odchylenia standardowego od normalnego do normalnego (SDNN), w połączeniu ze spadkiem średniego HR, wskazuje na zwiększoną aktywność współczulnego układu nerwowego, co jest związane ze strachem.

Kajiwara et al.¹⁴ proponują innowacyjny system, który wykorzystuje czujniki do noszenia na ciele i głębokie sieci neuronowe do prognozowania poziomu emocji i zaangażowania pracowników. System przebiega zgodnie z trzyetapowym procesem. Początkowo czujniki ubieralne na ciele przechwytują i gromadzą dane o zachowaniach i falach tętna. Następnie cechy szeregów czasowych są obliczane na podstawie uzyskanych danych behawioralnych i fizjologicznych. Wreszcie, głębokie sieci neuronowe są wykorzystywane do wprowadzania cech szeregów czasowych i przewidywania emocji i poziomów zaangażowania danej osoby.

W innych badaniach, takich jak Costante et al.¹⁵, zaproponowano podejście oparte na nowatorskim algorytmie uczenia się metryki transferu, który wykorzystuje wcześniejszą wiedzę na temat predefiniowanego zestawu gestów w celu poprawy rozpoznawania gestów zdefiniowanych przez użytkownika. Tę poprawę osiąga się przy minimalnym poleganiu na dodatkowych próbkach treningowych. Podobnie, przedstawiono oparte na czujnikach ramy rozpoznawania aktywności człowieka¹⁶, aby zająć się celem, jakim jest bezosobowe rozpoznawanie złożonych działań człowieka. Dane sygnałowe zebrane z czujników noszonych na nadgarstku są wykorzystywane w opracowanych ramach rozpoznawania aktywności człowieka, wykorzystujących cztery modele DL oparte na RNN (Long-Short Term Memories, Bidirectional Long-Short Term Memories, Gated Recurrent Units i Bidirectional Gated Recurrent Units) w celu zbadania czynności wykonywanych przez użytkownika urządzenia ubieralnego.

Poniższy protokół jest zgodny z wytycznymi komisji etyki badań na ludziach Uniwersytetu w Alicante z zatwierdzonym numerem protokołu UA-2022-11-12. Uzyskano świadomą zgodę wszystkich uczestników na ten eksperyment i na wykorzystanie zamieszczonych tutaj danych.

1. Sprzęt, oprogramowanie i konfiguracja klas

1. Ustaw router z funkcją Wi-Fi (eksperymenty zostały przeprowadzone przy użyciu DLink DSR 1000AC) w żądanym miejscu, tak aby jego zasięg obejmował całe pomieszczenie. Zadaszono tu 25^m2 sale lekcyjne, w których uczyło się 30 uczniów.
2. Ustaw jeden smartwatch (tutaj Samsung Galaxy Smartwatch 5) i jedną kamerę (tutaj kamery Logitech C920) dla każdej lokalizacji ucznia. Ustaw jedno urządzenie wbudowane na każdych dwóch uczniów. Zamocuj dwie kamery na dwóch statywach i podłącz je do innego urządzenia wbudowanego (zwanego dalej kamerami zenitalnymi).
3. Podłącz kamery do odpowiednich urządzeń wbudowanych za pomocą łącza USB i włącz je. Włącz również smartwatche. Podłącz każde wbudowane urządzenie i smartwatch do sieci Wi-Fi routera skonfigurowanego w kroku 1.1.
4. Umieść kamery w rogu biurka każdego ucznia i skieruj je do przodu i lekko pochyl do góry, tak aby twarz ucznia była wyraźnie widoczna na obrazach.
5. Umieść dwa statywy z aparatami przed ławkami, które znajdują się najbliżej przejść w pierwszym rzędzie siedzeń w klasie. Przesuń wspornik statywu do najwyższej pozycji, aby kamery wyraźnie widziały większość uczniów. Każde wbudowane urządzenie będzie mogło zarządzać jednym lub dwoma uczniami, wraz z ich odpowiednimi kamerami i zegarkami. Konfiguracja jest przedstawiona w Rysunek 1.
6. Uruchom oprogramowanie do przechwytywania w smartwatchach i urządzeniach wbudowanych, aby były gotowe do wysyłania obrazów i danych akcelerometru, żyroskopu, tętna i oświetlenia. Uruchom oprogramowanie serwera, które zbiera dane i przechowuje je. Diagram wszystkich tych elementów można zobaczyć w Rysunek 2.
7. Upewnij się, że kamery zenitalne dominują scenę, aby miały wyraźny widok na ciała uczniów. Umieść dodatkową kamerę przed każdym uczniem.
8. Pozwól uczniom usiąść na swoich miejscach, poinformuj ich o celach eksperymentu i poinstruuj ich, aby nosili smartwatche na dominującej ręce i nie wchodzili w interakcje z żadnym z elementów zestawu.
9. Rozpocznij przechwytywanie i gromadzenie danych na serwerze i wznawiaj lekcje w klasie jak zwykle.

Rysunek 1: Sprzęt i potok danych. Dane z kamer i smartwatchy są gromadzone i przekazywane do algorytmów uczenia maszynowego w celu przetworzenia. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Położenie czujników, nauczyciela i uczniów. Diagram przedstawiający pozycje kamer, smartwatchy i graficznego interfejsu użytkownika w klasie z nauczycielem i uczniami. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

2. Potok przechwytywania i przetwarzania danych

UWAGA: Wszystkie te kroki są wykonywane automatycznie przez oprogramowanie przetwarzające zainstalowane na serwerze. Implementacja użyta do eksperymentów w tej pracy została napisana w Pythonie 3.8.

1. Zbierz wymagane dane, zbierając wszystkie obrazy i dane biometryczne ze smartwatcha dla każdego ucznia i zbuduj ramkę danych, która zawiera dane z 1 s. Ta ramka danych składa się z jednego obrazu z pojedynczej kamery, jednego obrazu z każdej kamery zenitalnej (w tym przypadku dwóch), pięćdziesięciu rejestrów trzech wartości żyroskopu, pięćdziesięciu rejestrów trzech wartości akcelerometru, jednej wartości tętna i jednej wartości warunków oświetleniowych.
2. Aby obliczyć kierunek głowy, pierwszym krokiem jest użycie kamery internetowej skierowanej na twarz ucznia i pobranie obrazu. Następnie obraz ten jest przetwarzany przez algorytm szacowania punktów orientacyjnych BlazeFace¹⁷. Wynikiem takiego algorytmu jest lista kluczowych punktów 2D odpowiadających określonym obszarom twarzy.
3. Korzystając z szacowanej pozycji oczu, nosa, ust i podbródka dostarczonej przez algorytm, rozwiąż problem n-punktowy perspektywy za pomocą metody cv::SolvePnPMethod biblioteki OpenCV, kanonicznego ustawienia twarzy. W wyniku tej procedury uzyskuje się macierz rotacji określającą kierunek głowy.
4. Oblicz pozę ciała, przekazując obraz zenitalny z ramki danych, w której uczeń jest przedstawiony, do algorytmu szacowania punktów orientacyjnych BlazePose¹⁸ i pobierz listę współrzędnych 2D stawów ciała przedstawionego na obrazie. Ta lista punktów orientacyjnych opisuje pozę ucznia.
   UWAGA: Pozycja ciała jest ważna, ponieważ może dokładnie reprezentować zaangażowanie ucznia w różne działania podczas zajęć. Na przykład, jeśli uczeń siedzi naturalnie z rękami na biurku, może to oznaczać, że robi notatki. W przeciwieństwie do tego, jeśli ciągle poruszają rękami, może to oznaczać, że do kogoś mówią.
5. Uzyskaj obraz twarzy ucznia i wykonaj wstępne przetwarzanie wyrównania. Pobierz kluczowe punkty oczu z listy obliczonej w kroku 2.3 i rzutuj je na płaszczyznę obrazu, tak aby uzyskać położenie oczu.
6. Narysuj wektor wirtualny, który łączy położenie obojga oczu. Oblicz kąt między tym wektorem a linią poziomą i zbuduj macierz homografii, aby zastosować odwrotny kąt do obrazu i kluczowych punktów, tak aby oczy były wyrównane poziomo.
7. Przytnij twarz, korzystając z kluczowych punktów, aby wykryć jej ograniczenia i wprowadź łatkę do konwolucyjnej sieci neuronowej wykrywania emocji¹⁹. Pobierz dane wyjściowe z sieci, które są wektorem z 7 pozycjami, z których każda daje prawdopodobieństwo, że twarz pokaże jedną z siedmiu podstawowych emocji: neutralną, szczęśliwą, zniesmaczoną, złą, przestraszoną, zaskoczoną i smutną.
8. Zmierz poziom uwagi, uzyskując dane z akcelerometru, żyroskopu i tętna z ramki danych (Rysunek 3).
9. Zasilaj model oparty na uczeniu głębokim, który został zbudowany na zamówienie i przeszkolony od podstaw, opisany w reprezentatywnych wynikach, strumieniem danych akcelerometru i żyroskopu. Pobierz dane wyjściowe z modelu, które są wektorem z 4 pozycjami, z których każda daje prawdopodobieństwo, że dane reprezentują jedną z następujących możliwych akcji: pismo odręczne, pisanie na klawiaturze, korzystanie z telefonu komórkowego lub odpoczynek, jak pokazano na Rysunek 4.
10. Nakarm końcowy klasyfikator uwagi linearyzacją wszystkich wyników z poprzednich systemów, łącząc kierunek głowy, wyjście rozpoznawania emocji, ułożenie ciała oraz dane żyroskopu, akcelerometru i tętna. Pobierz wyniki z tego końcowego klasyfikatora, który jest wynikiem od 0 do 100. Sklasyfikuj tę ciągłą wartość do jednej z trzech możliwych dyskretnych kategorii uwagi: niski poziom uwagi (0-40%), średni poziom uwagi (40%-75%) i wysoki poziom uwagi (75% - 100%). Strukturę wygenerowanego zbioru danych przedstawiono w tabeli 1.
11. Pokaż wyniki poziomów uwagi nauczycielowi za pomocą graficznego interfejsu użytkownika (GUI) z komputera nauczyciela, dostępnego ze zwykłej przeglądarki internetowej.

Rysunek 3: Dane przechwycone przez smartwatch. Smartwatch zapewnia żyroskop, akcelerometr, tętno i warunki oświetleniowe jako strumienie danych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Przykłady kategorii uwzględnianych przez model rozpoznawania aktywności. Model rozpoznawania aktywności rozpoznaje cztery różne działania: pismo odręczne, pisanie na klawiaturze, korzystanie ze smartfona i pozycja spoczynkowa. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Grupą docelową tego badania są studenci studiów licencjackich i magisterskich, więc główna grupa wiekowa to osoby w wieku od 18 do 25 lat. Ta populacja została wybrana, ponieważ potrafią obsługiwać urządzenia elektroniczne z mniejszą liczbą zakłóceń niż młodsi uczniowie. Łącznie grupa liczyła 25 osób. Ta grupa wiekowa może dostarczyć najbardziej wiarygodnych wyników do przetestowania propozycji.

Wyniki poziomu uwagi pokazanego nauczycielowi składają się z 2 części. Część A wyniku zawiera indywidualne informacje o aktualnym poziomie koncentracji uwagi każdego ucznia. Część B ma na celu przyciągnięcie przeciętnej uwagi całej klasy i jej historii czasowej w trakcie lekcji. Pozwala nam to uchwycić ogólny trend uwagi ucznia w klasie i dostosować metodologię stosowaną przez nauczyciela w sposób żywy. Co sekundę interfejs żąda nowych informacji od serwera. Co więcej, widok ten obejmuje korzystanie z powiadomień przeglądarki, dzięki czemu drastyczne zmiany w uwadze uczniów są pokazywane w nienachalny sposób, podczas gdy nauczyciel wykonuje swoje czynności normalnie, bez konieczności utrzymywania tego graficznego interfejsu użytkownika na pierwszym planie. Przykład tego GUI można zobaczyć w Rysunek 5.

Rysunek 5: Graficzny interfejs użytkownika systemu. Poziom uwagi jest wyświetlany w graficznym interfejsie użytkownika, do którego można uzyskać dostęp za pomocą dowolnej przeglądarki internetowej na dowolnym zdolnym do tego urządzeniu, takim jak tablet, smartfon oraz komputer stacjonarny lub laptop. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Jeśli chodzi o model rozpoznawania aktywności, zdefiniowano rekurencyjną sieć neuronową, która otrzymuje sekwencję 200 pomiarów z 6 wartościami każdy jako dane wejściowe: mianowicie trzy wartości z akcelerometru i 3 z żyroskopu. Model składa się z warstwy LSTM składającej się z 64 jednostek, po której następuje w pełni połączona warstwa aktywowana przez SoftMax z czterema neuronami wyjściowymi, po jednym na kategorię. Architektura jest przedstawiona w Rysunek 6.

Rysunek 6: Architektura klasyfikatora aktywności. Jako dane wejściowe model pobiera dane smartwatcha i przetwarza je przez warstwę LSTM, a następnie w pełni połączoną warstwę. Wynikiem jest prawdopodobieństwo, że próbka obrazuje każde działanie. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Jako dane wyjściowe, klasyfikator zwraca klasę odpowiadającą szacowanej czynności wykonywanej przez ucznia. Ta sieć neuronowa została przeszkolona na podstawie danych zebranych od 6 różnych osób. Każdy z nich był nagrywany podczas wykonywania czynności z czterech różnych kategorii przez 200 sekund. Wszystkie pobrane dane zostały zduplikowane, generując nowy lustrzany zestaw danych poprzez odwrócenie wartości uzyskanej z czujników w osi X. Jest to podobne do zbierania danych zarówno z prawej, jak i lewej ręki wszystkich osób. Jest to powszechna praktyka w obszarze uczenia maszynowego i ma na celu wygenerowanie większej liczby próbek z istniejącego zestawu danych, aby uniknąć nadmiernego dopasowania.

200 pomiarów (jeden rekord na sekundę) jest grupowanych w strumienie po 4 sekundy, aby dopasować dane wejściowe z sieci LSTM poprzez przesuwanie okna sekunda po sekundzie. W efekcie uzyskaliśmy 197 kombinacji danych pobranych w interwale 4 s. Podsumowując, w sumie jest 9 456 wejść danych, 6 osób, 4 klasy, 2 ręce i 197 zestawów treningowych. Dane zostały podzielone na 90% trenowania i 10% walidacji, a sieć została przeszkolona dla 300 epok i wielkości partii 64.

Jak pokazano w Rysunek 7, model był trenowany przez 300 epok. Strata walidacji wyniosła mniej niż 0,1%, a dokładność walidacji wyniosła 97%. Uzyskane metryki podkreślają dobrą wydajność modelu.

Rysunek 7: Straty i dokładności treningu i walidacji. Straty i dokładności związane z uczeniem i walidacją pokazują, że wydajność modelu jest odpowiednia i nie cierpi z powodu nadmiernego dopasowania. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Na koniec, wyniki każdego podsystemu (ułożenie głowy, oszacowanie pozycji, przewidywanie emocji i rozpoznawanie aktywności) są łączone w klasyfikator wzmacniający, który dostarcza wartość prawdopodobieństwa, czy uczeń jest uważny na lekcji, czy nie.

W celu przyspieszenia koncepcyjnego i proceduralnego wyjaśnienia dokładnego etykietowania i wkładu ekspertów, skonsultowano się z istniejącymi badaniami, jak opisano poniżej.

Jeśli chodzi o wkład ekspertów, wybrano metodę Delphi20,21,22, metoda, która jest coraz bardziej przydatna w dziedzinie technologii23. Jak wskazano w poprzedniej publikacji, metoda delficka jest definiowana jako iteracyjny, grupowy i anonimowy proces generowania opinii na dany temat i poszukiwania konsensusu wśród ekspertów na ten temat23. W przedstawionym tutaj przypadku 6 ekspertów wniosło swój wkład przez 2 tygodnie i 2 rundy konsultacji, zgodnie z Khodyakov et al.24. Ze względu na znaczenie profilu uczestniczących ekspertów, w konsultacjach wzięli udział specjaliści akademiccy z uczelni wyższych w dziedzinie psychologii, pedagogiki i informatyki. Do zebrania danych wykorzystano metodę ilościową. Wyniki doprowadziły do konsensusu w sprawie etykietowania zastosowanego w tym badaniu.

Jeśli chodzi o badania, które stanowiły podstawę do etykietowania, rozpoczęliśmy od badania eksploracyjnego w głównych bazach danych, takich jak WOS i Scopus. W tym kontekście warto wspomnieć o wkładzie wcześniejszych badań25,26,27,28. Wszystkie one odnoszą się do problemu opieki z określonej perspektywy, ale nie w sposób holistyczny, z perspektywy inteligentnego systemu, jak ma to miejsce w niniejszym badaniu. Z drugiej strony istnieją badania, które łączą dwa konkretne źródła, takie jak Zaletelj i wsp.29, gdzie koncentrują się na rysach twarzy i ciała, ale są dalekie od globalnych podejść, takich jak to badanie. Jedna z poprzednich prac wyróżnia się30, powołując się na taksonomię Posnera, która jest brana pod uwagę w tym badaniu. Posner uważa uwagę za zestaw izolowalnych systemów neuronowych (czujność, orientacja i kontrola wykonawcza), które często współpracują ze sobą w celu uporządkowania zachowania30.

Klasyfikator wzmacniający to algorytm zespołowy, który uczy się wag dla każdego słabego wyniku klasyfikatora i generuje wartość końcową za pomocą ważonej kombinacji każdej indywidualnej decyzji. Informacje te, jak omówiono w kroku 2.9, są prezentowane w czasie rzeczywistym za pośrednictwem interfejsu internetowego, dzięki czemu nauczyciel może zauważyć drastyczne zmiany w poziomie uwagi klasy za pomocą powiadomień przeglądarki. Dzięki temu interfejsowi wizualizacji, który pokazuje ewolucję ogólnego poziomu uwagi uczniów w czasie rzeczywistym, nauczyciele mogą dostosować swoje klasy, aby zaangażować uczniów w lekcje i uzyskać więcej z klasy.

Tabela 1 przedstawia strukturę zbioru danych, która składa się z następujących elementów: Indywidualna kamera: jeden obraz na sekundę w rozdzielczości RGB 960 x 720 pikseli; Kamery Zenital: dwa obrazy na sekundę przy 1920 x 1080 pikselach RGB; Żyroskop: 50 danych na sekundę, każde dane są rozkładane na 3 wartości zmiennoprzecinkowe z 19 wartościami dziesiętnymi, odpowiadającymi współrzędnym X, Y, Z. Mierzy przyspieszenie kątowe w °/s; Akcelerometr: 50 danych na sekundę, każde dane są rozkładane na 3 wartości zmiennoprzecinkowe z 19 wartościami dziesiętnymi, odpowiadającymi współrzędnym X, Y, Z. Mierzy przyspieszenie w m/s2; Wektor rotacji: 50 danych na sekundę, każde dane są rozkładane na kwaternion z 4 wartościami zmiennoprzecinkowymi z 19 miejscami po przecinku (z wartościami od -1 do 1); Tętno: jedna wartość na sekundę mierząca uderzenia na minutę; Czujnik światła: około 8-10 wartości na sekundę mierzących poziom światła za pomocą liczb całkowitych; Kierunek głowy: Dla każdego obrazu 3 liczby dziesiętne reprezentują oś X (przechylenie), oś Y (pochylenie) i oś Z (odchylenie), które wskazują nachylenie głowy; Ułożenie ciała: Dla każdego obrazu 18 liczb dziesiętnych reprezentuje współrzędne X i Y 9 kluczowych punktów.

Tabela 1: Struktura zbioru danych. Zestaw danych przedstawia różne dane do celów klasyfikacji. Wszystkie pokazane dane pochodzą z danych biometrycznych i zdjęć wykonanych z różnych kamer.

Autorzy oświadczają, że nie są im znane żadne konkurencyjne interesy finansowe ani powiązania osobiste, które mogłyby mieć wpływ na pracę opisaną w tym artykule.