Oparty na sztucznej inteligencji system do wykrywania poziomu uwagi u uczniów

Summary

Ten artykuł proponuje system oparty na sztucznej inteligencji, który automatycznie wykrywa, czy uczniowie zwracają uwagę na klasę, czy są rozproszeni. System ten ma za zadanie pomóc nauczycielom utrzymać uwagę uczniów, zoptymalizować ich lekcje i dynamicznie wprowadzać modyfikacje, aby były one bardziej angażujące.

Abstract

Poziom koncentracji uczniów w klasie może być poprawiony dzięki zastosowaniu technik sztucznej inteligencji (AI). Automatycznie identyfikując poziom uwagi, nauczyciele mogą stosować strategie, aby odzyskać koncentrację uczniów. Można to osiągnąć za pomocą różnych źródeł informacji.

Jednym ze źródeł jest analiza emocji odbitych na twarzach uczniów. Sztuczna inteligencja może wykrywać emocje, takie jak neutralne, wstręt, zaskoczenie, smutek, strach, szczęście i złość. Dodatkowo, kierunek wzroku uczniów może również potencjalnie wskazywać na ich poziom uwagi. Innym źródłem jest obserwacja postawy ciała uczniów. Korzystając z kamer i technik głębokiego uczenia, można analizować postawę w celu określenia poziomu uwagi. Na przykład uczniowie, którzy się garbią lub opierają głowy na ławkach, mogą mieć niższy poziom uwagi. Smartwatche rozdawane uczniom mogą dostarczać danych biometrycznych i innych, w tym pomiarów tętna i bezwładności, które mogą być również wykorzystywane jako wskaźniki uwagi. Łącząc te źródła informacji, system sztucznej inteligencji można wytrenować w celu określenia poziomu uwagi w klasie. Jednak integracja różnych typów danych stanowi wyzwanie, które wymaga utworzenia zestawu danych z etykietą. Opinie ekspertów i istniejące badania są konsultowane w celu dokładnego etykietowania. W tym artykule proponujemy integrację takich pomiarów oraz stworzenie zestawu danych i potencjalnego klasyfikatora uwagi. Aby przekazać nauczycielowi informację zwrotną, badamy różne metody, takie jak smartwatche lub bezpośrednie komputery. Gdy nauczyciel zda sobie sprawę z problemów z uwagą, może dostosować swoje podejście do nauczania, aby ponownie zaangażować i zmotywować uczniów. Podsumowując, techniki sztucznej inteligencji mogą automatycznie identyfikować poziom uwagi uczniów, analizując ich emocje, kierunek spojrzenia, postawę ciała i dane biometryczne. Informacje te mogą pomóc nauczycielom w optymalizacji procesu nauczania-uczenia się.

Introduction

W nowoczesnych środowiskach edukacyjnych, dokładna ocena i utrzymanie uwagi uczniów jest kluczowe dla efektywnego nauczania i uczenia się. Jednak tradycyjne metody mierzenia zaangażowania, takie jak samoocena lub subiektywne obserwacje nauczycieli, są czasochłonne i podatne na uprzedzenia. Aby sprostać temu wyzwaniu, techniki sztucznej inteligencji (AI) okazały się obiecującymi rozwiązaniami w zakresie automatycznego wykrywania uwagi. Jednym z istotnych aspektów zrozumienia poziomu zaangażowania uczniów jest rozpoznawanie emocji¹. Systemy sztucznej inteligencji mogą analizować mimikę twarzy, aby zidentyfikować emocje, takie jak neutralne, wstręt, zaskoczenie, smutek, strach, szczęście i złość².

Kierunek spojrzenia i postawa ciała są również kluczowymi wskaźnikami uwagi uczniów³. Wykorzystując kamery i zaawansowane algorytmy uczenia maszynowego, systemy sztucznej inteligencji mogą dokładnie śledzić, gdzie patrzą uczniowie i analizować ich postawę ciała, aby wykryć oznaki braku zainteresowania lub zmęczenia⁴. Co więcej, włączenie danych biometrycznych zwiększa dokładność i niezawodność wykrywania uwagi⁵. Zbierając pomiary, takie jak tętno i poziom nasycenia krwi tlenem, za pomocą smartwatchy noszonych przez studentów, można uzyskać obiektywne wskaźniki uwagi, uzupełniające inne źródła informacji.

Ten artykuł proponuje system, który ocenia poziom uwagi danej osoby za pomocą kolorowych kamer i innych różnych czujników. Łączy w sobie rozpoznawanie emocji, analizę kierunku spojrzenia, ocenę postawy ciała i dane biometryczne, aby zapewnić nauczycielom kompleksowy zestaw narzędzi do optymalizacji procesu nauczania-uczenia się i zwiększania zaangażowania uczniów. Korzystając z tych narzędzi, nauczyciele mogą uzyskać kompleksowe zrozumienie procesu nauczania-uczenia się i zwiększyć zaangażowanie uczniów, optymalizując w ten sposób ogólne doświadczenie edukacyjne. Dzięki zastosowaniu technik sztucznej inteligencji możliwa jest nawet automatyczna ocena tych danych.

Głównym celem tej pracy jest opisanie systemu, który pozwala nam na przechwycenie wszystkich informacji, a po ich przechwyceniu, na wytrenowanie modelu AI, który pozwala nam przyciągnąć uwagę całej klasy w czasie rzeczywistym. Chociaż w innych pracach zaproponowano już przyciągnięcie uwagi za pomocą informacji wizualnych lub emocjonalnych⁶, w niniejszej pracy zaproponowano łączne wykorzystanie tych technik, co zapewnia holistyczne podejście, aby umożliwić stosowanie bardziej złożonych i skutecznych technik sztucznej inteligencji. Ponadto dotychczas dostępne zbiory danych ograniczają się albo do zestawu nagrań wideo, albo do jednego zestawu danych biometrycznych. W literaturze brak jest zbiorów danych, które dostarczają kompletnych danych z obrazami twarzy ucznia lub jego ciała, danymi biometrycznymi, danymi o pozycji nauczyciela itp. Dzięki przedstawionemu tutaj systemowi możliwe jest przechwycenie tego typu zbioru danych.

System kojarzy poziom uwagi z każdym uczniem w każdym momencie. Ta wartość jest wartością prawdopodobieństwa uwagi z zakresu od 0% do 100%, która może być interpretowana jako niski poziom uwagi (0%-40%), średni poziom uwagi (40%-75%) i wysoki poziom uwagi (75%-100%). W całym tekście to prawdopodobieństwo uwagi jest określane jako poziom uwagi, uwaga ucznia lub to, czy uczniowie są rozproszeni, czy nie, ale wszystkie są związane z tą samą wartością wyjściową naszego systemu.

Z biegiem lat, dziedzina automatycznego wykrywania zaangażowania znacznie się rozrosła ze względu na jej potencjał do zrewolucjonizowania edukacji. Naukowcy zaproponowali różne podejścia do tej dziedziny badań.

Ma et al.⁷ wprowadziło nowatorską metodę opartą na neuronowej maszynie Turinga do automatycznego rozpoznawania zaangażowania. Wyodrębnili pewne cechy, takie jak spojrzenie oczu, jednostki działania twarzy, ułożenie głowy i ułożenie ciała, aby stworzyć kompleksową reprezentację rozpoznawania zaangażowania.

EyeTab⁸, inny innowacyjny system, używał modeli do oszacowania, gdzie ktoś patrzy obojgiem oczu. Został specjalnie stworzony, aby działał płynnie na standardowym tablecie bez żadnych modyfikacji. System ten wykorzystuje dobrze znane algorytmy do przetwarzania obrazów i analizy wizji komputerowej. Ich proces szacowania spojrzenia obejmuje detektor oka oparty na cechach podobny do Haar, a także podejście do dopasowania elipsy limbus oparte na RANSAC.

Sanghvi et al.⁹ proponują podejście, które opiera się na technikach opartych na wizji, aby automatycznie wyodrębnić wyraziste cechy postawy z filmów nagranych z boku, rejestrując zachowanie dzieci. Przeprowadzana jest wstępna ocena, obejmująca trenowanie wielu modeli rozpoznawania przy użyciu kontekstowych afektywnych wyrażeń postawy. Uzyskane wyniki pokazują, że wzorce zachowań posturalnych mogą skutecznie przewidywać zaangażowanie dzieci w kontakt z robotem.

W innych pracach, takich jak Gupta et al.¹⁰, zastosowano metodę opartą na głębokim uczeniu się do wykrywania zaangażowania osób uczących się online w czasie rzeczywistym poprzez analizę ich mimiki twarzy i klasyfikację emocji. Podejście to wykorzystuje rozpoznawanie emocji twarzy do obliczenia wskaźnika zaangażowania (EI), który przewiduje dwa stany zaangażowania: zaangażowany i niezaangażowany. Różne modele głębokiego uczenia, w tym Inception-V3, VGG19 i ResNet-50, są oceniane i porównywane w celu zidentyfikowania najskuteczniejszego modelu klasyfikacji predykcyjnej do wykrywania zaangażowania w czasie rzeczywistym.

W Altuwairqi et al.¹¹, naukowcy prezentują nowatorskie automatyczne podejście multimodalne do oceny poziomu zaangażowania studentów w czasie rzeczywistym. Aby zapewnić dokładne i wiarygodne pomiary, zespół zintegrował i przeanalizował trzy odrębne modalności, które rejestrują zachowania uczniów: mimikę emocji wyrażaną przez emocje, naciśnięcia klawiatury i ruchy myszy.

Guillén et al.¹² proponują opracowanie systemu monitorowania, który wykorzystuje elektrokardiografię (EKG) jako podstawowy sygnał fizjologiczny do analizy i przewidywania obecności lub braku uwagi poznawczej u osób podczas wykonywania zadania.

Alban et al.¹³ wykorzystują sieć neuronową (NN) do wykrywania emocji poprzez analizę wartości tętna (HR) i aktywności elektrodermalnej (EDA) różnych uczestników, zarówno w dziedzinie czasu, jak i częstotliwości. Odkryli, że wzrost średniej kwadratowej kolejnych różnic (RMSDD) i przedziałów odchylenia standardowego od normalnego do normalnego (SDNN), w połączeniu ze spadkiem średniego HR, wskazuje na zwiększoną aktywność współczulnego układu nerwowego, co jest związane ze strachem.

Kajiwara et al.¹⁴ proponują innowacyjny system, który wykorzystuje czujniki do noszenia na ciele i głębokie sieci neuronowe do prognozowania poziomu emocji i zaangażowania pracowników. System przebiega zgodnie z trzyetapowym procesem. Początkowo czujniki ubieralne na ciele przechwytują i gromadzą dane o zachowaniach i falach tętna. Następnie cechy szeregów czasowych są obliczane na podstawie uzyskanych danych behawioralnych i fizjologicznych. Wreszcie, głębokie sieci neuronowe są wykorzystywane do wprowadzania cech szeregów czasowych i przewidywania emocji i poziomów zaangażowania danej osoby.

W innych badaniach, takich jak Costante et al.¹⁵, zaproponowano podejście oparte na nowatorskim algorytmie uczenia się metryki transferu, który wykorzystuje wcześniejszą wiedzę na temat predefiniowanego zestawu gestów w celu poprawy rozpoznawania gestów zdefiniowanych przez użytkownika. Tę poprawę osiąga się przy minimalnym poleganiu na dodatkowych próbkach treningowych. Podobnie, przedstawiono oparte na czujnikach ramy rozpoznawania aktywności człowieka¹⁶, aby zająć się celem, jakim jest bezosobowe rozpoznawanie złożonych działań człowieka. Dane sygnałowe zebrane z czujników noszonych na nadgarstku są wykorzystywane w opracowanych ramach rozpoznawania aktywności człowieka, wykorzystujących cztery modele DL oparte na RNN (Long-Short Term Memories, Bidirectional Long-Short Term Memories, Gated Recurrent Units i Bidirectional Gated Recurrent Units) w celu zbadania czynności wykonywanych przez użytkownika urządzenia ubieralnego.

Protocol

Poniższy protokół jest zgodny z wytycznymi komisji etyki badań na ludziach Uniwersytetu w Alicante z zatwierdzonym numerem protokołu UA-2022-11-12. Uzyskano świadomą zgodę wszystkich uczestników na ten eksperyment i na wykorzystanie zamieszczonych tutaj danych.

1. Sprzęt, oprogramowanie i konfiguracja klas

1. Ustaw router z funkcją Wi-Fi (eksperymenty zostały przeprowadzone przy użyciu DLink DSR 1000AC) w żądanym miejscu, tak aby jego zasięg obejmował całe pomieszczenie. Zadaszono tu 25^m2 sale lekcyjne, w których uczyło się 30 uczniów.
2. Ustaw jeden smartwatch (tutaj Samsung Galaxy Smartwatch 5) i jedną kamerę (tutaj kamery Logitech C920) dla każdej lokalizacji ucznia. Ustaw jedno urządzenie wbudowane na każdych dwóch uczniów. Zamocuj dwie kamery na dwóch statywach i podłącz je do innego urządzenia wbudowanego (zwanego dalej kamerami zenitalnymi).
3. Podłącz kamery do odpowiednich urządzeń wbudowanych za pomocą łącza USB i włącz je. Włącz również smartwatche. Podłącz każde wbudowane urządzenie i smartwatch do sieci Wi-Fi routera skonfigurowanego w kroku 1.1.
4. Umieść kamery w rogu biurka każdego ucznia i skieruj je do przodu i lekko pochyl do góry, tak aby twarz ucznia była wyraźnie widoczna na obrazach.
5. Umieść dwa statywy z aparatami przed ławkami, które znajdują się najbliżej przejść w pierwszym rzędzie siedzeń w klasie. Przesuń wspornik statywu do najwyższej pozycji, aby kamery wyraźnie widziały większość uczniów. Każde wbudowane urządzenie będzie mogło zarządzać jednym lub dwoma uczniami, wraz z ich odpowiednimi kamerami i zegarkami. Konfiguracja jest przedstawiona w Rysunek 1.
6. Uruchom oprogramowanie do przechwytywania w smartwatchach i urządzeniach wbudowanych, aby były gotowe do wysyłania obrazów i danych akcelerometru, żyroskopu, tętna i oświetlenia. Uruchom oprogramowanie serwera, które zbiera dane i przechowuje je. Diagram wszystkich tych elementów można zobaczyć w Rysunek 2.
7. Upewnij się, że kamery zenitalne dominują scenę, aby miały wyraźny widok na ciała uczniów. Umieść dodatkową kamerę przed każdym uczniem.
8. Pozwól uczniom usiąść na swoich miejscach, poinformuj ich o celach eksperymentu i poinstruuj ich, aby nosili smartwatche na dominującej ręce i nie wchodzili w interakcje z żadnym z elementów zestawu.
9. Rozpocznij przechwytywanie i gromadzenie danych na serwerze i wznawiaj lekcje w klasie jak zwykle.

Rysunek 1: Sprzęt i potok danych. Dane z kamer i smartwatchy są gromadzone i przekazywane do algorytmów uczenia maszynowego w celu przetworzenia. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Położenie czujników, nauczyciela i uczniów. Diagram przedstawiający pozycje kamer, smartwatchy i graficznego interfejsu użytkownika w klasie z nauczycielem i uczniami. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

2. Potok przechwytywania i przetwarzania danych

UWAGA: Wszystkie te kroki są wykonywane automatycznie przez oprogramowanie przetwarzające zainstalowane na serwerze. Implementacja użyta do eksperymentów w tej pracy została napisana w Pythonie 3.8.

1. Zbierz wymagane dane, zbierając wszystkie obrazy i dane biometryczne ze smartwatcha dla każdego ucznia i zbuduj ramkę danych, która zawiera dane z 1 s. Ta ramka danych składa się z jednego obrazu z pojedynczej kamery, jednego obrazu z każdej kamery zenitalnej (w tym przypadku dwóch), pięćdziesięciu rejestrów trzech wartości żyroskopu, pięćdziesięciu rejestrów trzech wartości akcelerometru, jednej wartości tętna i jednej wartości warunków oświetleniowych.
2. Aby obliczyć kierunek głowy, pierwszym krokiem jest użycie kamery internetowej skierowanej na twarz ucznia i pobranie obrazu. Następnie obraz ten jest przetwarzany przez algorytm szacowania punktów orientacyjnych BlazeFace¹⁷. Wynikiem takiego algorytmu jest lista kluczowych punktów 2D odpowiadających określonym obszarom twarzy.
3. Korzystając z szacowanej pozycji oczu, nosa, ust i podbródka dostarczonej przez algorytm, rozwiąż problem n-punktowy perspektywy za pomocą metody cv::SolvePnPMethod biblioteki OpenCV, kanonicznego ustawienia twarzy. W wyniku tej procedury uzyskuje się macierz rotacji określającą kierunek głowy.
4. Oblicz pozę ciała, przekazując obraz zenitalny z ramki danych, w której uczeń jest przedstawiony, do algorytmu szacowania punktów orientacyjnych BlazePose¹⁸ i pobierz listę współrzędnych 2D stawów ciała przedstawionego na obrazie. Ta lista punktów orientacyjnych opisuje pozę ucznia.
   UWAGA: Pozycja ciała jest ważna, ponieważ może dokładnie reprezentować zaangażowanie ucznia w różne działania podczas zajęć. Na przykład, jeśli uczeń siedzi naturalnie z rękami na biurku, może to oznaczać, że robi notatki. W przeciwieństwie do tego, jeśli ciągle poruszają rękami, może to oznaczać, że do kogoś mówią.
5. Uzyskaj obraz twarzy ucznia i wykonaj wstępne przetwarzanie wyrównania. Pobierz kluczowe punkty oczu z listy obliczonej w kroku 2.3 i rzutuj je na płaszczyznę obrazu, tak aby uzyskać położenie oczu.
6. Narysuj wektor wirtualny, który łączy położenie obojga oczu. Oblicz kąt między tym wektorem a linią poziomą i zbuduj macierz homografii, aby zastosować odwrotny kąt do obrazu i kluczowych punktów, tak aby oczy były wyrównane poziomo.
7. Przytnij twarz, korzystając z kluczowych punktów, aby wykryć jej ograniczenia i wprowadź łatkę do konwolucyjnej sieci neuronowej wykrywania emocji¹⁹. Pobierz dane wyjściowe z sieci, które są wektorem z 7 pozycjami, z których każda daje prawdopodobieństwo, że twarz pokaże jedną z siedmiu podstawowych emocji: neutralną, szczęśliwą, zniesmaczoną, złą, przestraszoną, zaskoczoną i smutną.
8. Zmierz poziom uwagi, uzyskując dane z akcelerometru, żyroskopu i tętna z ramki danych (Rysunek 3).
9. Zasilaj model oparty na uczeniu głębokim, który został zbudowany na zamówienie i przeszkolony od podstaw, opisany w reprezentatywnych wynikach, strumieniem danych akcelerometru i żyroskopu. Pobierz dane wyjściowe z modelu, które są wektorem z 4 pozycjami, z których każda daje prawdopodobieństwo, że dane reprezentują jedną z następujących możliwych akcji: pismo odręczne, pisanie na klawiaturze, korzystanie z telefonu komórkowego lub odpoczynek, jak pokazano na Rysunek 4.
10. Nakarm końcowy klasyfikator uwagi linearyzacją wszystkich wyników z poprzednich systemów, łącząc kierunek głowy, wyjście rozpoznawania emocji, ułożenie ciała oraz dane żyroskopu, akcelerometru i tętna. Pobierz wyniki z tego końcowego klasyfikatora, który jest wynikiem od 0 do 100. Sklasyfikuj tę ciągłą wartość do jednej z trzech możliwych dyskretnych kategorii uwagi: niski poziom uwagi (0-40%), średni poziom uwagi (40%-75%) i wysoki poziom uwagi (75% - 100%). Strukturę wygenerowanego zbioru danych przedstawiono w tabeli 1.
11. Pokaż wyniki poziomów uwagi nauczycielowi za pomocą graficznego interfejsu użytkownika (GUI) z komputera nauczyciela, dostępnego ze zwykłej przeglądarki internetowej.

Rysunek 3: Dane przechwycone przez smartwatch. Smartwatch zapewnia żyroskop, akcelerometr, tętno i warunki oświetleniowe jako strumienie danych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Przykłady kategorii uwzględnianych przez model rozpoznawania aktywności. Model rozpoznawania aktywności rozpoznaje cztery różne działania: pismo odręczne, pisanie na klawiaturze, korzystanie ze smartfona i pozycja spoczynkowa. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Results

Grupą docelową tego badania są studenci studiów licencjackich i magisterskich, więc główna grupa wiekowa to osoby w wieku od 18 do 25 lat. Ta populacja została wybrana, ponieważ potrafią obsługiwać urządzenia elektroniczne z mniejszą liczbą zakłóceń niż młodsi uczniowie. Łącznie grupa liczyła 25 osób. Ta grupa wiekowa może dostarczyć najbardziej wiarygodnych wyników do przetestowania propozycji.

Wyniki poziomu uwagi pokazanego nauczycielowi składają się z 2 części. Część A wyniku zawiera indyw...

Discussion

W pracy przedstawiono system, który mierzy poziom uwagi ucznia w klasie za pomocą kamer, smartwatchy i algorytmów sztucznej inteligencji. Informacje te są następnie przedstawiane nauczycielowi, aby miał on wyobrażenie o ogólnym stanie klasy.

Jednym z głównych krytycznych etapów protokołu jest synchronizacja informacji ze smartwatcha z obrazem z kolorowej kamery, ponieważ mają one różne częstotliwości. Problem ten został rozwiązany poprzez wdrożenie malin jako serwerów, które odbierają informac...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
4 procesory graficzne  Nvidia A40 Ampere	Procesor graficzny NVIDIA	TCSA40M-PB	do scentralizowanego serwera przetwarzania modeli
FusionServer 2288H V5	X-Fusion	02311XBK	Platforma zawierająca zasilacz i płytę główną dla scentralizowanego serwera przetwarzania modeli
Karta pamięci Evo Plus 128 GB	Samsung	MB-MC128KA/EU	Karta pamięci do obsługi Raspberry Pi 4b 2GB.  Po jednym dla każdej maliny.
NEMIX RAM - 512 GB Kit DDR4-3200 PC4-25600 8Rx4 EC	NEMIX	M393AAG40M32-CAE	RAM do scentralizowanego serwera przetwarzania modeli
Procesor Intel Xeon Gold 6330	Intel	CD8068904572101	Procesor dla scentralizowanego serwera przetwarzania modeli
Raspberry PI 4B 2GB	Raspberry	1822095	Serwer lokalny, który odbiera żądania z zegarów i wysyła je do serwera ogólnego. Jeden na dwóch uczniów.
Samsung Galaxy Watch 5 (40 mm)	Zegar Samsung	SM-R900NZAAPHE	, który monitoruje aktywność każdego ucznia. Dla każdego studenta.
Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5-calowy dysk SSD	Samsung	MZQL23T8HCLS-00B7C	Pamięć wewnętrzna dla scentralizowanego serwera przetwarzania modeli
Kamera internetowa HD Pro C920 Kamera internetowa FullHD	Logitech	960-001055	Kamera internetowa HD. Po jednym dla każdego ucznia plus dwa dla póz uczniów.