Oparty na sztucznej inteligencji system do wykrywania poziomu uwagi u uczniów

Nasze badania koncentrują się na zbadaniu możliwości wykorzystania sztucznej inteligencji do pomiaru i wykrywania poziomu uwagi ucznia w klasie. Sprawdzamy, czy opracowane na zamówienie algorytmy i metodologie są w stanie skutecznie ocenić zaangażowanie studentów podczas zajęć. Najnowsze podejścia opierają się na sztucznej inteligencji.

W szczególności algorytmy uczenia się są zgodne z aktualnym stanem techniki. Ten rodzaj algorytmu wykorzystuje ogromne ilości danych do trenowania modeli liniowych. A następnie można je wykorzystać do klasyfikowania obrazów, szacowania pozy osoby i wykonywania szeregu innych interesujących zadań.

W naszym badaniu mamy dwa główne kluczowe wyzwania. Po pierwsze, są sprawy techniczne, które należy rozwiązać. Na przykład, jak ustawić urządzenia, jak oszacować ruch na podstawie obrazu, pozy i innych parametrów, które bierzemy pod uwagę w naszym podejściu.

Jest też gałąź subiektywna, ponieważ nie jest jasne, czy wszystkie osoby wyrażają poziom uwagi w ten sam sposób. Najmocniejszą stroną naszego systemu jest to, że stosujemy podejście multimodalne. Analizujemy różne dane wejściowe, emocje twarzy, ułożenie ciała, ułożenie głowy, dane z akcelerometru i tętno, aby automatycznie sklasyfikować poziom uwagi.

Ponadto nasze metody w dużym stopniu opierają się na sztucznej inteligencji, która, jak doniesiono, jest stosowana z dużym powodzeniem w innych powiązanych obszarach badawczych. Aby rozpocząć, ustaw router z obsługą Wi-Fi w żądanej lokalizacji, aby pokryć całe pomieszczenie. Ustaw jeden smartwatch i jedną kamerę dla lokalizacji każdego ucznia.

Ustaw jedno urządzenie wbudowane na każdych dwóch uczniów. Zamocuj dwa aparaty na dwóch statywach i podłącz je do innego urządzenia wbudowanego. Teraz podłącz kamery do odpowiednich urządzeń wbudowanych za pomocą łącza USB i włącz je.

Włącz również smartwatche. Następnie podłącz każde wbudowane urządzenie i smartwatch do sieci Wi-Fi routera. Umieść kamery w rogu biurka każdego ucznia, skierowane do przodu i lekko pochylone do góry, aby upewnić się, że twarz ucznia jest wyraźnie widoczna.

Następnie umieść dwa statywy z aparatami fotograficznymi przed ławkami znajdującymi się najbliżej przejść w pierwszym rzędzie klasy. Ustaw wspornik statywu w najwyższej pozycji, aby zapewnić wyraźny widok większości uczniów. Uruchom oprogramowanie do przechwytywania na inteligentnych zegarkach i urządzeniach wbudowanych, aby wysyłać obrazy i dane dotyczące akcelerometru, żyroskopu, tętna i oświetlenia.

Dodatkowo uruchom oprogramowanie serwera, aby zbierać i przechowywać te dane. Następnie ustaw kamery zenitalne tak, aby zdominowały scenę, zapewniając wyraźny widok ciał ucznia. Umieść również dodatkową kamerę przed każdym uczniem.

Poproś uczniów, aby zajęli miejsca, poinformuj ich o celach eksperymentu i poinstruuj ich, aby nosili inteligentne zegarki na swojej dominującej ręce. Rozpocznij przechwytywanie i gromadzenie danych na serwerze i wznów normalne lekcje w klasie. Aby rozpocząć, skonfiguruj sprzęt i oprogramowanie wymagane do wykrywania poziomów uwagi u uczniów.

Poinstruuj uczniów, aby założyli inteligentne zegarki na dominującą rękę i rozpoczęli zbieranie danych. Zbierz wymagane dane, zbierając wszystkie obrazy i dane biometryczne ze smartwatcha każdego ucznia. Następnie skonstruuj ramkę danych, która zawiera dane z jednej sekundy, składającą się z jednego obrazu z kamery indywidualnej i zenitalnej, 50 rejestrów dla każdego żyroskopu, akcelerometru, tętna i wartości warunków oświetleniowych.

Teraz użyj szacowanych pozycji oczu, nosa, ust i podbródka, dostarczonych przez algorytm, aby rozwiązać problem punktu końcowego perspektywy za pomocą metody cv:solvePnP biblioteki openCV. Uzyskaj macierz rotacji, która definiuje kierunek głowy w wyniku. Aby obliczyć ułożenie ciała, przetwórz obraz zenitalny za pomocą algorytmu szacowania punktów orientacyjnych BlazePose 18 i pobierz listę współrzędnych 2D stawów ciała przedstawionych na obrazie.

Uzyskaj obraz twarzy ucznia i odzyskaj pozycję oczu, rzutując ich współrzędne na płaszczyznę obrazu z listy punktów kluczowych. Teraz prześledź wirtualny wektor łączący pozycje obu oczu. Oblicz kąt między tym wektorem a linią poziomą i skonstruuj macierz homografii.

Zastosuj odwrotny kąt do obrazu i kluczowych punktów, aby wyrównać oczy w poziomie. Następnie przytnij twarz, używając kluczowych punktów, aby zidentyfikować jej granice i wprowadzić łatkę do konwolucyjnej sieci neuronowej wykrywania emocji. Pobierz dane wyjściowe sieci, wektor z siedmioma pozycjami reprezentującymi prawdopodobieństwa dla każdej z siedmiu podstawowych emocji.

Aby zmierzyć poziom uwagi, uzyskaj dane akcelerometru, żyroskopu i tętna z ramki danych. Po wprowadzeniu strumienia danych akcelerometru i żyroskopu do niestandardowego modelu opartego na głębokim uczeniu, pobierz dane wyjściowe z modelu wskazujące prawdopodobieństwo pisania odręcznego, pisania na klawiaturze, korzystania z telefonu komórkowego lub odpoczynku. Nakarm końcowy klasyfikator uwagi, łącząc kierunek głowy, wyjście rozpoznawania emocji, pozycję ciała, żyroskop, akcelerometr i dane tętna.

Następnie pobierz wyniki klasyfikatora i sklasyfikuj ciągły wynik na niską, średnią i wysoką kategorię uwagi. Pokaż wyniki poziomów uwagi nauczycielowi za pomocą graficznego interfejsu użytkownika z komputera nauczyciela, dostępnego przez zwykłą przeglądarkę internetową. Model był trenowany przez 300 epok.

Strata walidacji wyniosła mniej niż 0,1%, a dokładność walidacji wyniosła 97%, co świadczy o dobrej wydajności modelu.