Ten artykuł proponuje system oparty na sztucznej inteligencji, który automatycznie wykrywa, czy uczniowie zwracają uwagę na klasę, czy są rozproszeni. System ten ma za zadanie pomóc nauczycielom utrzymać uwagę uczniów, zoptymalizować ich lekcje i dynamicznie wprowadzać modyfikacje, aby były one bardziej angażujące.
Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.
Artykuł metodologiczny
Oparty na sztucznej inteligencji system do wykrywania poziomu uwagi u uczniów
W tym artykule
Podsumowanie
Streszczenie
Poziom koncentracji uczniów w klasie może być poprawiony dzięki zastosowaniu technik sztucznej inteligencji (AI). Automatycznie identyfikując poziom uwagi, nauczyciele mogą stosować strategie, aby odzyskać koncentrację uczniów. Można to osiągnąć za pomocą różnych źródeł informacji.
Jednym ze źródeł jest analiza emocji odbitych na twarzach uczniów. Sztuczna inteligencja może wykrywać emocje, takie jak neutralne, wstręt, zaskoczenie, smutek, strach, szczęście i złość. Dodatkowo, kierunek wzroku uczniów może również potencjalnie wskazywać na ich poziom uwagi. Innym źródłem jest obserwacja postawy ciała uczniów. Korzystając z kamer i technik głębokiego uczenia, można analizować postawę w celu określenia poziomu uwagi. Na przykład uczniowie, którzy się garbią lub opierają głowy na ławkach, mogą mieć niższy poziom uwagi. Smartwatche rozdawane uczniom mogą dostarczać danych biometrycznych i innych, w tym pomiarów tętna i bezwładności, które mogą być również wykorzystywane jako wskaźniki uwagi. Łącząc te źródła informacji, system sztucznej inteligencji można wytrenować w celu określenia poziomu uwagi w klasie. Jednak integracja różnych typów danych stanowi wyzwanie, które wymaga utworzenia zestawu danych z etykietą. Opinie ekspertów i istniejące badania są konsultowane w celu dokładnego etykietowania. W tym artykule proponujemy integrację takich pomiarów oraz stworzenie zestawu danych i potencjalnego klasyfikatora uwagi. Aby przekazać nauczycielowi informację zwrotną, badamy różne metody, takie jak smartwatche lub bezpośrednie komputery. Gdy nauczyciel zda sobie sprawę z problemów z uwagą, może dostosować swoje podejście do nauczania, aby ponownie zaangażować i zmotywować uczniów. Podsumowując, techniki sztucznej inteligencji mogą automatycznie identyfikować poziom uwagi uczniów, analizując ich emocje, kierunek spojrzenia, postawę ciała i dane biometryczne. Informacje te mogą pomóc nauczycielom w optymalizacji procesu nauczania-uczenia się.
Wprowadzenie
W nowoczesnych środowiskach edukacyjnych, dokładna ocena i utrzymanie uwagi uczniów jest kluczowe dla efektywnego nauczania i uczenia się. Jednak tradycyjne metody mierzenia zaangażowania, takie jak samoocena lub subiektywne obserwacje nauczycieli, są czasochłonne i podatne na uprzedzenia. Aby sprostać temu wyzwaniu, techniki sztucznej inteligencji (AI) okazały się obiecującymi rozwiązaniami w zakresie automatycznego wykrywania uwagi. Jednym z istotnych aspektów zrozumienia poziomu zaangażowania uczniów jest rozpoznawanie emocji1. Systemy sztucznej inteligencji mogą analizować mimikę twarzy, aby zidentyfikować emocje, takie jak neutralne, wstręt, zaskoczenie, smutek, strach, szczęście i złość2.
Kierunek spojrzenia i postawa ciała są również kluczowymi wskaźnikami uwagi uczniów3. Wykorzystując kamery i zaawansowane algorytmy uczenia maszynowego, systemy sztucznej inteligencji mogą dokładnie śledzić, gdzie patrzą uczniowie i analizować ich postawę ciała, aby wykryć oznaki braku zainteresowania lub zmęczenia4. Co więcej, włączenie danych biometrycznych zwiększa dokładność i niezawodność wykrywania uwagi5. Zbierając pomiary, takie jak tętno i poziom nasycenia krwi tlenem, za pomocą smartwatchy noszonych przez studentów, można uzyskać obiektywne wskaźniki uwagi, uzupełniające inne źródła informacji.
Ten artykuł proponuje system, który ocenia poziom uwagi danej osoby za pomocą kolorowych kamer i innych różnych czujników. Łączy w sobie rozpoznawanie emocji, analizę kierunku spojrzenia, ocenę postawy ciała i dane biometryczne, aby zapewnić nauczycielom kompleksowy zestaw narzędzi do optymalizacji procesu nauczania-uczenia się i zwiększania zaangażowania uczniów. Korzystając z tych narzędzi, nauczyciele mogą uzyskać kompleksowe zrozumienie procesu nauczania-uczenia się i zwiększyć zaangażowanie uczniów, optymalizując w ten sposób ogólne doświadczenie edukacyjne. Dzięki zastosowaniu technik sztucznej inteligencji możliwa jest nawet automatyczna ocena tych danych.
Głównym celem tej pracy jest opisanie systemu, który pozwala nam na przechwycenie wszystkich informacji, a po ich przechwyceniu, na wytrenowanie modelu AI, który pozwala nam przyciągnąć uwagę całej klasy w czasie rzeczywistym. Chociaż w innych pracach zaproponowano już przyciągnięcie uwagi za pomocą informacji wizualnych lub emocjonalnych6, w niniejszej pracy zaproponowano łączne wykorzystanie tych technik, co zapewnia holistyczne podejście, aby umożliwić stosowanie bardziej złożonych i skutecznych technik sztucznej inteligencji. Ponadto dotychczas dostępne zbiory danych ograniczają się albo do zestawu nagrań wideo, albo do jednego zestawu danych biometrycznych. W literaturze brak jest zbiorów danych, które dostarczają kompletnych danych z obrazami twarzy ucznia lub jego ciała, danymi biometrycznymi, danymi o pozycji nauczyciela itp. Dzięki przedstawionemu tutaj systemowi możliwe jest przechwycenie tego typu zbioru danych.
System kojarzy poziom uwagi z każdym uczniem w każdym momencie. Ta wartość jest wartością prawdopodobieństwa uwagi z zakresu od 0% do 100%, która może być interpretowana jako niski poziom uwagi (0%-40%), średni poziom uwagi (40%-75%) i wysoki poziom uwagi (75%-100%). W całym tekście to prawdopodobieństwo uwagi jest określane jako poziom uwagi, uwaga ucznia lub to, czy uczniowie są rozproszeni, czy nie, ale wszystkie są związane z tą samą wartością wyjściową naszego systemu.
Z biegiem lat, dziedzina automatycznego wykrywania zaangażowania znacznie się rozrosła ze względu na jej potencjał do zrewolucjonizowania edukacji. Naukowcy zaproponowali różne podejścia do tej dziedziny badań.
Ma et al.7 wprowadziło nowatorską metodę opartą na neuronowej maszynie Turinga do automatycznego rozpoznawania zaangażowania. Wyodrębnili pewne cechy, takie jak spojrzenie oczu, jednostki działania twarzy, ułożenie głowy i ułożenie ciała, aby stworzyć kompleksową reprezentację rozpoznawania zaangażowania.
EyeTab8, inny innowacyjny system, używał modeli do oszacowania, gdzie ktoś patrzy obojgiem oczu. Został specjalnie stworzony, aby działał płynnie na standardowym tablecie bez żadnych modyfikacji. System ten wykorzystuje dobrze znane algorytmy do przetwarzania obrazów i analizy wizji komputerowej. Ich proces szacowania spojrzenia obejmuje detektor oka oparty na cechach podobny do Haar, a także podejście do dopasowania elipsy limbus oparte na RANSAC.
Sanghvi et al.9 proponują podejście, które opiera się na technikach opartych na wizji, aby automatycznie wyodrębnić wyraziste cechy postawy z filmów nagranych z boku, rejestrując zachowanie dzieci. Przeprowadzana jest wstępna ocena, obejmująca trenowanie wielu modeli rozpoznawania przy użyciu kontekstowych afektywnych wyrażeń postawy. Uzyskane wyniki pokazują, że wzorce zachowań posturalnych mogą skutecznie przewidywać zaangażowanie dzieci w kontakt z robotem.
W innych pracach, takich jak Gupta et al.10, zastosowano metodę opartą na głębokim uczeniu się do wykrywania zaangażowania osób uczących się online w czasie rzeczywistym poprzez analizę ich mimiki twarzy i klasyfikację emocji. Podejście to wykorzystuje rozpoznawanie emocji twarzy do obliczenia wskaźnika zaangażowania (EI), który przewiduje dwa stany zaangażowania: zaangażowany i niezaangażowany. Różne modele głębokiego uczenia, w tym Inception-V3, VGG19 i ResNet-50, są oceniane i porównywane w celu zidentyfikowania najskuteczniejszego modelu klasyfikacji predykcyjnej do wykrywania zaangażowania w czasie rzeczywistym.
W Altuwairqi et al.11, naukowcy prezentują nowatorskie automatyczne podejście multimodalne do oceny poziomu zaangażowania studentów w czasie rzeczywistym. Aby zapewnić dokładne i wiarygodne pomiary, zespół zintegrował i przeanalizował trzy odrębne modalności, które rejestrują zachowania uczniów: mimikę emocji wyrażaną przez emocje, naciśnięcia klawiatury i ruchy myszy.
Guillén et al.12 proponują opracowanie systemu monitorowania, który wykorzystuje elektrokardiografię (EKG) jako podstawowy sygnał fizjologiczny do analizy i przewidywania obecności lub braku uwagi poznawczej u osób podczas wykonywania zadania.
Alban et al.13 wykorzystują sieć neuronową (NN) do wykrywania emocji poprzez analizę wartości tętna (HR) i aktywności elektrodermalnej (EDA) różnych uczestników, zarówno w dziedzinie czasu, jak i częstotliwości. Odkryli, że wzrost średniej kwadratowej kolejnych różnic (RMSDD) i przedziałów odchylenia standardowego od normalnego do normalnego (SDNN), w połączeniu ze spadkiem średniego HR, wskazuje na zwiększoną aktywność współczulnego układu nerwowego, co jest związane ze strachem.
Kajiwara et al.14 proponują innowacyjny system, który wykorzystuje czujniki do noszenia na ciele i głębokie sieci neuronowe do prognozowania poziomu emocji i zaangażowania pracowników. System przebiega zgodnie z trzyetapowym procesem. Początkowo czujniki ubieralne na ciele przechwytują i gromadzą dane o zachowaniach i falach tętna. Następnie cechy szeregów czasowych są obliczane na podstawie uzyskanych danych behawioralnych i fizjologicznych. Wreszcie, głębokie sieci neuronowe są wykorzystywane do wprowadzania cech szeregów czasowych i przewidywania emocji i poziomów zaangażowania danej osoby.
W innych badaniach, takich jak Costante et al.15, zaproponowano podejście oparte na nowatorskim algorytmie uczenia się metryki transferu, który wykorzystuje wcześniejszą wiedzę na temat predefiniowanego zestawu gestów w celu poprawy rozpoznawania gestów zdefiniowanych przez użytkownika. Tę poprawę osiąga się przy minimalnym poleganiu na dodatkowych próbkach treningowych. Podobnie, przedstawiono oparte na czujnikach ramy rozpoznawania aktywności człowieka16, aby zająć się celem, jakim jest bezosobowe rozpoznawanie złożonych działań człowieka. Dane sygnałowe zebrane z czujników noszonych na nadgarstku są wykorzystywane w opracowanych ramach rozpoznawania aktywności człowieka, wykorzystujących cztery modele DL oparte na RNN (Long-Short Term Memories, Bidirectional Long-Short Term Memories, Gated Recurrent Units i Bidirectional Gated Recurrent Units) w celu zbadania czynności wykonywanych przez użytkownika urządzenia ubieralnego.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Protokół
Poniższy protokół jest zgodny z wytycznymi komisji etyki badań naukowych nad ludźmi Uniwersytetu w Alicante, zatwierdzony numerem protokołu UA-2022-11-12. Od wszystkich uczestników uzyskano świadomą zgodę na udział w tym eksperymencie oraz na wykorzystanie danych w niniejszej publikacji.
1. Konfiguracja sprzętu, oprogramowania i klasy
- Umieść ruter z funkcją WiFi (eksperymenty przeprowadzono z użyciem DLink DSR 1000AC) w wybranym miejscu tak, aby jego zasięg obejmował całe pomieszczenie. W tym przypadku objęto sale lekcyjne o powierzchni 25 m2 z 30 studentami.
- Przygotuj jeden smartwatch (tutaj Samsung Galaxy Smartwatch 5) i jedną kamerę (tutaj kamery Logitech C920) dla każdego stanowiska studenta. Przygotuj jedno urządzenie wbudowane na każdych dwóch studentów. Zamocuj dwie kamery na dwóch statywach i podłącz je do kolejnego urządzenia wbudowanego (zwanych dalej kamerami zenitalnymi).
- Podłącz kamery do odpowiednich urządzeń wbudowanych za pomocą łącza USB i włącz je. Włącz również smartwatche. Podłącz każde urządzenie wbudowane oraz smartwatch do sieci WiFi rutera skonfigurowanego w kroku 1.1.
- Umieść kamery w rogu biurka każdego studenta i skieruj je do przodu, lekko nachylając ku górze, tak aby twarz studenta była wyraźnie widoczna na obrazach.
- Ustaw dwa statywy z kamerami przed ławkami znajdującymi się najbliżej przejść w pierwszym rzędzie miejsc w sali lekcyjnej. Wysuń kolumnę statywu do najwyższej pozycji, aby kamery mogły wyraźnie widzieć większość studentów. Każde urządzenie wbudowane będzie w stanie zarządzać jednym lub dwoma studentami wraz z ich odpowiednimi kamerami i zegarkami. Układ przedstawiono na Ryc. 1.
- Uruchom oprogramowanie do przechwytywania danych w smartwatchach i w urządzeniach wbudowanych, aby były gotowe do wysyłania obrazów oraz danych z akcelerometru, żyroskopu, tętna i oświetlenia. Uruchom oprogramowanie serwera, które gromadzi i przechowuje dane. Schemat wszystkich tych elementów przedstawiono na Ryc. 2.
- Upewnij się, że kamery zenitalne dominują w scenie, tak aby miały wyraźny widok na sylwetki studentów. Umieść dodatkową indywidualną kamerę przed każdym studentem.
- Poproś studentów o zajęcie miejsc, poinformuj ich o celach eksperymentu i poleć im założenie smartwatchy na dominującą rękę oraz zakaz interakcji z jakimikolwiek elementami układu.
- Rozpocznij przechwytywanie i gromadzenie danych na serwerze i wznowij zajęcia lekcyjne w zwykły sposób.
Rysunek 1: Sprzęt i potok przetwarzania danych. Dane z kamer i smartwatchy są zbierane i przekazywane do algorytmów uczenia maszynowego w celu ich przetworzenia. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Rysunek 2: Położenie czujników, nauczyciela i uczniów. Schemat przedstawiający rozmieszczenie kamer, inteligentnych zegarków oraz GUI w sali lekcyjnej z nauczycielem i uczniami. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
2. Potok akwizycji i przetwarzania danych
UWAGA: Wszystkie te kroki są wykonywane automatycznie przez oprogramowanie przetwarzające wdrożone na serwerze. Implementacja wykorzystana w eksperymentach w niniejszej pracy została napisana w języku Python 3.8.
- Zbierz wymagane dane, gromadząc wszystkie obrazy i dane biometryczne ze smartwatcha dla każdego studenta, a następnie utwórz ramkę danych (data frame) obejmującą dane z 1 s. Ramka danych ta składa się z jednego obrazu z kamery indywidualnej, jednego obrazu z każdej kamery zenitalnej (w tym przypadku dwóch), pięćdziesięciu rejestrów trzech wartości żyroskopu, pięćdziesięciu rejestrów trzech wartości akcelerometru, jednej wartości tętna oraz jednej wartości natężenia światła.
- Aby obliczyć kierunek głowy, w pierwszym kroku należy wykorzystać kamerę internetową skierowaną na twarz studenta i pobrać obraz. Następnie obraz ten jest przetwarzany przez algorytm estymacji punktów charakterystycznych BlazeFace17. Wynikiem działania tego algorytmu jest lista dwuwymiarowych (2D) punktów kluczowych odpowiadających konkretnym obszarom twarzy.
- Wykorzystując estymowaną pozycję oczu, nosa, ust i brody dostarczoną przez algorytm, rozwiąż problem n-punktowej perspektywy (PnP) za pomocą metody cv::SolvePnPMethod z biblioteki OpenCV, przyjmując kanoniczne ustawienie twarzy. Wynikiem tej procedury jest macierz rotacji definiująca kierunek głowy.
- Oblicz pozę ciała, przekazując obraz zenitalny z ramki danych, na którym przedstawiony jest student, do algorytmu estymacji punktów charakterystycznych BlazePose18 i pobierz listę współrzędnych 2D stawów ciała widocznych na obrazie. Ta lista punktów charakterystycznych opisuje pozę studenta.
UWAGA: Poza ciała jest istotna, ponieważ może ona dokładnie reprezentować zaangażowanie studenta w różne aktywności podczas zajęć. Na przykład, jeśli student siedzi naturalnie z rękami na biurku, może to oznaczać, że robi notatki. Z kolei, jeśli nieustannie porusza ramionami, może to oznaczać, że z kimś rozmawia. - Pobierz obraz twarzy studenta i przeprowadź wstępne przetwarzanie wyrównawcze. Pobierz punkty kluczowe oczu z listy obliczonej w kroku 2.3 i rzutuj je na płaszczyznę obrazu, aby uzyskać pozycję oczu.
- Wyznacz wirtualny wektor łączący pozycje obu oczu. Oblicz kąt między tym wektorem a linią poziomą i utwórz macierz homografii, aby zastosować odwrotny kąt do obrazu i punktów kluczowych, tak aby oczy były wyrównane poziomo.
- Wytnij obszar twarzy, wykorzystując punkty kluczowe do wykrycia jej granic, i wprowadź wycięty fragment do konwolucyjnej sieci neuronowej19 do detekcji emocji. Pobierz wynik z sieci, którym jest wektor o 7 pozycjach, gdzie każda pozycja określa prawdopodobieństwo, że twarz wykazuje jedną z siedmiu podstawowych emocji: neutralną, radość, obrzydzenie, gniew, strach, zaskoczenie i smutek.
- Zmierz poziom uwagi, pobierając dane z akcelerometru, żyroskopu i tętna z ramki danych (Rysunek 3).
- Przekaż strumień danych z akcelerometru i żyroskopu do modelu opartego na głębokim uczeniu, który został zbudowany i wytrenowany od podstaw, zgodnie z opisem w wynikach reprezentatywnych. Pobierz wynik z modelu, którym jest wektor o 4 pozycjach, gdzie każda pozycja określa prawdopodobieństwo, że dane reprezentują jedną z następujących możliwych czynności: pisanie ręczne, pisanie na klawiaturze, korzystanie z telefonu komórkowego lub odpoczynek, jak pokazano na Rysunku 4.
- Do końcowego klasyfikatora uwagi wprowadź linearyzację wszystkich wyników z poprzednich systemów, łącząc kierunek głowy, wynik rozpoznawania emocji, pozę ciała oraz dane z żyroskopu, akcelerometru i tętna. Pobierz wyniki z tego końcowego klasyfikatora, które stanowią wynik w skali od 0 do 100. Zaklasyfikuj tę wartość ciągłą do jednej z trzech możliwych dyskretnych kategorii uwagi: niski poziom uwagi (0-40%), średni poziom uwagi (40%-75%) i wysoki poziom uwagi (75% - 100%). Struktura wygenerowanego zbioru danych jest przedstawiona w Tabeli 1.
- Wyświetl wyniki poziomów uwagi nauczycielowi za pomocą graficznego interfejsu użytkownika (GUI) na komputerze nauczyciela, dostępnego z poziomu zwykłej przeglądarki internetowej.
Rycina 3: Dane zarejestrowane przez smartwatch. Smartwatch dostarcza dane z żyroskopu, akcelerometru, pomiary tętna oraz natężenie światła w formie strumieni danych. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Rysunek 4: Przykłady kategorii uwzględnionych w modelu rozpoznawania aktywności. Model rozpoznawania aktywności identyfikuje cztery różne czynności: pisanie ręczne, pisanie na klawiaturze, korzystanie ze smartfona oraz pozycję spoczynkową. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wyniki
Grupą docelową niniejszego badania są studenci studiów licencjackich i magisterskich, w związku z czym główna grupa wiekowa mieści się w przedziale od 18 do 25 lat. Populacja ta została wybrana, ponieważ osoby w tym wieku potrafią obsługiwać urządzenia elektroniczne przy mniejszej liczbie rozpraszaczy niż młodsi studenci. Łącznie grupa składała się z 25 osób. Grupa wiekowa ta może dostarczyć najbardziej wiarygodnych wyników niezbędnych do przetestowania przedstawionej propozycji.
Wyniki poziom...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dyskusja
W pracy przedstawiono system, który mierzy poziom uwagi ucznia w klasie za pomocą kamer, smartwatchy i algorytmów sztucznej inteligencji. Informacje te są następnie przedstawiane nauczycielowi, aby miał on wyobrażenie o ogólnym stanie klasy.
Jednym z głównych krytycznych etapów protokołu jest synchronizacja informacji ze smartwatcha z obrazem z kolorowej kamery, ponieważ mają one różne częstotliwości. Problem ten został rozwiązany poprzez wdrożenie malin jako serwerów, które odbierają informac...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Oświadczenia
Autorzy oświadczają, że nie są im znane żadne konkurencyjne interesy finansowe ani powiązania osobiste, które mogłyby mieć wpływ na pracę opisaną w tym artykule.
Podziękowania
Ta praca została opracowana dzięki finansowaniu z Programa Prometeo, numer projektu CIPROM/2021/017. Prof. Rosabel Roig jest przewodniczącą UNESCO "Edukacja, Badania i Integracja Cyfrowa".
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| 4 procesory graficzne Nvidia A40 Ampere | Procesor graficzny NVIDIA | TCSA40M-PB | do scentralizowanego serwera przetwarzania modeli |
| FusionServer 2288H V5 | X-Fusion | 02311XBK | Platforma zawierająca zasilacz i płytę główną dla scentralizowanego serwera przetwarzania modeli |
| Karta pamięci Evo Plus 128 GB | Samsung | MB-MC128KA/EU | Karta pamięci do obsługi Raspberry Pi 4b 2GB. Po jednym dla każdej maliny. |
| NEMIX RAM - 512 GB Kit DDR4-3200 PC4-25600 8Rx4 EC | NEMIX | M393AAG40M32-CAE | RAM do scentralizowanego serwera przetwarzania modeli |
| Procesor Intel Xeon Gold 6330 | Intel | CD8068904572101 | Procesor dla scentralizowanego serwera przetwarzania modeli |
| Raspberry PI 4B 2GB | Raspberry | 1822095 | Serwer lokalny, który odbiera żądania z zegarów i wysyła je do serwera ogólnego. Jeden na dwóch uczniów. |
| Samsung Galaxy Watch 5 (40 mm) | Zegar Samsung | SM-R900NZAAPHE | , który monitoruje aktywność każdego ucznia. Dla każdego studenta. |
| Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5-calowy dysk SSD | Samsung | MZQL23T8HCLS-00B7C | Pamięć wewnętrzna dla scentralizowanego serwera przetwarzania modeli |
| Kamera internetowa HD Pro C920 Kamera internetowa FullHD | Logitech | 960-001055 | Kamera internetowa HD. Po jednym dla każdego ucznia plus dwa dla póz uczniów. |
Bibliografia
- Hasnine, M. N., et al. Students' emotion extraction and visualization for engagement detection in online learning. Procedia Comp Sci. 192, 3423-3431 (2021).
- Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations. Info Fusion. 102, 102019(2024).
- Bosch, N. Detecting student engagement: Human versus machine. UMAP '16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).
- Araya, R., Sossa-Rivera, J. Automatic detection of gaze and body orientation in elementary school classrooms. Front Robot AI. 8, 729832(2021).
- Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. Harnessing commodity wearable devices for capturing learner engagement. IEEE Access. 7, 15749-15757 (2019).
- Vanneste, P., et al. Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement. Mathematics. 9 (3), 287(2021).
- Ma, X., Xu, M., Dong, Y., Sun, Z. Automatic student engagement in online learning environment based on neural Turing machine. Int J Info Edu Tech. 11 (3), 107-111 (2021).
- Wood, E., Bulling, A. EyeTab: model-based gaze estimation on unmodified tablet computers. ETRA '14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).
- Sanghvi, J., et al. Automatic analysis of affective postures and body motion to detect engagement with a game companion. HRI '11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).
- Gupta, S., Kumar, P., Tekchandani, R. K. Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models. Multimed Tools Appl. 82 (8), 11365-11394 (2023).
- Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. Student behavior analysis to measure engagement levels in online learning environments. Signal Image Video Process. 15 (7), 1387-1395 (2021).
- Belle, A., Hargraves, R. H., Najarian, K. An automated optimal engagement and attention detection system using electrocardiogram. Comput Math Methods Med. 2012, 528781(2012).
- Alban, A. Q., et al. Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions. Robotics. 12 (2), 55(2023).
- Kajiwara, Y., Shimauchi, T., Kimura, H. Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices. Sensors. 19 (1), 165(2019).
- Personalizing a smartwatch-based gesture interface with transfer learning. Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, , 2530-2534 (2014).
- Mekruksavanich, S., Jitpattanakul, A. Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data. Electronics. 10 (14), 1685(2021).
- Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs. arXiv. , (2019).
- Bazarevsky, V., et al. BlazePose: On-device Real-time Body Pose tracking. arXiv. , (2020).
- Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. Towards a better performance in facial expression recognition: a data-centric approach. Comput Intelligence Neurosci. , In press (2023).
- El-Garem, A., Adel, R. Applying systematic literature review and Delphi methods to explore digital transformation key success factors. Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).
- Using electroencephalography to determine student attention in the classroom. Indumathi, V., Kist, A. A. IEEE Global Engineering Education Conference (EDUCON, Kuwait, Kuwait, , 1-3 (2023).
- Ma, X., Xie, Y., Wang, H. Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19. Studies Edu Eval. 78, 101286(2023).
- Andersen, D. Constructing Delphi statements for technology foresight. Futures Foresight Sci. 5 (2), e144(2022).
- Khodyakov, D., et al. Disciplinary trends in the use of the Delphi method: A bibliometric analysis. PLoS One. 18 (8), e0289009(2023).
- Martins, A. I., et al. Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist. J Medical Internet Res. 25, e44326(2023).
- Dalmaso, M., Castelli, L., Galfano, G. Social modulators of gaze-mediated orienting of attention: A review. Psychon Bull Rev. 27 (5), 833-855 (2020).
- Klein, R. M. Thinking about attention: Successive approximations to a productive taxonomy. Cognition. 225, 105137(2022).
- Schindler, S., Bublatzky, F. Attention and emotion: An integrative review of emotional face processing as a function of attention. Cortex. 130, 362-386 (2020).
- Zaletelj, J., Košir, A. Predicting students' attention in the classroom from Kinect facial and body features. J Image Video Proc. 80, (2017).
- Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. Pupillometry as an integrated readout of distinct attentional networks. Trends Neurosci. 45 (8), 635-647 (2022).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Przedruki i uprawnienia
