Oparty na sztucznej inteligencji system do wykrywania poziomu uwagi u uczniów
December 15th, 2023
Ten artykuł proponuje system oparty na sztucznej inteligencji, który automatycznie wykrywa, czy uczniowie zwracają uwagę na klasę, czy są rozproszeni. System ten ma za zadanie pomóc nauczycielom utrzymać uwagę uczniów, zoptymalizować ich lekcje i dynamicznie wprowadzać modyfikacje, aby były one bardziej angażujące.
Nasze badania koncentrują się na zbadaniu możliwości wykorzystania sztucznej inteligencji do pomiaru i wykrywania poziomu uwagi ucznia w klasie. Sprawdzamy, czy opracowane na zamówienie algorytmy i metodologie są w stanie skutecznie ocenić zaangażowanie studentów podczas zajęć. Najnowsze podejścia opierają się na sztucznej inteligencji.
W szczególności algorytmy uczenia się są zgodne z aktualnym stanem techniki. Ten rodzaj algorytmu wykorzystuje ogromne ilości danych do trenowania modeli liniowych. A następnie można je wykorzystać do klasyfikowania obrazów, szacowania pozy osoby i wykonywania szeregu innych interesujących zadań.
W naszym badaniu mamy dwa główne kluczowe wyzwania. Po pierwsze, są sprawy techniczne, które należy rozwiązać. Na przykład, jak ustawić urządzenia, jak oszacować ruch na podstawie obrazu, pozy i innych parametrów, które bierzemy pod uwagę w naszym podejściu.
Jest też gałąź subiektywna, ponieważ nie jest jasne, czy wszystkie osoby wyrażają poziom uwagi w ten sam sposób. Najmocniejszą stroną naszego systemu jest to, że stosujemy podejście multimodalne. Analizujemy różne dane wejściowe, emocje twarzy, ułożenie ciała, ułożenie głowy, dane z akcelerometru i tętno, aby automatycznie sklasyfikować poziom uwagi.
Ponadto nasze metody w dużym stopniu opierają się na sztucznej inteligencji, która, jak doniesiono, jest stosowana z dużym powodzeniem w innych powiązanych obszarach badawczych. Aby rozpocząć, ustaw router z obsługą Wi-Fi w żądanej lokalizacji, aby pokryć całe pomieszczenie. Ustaw jeden smartwatch i jedną kamerę dla lokalizacji każdego ucznia.
Ustaw jedno urządzenie wbudowane na każdych dwóch uczniów. Zamocuj dwa aparaty na dwóch statywach i podłącz je do innego urządzenia wbudowanego. Teraz podłącz kamery do odpowiednich urządzeń wbudowanych za pomocą łącza USB i włącz je.
Włącz również smartwatche. Następnie podłącz każde wbudowane urządzenie i smartwatch do sieci Wi-Fi routera. Umieść kamery w rogu biurka każdego ucznia, skierowane do przodu i lekko pochylone do góry, aby upewnić się, że twarz ucznia jest wyraźnie widoczna.
Następnie umieść dwa statywy z aparatami fotograficznymi przed ławkami znajdującymi się najbliżej przejść w pierwszym rzędzie klasy. Ustaw wspornik statywu w najwyższej pozycji, aby zapewnić wyraźny widok większości uczniów. Uruchom oprogramowanie do przechwytywania na inteligentnych zegarkach i urządzeniach wbudowanych, aby wysyłać obrazy i dane dotyczące akcelerometru, żyroskopu, tętna i oświetlenia.
Dodatkowo uruchom oprogramowanie serwera, aby zbierać i przechowywać te dane. Następnie ustaw kamery zenitalne tak, aby zdominowały scenę, zapewniając wyraźny widok ciał ucznia. Umieść również dodatkową kamerę przed każdym uczniem.
Poproś uczniów, aby zajęli miejsca, poinformuj ich o celach eksperymentu i poinstruuj ich, aby nosili inteligentne zegarki na swojej dominującej ręce. Rozpocznij przechwytywanie i gromadzenie danych na serwerze i wznów normalne lekcje w klasie. Aby rozpocząć, skonfiguruj sprzęt i oprogramowanie wymagane do wykrywania poziomów uwagi u uczniów.
Poinstruuj uczniów, aby założyli inteligentne zegarki na dominującą rękę i rozpoczęli zbieranie danych. Zbierz wymagane dane, zbierając wszystkie obrazy i dane biometryczne ze smartwatcha każdego ucznia. Następnie skonstruuj ramkę danych, która zawiera dane z jednej sekundy, składającą się z jednego obrazu z kamery indywidualnej i zenitalnej, 50 rejestrów dla każdego żyroskopu, akcelerometru, tętna i wartości warunków oświetleniowych.
Teraz użyj szacowanych pozycji oczu, nosa, ust i podbródka, dostarczonych przez algorytm, aby rozwiązać problem punktu końcowego perspektywy za pomocą metody cv:solvePnP biblioteki openCV. Uzyskaj macierz rotacji, która definiuje kierunek głowy w wyniku. Aby obliczyć ułożenie ciała, przetwórz obraz zenitalny za pomocą algorytmu szacowania punktów orientacyjnych BlazePose 18 i pobierz listę współrzędnych 2D stawów ciała przedstawionych na obrazie.
Uzyskaj obraz twarzy ucznia i odzyskaj pozycję oczu, rzutując ich współrzędne na płaszczyznę obrazu z listy punktów kluczowych. Teraz prześledź wirtualny wektor łączący pozycje obu oczu. Oblicz kąt między tym wektorem a linią poziomą i skonstruuj macierz homografii.
Zastosuj odwrotny kąt do obrazu i kluczowych punktów, aby wyrównać oczy w poziomie. Następnie przytnij twarz, używając kluczowych punktów, aby zidentyfikować jej granice i wprowadzić łatkę do konwolucyjnej sieci neuronowej wykrywania emocji. Pobierz dane wyjściowe sieci, wektor z siedmioma pozycjami reprezentującymi prawdopodobieństwa dla każdej z siedmiu podstawowych emocji.
Aby zmierzyć poziom uwagi, uzyskaj dane akcelerometru, żyroskopu i tętna z ramki danych. Po wprowadzeniu strumienia danych akcelerometru i żyroskopu do niestandardowego modelu opartego na głębokim uczeniu, pobierz dane wyjściowe z modelu wskazujące prawdopodobieństwo pisania odręcznego, pisania na klawiaturze, korzystania z telefonu komórkowego lub odpoczynku. Nakarm końcowy klasyfikator uwagi, łącząc kierunek głowy, wyjście rozpoznawania emocji, pozycję ciała, żyroskop, akcelerometr i dane tętna.
Następnie pobierz wyniki klasyfikatora i sklasyfikuj ciągły wynik na niską, średnią i wysoką kategorię uwagi. Pokaż wyniki poziomów uwagi nauczycielowi za pomocą graficznego interfejsu użytkownika z komputera nauczyciela, dostępnego przez zwykłą przeglądarkę internetową. Model był trenowany przez 300 epok.
Strata walidacji wyniosła mniej niż 0,1%, a dokładność walidacji wyniosła 97%, co świadczy o dobrej wydajności modelu.
View the full transcript and gain access to thousands of scientific videos
Przegląd
To badanie bada wykonalność stosowania sztucznej inteligencji do pomiaru i wykrywania poziomów uwagi uczniów w klasach. Dzięki zastosowaniu niestandardowych opracowanych algorytmów, badania mają na celu zwiększenie zaangażowania uczniów i optymalizację metod nauczania.
Kluczowe elementy badania
Dziedzina nauki
- Sztuczna inteligencja
- Technologia edukacyjna
- Zaangażowanie uczniów
Tło
- Pomiar uwagi jest kluczowy dla efektywnego nauczania.
- Algorytmy AI mogą analizować ogromne ilości danych.
- Ostatnie osiągnięcia w algorytmach uczenia się poprawiają zadania klasyfikacyjne.
- Rozumienie zaangażowania uczniów może prowadzić do lepszych wyników edukacyjnych.
Cel badania
- Opracować system, który wykrywa uwagę uczniów w czasie rzeczywistym.
- Pomóc nauczycielom w utrzymaniu uwagi uczniów podczas lekcji.
- Dynamicznie modyfikować plany lekcji w oparciu o zaangażowanie uczniów.
Stosowane metody
- Niestandardowe opracowanie algorytmów AI do wykrywania uwagi.
- Zbieranie danych z klas.
- Techniki klasyfikacji obrazów i estymacji postawy.
- Ocenianie efektywności algorytmów w scenariuszach czasu rzeczywistego.
Główne wyniki
- System AI z powodzeniem identyfikuje poziomy uwagi uczniów.
- Nauczyciele mogą dostosowywać lekcje na podstawie opinii w czasie rzeczywistym.
- Poziomy zaangażowania poprawiły się dzięki nauczanie wspierane przez AI.
- Niestandardowe algorytmy wykazały wysoką dokładność w wykrywaniu uwagi.
Wnioski
- AI może odgrywać znaczącą rolę w poprawie zaangażowania w klasie.
- Wykrywanie uwagi w czasie rzeczywistym może optymalizować strategie nauczania.
- Przyszłe badania mogą rozszerzyć zastosowanie AI w edukacji.
Często zadawane pytania
Executive Industry Relevance
Multimodal AI-driven attention detection systems exemplify the integration of advanced analytics and sensor fusion for real-time behavioral monitoring. In biopharma R&D, such approaches inform the development of objective, quantitative endpoints for cognitive and behavioral studies, supporting translational research and digital biomarker discovery. These capabilities enhance predictive confidence and mechanistic de-risking in early-stage neurobehavioral and digital health pipelines.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables objective quantification of behavioral phenotypes using multimodal sensor data.
- Supports mechanistic de-risking by correlating physiological and behavioral signals with attention states.
- Facilitates the development of digital biomarkers for neurocognitive target validation.
Screening & Assay Development
- Provides standardized, reproducible measurement of attention-related endpoints across cohorts.
- Enables high-throughput data collection from synchronized imaging and wearable sensors.
- Supports assay development for digital phenotyping and behavioral screening platforms.
Translational & Preclinical Research
- Aligns digital attention metrics with translational endpoints in neuropsychiatric and cognitive disorder models.
- Enables continuity from discovery to preclinical validation through quantitative, device-based readouts.
- Supports risk-adjusted advancement decisions by providing robust, multimodal datasets.
Pipeline & Workflow Integration
This AI-based attention detection system fits within the digital biomarker and behavioral analytics continuum, spanning early discovery, lead identification, and translational research.
- Discovery Biology: Integrates multimodal data streams to test hypotheses about attention mechanisms and behavioral modulation.
- Screening: Delivers reproducible, quantitative attention metrics suitable for compound or intervention evaluation.
- Analytics: Provides statistical outputs and classifier scores for cross-condition comparisons and endpoint validation.
- Translational Research: Bridges digital phenotyping in controlled settings to preclinical and clinical research contexts.
- Enterprise Reuse: Establishes a scalable, reusable platform for behavioral analytics across multiple R&D programs.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces ambiguity in behavioral endpoint measurement.
- Operational Value: Standardizes data collection and analysis across diverse sensor modalities and environments.
- Strategic Value: Enables data-driven go/no-go decisions and supports digital endpoint qualification.
- Portfolio Impact: Facilitates risk-adjusted prioritization of neurobehavioral and digital health assets.
Implementation Considerations
- Requires expertise in AI, sensor integration, and behavioral analytics.
- Demands robust instrumentation, including synchronized cameras and wearable devices.
- Necessitates standardized data labeling and cross-team protocol alignment.
- Must be adaptable to different subject populations and experimental settings.
- Integration of heterogeneous data streams and classifier calibration are critical for reliable outputs.
