Op kunstmatige intelligentie gebaseerd systeem voor het detecteren van aandachtsniveaus bij studenten

Summary

Dit artikel stelt een op kunstmatige intelligentie gebaseerd systeem voor om automatisch te detecteren of studenten aandacht besteden aan de klas of afgeleid zijn. Dit systeem is ontworpen om docenten te helpen de aandacht van studenten vast te houden, hun lessen te optimaliseren en dynamisch aanpassingen door te voeren zodat ze boeiender zijn.

Abstract

Het aandachtsniveau van leerlingen in een klaslokaal kan worden verbeterd door het gebruik van kunstmatige intelligentie (AI) technieken. Door automatisch het aandachtsniveau te identificeren, kunnen docenten strategieën gebruiken om de focus van studenten terug te krijgen. Dit kan worden bereikt door middel van verschillende informatiebronnen.

Een van de bronnen is het analyseren van de emoties die op de gezichten van de studenten worden weerspiegeld. AI kan emoties detecteren, zoals neutraal, walging, verrassing, verdriet, angst, geluk en woede. Bovendien kan de richting van de blik van de studenten mogelijk ook hun aandachtsniveau aangeven. Een andere bron is het observeren van de lichaamshouding van de studenten. Door gebruik te maken van camera's en deep learning-technieken kan de houding worden geanalyseerd om het aandachtsniveau te bepalen. Studenten die bijvoorbeeld onderuitgezakt zitten of hun hoofd op hun bureau laten rusten, kunnen een lager aandachtsniveau hebben. Smartwatches die aan de studenten worden uitgedeeld, kunnen biometrische en andere gegevens verstrekken, waaronder hartslag- en traagheidsmetingen, die ook kunnen worden gebruikt als aandachtsindicatoren. Door deze informatiebronnen te combineren, kan een AI-systeem worden getraind om het aandachtsniveau in de klas te identificeren. Het integreren van de verschillende soorten gegevens vormt echter een uitdaging die het maken van een gelabelde dataset vereist. Input van experts en bestaande studies worden geraadpleegd voor een nauwkeurige etikettering. In dit artikel stellen we de integratie van dergelijke metingen voor en het creëren van een dataset en een mogelijke aandachtsclassificatie. Om feedback te geven aan de docent, verkennen we verschillende methoden, zoals smartwatches of directe computers. Zodra de leraar zich bewust wordt van aandachtsproblemen, kan hij zijn onderwijsaanpak aanpassen om de leerlingen opnieuw te betrekken en te motiveren. Samenvattend kunnen AI-technieken automatisch het aandachtsniveau van de studenten identificeren door hun emoties, blikrichting, lichaamshouding en biometrische gegevens te analyseren. Deze informatie kan leerkrachten helpen bij het optimaliseren van het onderwijsleerproces.

Introduction

In moderne onderwijsomgevingen is het nauwkeurig beoordelen en vasthouden van de aandacht van studenten cruciaal voor effectief lesgeven en leren. Traditionele methoden om de betrokkenheid te meten, zoals zelfrapportage of subjectieve observaties van docenten, zijn echter tijdrovend en vatbaar voor vooroordelen. Om deze uitdaging aan te gaan, zijn kunstmatige intelligentie (AI)-technieken naar voren gekomen als veelbelovende oplossingen voor geautomatiseerde aandachtsdetectie. Een belangrijk aspect om inzicht te krijgen in de betrokkenheidsniveaus van studenten is emotieherkenning¹. AI-systemen kunnen gezichtsuitdrukkingen analyseren om emoties te identificeren, zoals neutraal, walging, verrassing, verdriet, angst, geluk en woede².

Blikrichting en lichaamshouding zijn ook cruciale indicatoren van de aandacht van studenten³. Door gebruik te maken van camera's en geavanceerde machine learning-algoritmen kunnen AI-systemen nauwkeurig volgen waar studenten kijken en hun lichaamshouding analyseren om tekenen van desinteresse of vermoeidheid te detecteren⁴. Bovendien verbetert het opnemen van biometrische gegevens de nauwkeurigheid en betrouwbaarheid van aandachtsdetectie⁵. Door metingen te verzamelen, zoals hartslag en zuurstofverzadigingsniveaus in het bloed, via smartwatches die door studenten worden gedragen, kunnen objectieve aandachtsindicatoren worden verkregen, als aanvulling op andere informatiebronnen.

Dit artikel stelt een systeem voor dat het aandachtsniveau van een persoon evalueert met behulp van kleurencamera's en andere verschillende sensoren. Het combineert emotieherkenning, analyse van de blikrichting, beoordeling van de lichaamshouding en biometrische gegevens om docenten een uitgebreide set hulpmiddelen te bieden voor het optimaliseren van het onderwijsleerproces en het verbeteren van de betrokkenheid van studenten. Door deze tools te gebruiken, kunnen docenten een uitgebreid inzicht krijgen in het onderwijsleerproces en de betrokkenheid van studenten vergroten, waardoor de algehele onderwijservaring wordt geoptimaliseerd. Door AI-technieken toe te passen is het zelfs mogelijk om deze data automatisch te evalueren.

Het belangrijkste doel van dit werk is om het systeem te beschrijven waarmee we alle informatie kunnen vastleggen en, eenmaal vastgelegd, een AI-model kunnen trainen waarmee we in realtime de aandacht van de hele klas kunnen trekken. Hoewel andere werken al hebben voorgesteld de aandacht te trekken met behulp van visuele of emotionele informatie⁶, stelt dit werk het gecombineerde gebruik van deze technieken voor, wat een holistische benadering biedt om het gebruik van complexere en effectievere AI-technieken mogelijk te maken. Bovendien zijn de tot nu toe beschikbare datasets beperkt tot een reeks video's of een reeks biometrische gegevens. De literatuur bevat geen datasets die volledige gegevens verstrekken met afbeeldingen van het gezicht of lichaam van de leerling, biometrische gegevens, gegevens over de positie van de leraar, enz. Met het hier gepresenteerde systeem is het mogelijk om dit type dataset vast te leggen.

Het systeem associeert een aandachtsniveau met elke student op elk moment van de tijd. Deze waarde is een waarschijnlijkheidswaarde van aandacht tussen 0% en 100%, wat kan worden geïnterpreteerd als een laag aandachtsniveau (0%-40%), een gemiddeld aandachtsniveau (40%-75%) en een hoog aandachtsniveau (75%-100%). In de hele tekst wordt naar deze aandachtskans verwezen als het aandachtsniveau, de aandacht van de student, of of studenten afgeleid zijn of niet, maar deze zijn allemaal gerelateerd aan dezelfde outputwaarde van ons systeem.

In de loop der jaren is het gebied van automatische betrokkenheidsdetectie aanzienlijk gegroeid vanwege het potentieel om een revolutie teweeg te brengen in het onderwijs. Onderzoekers hebben verschillende benaderingen voorgesteld voor dit studiegebied.

Ma et ^al.7 introduceerden een nieuwe methode op basis van een Neural Turing Machine voor automatische herkenning van betrokkenheid. Ze extraheerden bepaalde kenmerken, zoals oogblik, gezichtsactie-eenheden, hoofdhouding en lichaamshouding, om een uitgebreide weergave van betrokkenheidsherkenning te creëren.

EyeTab⁸, een ander innovatief systeem, gebruikte modellen om met beide ogen in te schatten waar iemand naar kijkt. Het is speciaal gemaakt om soepel te werken op een standaard tablet zonder aanpassingen. Dit systeem maakt gebruik van bekende algoritmen voor het verwerken van afbeeldingen en het analyseren van computervisie. Hun pijplijn voor het schatten van blikken omvat een Haar-achtige, op kenmerken gebaseerde oogdetector, evenals een op RANSAC gebaseerde limbus-ellips-fittingbenadering.

Sanghvi et ^al.9 stellen een aanpak voor die gebaseerd is op op visie gebaseerde technieken om automatisch expressieve houdingskenmerken te extraheren uit video's die zijn opgenomen vanuit een zijaanzicht, waardoor het gedrag van de kinderen wordt vastgelegd. Er wordt een eerste evaluatie uitgevoerd, waarbij meerdere herkenningsmodellen worden getraind met behulp van gecontextualiseerde affectieve houdingsuitdrukkingen. De verkregen resultaten tonen aan dat patronen van houdingsgedrag de betrokkenheid van de kinderen bij de robot effectief kunnen voorspellen.

In andere werken, zoals Gupta et ^al.10, wordt een op deep learning gebaseerde methode gebruikt om de realtime betrokkenheid van online leerlingen te detecteren door hun gezichtsuitdrukkingen te analyseren en hun emoties te classificeren. De aanpak maakt gebruik van gezichtsemotieherkenning om een betrokkenheidsindex (EI) te berekenen die twee betrokkenheidstoestanden voorspelt: betrokken en niet-betrokken. Verschillende deep learning-modellen, waaronder Inception-V3, VGG19 en ResNet-50, worden geëvalueerd en vergeleken om het meest effectieve voorspellende classificatiemodel voor real-time betrokkenheidsdetectie te identificeren.

In Altuwairqi et ^al.11 presenteren de onderzoekers een nieuwe automatische multimodale benadering voor het beoordelen van de betrokkenheid van studenten in realtime. Om nauwkeurige en betrouwbare metingen te garanderen, integreerde en analyseerde het team drie verschillende modaliteiten die het gedrag van studenten vastleggen: gezichtsuitdrukkingen voor emoties, toetsaanslagen op het toetsenbord en muisbewegingen.

Guillén et ^al.12 stellen de ontwikkeling voor van een monitoringsysteem dat elektrocardiografie (ECG) gebruikt als een primair fysiologisch signaal om de aan- of afwezigheid van cognitieve aandacht bij individuen tijdens het uitvoeren van een taak te analyseren en te voorspellen.

Alban et ^al.13 gebruiken een neuraal netwerk (NN) om emoties te detecteren door de hartslag (HR) en elektrodermale activiteit (EDA) waarden van verschillende deelnemers te analyseren in zowel tijd- als frequentiedomeinen. Ze vinden dat een toename van het wortelgemiddelde kwadraat van opeenvolgende verschillen (RMSDD) en de standaarddeviatie normaal-naar-normaal (SDNN) intervallen, in combinatie met een afname van de gemiddelde HR, wijzen op verhoogde activiteit in het sympathische zenuwstelsel, wat wordt geassocieerd met angst.

Kajiwara et ^al.14 stellen een innovatief systeem voor dat gebruik maakt van draagbare sensoren en diepe neurale netwerken om het niveau van emotie en betrokkenheid bij werknemers te voorspellen. Het systeem volgt een proces in drie stappen. In eerste instantie verzamelen draagbare sensoren gegevens over gedrag en pulsgolven. Vervolgens worden tijdreekskenmerken berekend op basis van de verkregen gedrags- en fysiologische gegevens. Ten slotte worden diepe neurale netwerken gebruikt om de tijdreekskenmerken in te voeren en voorspellingen te doen over de emoties en betrokkenheidsniveaus van het individu.

In ander onderzoek, zoals Costante et ^al.15, wordt een benadering voorgesteld op basis van een nieuw algoritme voor het leren van overdrachtsgegevens, dat gebruikmaakt van voorkennis van een vooraf gedefinieerde reeks gebaren om de herkenning van door de gebruiker gedefinieerde gebaren te verbeteren. Deze verbetering wordt bereikt met minimale afhankelijkheid van aanvullende trainingsmonsters. Evenzo wordt een op sensoren gebaseerd kader voor de herkenning van menselijke activiteit¹⁶ gepresenteerd om het doel van de onpersoonlijke herkenning van complexe menselijke activiteiten aan te pakken. Signaalgegevens die worden verzameld van sensoren die om de pols worden gedragen, worden gebruikt in het ontwikkelde raamwerk voor de herkenning van menselijke activiteit, waarbij gebruik wordt gemaakt van vier op RNN gebaseerde DL-modellen (Long-Short Term Memories, Bidirectional Long-Short Term Memories, Gated Recurrent Units en Bidirectional Gated Recurrent Units) om de activiteiten te onderzoeken die worden uitgevoerd door de gebruiker van het draagbare apparaat.

Protocol

Het volgende protocol volgt de richtlijnen van de ethische commissie voor menselijk onderzoek van de Universiteit van Alicante met het goedgekeurde protocolnummer UA-2022-11-12. Van alle deelnemers is geïnformeerde toestemming verkregen voor dit experiment en voor het gebruik van de gegevens hier.

1. Hardware, software en lesinstellingen

1. Stel een router met wifi-mogelijkheden in (de experimenten werden uitgevoerd met behulp van een DLink DSR 1000AC) op de gewenste locatie zodat het bereik de hele kamer bestrijkt. Hier waren 25^m2 klaslokalen met 30 leerlingen overdekt.
2. Stel voor elke studentenlocatie één smartwatch (hier Samsung Galaxy Smartwatch 5) en één camera (hier Logitech C920 camera's) in. Stel één ingesloten apparaat in voor elke twee leerlingen. Bevestig twee camera's op twee statieven en sluit ze aan op een ander ingebouwd apparaat (hierna zenitale camera's genoemd).
3. Sluit de camera's aan op de bijbehorende embedded apparaten met een USB-link en zet ze AAN. Zet ook de smartwatches AAN. Verbind elk embedded apparaat en smartwatch met het wifi-netwerk van de router die in stap 1.1 is ingesteld.
4. Plaats de camera's in de hoek van het bureau van elke student en richt ze naar voren en iets naar boven gekanteld, zodat het gezicht van de student goed zichtbaar is op de beelden.
5. Plaats de twee statieven met de camera's voor de bureaus die zich het dichtst bij de gangpaden bevinden op de eerste rij stoelen van het klaslokaal. Zet de statiefverhoger in de hoogste stand, zodat de camera's de meeste leerlingen duidelijk kunnen zien. Elk embedded apparaat kan een of twee studenten beheren, samen met hun respectievelijke camera's en horloges. De opstelling is weergegeven in figuur 1.
6. Voer de opnamesoftware uit in de smartwatches en in de ingebouwde apparaten zodat ze klaar zijn om de afbeeldingen en de versnellingsmeter, gyroscoop, hartslag en verlichtingsgegevens te verzenden. Voer de serversoftware uit die de gegevens verzamelt en opslaat. Een diagram van al deze elementen is te zien in figuur 2.
7. Zorg ervoor dat de zenitale camera's de scène domineren, zodat ze een duidelijk zicht hebben op de lichamen van de studenten. Plaats een extra individuele camera voor elke leerling.
8. Laat de leerlingen op hun plaats zitten, informeer hen over de doelen van het experiment en instrueer hen om de smartwatches aan hun dominante hand te dragen en geen interactie te hebben met een van de elementen van de opstelling.
9. Start het vastleggen en verzamelen van de gegevens op de server en hervat de klassikale lessen zoals gewoonlijk.

Afbeelding 1: Hardware- en datapijplijn. De gegevens van de camera's en smartwatches worden verzameld en naar de machine learning-algoritmen gevoerd om te worden verwerkt. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Positie van de sensoren, docent en leerlingen. Diagram met de posities van de camera's, smartwatches en GUI in de klas met de leraar en leerlingen. Klik hier om een grotere versie van deze figuur te bekijken.

2. Pijplijn voor vastleggen en verwerken van gegevens

OPMERKING: Al deze stappen worden automatisch uitgevoerd door verwerkingssoftware die op een server is geïmplementeerd. De implementatie die voor de experimenten in dit werk is gebruikt, is geschreven in Python 3.8.

1. Verzamel de vereiste gegevens door alle afbeeldingen en biometrische gegevens van de smartwatch voor elke leerling te verzamelen en bouw een dataframe met gegevens vanaf 1 s. Dit gegevensframe bestaat uit één beeld van de individuele camera, één beeld van elke zenitale camera (in dit geval twee), vijftig registers van de drie gyroscoopwaarden, vijftig registers van de drie versnellingsmeterwaarden, één hartslagwaarde en één lichtconditiewaarde.
2. Om de richting van het hoofd te berekenen, is de eerste stap om de webcam te gebruiken die op het gezicht van de student is gericht en een beeld op te halen. Vervolgens wordt die afbeelding verwerkt door het BlazeFace^17-algoritme voor het schatten van monumenten. De output van een dergelijk algoritme is een lijst met 2D-sleutelpunten die overeenkomen met specifieke delen van het gezicht.
3. Door gebruik te maken van de geschatte positie van de ogen, neus, mond en kin die door het algoritme worden geleverd, los je het perspectief n-punt probleem op met behulp van de methode cv::SolvePnPMethod van de OpenCV-bibliotheek, een canonieke gezichtsinstelling. De rotatiematrix die de hoofdrichting definieert, wordt verkregen als resultaat van deze procedure.
4. Bereken de lichaamshouding door het zenitale beeld door te sturen van het dataframe waarin de student is afgebeeld naar het BlazePose 18-schattingsalgoritme voor oriëntatiepunten en haal een lijst op met 2D-coördinaten van de gewrichten van het lichaam dat in de afbeelding wordt afgebeeld. Deze lijst met herkenningspunten beschrijft de pose van de student.
   OPMERKING: De lichaamshouding is belangrijk omdat deze nauwkeurig de betrokkenheid van een student bij verschillende activiteiten tijdens de les kan weergeven. Als de student bijvoorbeeld op een natuurlijke manier met zijn handen op het bureau zit, kan dit betekenen dat hij aantekeningen maakt. Als ze daarentegen voortdurend hun armen bewegen, kan dit betekenen dat ze met iemand praten.
5. Verkrijg het beeld van het gezicht van de student en voer de voorbewerking van de uitlijning uit. Haal de belangrijkste punten van de ogen op uit de lijst die in stap 2.3 is berekend en projecteer ze op het beeldvlak zodat de positie van de ogen wordt verkregen.
6. Traceer een virtuele vector die de positie van beide ogen verbindt. Bereken de hoek tussen die vector en de horizontale lijn en bouw een homografiematrix om de omgekeerde hoek toe te passen op de afbeelding en de belangrijkste punten, zodat de ogen horizontaal zijn uitgelijnd.
7. Snijd het gezicht bij met behulp van de belangrijkste punten om de limieten te detecteren en voer de pleister naar het convolutionele neurale netwerk voor emotiedetectie¹⁹. Haal de output op van het netwerk, een vector met 7 posities, waarbij elke positie de waarschijnlijkheid geeft dat het gezicht een van de zeven basisemoties vertoont: neutraal, blij, walgend, boos, bang, verrast en verdrietig.
8. Meet het aandachtsniveau door de versnellingsmeter, gyroscoop en hartslaggegevens uit het dataframe te halen (Figuur 3).
9. Voed het op deep learning gebaseerde model dat op maat is gemaakt en vanaf nul is getraind en beschreven in de representatieve resultaten, met de stroom versnellingsmeter- en gyroscoopgegevens. Haal de uitvoer op van het model, een vector met 4 posities, waarbij elke positie de waarschijnlijkheid geeft dat de gegevens een van de volgende mogelijke acties vertegenwoordigen: handschrift, typen op een toetsenbord, een mobiele telefoon gebruiken of rusten, zoals weergegeven in figuur 4.
10. Voed de uiteindelijke aandachtsclassificatie met een linearisatie van alle resultaten van de vorige systemen door de hoofdrichting, emotieherkenningsoutput, lichaamshouding en de gyroscoop, versnellingsmeter en hartslaggegevens samen te voegen. Haal de resultaten op van deze eindclassificatie, wat een score is van 0 tot 100. Classificeer deze continue waarde in een van de drie mogelijke discrete aandachtscategorieën: laag aandachtsniveau (0-40%), gemiddeld aandachtsniveau (40%-75%) en hoog aandachtsniveau (75% - 100%). De structuur van de gegenereerde dataset is weergegeven in tabel 1.
11. Toon de resultaten van de aandachtsniveaus aan de leraar met behulp van de grafische gebruikersinterface (GUI) van de computer van de leraar, toegankelijk via een gewone webbrowser.

Afbeelding 3: Gegevens vastgelegd door de smartwatch. De smartwatch biedt een gyroscoop, versnellingsmeter, hartslag en lichtconditie als gegevensstromen. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Voorbeelden van de categorieën die door het activiteitsherkenningsmodel in aanmerking worden genomen. Het activiteitsherkenningsmodel herkent vier verschillende acties: handschrift, typen op een toetsenbord, een smartphone gebruiken en rustpositie. Klik hier om een grotere versie van deze figuur te bekijken.

Results

De doelgroep van deze studie zijn bachelor- en masterstudenten, en dus is de belangrijkste leeftijdsgroep tussen de 18 en 25 jaar oud. Deze populatie is geselecteerd omdat ze elektronische apparaten met minder afleiding kunnen omgaan dan jongere studenten. In totaal bestond de groep uit 25 personen. Deze leeftijdsgroep kan de meest betrouwbare resultaten leveren om het voorstel te testen.

De resultaten van het aandachtsniveau dat aan de leerkracht wordt getoond, bestaan uit 2 delen. Deel A van...

Discussion

Dit werk presenteert een systeem dat het aandachtsniveau van een leerling in een klaslokaal meet met behulp van camera's, smartwatches en kunstmatige intelligentie-algoritmen. Deze informatie wordt vervolgens aan de leraar gepresenteerd, zodat deze een idee krijgt van de algemene toestand van de klas.

Een van de belangrijkste kritieke stappen van het protocol is de synchronisatie van de smartwatch-informatie met het kleurencamerabeeld, aangezien deze verschillende frequenties hebben. Dit werd ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
4 GPUs  Nvidia A40 Ampere	NVIDIA	TCSA40M-PB	GPU voor gecentraliseerde modelverwerkingsserver
FusionServer 2288H V5	X-Fusion	02311XBK	Platform die voeding en moederbord voor gecentraliseerde modelverwerkingsserver omvat
Memory Card Evo Plus 128 GB	Samsung	MB-MC128KA/EU	Geheugenkaart voor de werking van de raspberry pi 4b 2gb.  Een voor elke raspberry.
NEMIX RAM - 512 GB Kit DDR4-3200 PC4-25600 8Rx4 EC	NEMIX	M393AAG40M32-CAE	RAM voor gecentraliseerde modelverwerkingsserver
Processor Intel Xeon Gold 6330	Intel	CD8068904572101	Processor voor gecentraliseerde modelverwerkingsserver
Raspberry PI 4B 2GB	Raspberry	1822095	Lokale server die verzoeken van de klokken ontvangt en deze naar de algemene server stuurt. Eén voor elke twee studenten.
Samsung Galaxy Watch 5 (40mm)	Samsung	SM-R900NZAAPHE	Klok die de activiteit van elke student bewaakt. Voor elke student.
Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5inch Ssd	Samsung	MZQL23T8HCLS-00B7C	Interne opslag voor gecentraliseerde modelverwerkingsserver
WebCam HD Pro C920 Webcam FullHD	Logitech	960-001055	Webcam HD. Een voor elke student plus twee voor studentenposes.