Deze studie beoordeelt de gedragsbetrokkenheid van studenten door hun gedrag te detecteren in video's van universiteitsklaslokalen met behulp van een deep learning-algoritme. Zeven gedragingen die positief gecorreleerd zijn met leerbetrokkenheid worden geïdentificeerd, en een beoordelingsmodel wordt gebruikt om de algehele betrokkenheid van individuele leerlingen en de klas te beoordelen.
Een abonnement op JoVE is vereist om deze inhoud te bekijken. Log in of start vandaag met uw gratis proefperiode.
Onderzoeksartikel
Gedragsbetrokkenheidsbeoordeling in universiteitslokalen via deep learning-gebaseerde video-objectdetectie
In dit artikel
Samenvatting
Samenvatting
Deze studie heeft als doel de leerbetrokkenheid van studenten in universiteitslokalen te beoordelen met behulp van deep learning-gebaseerde video-objectdetectie. Om dit te doen, identificeerde dit onderzoek via correlatieanalyse eerst zeven gedrag in de klas met een zeer positieve correlatie met leerbetrokkenheid als indicatoren om de leerbetrokkenheid van studenten te meten; daarna verzamelde het 30 gesynchroniseerde video's van echt klassikaal onderwijs uit 6 klassen van de Shandong University of Science and Technology (SDUST) en verdeelde deze in een trainingsset en een testset. Nadat de zeven gedragingen handmatig in de trainingsdata waren geannoteerd, werd een machine learning-algoritme op een gecontroleerde manier getraind op deze set. Eenmaal getraind genereerde het model initiële annotaties voor de resterende niet-gelabelde data. Om nauwkeurigere en efficiëntere gedragsherkenning in de klas te bereiken, selecteerde deze studie twee representatieve algoritmen, namelijk Faster R-CNN en YOLOv5s, voor gedragsdetectie-experimenten. Op basis van een vergelijking van hun detectieprestaties qua nauwkeurigheid en tijdskosten, werd YOLOv5s geselecteerd voor gedragsdetectie in de klas in deze studie. Tot slot gebruikte deze studie de focusgroepmethode om scores toe te wijzen aan elk gedrag en ontwikkelde een drie-niveau leerbetrokkenheidsscoremodel. Gebaseerd op automatisch gemeten gedragsgegevens maakt het model realtime, automatische beoordeling van leerbetrokkenheid op zowel individueel als klasniveau mogelijk.
Inleiding
Leerbetrokkenheid, verwijzend naar de participatie, concentratie en inzet van leerlingen bij het leren, bestaat uit gedragsbetrokkenheid, emotionele betrokkenheid en cognitieve betrokkenheid1. De leerbetrokkenheid van leerlingen laat hun leersituatie zien en helpt leraren hun lesstrategieën aan te passen2. De betrokkenheid van het leren in de klas wordt echter vooral beoordeeld aan de hand van de zelfrapportages van leerlingen en de observaties van docenten3. De hoge leraren-leerlingverhouding aan Chinese universiteiten betekent dat het veel tijd en moeite kost om traditionele handmatige methoden te gebruiken voor het beoordelen van leerbetrokkenheid.
In de afgelopen jaren, met de toenemende populariteit van intelligente opname- en uitzendklaslokalen in China, is automatische meting van leerbetrokkenheid op basis van klasvideo'smogelijk geworden. Vanuit het perspectief van intelligent technologie-ondersteund klassikaal onderwijs paste deze studie deep learning-methoden toe om het gedrag van studenten in universitaire klasvideo's te detecteren en stelde een scoremodel voor om automatisch de gedragsbetrokkenheid van studenten te meten.
Een korte overzicht van studies naar gedragsbetrokkenheid
Er zijn drie hoofdniveaus van gedragsbetrokkenheid: (1) Op schoolniveau verwijst het naar het enthousiasme van leerlingen om deel te nemen aan buitenschoolse activiteiten5. (2) Op het niveau van de klas omvat het positieve gedrag van leerlingen in de klas, zoals het naleven van de klassenvolgorde, en destructief gedrag, zoals het overslaan van de les of praten in klas6. (3) Op het niveau van het leerproces verwijst het naar de deelname en het gedrag van studenten aan leertaken, zoals het stellen van vragen en het maken van huiswerk7. Momenteel kunnen methoden voor het beoordelen van gedragsbetrokkenheid grofweg worden ingedeeld in drie categorieën: handmatige, semi-automatische en automatische methoden8.
Handmatige methoden, waaronder zelfrapportage, interviews, observatie van leraren en andere traditionele beoordelingsmethoden, zijn arbeidsintensief en moeilijk om objectiviteit en nauwkeurigheid te waarborgen. Loganalyse is een representatieve semi-automatische beoordelingsmethode die voornamelijk de leerloggegevens van studenten analyseert die van leerplatforms zijn verzameld, inclusief indicatoren zoals inlogfrequentie, online duur en antwoordnauwkeurigheid. Deze methode kan de leerbetrokkenheid van studenten objectiever beoordelen; echter, het grote volume en de complexiteit van de data vormen uitdagingen voor de daaropvolgende verwerking4. De automatische methode is gebaseerd op computer vision, waarbij intelligente apparaten, zoals opname- en uitzendplatforms, worden gebruikt om de uitdrukkingen, gebaren, gedragingen en andere visuele aanwijzingen van leerlingen in de klas vast te leggen, voornamelijk om het gedrag in de klas te beoordelen. In vergelijking met de vorige twee methoden maakt deze aanpak snelle meting van gedragsbetrokkenheid mogelijk via computers en algoritmen en is minder vatbaar voor subjectieve interferentie9.
Een korte bespreking van gedragsmatige betrokkenheidsbeoordeling op basis van objectdetectie
Met de opkomst van deep learning worden objectdetectietechnieken steeds vaker toegepast op leerbetrokkenheidsanalyse. Objectdetectie-algoritmen voeren objectclassificatie en lokalisatie uit in afbeeldingen op basis van convolutionele neurale netwerken. In slimme klaslokalen uitgerust met video-opnamesystemen kunnen dergelijke algoritmen visuele informatie herkennen die verband houdt met de houdingen, gebaren en gezichtsuitdrukkingen van studenten uit klaskamervideo's, waardoor het gedrag van studenten automatisch kan worden geïdentificeerd en hun gedragsbetrokkenheid kan worden beoordeeld. Daardoor kan de leertoestand in de klas die wordt weerspiegeld door het non-verbale gedrag van leerlingen effectief worden geïnterpreteerd9.
Er zijn verschillende apparatuur en algoritmen gebruikt om de meerdere non-verbale gedragingen van leerlingen uit video's te verzamelen en te identificeren. Rahman et al.10 en Zaletelj en Košir11 gebruikten Kinect-sensoren om de gezichtslijn, gezichtsinformatie, lichaamshoudingskenmerken, enzovoort van studenten te verzamelen en analyseerden het aandachtsniveau van studenten met behulp van machine learning-algoritmen. Whitehill et al.8 gebruikten een iPad-webcam om de gezichtsuitdrukkingen van studenten op te nemen en zo een herkenningsmodel te trainen, waarmee werd aangetoond dat de machine learning-techniek gelijk is aan menselijke observatie in de nauwkeurigheid van de evaluatie van leerbetrokkenheid. Sukumaran en Manoharan12 detecteerden de betrokkenheid van de student met behulp van EGG-signalen. Ashwin en Guddeti13 gebruikten convolutionele neurale netwerken om klaskamervideo's in een laboratoriumomgeving te analyseren en zo non-verbaal gedrag te detecteren, zoals gezichtsuitdrukkingen, handhoudingen en lichaamshoudingen, en zo de leerbetrokkenheid te beoordelen. Bai et al.14 gebruikten Faster R-CNN met multiplexed feature fusion om het gedrag in de klas, zoals studeren, slapen en hoofd naar beneden, te detecteren door middel van overdrachtsleer. Deng et al.9 analyseerden video's van de remote classroom door Faster R-CNN deep learning-technieken te combineren en stelden een methode voor om gedragsherkenning en participatiemeting in de klas te bereiken op basis van de hoofd-, hand- en lichaamshoudingen van studenten.
Vroege studies werden voornamelijk uitgevoerd in laboratoriumomgevingen, waarvan veel zich richtten op één individu in één scenario 10,11,12,13, terwijl recentere studies steeds meer echte klasomgevingen hebben onderzocht 9,14,15,16,17,18,19. Daarnaast is het scala aan onderzochte gedragingen steeds diverser geworden. Zo analyseerden Bai et al.14 en Ouyang et al.15 klaskamervideo's waarin slechts twee gedragingen—hoofd omhoog en hoofd omlaag—werden geïdentificeerd. Deng et al.9 onderzochten video's uit de klas van de basisschool en breidden de gedetecteerde gedragscategorieën uit van hoofdbewegingen naar hand- en lichaamsbewegingen. Zhang en collega's16 verzamelden vijf soorten gedrag van leerlingen, waaronder omhoog kijken, naar beneden kijken, slapen, rondkijken en gapen.
Omdat de gegevens echter werden verzameld uit klaslokalen op de basisschool, waar leerlingen doorgaans in vaste posities zitten, bleef het scala aan waarneembaar gedrag relatief beperkt. Daarom hebben latere studies zich steeds meer gericht op universiteitsklaslokalen. Veel universiteitslokalen zijn groot, met ongeveer honderd studenten die vaak willekeurig zitten, waardoor het moeilijker wordt om het gedrag van studenten te detecteren. Bovendien vertonen studenten in echte universitaire klaslokalen een grotere gedragsdiversiteit en interactiviteit, inclusief interacties met leraren, klasgenoten, schoolborden en studieboeken. Yan et al.17 stelden een op deep learning gebaseerde houdingsherkenningsmethode voor, BetaPose, die is ontworpen om de nauwkeurigheid van houdingsherkenning in drukke klasscènes te verbeteren. Tan et al.18 integreerden een coördinaten-aandacht (CA)-module in het YOLOv9-netwerk, en het resulterende CA-YOLOv9-model werd toegepast op de herkenning van zeven klaslokaalgedragingen in complexe universitaire klasomgevingen met grote studentenpopulaties. Wang et al.19 stelden een bidirectioneel feature augmentation network (BATNet) voor om het gedrag van studenten in intelligente klaslokalen te identificeren, met name voor kleine en occludeerde doelgroepen.
Met de ontwikkelde algoritmen zijn de snelheid en nauwkeurigheid van gedragsdetectie sterk verbeterd; Huidige studies hebben echter de verklaring genegeerd of er een verband is tussen gedetecteerd gedrag in de klas en de betrokkenheid van leerlingen, waardoor vragen als of bepaald gedrag als parameters kan worden gebruikt om gedragsbetrokkenheid te meten en welke gedragingen effectief leerbetrokkenheid kunnen weerspiegelen, onbeantwoord blijven. Daarnaast moet er een manier worden uitgewerkt om de gedragsbetrokkenheid van leerlingen expliciet te tonen. Zo identificeerde deze studie klasgedrag dat sterk gerelateerd was aan de leerbetrokkenheid van studenten via correlatieanalyse; Ondertussen werd een scoresysteem ontwikkeld om een evaluatiemodel van gedragsbetrokkenheid te construeren. Daardoor kan automatische meting van gedragsbetrokkenheid worden bereikt voor zowel individuele leerlingen als voor de klas als geheel.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Protocol
Alle video's zijn verkregen en gebruikt in overeenstemming met de huidige ethische praktijken van menselijk onderzoek zoals voorgeschreven door de Shandong University of Science and Technology. De goedkeuring is verkregen voor het gebruik van de gegevens.
Ten eerste werd correlatieanalyse uitgevoerd om het gedrag van studenten te identificeren dat als indicatoren van gedragsbetrokkenheid kon dienen. Nadat de dataset was opgebouwd door frame-extractie en verdeeld in een trainingsset en een testset, werden twee representatieve algoritmen voor objectdetectie uitgevoerd in de trainingsset en vergeleken qua nauwkeurigheid en efficiëntie. Ten slotte werd het algoritme met betere prestaties (YOLO-v5s) geselecteerd om op de testset te draaien om gedragsdetectie uit te voeren. Figuur 1 toont het stroomdiagram van het proces van identificatie en detectie van het gedrag van leerlingen.
Figuur 1. Stroomdiagram van identificatie en detectie van het gedrag van leerlingen. Klik hier om een grotere versie van deze figuur te bekijken.
Identificatie van indicatoren
Voordat objectdetectie-experimenten werden uitgevoerd, moesten non-verbale gedragingen die wijzen op de gedragsbetrokkenheid van studenten worden geïdentificeerd. Tot nu toe hebben studies naar gedragsbetrokkenheid op basis van objectdetectie succes opgeleverd in het detecteren van diverse non-verbale gedragingen, waaronder zichtlijn, gezichtsinformatie en lichaamshouding 9,10,11,12,13,14. Of specifieke gedragingen gerechtvaardigd zijn als indicatoren van de gedragsbetrokkenheid van leerlingen is echter nog niet besproken. Daarom werd in deze studie een correlatieanalyse gebruikt tussen het gedrag van studenten en hun gedragsbetrokkenheidsniveau om gedrag te identificeren dat op gedragsbetrokkenheid wijst.
(1) Gedragsbetrokkenheidstest
Deze studie selecteerde 122 bachelorstudenten uit vier natuurlijke klassen van niet-Engelse majors aan SDUST-Jinan als steekproef voor een correlationele studie. Ten eerste werden zelfrapportageschalen gebruikt om gedragsbetrokkenheidsgegevens van de 122 studenten te verzamelen, met als doel hun gedragsbetrokkenheidsstatus vanuit een intern ervaringsperspectief te begrijpen. Aangezien de videogegevens uit de klas voor deze studie afkomstig waren van "Academic English"-klassen, werd het multidimensionale evaluatieinstrument voor leerbetrokkenheid in college English classrooms, ontwikkeld door Ren Qingmei20 , aangenomen. Dit instrument is specifiek ontworpen voor de onderwijsomgeving van Chinese vreemde talen en hanteert dezelfde klassieke categorisering van leerbetrokkenheid als deze studie, met drie dimensies: gedrags-, affectieve en cognitieve betrokkenheid. Hieronder bestaat het instrument voor gedragsbetrokkenheid uit negen items, die overeenkomen met interactie tussen leraar en leerling (bijv. "Ik beantwoord actief vragen van de docent in de Engelse les"), individuele inspanning (bijv. "Ik neem zorgvuldig rekening met moeilijkheden tijdens het leren van de Engelse les"), interactie met leeftijdsgenoten (bijv. "Ik werk samen met andere studenten om leertaken in de Engelse klas te voltooien"), enzovoort. Elk item wordt gepresenteerd in een Likert 5-punts schaalformaat, met antwoordopties van "bijna nooit, zelden, soms, vaak, altijd", gescoord van 1 tot 5, waarbij leerlingen de optie moeten kiezen die het beste aansluit bij hun leerervaring. Leerlingen met 15 punten of lager werden gecategoriseerd als leerlingen met lage betrokkenheid, degenen met 16-30 punten als leerlingen met matige betrokkenheid, en studenten met 31-45 punten als studenten met hoge betrokkenheid. Ten slotte werden 120 geldige schalen verzameld, met 17 studenten in de categorie met lage betrokkenheid, 45 in de categorie matige betrokkenheid en 58 in de categorie met hoge betrokkenheid.
(2) Gedragsidentificatie
Ondertussen werden vier opgenomen video's verzameld van in totaal 50 minuten van volledig bezochte "Academic English"-lessen in deze vier lessen. Met een frame dat elke 15 seconden werd getekend, werden uiteindelijk 200 beelden geëxtraheerd voor observatie. Op basis van herhaalde bezichtigingen van de videosamples door drie studenten, identificeerde deze studie aanvankelijk 12 soorten gedrag van studenten in de klas, namelijk rondkijken, mobiele telefoon gebruiken, discussiëren, rondlopen, rondlopen, eten of drinken, aantekeningen maken of lezen, aandachtig luisteren, opstaan (om een vraag te beantwoorden), gapen, slapen en de computer gebruiken. Voorbeelden van de 12 gedragingen zijn te zien in Figuur 2.
Figuur 2. Voorbeelden van 12 gedragingen. Klik hier om een grotere versie van deze figuur te bekijken.
Elk type werd vergezeld door gedetailleerde beschrijvingen van visuele kenmerken en ruimtelijke context, waarmee de Standard Operating Procedure for Classroom Behavior Annotation werd gevormd, die voor conceptuele consistentie tussen de annotaties zorgde. Tabel 1 toont de 12 categorieën van het gedrag van leerlingen en de beschrijvingen van elk gedrag.
Om me heen kijken betekende het hoofd aanzienlijk naar links, rechts en naar achteren draaien. Studenten werden als in een discussie beschouwd als ze hun hoofd draaiden en hun mond openden. In het klaslokaal werd aandachtig luisteren geassocieerd met het recht naar het bord kijken of naar de leraar die voor hen stond; Wanneer de blik ergens anders heen gericht was, was de student zeer waarschijnlijk aan het dwalen. Wanneer de leerling een hoofd-beneden houding vertoonde en er een voorwerp was zoals een boek of notitieboek, kon dit gedrag worden herkend als aantekeningen maken of een boek lezen. Wanneer het gedrag een staande houding betrof en de leerling stond op zijn/haar stoel met open, werd hij/zij gezien als het beantwoorden van een vraag in een staande positie; Als de leerling niet meer op zijn stoel zat, werd hij of zij als iemand aan het rondlopen beschouwd, wat kan aangeven dat de leerling te laat was voor de les of het lokaal verliet, enzovoort. Wanneer een leerling zijn hoofd op het bureau lag, werd hij/zij als slapend geïdentificeerd. Wanneer een leerling eten of drinken in zijn/haar handen hield, werd het gedrag geïdentificeerd als eten of drinken. Een wijd open mond of een gedragshouding die het lichaam rekt aangaf dat de leerling aan het gapen was.
| Gedragscategorie | Gedragsbeschrijving |
| Rondkijken | Duidelijke beweging van het hoofd naar rechts, links of naar achteren |
| Mobiele telefoon gebruiken | Een mobiele telefoon aanraken met handen |
| Discussie | Mond open, vergezeld van een beweging van het hoofd |
| Zwervend | Een glazige blik naar irrelevante plekken |
| Rondlopen | Van de stoel afstappen |
| Eten of drinken | Mond open en in contact met voedsel of water |
| Aantekeningen maken of lezen | Aantekeningen maken of naar een boek kijken |
| Aandachtig luisteren | Naar het schoolbord of de leraar staren |
| Opstaan (om vragen te beantwoorden) | Staand op de stoel met open mond |
| Gaapen | Mond open of lichaam uitrekken |
| Slapen | Hoofd op het bureau |
| Met behulp van de computer | Een geopende computer op het bureau |
Tabel 1: Categorieën en beschrijvingen van het gedrag van leerlingen.
(3) Correlatieanalyse
Met behulp van bovenstaande criteria werden 12 ervaren leraren uitgenodigd om video's van de 120 leerlingen te bekijken en hun gedragstypen en frequenties vast te leggen. De gedragingen werden geïdentificeerd volgens Tabel 1. De leraren werden verdeeld in vier groepen, met drie leraren per groep. Elke groep was verantwoordelijk voor het registreren van 30 leerlingen, waarbij elk van de drie leraren onafhankelijk het gedrag van 30 leerlingen registreerde. Cronbachs Alpha (aangeduid als α) is een indicator om de interne consistentie van een schaal of vragenlijst te meten. Het waardebereik van Cronbachs alfa is 0 tot 1, en α ≥ 0,8 wordt meestal geïnterpreteerd als goede interne consistentie21. Als er een hoge mate van consistentie was (α > 0,8, wat een hoge mate van consistentie betekent) in de frequentie van een bepaald type gedrag bij alle drie de leraren, werd de frequentie van het gedrag geregistreerd als het gemiddelde van de drie frequenties. Vervolgens werd er, waarbij de gegevens enerzijds de frequenties van verschillende gedragingen van elke leerling vertegenwoordigden en anderzijds hun gedragsbetrokkenheidsniveaus, een correlatieanalyse uitgevoerd tussen de twee factoren. Het resultaat wordt weergegeven in Tabel 2.
| Gedrag | Gedragsbetrokkenheid | |
| Eten of drinken | Pearson-correlatie | .319** |
| Sig. (2-staart) | 0.004 | |
| N | 120 | |
| Gaapen | Pearson-correlatie | -.335** |
| Sig. (2-staart) | 0 | |
| N | 120 | |
| Discussie | Pearson-correlatie | .546** |
| Sig. (2-staart) | 0 | |
| N | 120 | |
| Rondlopen | Pearson-correlatie | -.774** |
| Sig. (2-staart) | 0 | |
| N | 120 | |
| Zwerven | Pearson-correlatie | .293** |
| Sig. (2-staart) | 0.008 | |
| N | 120 | |
| Rondkijken | Pearson-correlatie | -.834** |
| Sig. (2-staart) | 0 | |
| N | 120 | |
| Lezen of aantekeningen maken | Pearson-correlatie | .912** |
| Sig. (2-staart) | 0 | |
| N | 120 | |
| Aandachtig luisteren | Pearson-correlatie | .881** |
| Sig. (2-staart) | 0 | |
| N | 120 | |
| Opstaan | Pearson-correlatie | .330** |
| (om een vraag te beantwoorden) | Sig. (2-staart) | 0 |
| N | 120 | |
| Slapen | Pearson-correlatie | -.411** |
| Sig. (2-staart) | 0 | |
| N | 120 | |
| Met behulp van | Pearson-correlatie | .591** |
| Mobiele telefoon | Sig. (2-staart) | 0 |
| N | 120 | |
| Met behulp van de computer | Pearson-correlatie | .362** |
| Sig. (2-staart) | 0.001 | |
| N | 120 |
Tabel 2: Resultaten van correlatieanalyse.
In correlatieanalyse is r de correlatiecoëfficiënt, verwijzend naar de lineaire correlatiegraad tussen twee variabelen, variërend van −1 tot 1. Afhankelijk van de mate van relatie kan correlatie worden ingedeeld in de volgende typen:
Hoge correlatie (│r│ ≥ 0,70)
Middencorrelatie (0,40 ≤ │r│ ≤ 0,70)
Lage correlatie (│r│ ≤ 0,40)
Afhankelijk van de richting van de relatie kan het worden ingedeeld in de volgende typen:
Positieve correlatie (r > 0)
Negatieve correlatie (r < 0)
Geen correlatie (r = 0)
Uit Tabel 1 blijkt dat zeven gedragingen, waaronder rondkijken (r = −0,834**, p < 0,05), mobiel gebruiken (r = 0,591**, p < 0,05), discussiëren (r = 0,546, p < 0,05), rondlopen (r = −0,774**, p < 0,05), aantekeningen maken of lezen (r = 0,912**, p < 0,05), aandachtig luisteren (r = −0,881**, p < 0,05) en slapen (r = −0,411**), p < 0,05), had een hoge of middelmatige correlatie met gedragsbetrokkenheid, terwijl gedrag zoals eten of drinken (r = 0,319**, p = 0,04), opstaan (om een vraag te beantwoorden) (r = 0,330**, p = 0,00), gapen (r = −0,335**, p < 0,05), ronddwalen (r = 0,293, p > 0,05) en het gebruik van computer (r = 0,362, p < 0,05) een lage of geen correlatie met gedragsbetrokkenheid vertoonden. Op basis van de correlatieanalyse identificeerde deze studie uiteindelijk zeven gedragingen als indicatoren van leerbetrokkenheid, namelijk om zich heen kijken, een mobiele telefoon gebruiken, discussiëren, rondlopen, aantekeningen maken of lezen, aandachtig luisteren en slapen.
Oprichting van dataset
De videogegevens die in deze studie werden gebruikt, werden verzameld van het directe opnameplatform van SDUST, dat gesynchroniseerde video's leverde van echt klassikaal onderwijs van de cursus "Academic English". Tien video's van vier klassen van niet-Engelse studenten werden verzameld, elk ongeveer 50 minuten lang, om een leerbare dataset van het gedrag van leerlingen in de klas op te stellen. Met een frame dat elke 15 seconden werd getekend, werden uiteindelijk 2.000 beelden extraherd met een resolutie van 1.920 × 1.080.
Splitsing van dataset
Het experiment verdeelde de gedragsdataset van studenten in twee volledig onafhankelijke delen: een trainingsset en een testset, zoals weergegeven in Tabel 3, zonder gedeelde afbeeldingen. De dataset behandelde alle zeven gedragingen van leerlingen. De trainingsset en testset werden respectievelijk gebruikt voor het trainen van modelparameters en het evalueren van nauwkeurigheid. De trainingsparameters werden ingesteld zoals weergegeven in Tabel 4.
| Dataset | Aantal afbeeldingen |
| Totaal | 2830 |
| Trainingsset | 2111 |
| Testset | 719 |
Tabel 3: Opsplitsing van de dataset van het studentengedrag.
| Parameter | Waarde |
| Leertempo | 0.01 |
| Momentum | 0.937 |
| Gewichtsafname | 0.0005 |
| Tijdperk | 100 |
| Batchgrootte | 16 |
Tabel 4: Instellen van de experimentele parameters.
Om datalekkage veroorzaakt door het verschijnen van dezelfde leerling in verschillende subsets te voorkomen en om de natuurlijke temporele continuïteit van gedrag te behouden, werd een "Gestratificeerde Temporele Splitsing" methode toegepast.
Onderwerpdisjunctie: De dataset werd gepartitioneerd op basis van unieke studenten-ID's, zodat studenten in de trainings-, validatie- en testsets elkaar uitsloten.
Temporele partitionering: Video's werden chronologisch gesorteerd. De eerste 70% van de temporele segmenten werd gebruikt voor training, de volgende 15% voor validatie en de laatste 15% voor testen. Deze methode simuleerde realistische temporele generalisatie beter dan willekeurige splitsing.
Klassenverdeling: Voor ondervertegenwoordigde categorieën zoals "slapen" en "mobiele telefoon gebruiken" werd matige oversampling toegepast binnen de trainingsset om ervoor te zorgen dat het model kenmerken uit alle categorieën leerde.
Annotatie van trainingsdataset
Er werd een open-source annotatietool gebruikt om de trainingsgegevens handmatig te annoteren. De tool werd gebruikt voor begrenzingsbox-annotatie. De specifieke workflow was als volgt: (1) Sleutelframes werden met een vaste snelheid (1 frame/s) gehaald uit bewakingsvideo's van verschillende scholen, tijdslots en cursustypen, gevolgd door anonimisatie zoals face blurring; (2) Volgens de annotatie-SOP gebruikten annotateurs rechthoekige vakjes om de student die een specifiek gedrag uitvoerde nauwkeurig af te bakenen en het bijbehorende categorielabel toe te wijzen; (3) Annotaties werden geëxporteerd als XML-bestanden in PASCAL VOC-formaat.
Om de kwaliteit van het label te waarborgen, vooral om fouten bij het onderscheiden van dubbelzinnige gedragingen (bijvoorbeeld discussiëren versus dwalen) te voorkomen), werd een samenwerkingsmechanisme "Drie-Fasen Annotatie-Arbitrage" geïmplementeerd:
Initiële annotatie: Elk keyframe werd onafhankelijk geannoteerd door drie getrainde annotators. Elk label bestaat uit een categorielabel en een begrenzende doos.
Consistentieverificatie: Intersection-over-Union en categorieconsistentie tussen annotaties werden berekend. Begrenzingsboxen, die het resultaat zijn van initiële annotatie met IoU > 0.8 en identieke categorielabels, werden beschouwd als "consistente annotaties". Begrenzende dozen met IoU ≤ 0,8 of niet-identieke categorielabels werden beschouwd als "inconsistente annotaties".
Deskundige arbitrage: Voor inconsistente annotaties (bijvoorbeeld dubbelzinnige gevallen zoals "rondkijken" versus "discussiëren") nam een panel van experts met onderwijservaring de uiteindelijke beslissing op basis van de videoclip, de gedragscontext en pedagogische voorkennis. De uiteindelijke bepaling wordt gemaakt door de nauwkeurigheid van het label te verifiëren door inspectie van het bronvideosegment van het sleutelframe.
De annotatie toonde aan dat het gedrag van studenten werd gekenmerkt door meervoudige, intensieve en kleine doelen, zoals te zien is in Figuur 3.
Figuur 3. Een voorbeeld van een klaslokaalafbeeldingsannotatie. Klik hier om een grotere versie van deze figuur te bekijken.
Leerlingen in de klas vertoonden gedrag zoals aandachtig luisteren, een mobiele telefoon gebruiken en vaak lezen of aantekeningen maken, terwijl de frequentie van rondlopen, rondlopen, enzovoort relatief laag was. Figuur 4 toont de verdeling van klasgedragingen in de trainingsdataset.
Figuur 4. Verdeling van gedragingen in de trainingsdataset. Klik hier om een grotere versie van deze figuur te bekijken.
Detectie van het gedrag van leerlingen
De op deep learning gebaseerde objectdetectiekaders werden voornamelijk onderverdeeld in twee categorieën:22: tweefasige methoden, vertegenwoordigd door de Faster R-CNN-serie, en eenfassmethoden, vertegenwoordigd door YOLO. Voor de eerste categorie genereerden de tweestapsdetectiemethoden eerst regiovoorstellen met behulp van een Region Proposal Network (RPN), voordat gedetailleerde klasse-waarschijnlijkheidsberekeningen en boundingbox-regressie werden uitgevoerd. Voor de tweede categorie stroomlijnden de ééntrapsmethoden het detectieproces door tegelijkertijd objectklassen en begrenzingsboxen in één fase te voorspellen. Hoewel tweestapsmethoden eerder in de ontwikkeling van het vakgebied zijn ontstaan, zijn eenfassbenaderingen populairder geworden vanwege hun vereenvoudigde architectuur en rekenkundige efficiëntie. Om een nauwkeurigere en efficiëntere gedragsherkenning in de klas te bereiken, selecteerde deze studie representatieve algoritmen uit beide categorieën, namelijk Faster R-CNN23,24 en YOLO-v525,26, om in de klas gedragsdetectie-experimenten uit te voeren, en vergeleek de detectieresultaten van de twee algoritmen voordat uiteindelijk werd besloten welk algoritme in deze studie werd gebruikt voor gedragsdetectie.
Om de experimentele resultaten efficiënt te evalueren, lag de nadruk op de algehele detectienauwkeurigheid versus de tijdskosten van elk algoritmisch model. Gemiddelde gemiddelde precisie (mAP) en trainingstijd (h) werden gebruikt om de twee modellen te meten.
Zeven categorieën gedragingen werden gedetecteerd voor herkenning door de twee methoden, en de gemiddelde detectienauwkeurigheidswaarden (AP) werden vastgelegd in Tabel 5. Daaronder presteerden YOLO-v5's beter dan Faster R-CNN in het detecteren van drie categorieën acties, namelijk rondlopen, aandachtig luisteren naar colleges en het gebruik van mobiele telefoons, met AP-waarden van respectievelijk 100%, 62,7% en 31,8%.
| Netwerkmodel | Discussie | Rondlopen | Luisteren Aandachtig | Rondkijken | Slapen | Aantekeningen maken of lezen | Mobiele telefoon gebruiken |
| Sneller R-CNN | 32.6 | 99.5 | 45.4 | 9.3 | 22 | 52.6 | 26.8 |
| YOLO-v5s | 17.8 | 100 | 62.7 | 3.8 | 19 | 51 | 31.8 |
Tabel 5: De gemiddelde precisie van de twee algoritmen voor één klasse.
De trainingstijd en gemiddelde detectienauwkeurigheid van de twee klassieke detectienetwerken op de testset bij een IoU van 0,5 worden weergegeven in Tabel 6. Hoewel het Faster R-CNN-netwerk een hogere nauwkeurigheid had, was de uitzendduur relatief lang. Ter vergelijking: YOLO-v5's hadden een 30% kortere looptijd met slechts 0,3% vermindering in nauwkeurigheid, wat een grotere verbetering in efficiëntie aantoont. Gezien de noodzaak van realtime detectie van het gedrag van studenten in de klas in deze studie, werd verwacht dat de trainingstijd voor het netwerk zo kort mogelijk zou zijn. Rekening houdend met zowel de detectienauwkeurigheid als de tijdskosten van de modellen die op de trainingsset zijn getraind, concludeerde dit artikel dat YOLO-v5s geschikter was voor het gedrag van leerlingen in de klas.
| Netwerkmodel | h | mAP@0,5 (%) |
| Sneller R-CNN | 2.88 | 41.17 |
| YOLO-v5s | 2.016 | 40.87 |
Tabel 6: Vergelijking van detectieprestaties.
Daarom werd YOLO-v5s gekozen om gedragsdetectie in de klas uit te voeren in deze studie. De detectieresultaten die door YOLO-v5's worden geproduceerd, worden geïllustreerd in Figuur 5, die continue detectie van multi-doelgedrag toont, samen met bijbehorende labels.
Figuur 5. Voorbeelden van detectieresultaten van de testset. Klik hier om een grotere versie van deze figuur te bekijken.
(1) Data-uitbreiding en voorverwerking
Om de robuustheid en generalisatie van het model te verbeteren, werd tijdens de training een samengestelde data-augmentatiestrategie toegepast, inclusief willekeurige affiene transformaties, kleurjitter en willekeurige occlusie. Alle afbeeldingen werden uniform verkleind tot 640 × 640 pixels.
(2) Trainingsstrategie
Het trainingsproces was verdeeld in drie fasen:
Bevroren Backbone-fase (Epochs 1-100): Het backbone-netwerk was bevroren en alleen de detectiekop werd getraind, met een lage leersnelheid voor de warming-up.
Volledige Netwerk-fine-tuning fase (Epochs 101-250): Alle netwerklagen werden ontdooid. Een cosinus-annealing scheduler paste de leersnelheid aan.
Verfijningsfase (Epochs 251-300): Exponentieel voortschrijdend gemiddelde werd toegepast om de training te stabiliseren, en de intensiteit van data-augmentatie werd verminderd voor modelverfijning.
Om klasse-onevenwicht aan te pakken, werden klasse-specifieke gewichten toegepast die omgekeerd evenredig zijn met hun frequenties in de trainingsset op de verliesfunctie.
(3) Nabewerking en temporele optimalisatie
Om temporele consistentie in het gedrag in de klas te behouden, werd na modelinferentie een temporele consistentiefilter toegepast. Specifiek moest voor een gedetecteerd doel in een videosequentie de gedragscategorie in ten minste drie opeenvolgende frames worden geïdentificeerd om bevestigd te worden, waarmee tijdelijke valse positieven effectief werden gefilterd.
Vaststelling van de methode voor het scoren van gedragsbetrokkenheid
Deze studie gebruikte de focusgroepmethode om scores toe te wijzen aan elk gedrag. Twintig eerstelijns universiteitsdocenten werden uitgenodigd om de betrokkenheid van de zeven gedragscategorieën te beoordelen op basis van hun ervaring in klaslokaalmanagement. Alle 20 docenten gaven al meer dan 10 jaar les en gaven een breed scala aan vakken in meerdere disciplines. De engagementscores varieerden van 0 tot 3, waarbij 0-1 een lage betrokkenheid aanduidde, 1-2 middelmatige betrokkenheid en 2-3 hoge betrokkenheid. Als er een hoge mate van consistentie was (α > 0,8) in de beoordelingen van meerdere beoordelaars voor een bepaald type gedrag, werd de betrokkenheid van dat gedrag gemeten door het gemiddelde van de beoordelingen van de individuele leraren te nemen. De definitieve beoordelingen voor elk type gedrag worden weergegeven in Tabel 7.
| Gedragstype | Rondkijken | Mobiele telefoon gebruiken | Discussie | Rondlopen | Notities maken of lezen | luisterend | Slapen |
| Betrokkenheidsscore | 0.9 | 1.2 | 1.9 | 0.6 | 2.7 | 2.8 | 0.2 |
Tabel 7: Gedragsbeoordelingen.
De formule voor gedragsbetrokkenheid van elke leerling is
ESi = gedragsbetrokkenheid van de leerling, Sj = score van gedrag, fj = frequentie van gedrag j.
Uitgaande van het aantal gedetecteerde gedragingen bij een leerling in een klas was 100, waaronder 4 "discussiërend", 68 "aandachtig luisteren", 25 "lezen/aantekeningen maken" en 3 "rondkijken", was de totale persoonlijke betrokkenheidsscore van de student (1,9 × 4 + 2,8 × 68 + 2,7 × 25 + 0,9 × 3) / 100 = 2,68. Met de hele lezing als maatstaf werd gedragsbetrokkenheid verdeeld in vier niveaus volgens gelijke intervalverdeling van een 0-3 schaal: een score onder 0,75 werd gedefinieerd als "niet betrokken", 0,76-1,5 als "licht betrokken", 1,6-2,25 als "betrokken" en 2,26-3 als "zeer betrokken"; daarom werd de student beoordeeld als "zeer betrokken" voor de klas.
De gedragsbetrokkenheid voor de hele klas verwees naar de gemiddelde score van alle studenten. De formule voor gedragsbetrokkenheid van de klasse is:
Ec = gedragsbetrokkenheid van de klas, ES = gedragsbetrokkenheid van een bepaalde leerling, n = aantal leerlingen
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Resultaten
Door gedrag te detecteren en het scoremodel te gebruiken, werd automatische meting van de gedragsbetrokkenheid van studenten bereikt. Neem één les in de video als voorbeeld, de realtime gedragsbetrokkenheid van elke student kan worden berekend op basis van gedragsdetectieresultaten en het scoremodel. Figuur 6 illustreert de gedragsbetrokkenheid van twee leerlingen in deze klas, waarbij hun betrokkenheidsniveau op verschillende tijdstippen wo...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Discussie
Deze studie realiseerde zich de automatische herkenning en meting van gedragsbetrokkenheid. In vergelijking met eerdere studies waren de geïdentificeerde gedragingen representatiever voor universiteitslokalen (zoals het gebruik van de mobiele telefoon), en werd de beoordeling van gedragsbetrokkenheid weergegeven in cijfers, waardoor het intuïtief was om te zien. Deze automatische meetmethode stelde leraren in staat om efficiënt en duidelijk de betrokkenheid van individuele leerlingen en ...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Openbaarmakingen
De auteurs hoeven geen belangenconflicten aan te geven.
Dankbetuigingen
Dit onderzoek werd ondersteund door het Shandong Social Science Planning Fund Program (23CRWJ11).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Materialen
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| Classroom videos | De videogegevens die in dit onderzoek worden gebruikt, zijn verzameld vanaf het directe opnameplatform van de Shandong University of Science and Technology (SDUST), die gesynchroniseerde video's zijn van echt klaslokaalonderwijs van de cursus Academic English. 30 video's van 6 klassen van niet-Engelstalige majors werden verzameld, elk ongeveer 50 minuten, om een trainbare dataset van het klaslokaalgedrag van studenten te creëren. | ||
| IBM SPSS Statistics 26 | IBM | SPSS for Windows is een modulair softwarepakket dat functies voor gegevensinvoer, organisatie en analyse integreert.De basisfuncties omvatten gegevensbeheer, statistische analyse, diagramanalyse, uitvoerbeheer, enzovoort. SPSS wordt in dit artikel voornamelijk gebruikt voor consistentie-analyse en correlatie-analyse. | |
| Labeling 1.8.6 | Labeling is een visuele beeldannotatietool. Het is geschreven in Python en gebruikt Qt voor de grafische interface. Annotaties worden opgeslagen als XML-bestanden in het PASCAL VOC-formaat, dat wordt gebruikt door ImageNet. Bovendien ondersteunt het het YOLO-formaat. Het wordt gebruikt voor datasets die nodig zijn voor objectdetectienetwerken zoals Faster R-CNN, YOLO en SSD om objecten in afbeeldingen te annoteren. | ||
| MMDetection 2.22.0 | MMDetection, 2.22.0, MMDetection is een objectdetectietoolbox die rijke objectdetectie, instance segmentatie en panoramische segmentatiemethoden omvat, evenals gerelateerde componenten en modules. |
Referenties
- Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: potential of the concept, state of the evidence. Rev Educ Res. 74 (1), 59-109 (2004).
- Xu, J. F., Qiu, Y. J. Development and validation of an online English learning engagement scale for college students. Foreign Lang Their Teach. 42 (1), 39-50 (2025).
- Xing, C. B., Xu, M. B. Higher education expansion, teacher–student ratio and education quality. Econ Educ Rev. 8 (1), 59-88 (2023).
- Li, X., Li, Y. Y., Bao, H. G., Cheng, L. New developments in learning engagement evaluation: from one-dimensional analysis to multimodal fusion. Res Audiovis Educ. 42 (10), 100-107 (2021).
- Finn, J. D., Pannozzo, G. M., Voelkl, K. E. Disruptive and inattentive-withdrawn behavior and achievement among fourth graders. Elem Sch J. 95 (5), 421-434 (1995).
- Finn, J. D., Rock, D. A. Academic success among students at risk for school failure. J Appl Psychol. 82 (2), 221-234 (1997).
- Skinner, E. A., Belmont, M. J. Motivation in the classroom: reciprocal effects of teacher behavior and student engagement across the school year. J Educ Psychol. 85 (4), 571-581 (1993).
- Whitehill, J., Serpell, Z., Lin, Y. C., Foster, A., Movellan, J. R. The faces of engagement: automatic recognition of student engagement from facial expressions. IEEE Trans Affect Comput. 5 (1), 86-98 (2014).
- Deng, W., Xia, L. J., Liu, Q. T., Zhang, S., Wei, Y. T. Analysis of distance classroom learning engagement based on video recognition. J Contin High Educ. 35 (6), 15-24 (2022).
- Designing an empirical framework to measure the level of interest of humans. Rahman, M., et al. Proc Int Conf Electr Inf Commun Technol (EICT), , 581-585 (2015).
- Zaletelj, J., Košir, A. Predicting students’ attention in the classroom from Kinect facial and body features. EURASIP J Image Video Process. 2017 (1), 80-82 (2017).
- Sukumaran, A., Manoharan, A. Student engagement recognition: comprehensive analysis through EEG and verification by image traits using deep learning techniques. IEEE Access. 13 (1), 11639-11662 (2025).
- Unobtrusive students’ engagement analysis in computer science laboratories using deep learning techniques. Ashwin, T. S., Guddeti, R. M. R. Proc IEEE Int Conf Adv Learn Technol (ICALT), , 436-440 (2018).
- Bai, J., et al. Detection of students’ classroom performance based on Faster R-CNN and transfer learning with multi-channel feature fusion. J Guangxi Norm Univ Nat Sci Ed. 38 (5), 1-11 (2020).
- Ouyang, W. X., Fan, W. S., Chen, L. W. Classroom head-up and head-down behavior recognition based on YOLOv5. Comput Knowl Technol. 19 (29), 9-12 (2023).
- Classroom behavior recognition and detection based on deep learning. Zhang, J. P., Zhang, Z. Y., Guan, L. T., Hu, H. M. Proc Int Conf Comput Vis Image Deep Learn (CVIDL), , 430-433 (2024).
- Yan, X. Y., Kuang, Y. X., Bai, G. R., Li, Y. Student classroom behavior recognition based on deep learning. Comput Eng. 49 (7), 251-258 (2023).
- Tan, S. Y., Wang, Z. X., He, G. D. Real-time panoramic multi-scale classroom behavior recognition based on the CA-YOLOv9 network. Mod Educ Technol. 34 (7), 123-130 (2024).
- Wang, S. B., Lin, Z. J., Huang, J., Ju, J. H. A real-time network-based method for analyzing student classroom behavior. J Zhejiang Univ Sci Technol. 37 (3), 259-269 (2025).
- Ren, Q. M. Formulation and verification of a multidimensional evaluation scale for student engagement in college English classrooms. Shandong Foreign Lang Teach. 43 (4), 58-66 (2022).
- Cronbach, L. J. Coefficient alpha and the internal structure of tests. Psychometrika. 16 (3), 297-334 (1951).
- Zhou, J. Y., Zhao, Y. M. Application of convolutional neural networks in image classification and object detection. Comput Eng Appl. 53 (13), 34-41 (2017).
- Fast R-CNN. Girshick, R. Proc IEEE Int Conf Comput Vis, , 91-99 (2015).
- Ren, S. P., He, K. M., Girshick, R., Sun, J. Faster R-CNN: toward real-time object detection with region proposal networks. Adv Neural Inf Process Syst (NeurIPS). 29, 91-99 (2016).
- Multiple object tracking based on YOLOv5 and an optimized DeepSORT algorithm. Bai, T. J Phys Conf Ser, 2547 (1), 012001(2023).
- Wang, Y. P., Chi, Z. Z., Liu, M., Li, G., Ding, S. High-performance lightweight fall detection using an improved YOLOv5s algorithm. Machines. 11 (8), 818(2023).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.