Gedragsherkenning in de klas via transformator en aandachtsmechanisme: toepassing in de evaluatie van de onderwijskwaliteit voor medisch AI-onderwijs

Samenvatting

Deze studie presenteert een op Transformer gebaseerd AI-systeem voor het herkennen van gedrag in de klas in medisch en verpleegkundig onderwijs. Met behulp van multimodale gegevens beoordeelt het systeem de betrokkenheid en emotionele toestand van de leerling. De resultaten tonen een hogere nauwkeurigheid aan in vergelijking met traditionele modellen, waardoor realtime feedback en verbeterde ondersteuning voor de kwaliteit van het onderwijs en de geestelijke gezondheid van studenten mogelijk zijn.

Samenvatting

Deze studie introduceert een op transformatoren gebaseerd kunstmatige-intelligentiesysteem dat is ontworpen voor gedragsherkenning in de klas, gericht op het verbeteren van de beoordeling van de onderwijskwaliteit en het monitoren van de geestelijke gezondheid in medisch en verpleegkundig onderwijs. Het model maakt gebruik van multimodale gegevens, met name video, audio en skeletbewegingen, om belangrijke indicatoren van studentenbetrokkenheid te evalueren, zoals aandachtsspanne, interactiefrequentie en emotionele fluctuaties. Een nieuwe multimodale fusiestrategie, gecombineerd met spatiotemporele aandachtsmechanismen, stelt het systeem in staat om complex gedrag in de klas met verbeterde precisie en robuustheid vast te leggen. Experimentele resultaten op de EduSense- en SBU Kinect-datasets tonen aan dat de voorgestelde methode aanzienlijk beter presteert dan traditionele modellen wat betreft zowel nauwkeurigheid als vals alarmpercentage. Bovendien bevestigen ablatiestudies de bijdrage van ruimtelijke en temporele aandachtsmodules aan het herkenningsvermogen van het systeem. Het framework ondersteunt real-time feedback en visuele gedragsmapping en biedt praktische waarde in ervaringsgerichte leeromgevingen. Deze aanpak biedt een schaalbare en adaptieve oplossing voor gedragsmonitoring in de klas en ondersteunt strategieën voor vroege interventie in het medisch onderwijs.

Inleiding

Met de toenemende uitdagingen op het gebied van geestelijke gezondheid onder studenten verpleegkunde en geneeskunde als gevolg van academische en klinische stress, kan de integratie van kunstmatige intelligentie in klasomgevingen niet alleen zorgen voor kwaliteitsmonitoring van het onderwijs, maar ook voor realtime psychologische ondersteuning. Deze studie positioneert gedragsherkenning binnen het medisch onderwijs om ervaringsleren te ondersteunen en het welzijn van studenten te bevorderen¹. Intelligent klaslokaal verwijst naar een nieuw en hoogwaardig onderwijsmodel dat intelligente en gepersonaliseerde onderwijsprocessen combineert door de toepassing van geavanceerde technologieën, zoals informatietechnologie, kunstmatige intelligentie, big data en het internet der dingen, om onderwijsbeheer en interactie in de klas te ondersteunen ^2,3,4. Momenteel, met de ontwikkeling van technologieën zoals camera's en sensoren, omvatten de gedragsgegevens die in de klas worden verzameld niet alleen video's, maar ook multimodale gegevens, zoals spraak en audio⁵. Het omgaan met deze complexe spatiotemporele informatie en gegevens en het nauwkeurig extraheren van waardevolle gedragskenmerken zijn echter de belangrijkste uitdagingen op het gebied van intelligente gedragsherkenning in de klas ^6,7. Bestaande benaderingen voor gedragsherkenning zijn voornamelijk gebaseerd op functie-extractie uit single-modale gegevensbronnen, zoals videostreams in de klas of opeenvolgende afbeeldingen⁸. Hoewel deze methoden grove gedragsgebeurtenissen kunnen detecteren, slagen ze er vaak niet in om de temporele evolutie en ruimtelijke nuances van de gebaren, uitdrukkingen of interactiefrequentiefactoren van studenten te modelleren die cruciaal zijn voor het begrijpen van het welzijn en de focus van de leerling⁹. Bovendien missen de huidige modellen robuuste mechanismen om heterogene gegevensbronnen zoals audiosignalen en skeletbewegingen samen te smelten, wat hun gevoeligheid voor affectief of niet-betrokken gedrag beperkt¹⁰. Om deze beperkingen aan te pakken, stelt deze studie een op transformatoren gebaseerd gedragsherkenningssysteem in de klas voor, verbeterd met ruimtelijk-temporele aandachtsmechanismen. Door gebruik te maken van het vermogen van de Transformer om langeafstandsafhankelijkheden te modelleren en dit te combineren met multimodale functiefusiestrategieën, wil het voorgestelde systeem de precisie van gedragsclassificatie verbeteren en tegelijkertijd real-time visualisatie van betrokkenheid en emotionele indicatoren mogelijk maken. Het uiteindelijke doel is om dynamische kwaliteitsbeoordeling van het onderwijs en ingebedde feedback over geestelijke gezondheid in het medisch onderwijs te ondersteunen, en een schaalbare, adaptieve oplossing te bieden voor het bewaken en verbeteren van zowel de effectiviteit van het onderwijs als het welzijn van de leerling.

De evaluatie stelt een nieuw, op Transformer gebaseerd gedragsherkenningssysteem voor dat spatiotemporele aandachtsmechanismen combineert met multimodale datafusie (video- en skeletinvoer) op maat gemaakt voor slimme observatie in de klas in medisch en verpleegkundig onderwijs. In tegenstelling tot bestaande modellen faciliteert het nieuwe model nauwkeurige, real-time aandacht van studenten en detectie van emotionele toestanden, wat waardevol is voor zowel de evaluatie van de onderwijskwaliteit als het psychologisch welzijn.

Gerelateerde werken
Het intelligente klaslokaal is een nieuwe onderwijsomgeving die gebruikmaakt van moderne informatietechnologie om de interactie met het onderwijs, gepersonaliseerd leren en onderwijsbeheer te verbeteren. Het kan intelligente onderwijsmethoden gebruiken om de efficiëntie en kwaliteit van het onderwijs te verbeteren en tegelijkertijd studenten rijkere en meer gepersonaliseerde leerervaringen te bieden. Daarom hebben veel wetenschappers over de hele wereld onderzoek gedaan naar intelligente technologie en klassikaal onderwijs. Radosavljevic et al. stelde een intelligent klaslokaalmodel voor op basis van omgevingsintelligentie, dat de vermoeidheidsniveaus van studenten evalueert en leerstrategieën aanpast door hun dagelijkse academische activiteitsgegevens te analyseren om leerresultaten te optimaliseren¹¹. Tai T. Y bestudeerde het effect van intelligente persoonlijke assistenten op het verbeteren van de spreekvaardigheid in vreemde talen en ontdekte dat het gebruik van Google Assistant de spreekvaardigheid van niet-moedertaalsprekers aanzienlijk verbeterde, met vergelijkbare effecten als moedertaalsprekers in communicatie¹². Chen et al. ontdekten door hun onderzoek dat het gebruik van chatbots als leermiddelen snel kan inspelen op de behoeften van studenten, de interactiviteit kan verbeteren en de potentiële toepassing van intelligente technologie in de klas kan demonstreren¹³. Onderzoek leidde tot een evaluatiemethode voor de effectiviteit van het klassikale onderwijs op basis van de intelligente onderwijsmodus, die de nauwkeurigheid van de evaluatie verbeterde door gebruik te maken van het koekoekszoekalgoritme en de extreme leermachine¹⁴.

Gedragsherkenning in intelligente klaslokalen is een sleuteltechnologie voor het bereiken van gepersonaliseerd onderwijs en het optimaliseren van klasmanagement. Het kan de gedragsstatus van studenten in realtime volgen en effectieve feedback geven. Door gedragsherkenning kunnen leraren de participatie en focus van studenten nauwkeurig begrijpen, waardoor de effectiviteit van het onderwijs wordt verbeterd en de besluitvorming wordt ondersteund. In deze context hebben wetenschappers over de hele wereld uitgebreid onderzoek gedaan naar intelligente gedragsherkenning in de klas. Onderzoek stelde een real-time visueel monitoringsysteem voor op basis van kunstmatige intelligentie, dat machine learning gebruikte om gedragsherkenningsmodellen van studenten te trainen om leraren te helpen de deelname van studenten en interactie in de klas beter te monitoren, waardoor de onderwijskwaliteit werd geoptimaliseerd¹⁵. Chonggao P bereikte real-time herkenning van het gedrag van studenten en verbeterde de nauwkeurigheid van gedragsanalyse in de klas bij onderwijs op afstand door clusteranalyse en willekeurig bosalgoritme te combineren, evenals het menselijk skeletmodel¹⁶. Wu S ontwikkelde een gedragsherkenningsmodel voor studenten dat deeltjeszwermoptimalisatie combineert met het K-dichtstbijzijnde buuralgoritme, waardoor de nauwkeurigheid van emotieherkenning wordt bevorderd om te voldoen aan de praktische behoeften van klassikaal onderwijs¹⁷. Het ACORN-systeem voorgesteld door Ramakrishnan et al. maakte gebruik van multimodale machine learning en gecombineerde convolutionele neurale netwerken om audio, gezichtsuitdrukkingen en beeldgegevens te analyseren. Door deze kenmerken te integreren via temporele convolutionele netwerken werd een automatische evaluatie van de sfeer in de klas bereikt en werd er voorbereidende vooruitgang geboekt¹⁸.

Samenvattend heeft bestaand onderzoek verschillende op machine learning en deep learning gebaseerde technieken voorgesteld voor intelligente gedragsherkenning in de klas, op gebieden zoals detectie van vermoeidheid van studenten, sentimentanalyse en monitoring van interacties in de klas. Er zijn echter nog steeds enkele tekortkomingen in het huidige onderzoek en veel methoden missen voldoende real-time en schaalbaarheid in praktische toepassingen, waardoor het moeilijk is om zich aan te passen aan complexe en veranderende klasscenario's. Daarom stelt de studie een intelligente methode voor gedragsherkenning in de klas voor met Transformer en AM. De innovatie van het onderzoek ligt in het gebruik van de krachtige temporele modelleringscapaciteit van de transformator in combinatie met spatiotemporele AM om belangrijke gedragsmomenten en regio's in het klaslokaal nauwkeurig vast te leggen, en het integreren van meerdere informatiebronnen, zoals video en audio, door middel van multimodale gegevensfusie om de volledigheid en nauwkeurigheid van gedragsherkenning te verbeteren.

Protocol

In dit onderzoek wordt gebruikgemaakt van openbaar beschikbare datasets die geen persoonlijk identificeerbare informatie bevatten. Alle gegevens die in het onderzoek zijn gebruikt, zijn geanonimiseerd om de privacy van de deelnemers te waarborgen. Geïnformeerde toestemming werd verkregen van alle deelnemers op het moment van gegevensverzameling en het onderzoek voldoet aan ethische richtlijnen. Het protocol legt de intelligente methode voor gedragsherkenning in de klas uit, die bestaat uit functie-extractie op basis van multimodale datafusie en spatiotemporele gedragsherkenning op basis van Transformer en aandacht. De prestaties van de gehele methode worden geoptimaliseerd door gezamenlijke training.

1. Gegevensverzameling in meerdere modellen

Multimodale gegevensverzameling omvatte het verzamelen van gesynchroniseerde gegevens over klassikaal gedrag uit twee datasets: de EduSense-dataset en de SBU Kinect Interaction-dataset. EduSense nam real-life opnames van universiteiten en klaslokalen op en SBU Kinect nam op interactie gebaseerde skeletsequenties op. De datasets bevatten videostreams, audio-aanwijzingen en 3D-informatie over skeletgewrichten voor het modelleren van houdingen en bewegingen van studenten. Voorverwerking van de gegevens garandeerde tijdelijke uitlijning en verwijdering van ruis voor reiniging. Deze convergentie zorgde voor end-to-end gedragsmonitoring, het registreren van visuele gebaren en lichaamsbewegingen in veel leersituaties.

2. Functie-extractie op basis van multimodale datafusie

Gericht op het probleem van de herkenning van het gedrag van leerlingen in intelligente klaslokalen, wordt een methode voorgesteld voor intelligente herkenning van klasgedrag met Transformer en AM. Vanwege de complexe aard van klaslokalen met veel studenten, kunnen veranderingen in factoren binnen de scène de herkenning van het gedrag van studenten verstoren. Bovendien heeft extractie van enkele kenmerken beperkingen, zoals onvolledige informatie, gevoeligheid voor omgevingsinterferentie en moeilijkheid bij het vastleggen van complex gedrag^19,20. Daarom stelt de studie eerst een methode voor om kenmerken in de klas te extraheren op basis van multimodale datafusie. Deze methode combineert gegevens van video- en skeletmodaliteiten en maakt gebruik van hun complementariteit om een uitgebreidere en nauwkeurigere functie-extractie van het gedrag van studenten te bereiken. In het bijzonder is elke ingevoerde videosequentie framegewijs verdeeld. Frames worden ingevoerd in een vooraf getrainde Faster R-CNN om menselijke interessegebieden te lokaliseren. De gedetecteerde gebieden worden ingevoerd in een convolutionele neurale netwerkruggengraat om tijdelijke visuele kenmerken te verkrijgen. Voor de skeletmodaliteit worden 3D-gewrichtsposities geposeerd als sequenties en gecodeerd met behulp van een vooraf getraind BERT-model om temporele en ruimtelijke afhankelijkheden te verkrijgen. Deze worden genormaliseerd en ingebed voordat ze worden ingevoerd in het multimodale fusienetwerk. Onder hen is de videomodaliteit voornamelijk verantwoordelijk voor het vastleggen van visuele kenmerken zoals de bewegingen en uitdrukkingen van studenten, terwijl de skeletmodaliteit de houdingsveranderingen van studenten nauwkeurig beschrijft door middel van gezamenlijke puntinformatie. Terwijl de videomodaliteit berust op de globale kenmerken van visuele waarneming, terwijl de skeletmodaliteit globale visuele kenmerken vertegenwoordigt om menselijk gedrag weer te geven, richt de skeletmodaliteit zich op de dynamische veranderingen in de gewrichtspositie, wat leidt tot aanzienlijke semantische verschillen tussen de twee²¹. Daarom is het noodzakelijk om een gespecialiseerd multimodaal fusienetwerk te ontwikkelen om de correlatie tussen de twee modaliteiten effectief te modelleren. Het multimodale fusienetwerk is weergegeven in figuur 1.

In figuur 1 is het netwerk voornamelijk opgedeeld in drie modules. Onder hen is de invoer van de videomodaliteitverwerkingsmodule een videosequentie, die wordt geëxtraheerd via een Faster Region-based Convolutional Neural Network (Faster R-CNN) voor functie-extractie. De behandeling van de videomodaliteit begint met het vertalen van video-opnamen in klaslokalen naar frame-voor-frame-invoer voor functie-extractie. Frames worden behandeld met een Faster Region-Based Convolutional Neural Network (Faster R-CNN) met een ResNet-50-basis getraind op ImageNet. Het netwerk behandelt RGB-frames verkleind tot 224 × 224 pixels, wat resulteert in visuele functiekaarten op hoog niveau met ruimtelijke en objectspecifieke kenmerken van studentenactiviteit. Deze functies worden vervolgens ingevoerd in een zelfaandachtsmodule, die temporele relaties tussen frames leert voordat ze worden gecodeerd naar spatiotemporele inbeddingen via een Transformer-laag. Dit behoudt zwakke gedragssignalen, zoals het kantelen van het hoofd of het opheffen van de hand, bij het inbedden van representaties voor latere fusie. De geëxtraheerde videokenmerken worden vastgelegd door de zelfaandachtsmodule om de temporele en ruimtelijke relaties binnen de videomodaliteit vast te leggen, en vervolgens verder gemodelleerd door een transformator om inbeddingsvectoren te genereren voor de spatiotemporele informatie van de videosequentie. De input van de verwerkingsmodule voor skeletmodaliteit is een skeletsequentie, die wordt verwerkt door Bidirectional Encoder Representation from Transformers (BERT) om tijdelijke en ruimtelijke kenmerken van skeletgewrichten te extraheren. Voor skeletgegevens wordt de houding van elke student gemodelleerd als een reeks 2D-gewrichtscoördinaten uit de klasvideo's met behulp van een op OpenPose gebaseerde pose-schatter. Deze sequenties worden omgezet in embedding tokens waarin elk token overeenkomt met een frame met 18 keypoints. Temporele context en afhankelijkheden van deze gezamenlijke sequenties worden gemodelleerd met behulp van een Bidirectional Encoder Representations from Transformers (BERT) model. Het model maakt gebruik van 12 transformatorlagen, 8 aandachtskoppen en een verborgen grootte van 768, wat de standaard BERT-basisarchitectuur is. Het model wordt tijdens de training verfijnd om gedragsspecifieke gewrichtspatronen te verwerven. De output-inbeddingen vertegenwoordigen de structurele en bewegingsgerelateerde kenmerken van het gedrag van studenten die vervolgens worden gecombineerd met videomodaliteitsfuncties. Vervolgens worden de skeletkenmerken verder geaggregeerd tot ruimtelijke en temporele kenmerken door middel van 3D CNN en pooling-operaties, waarbij ingebedde vectoren van het skelet worden gegenereerd als functierepresentaties van de skeletmodaliteit.

3. De module van de fusie van de kruising

In de cross-attention fusion-module gebruikt de studie het multi-head attention mechanism (MHAM) om de interactierelatie tussen videomodaliteit en skeletmodaliteit te construeren, en extraheert verder compactere fusiekenmerken door middel van 3D CNN en pooling-operaties uit de gegenereerde multimodale fusiekenmerken. Het fusieproces wordt bereikt met behulp van een aandachtsnetwerk met twee stromen, waarbij de tijdelijke inbeddingen van elke modaliteit worden doorgegeven via 3D CNN's en bidirectionele GRU's. De multimodale datastromen worden op elkaar afgestemd met behulp van Multi-Head Attention Modules (MHAM), met geschaalde dot-productaandacht om intermodale afhankelijkheden te bereiken. De inbeddingen worden vervolgens samengevoegd om de dimensionale complexiteit aan te pakken en naar een volledig verbonden Softmax-laag gestuurd voor classificatie.

In multimodale fusienetwerken wordt de zelfaandachtsmodule gebruikt om de temporele en ruimtelijke afhankelijkheid binnen een enkele modus te modelleren, terwijl de fusiemodule met kruisaandacht wordt gebruikt om de associatie en informatie-interactie tussen verschillende modi vast te stellen. Daarom zijn beide erg belangrijk. De zelfaandachtsmodule legt de interne afhankelijkheden van de invoerreeks vast door de relatie tussen de query Q, sleutel K en waarde V te berekenen. De berekening van Q, sleutel K en waarde V wordt weergegeven in vergelijking (1). Waar bevinden zich respectievelijk de query-, sleutel- en waardematrices; D_K is de belangrijkste vectordimensionaliteit en DK is de dimensionaliteit van de waardevectoren. De dimensiefactor d_k wordt gebruikt om te voorkomen dat de puntproducten groot worden, wat de stabiliteit van de hellingen tijdens de training zou beïnvloeden.

(1)

In vergelijking (1) staan de invoerkenmerken voor, waarbij n de lengte van de invoerreeks is, _{het d-model} de dimensie van de kenmerken en W^Q, W^K en W^V drie sets leerbare projectiematrices vertegenwoordigen. Via deze matrixtoewijzingen worden de invoerfuncties omgezet in query's, sleutels en waarden. Het puntproduct van query Q en sleutel K worden gebruikt om aandachtsgewichten te berekenen en te schalen, zoals weergegeven in vergelijking (2).

(2)

In vergelijking (2) vertegenwoordigt d_k de dimensie van het opvragen van Q en sleutel K, en softmax geeft de softmax-functie aan die wordt gebruikt om de aandachtsgewichtsmatrix te verkrijgen. Schalen kan het probleem van een te klein verloop als gevolg van te hoge puntproductwaarden als gevolg van dimensionaliteit effectief voorkomen. De aandachtsgewichtsmatrix wordt toegepast op de waarde V om de output Z van de zelfaandachtsmodule te verkrijgen, zoals weergegeven in vergelijking (3).

(3)

In vergelijking (3) betekent een_ij het aandachtsgewicht van de i de queryvector op de j de sleutelvector. De specifieke structuur van de fusiemodule voor kruisaandacht wordt aangegeven in figuur 2.

Vanaf Figuur 2 begint deze module voornamelijk met het verwerken van invoerkenmerken van skelet- en videomodaliteiten. Eerst worden de skeletsequentie en de videosequentie afzonderlijk onderworpen aan 3D-convolutionele lagen om spatiotemporele kenmerken te extraheren, en vervolgens worden deze spatiotemporele kenmerken gemodelleerd met behulp van Bidirectional Gated Recurrent Units (Bi-GRU's) voor temporele modellering. Vervolgens worden de kenmerken van de twee modaliteiten verder geëxtraheerd via MHAM's om correlaties binnen de modaliteiten te extraheren. Elke modaliteit bereikt interne functierepresentatie door middel van mechanismen van query's, sleutels en waarden. Vervolgens wordt tijdgemiddelde pooling uitgevoerd op de uitvoerfuncties om de complexiteit van de tijddimensie te verminderen. Na pooling worden de multimodale kenmerken statistisch samengevoegd om het gemiddelde en de standaarddeviatie van elke modaliteit te berekenen en uiteindelijk de actieherkenning en classificatie van de student uit te voeren via een volledig verbonden laag (FCL) en Softmax-classificatie. Daarom maakt de functie-extractie op basis van multimodale datafusie die in de studie wordt voorgesteld, gebruik van zelfaandacht en cross-AM's om de spatiotemporele kenmerken van het gedrag van studenten nauwkeurig vast te leggen en te modelleren door gegevens uit video- en skeletmodaliteiten samen te voegen, waardoor de nauwkeurigheid en volledigheid van de gedragsherkenning van studenten in intelligente klaslokalen wordt verbeterd.

4. Spatiotemporele gedragsherkenning op basis van Transformer en aandacht

De functie-extractie op basis van multimodale datafusie bereikt een voorlopige verbetering van de volledigheid en nauwkeurigheid van het gedrag van studenten door gegevens uit video- en skeletmodaliteiten samen te voegen. In de context van intelligente klaslokalen verandert het gedrag van leerlingen echter vaak in de loop van de tijd, en hetzelfde gedrag kan verschillende kenmerken vertonen op verschillende tijdstippen en ruimtelijke regio's. Alleen vertrouwen op statische informatie die is gefuseerd uit multimodale kenmerken kan de complexe spatiotemporele dynamische relaties in de gedragssequentie niet volledig vatten^22,23. Daarom stelt verder onderzoek een spatiotemporele gedragsmodellering en AM voor op basis van Transformer. De studie koos Vision Transformer (ViT) als netwerkarchitectuur, die de wereldwijde spatiotemporele informatie van input via zelf-AM kan modelleren en een sterker vermogen heeft om spatiotemporele afhankelijkheden vast te leggen. Na multimodale fusie worden de gefuseerde kenmerken opnieuw weergegeven met behulp van een Vision Transformer (ViT) om het spatiotemporele gedrag te voorspellen. De functiekaarten in de invoer zijn opgesplitst in disjuncte 16 × 16 patches, lineair ingebed in eendimensionale vectoren en positioneel gecodeerd om de ruimtelijke orde te behouden. De ViT-structuur heeft 12 Transformer-encoderblokken, bestaande uit multi-head self-attention (8 koppen) en feed-forward-lagen waarvan de verborgen dimensie 768 is. Om gedragssalientie te verbeteren, worden modules Ruimtelijke Aandacht (SA) en Temporele Aandacht (TA) voorgesteld. De SA-module stimuleert de relevantie van functies in ruimtelijke gebieden via Tanh-activering, terwijl de TA-module belangrijke tijdelijke frames belicht via ReLU-activering. Deze twee aandachtsstromen worden vervolgens gecombineerd met de ViT-backbone via een trainingsmethode in twee fasen, zodat het model leert de dynamische evolutie van het gedrag in de klas efficiënt vast te leggen. De structuur van ViT is weergegeven in figuur 3.

In Figuur 3, in ViT, is de oorspronkelijke invoer een afbeelding die is gesegmenteerd in meerdere kleine blokken met een vaste grootte, elk weergegeven als een deel van de afbeelding en lineair afgeplat tot een eendimensionale vector. Omdat de Transformer geen locatie-informatie kan waarnemen, wordt elk klein blok ingebed met locatie-informatie voordat het in de Transformer wordt ingevoerd om ervoor te zorgen dat het de relatieve ruimtelijke positierelatie tussen verschillende kleine blokken kan vastleggen. De kernmodule van ViT is de Transformer-encoder, die is samengesteld uit meerdere gestapelde Transformer-coderingsblokken. De coderingsblokken bestaan uit een MHAM en een feed-forward neuraal netwerk. De MHAM legt de afhankelijkheden tussen invoersequenties parallel vast, terwijl het feed-forward neurale netwerk niet-lineaire transformaties uitvoert op de resultaten om het vermogen van het model om globale informatie vast te leggen en uit te drukken te verbeteren. Nadat de Transformer-encoder alle kleine stukjes informatie heeft verwerkt, wordt de uitvoer van de laatste coderingslaag doorgegeven aan de Multi-Layer Perceptron Head (MLP Head), die de uiteindelijke resultaten van de herkenning en classificatie van studentenacties uitvoert.

In de praktijk wordt elk frame opgesplitst in niet-overlappende 16 × 16 patches, afgeplat en positioneel ingebed om ruimtelijke relaties te behouden. Patch-inbeddingen worden sequentieel verwerkt door gestapelde transformator-encoders in de ViT-architectuur. De Spatial Attention (SA)-module maakt gebruik van tanh-activering om de aandacht te variëren over interessegebieden binnen elk frame, en de Temporal Attention (TA)-module maakt gebruik van ReLU om tijdelijk belangrijke frames te markeren. Dit mechanisme met twee aandachtspunten maakt een effectieve modellering van de gedragsdynamiek van ruimte en tijd mogelijk.

Om de prestaties van ViT in complexe gedragssequenties verder te verbeteren, worden ruimtelijke aandacht (SA) en temporele aandacht (TA) geïntroduceerd om ViT in staat te stellen niet alleen autonoom belangrijke ruimtelijke gewrichten te selecteren, maar zich ook te concentreren op gedrag op verschillende tijdstippen, waardoor de spatiotemporele dynamische gedragsveranderingen beter worden vastgelegd. De SA-module en TA-module worden aangeduid in figuur 4.

In Figuur 4A verwerkt de SA-module de ruimtelijke dimensie-informatie van de invoer door de kenmerken van het huidige frame door te geven aan de ViT-laag om de verborgen toestanden te extraheren. Deze worden gecombineerd met de eigenschappen van het vorige frame en gezamenlijk in de FCL ingevoerd. De FCL voert een lineaire transformatie uit op de kenmerken om latente functierepresentaties te genereren. Vervolgens wordt het doorgegeven aan de Tanh-activeringsfunctie om de uitvoer toe te wijzen aan het bereik van [-1,1], waardoor de niet-lineariteit wordt verbeterd en een beter onderscheid wordt gemaakt tussen belangrijke en onbelangrijke kenmerken. Ten slotte worden de kenmerken genormaliseerd via een normalisatielaag om ervoor te zorgen dat de uitvoerkenmerken een relatief stabiele schaal hebben. In Figuur 4B richt de TA-module zich meer op de belangrijkste informatie in elk frame in de tijdsdimensie. In tegenstelling tot Tanh in SA, gebruikt de TA-module de ReLU-activeringsfunctie om negatieve waarden te onderdrukken en behoudt alleen de uitvoer van positieve waarden, waardoor negatieve ruisinformatie effectief wordt verwijderd en het temporele opnamevermogen van het model wordt verbeterd.

5. Gezamenlijke trainingsmethode

Om het probleem van bevooroordeelde en redundante spatiotemporele kenmerken veroorzaakt door de wederzijdse invloed tussen ViT, SA-module en TA-module in spatiotemporele gedragsherkenning op basis van Transformer en aandacht effectief op te lossen, wordt een gezamenlijke trainingsmethode toegepast om de drie modules te optimaliseren. Het specifieke proces wordt aangegeven in figuur 5.

In Figuur 5 voert de gezamenlijke trainingsstrategie eerst de modeltrainingsparameters in, stelt de netwerkstructuur en hyperparameters in. Vervolgens wordt een afzonderlijke voortraining gegeven over SA en TA om de lokale kenmerken beter te leren. Het is vermeldenswaard dat tijdens de pre-training van het ene model de gewichten van het andere model vast worden gehouden en niet worden bijgewerkt. Na het voltooien van de individuele pre-training wordt de ViT-laag gecombineerd voor training. Vervolgens worden twee aandachtsmodellen vastgesteld en wordt het hoofd-ViT-netwerk afzonderlijk getraind. Ten slotte wordt door het gezamenlijk trainen van de belangrijkste ViT-netwerk-, SA- en TA-modules het algehele netwerk geoptimaliseerd om het uiteindelijke model voor intelligente gedragsherkenning in de klas te genereren. De trainingsprocedure wordt stapsgewijs uitgevoerd: (1) autonome voortraining van de SA- en TA-modules met bevroren ViT-parameters, (2) stapsgewijze training van ViT met bevroren aandachtsmodulegewichten, en (3) end-to-end finetuning van alle componenten samen met Adam optimizer (leersnelheid = 0,001, batchgrootte = 64, epochs = 100). De aanpak stabiliseert het leren van functies en vermindert interferentie tussen modules tijdens de optimalisatie.

Over het algemeen combineert de voorgestelde intelligente gedragsherkenningsmethode in de klas video- en skeletmodaliteiten om spatiotemporele relaties te modelleren door middel van zelfaandacht en cross-AM's. Door gebruik te maken van ViT's wereldwijde spatiotemporele modelleringsmogelijkheid en het combineren van ruimtelijke en TA-modules, wordt het model geoptimaliseerd om belangrijk gedrag en temporele dynamiek vast te leggen, waardoor een uitgebreidere en nauwkeurigere herkenning van het gedrag van studenten wordt bereikt. Kritieke fusiebewerkingen, waarbij multimodale functierepresentaties worden gecombineerd, worden uitgevoerd in de betreffende architectuur. In het bijzonder zijn de ruimtelijke kenmerken die CNN heeft geleerd verbonden met de temporele kenmerken van de Bi-LSTM. Deze output wordt vervolgens samengevoegd met aandachtsversterkte functies van MHAM vóór de classificatietaak. Deze fusieoperaties zijn cruciaal voor de fusie van complementaire weergaven van gedragsgegevens en worden benadrukt in Figuur 1 en Figuur 5.

Algoritme 1 illustreert de gecombineerde multimodale gegevens, skelet-, tekst- en video-informatie, met behulp van ViT-, BERT- en GCN-gebaseerde modellen om informatieve kenmerken in een klas te extraheren. De gezamenlijke vertegenwoordiging wordt vervolgens gemarkeerd om het gedrag van studenten te identificeren, met een hogere nauwkeurigheid met behulp van cross-modaal leren.

Algoritme 1: Proces van multimodale gedragsherkenning met behulp van ViT, BERT en GCN.

Initialiseren:

Vooraf getraind BERT-model

Vooraf getraind sneller R-CNN-model

Vooraf getraind ViT-model

GCN-model voor skeletgegevens

Classificatie (bijv. MLP of Transformer)

Dataset laden:

Voor elke steekproef in multimodale gegevensset:

Videoframes extraheren

Audiotranscript extraheren

Skeletgegevens extraheren (OpenPose of MediaPipe)

Stap 1: Verwerking van videomodaliteit

Voor elk frame in de video:

Pas Faster R-CNN toe om objecten/deelnemers te detecteren

Pas Vision Transformer (ViT) toe om kenmerken op frameniveau te extraheren

Verzamel kenmerken in de loop van de tijd voor tijdelijke weergave

Stap 2: Verwerking van tekstmodaliteit

Voorproces transcript tekst:

Tokenize met behulp van BERT-tokenizer

Tokens doorgeven via het BERT-model

Extraheer contextuele inbeddingen uit het [CLS]-token of de gemiddelde pooling

Stap 3: Verwerking van skeletmodaliteit

Voor elke skeletsequentie:

Coördinaten normaliseren

Beweeg door GCN of ST-GCN om bewegingskenmerken te extraheren

Stap 4: Functiefusie

Aaneenschakeling of aandachtszekering:

Video mogelijkheden

Tekstkenmerken

Skeletachtige kenmerken

Verkrijg een uniforme multimodale vertegenwoordiging

Stap 5: Classificatie

Geef de samengevoegde weergave door aan de uiteindelijke classificatie

Voorspel het gedragslabel in de klas (bijv. attent, afgeleid)

Stap 6: Evaluatie

Vergelijk voorspellingen met de waarheid op de grond

Bereken metrische gegevens: nauwkeurigheid, precisie, herinneren, F1-score

Resultaten

Om de werkzaamheid en superioriteit van de verhoogde intelligente gedragsherkenningsmethode in de klas met Transformer en AM te beoordelen, werden experimentele prestatieverificatie en -analyse uitgevoerd. Ten eerste werden de experimentele omgeving en parameters geconfigureerd, zoals aangegeven in tabel 1.

Op basis van tabel 1 selecteerde de studie de EduSense-dataset en SBU Kinect Interaction Dataset als experimentele datase...

Discussie

Een gedragsherkenningsmethode voor intelligente klaslokalen op basis van Transformer en AM werd voorgesteld om de uitdagingen van complex gedrag van leerlingen en multimodale gegevensherkenning aan te pakken. Een ViT-netwerk met wereldwijde spatiotemporele modelleringscapaciteit werd geconstrueerd door gegevens van video- en skeletmodaliteiten te integreren, en zelfaandacht en cross-AM's werden gebruikt om spatiotemporele kenmerken van gedrag vast te leggen. Door video- en audiogegevens ...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
128 GB DDR4 RAM	Multiple vendors	https://www.crucial.com/memory/ddr4	Voldoende geheugen voor multimodale gegevensverwerking
2 TB SSD-opslag	Multiple vendors	https://www.samsung.com/ssd	Voor het opslaan van datasets en modellen
BERT (Basisconfiguratie)	Hugging Face	https://huggingface.co/bert-base-uncased	Taalmodel voor skeletale sequentie-inbedding
CUDA 11.1 Toolkit	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Maakt GPU-versnelling mogelijk voor PyTorch
cuDNN 8.0 Library	NVIDIA	https://developer.nvidia.com/cudnn	GPU-versnelde bibliotheek voor diepe neurale netwerken
EduSense-dataset	Carnegie Mellon University	https://www.cs.cmu.edu/~./edusense	Realistische dataset van universiteitsklassen
Faster R-CNN (ResNet-50)	Open Source (PyTorch)	https://github.com/facebookresearch/detectron2	Objectdetector gebruikt voor video-feature-extractie
Intel Xeon E5-2680 v4 CPU	Intel	https://www.intel.com/products/xeon-e5-2680-v4	Hoogwaardige processor voor modeltraining
Matplotlib	Open Source	https://matplotlib.org	Wordt gebruikt voor het plotten van prestatiemetrieken
NVIDIA Tesla V100 GPU	NVIDIA	https://www.nvidia.com/en-us/data-center/tesla-v100	Wordt gebruikt voor training en inferentie; ondersteunt realtime gedragsherkenning
OpenPose	CMU	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Haalt 2D-skelet-sleutelpunten uit videoframes
PyTorch 1.8 Framework	Open Source	https://www.pytorch.org	Deep learning-bibliotheek gebruikt voor modelontwikkeling
SBU Kinect Interaction Dataset	Stony Brook University	https://www3.cs.stonybrook.edu/~kyunghan/sbu_kinect	Op interactie gebaseerde skeletdataset
TensorBoard	Open Source (Google)	https://www.tensorflow.org/tensorboard	Wordt gebruikt voor trainingsvisualisatie
Ubuntu 20.04 LTS-besturingssysteem	Canonical	https://www.ubuntu.com/download	Linux-besturingssysteem dat als ontwikkelomgeving wordt gebruikt
Vision Transformer (ViT)	Google / Hugging Face	https://huggingface.co/google/vit-base-patch16-224	Wordt gebruikt voor globale spationemporele gedragsmodellering