Riconoscimento del comportamento in classe tramite trasformatore e meccanismo di attenzione: applicazione nella valutazione della qualità dell'insegnamento per l'educazione medica basata sull'intelligenza artificiale

Sommario

Questo studio presenta un sistema di intelligenza artificiale basato su Transformer per riconoscere il comportamento in classe nella formazione medica e infermieristica. Utilizzando dati multimodali, il sistema valuta il coinvolgimento e gli stati emotivi degli studenti. I risultati dimostrano una maggiore precisione rispetto ai modelli tradizionali, consentendo un feedback in tempo reale e un maggiore supporto per la qualità dell'insegnamento e la salute mentale degli studenti.

Abstract

Questo studio introduce un sistema di intelligenza artificiale basato su Transformer progettato per il riconoscimento del comportamento in classe, volto a migliorare la valutazione della qualità dell'insegnamento e il monitoraggio della salute mentale nella formazione medica e infermieristica. Il modello utilizza dati multimodali, in particolare video, audio e movimento scheletrico, per valutare gli indicatori chiave del coinvolgimento degli studenti, come la capacità di attenzione, la frequenza di interazione e le fluttuazioni emotive. Una nuova strategia di fusione multimodale, combinata con meccanismi di attenzione spazio-temporale, consente al sistema di catturare comportamenti complessi in classe con maggiore precisione e robustezza. I risultati sperimentali sui set di dati EduSense e SBU Kinect dimostrano che il metodo proposto supera significativamente i modelli tradizionali sia in termini di precisione che di tasso di falsi allarmi. Inoltre, gli studi di ablazione confermano il contributo dei moduli di attenzione spaziale e temporale alla capacità di riconoscimento del sistema. Il framework supporta il feedback in tempo reale e la mappatura visiva del comportamento, offrendo un valore pratico in ambienti di apprendimento esperienziale. Questo approccio fornisce una soluzione scalabile e adattiva per il monitoraggio del comportamento in classe e supporta le strategie di intervento precoce nella formazione medica.

Introduzione

Con le crescenti sfide per la salute mentale tra gli studenti di infermieristica e medicina a causa dello stress accademico e clinico, l'integrazione dell'intelligenza artificiale negli ambienti scolastici può fornire non solo un monitoraggio della qualità dell'insegnamento, ma anche un supporto psicologico in tempo reale. Questo studio posiziona il riconoscimento del comportamento all'interno dell'educazione medica per supportare l'apprendimento esperienziale e promuovere il benessere degli studenti¹. L'aula intelligente si riferisce a un modello educativo nuovo e di alta qualità che combina processi didattici intelligenti e personalizzati attraverso l'applicazione di tecnologie all'avanguardia, come l'informatica, l'intelligenza artificiale, i big data e l'Internet of Things, per assistere la gestione dell'insegnamento e l'interazione in classe ^2,3,4. Attualmente, con lo sviluppo di tecnologie come telecamere e sensori, i dati comportamentali raccolti in classe non includono solo video ma anche dati multimodali, come voce e audio⁵. Tuttavia, la gestione di queste complesse informazioni e dati spazio-temporali e l'estrazione accurata di preziose caratteristiche comportamentali da essi sono le principali sfide che il campo del riconoscimento intelligente del comportamento in classe deve affrontare ^6,7. Gli approcci esistenti di riconoscimento del comportamento si basano principalmente sull'estrazione di feature da fonti di dati monomodali, come flussi video in classe o immagini sequenziali⁸. Sebbene questi metodi siano in grado di rilevare eventi comportamentali grossolani, spesso non riescono a modellare l'evoluzione temporale e le sfumature spaziali dei gesti, delle espressioni o dei fattori di frequenza di interazione degli studenti critici per comprendere il benessere e^{la concentrazione degli} studenti. Inoltre, i modelli attuali mancano di meccanismi robusti per fondere fonti di dati eterogenee come segnali audio e movimento scheletrico, il che limita la loro sensibilità al comportamento affettivo o disimpegnato¹⁰. Per affrontare queste limitazioni, questo studio propone un sistema di riconoscimento del comportamento in classe basato su trasformatori potenziato con meccanismi di attenzione spazio-temporali. Sfruttando la capacità del Transformer di modellare le dipendenze a lungo raggio e combinandola con strategie di fusione delle caratteristiche multimodali, il sistema proposto mira a migliorare la precisione della classificazione del comportamento, consentendo al contempo la visualizzazione in tempo reale degli indicatori di coinvolgimento ed emotivi. L'obiettivo finale è quello di supportare la valutazione dinamica della qualità dell'insegnamento e il feedback sulla salute mentale integrato nell'educazione medica, offrendo una soluzione scalabile e adattiva per monitorare e migliorare sia l'efficacia didattica che il benessere degli studenti.

La valutazione propone un nuovo sistema di riconoscimento del comportamento basato su trasformatore che combina meccanismi di attenzione spazio-temporale con la fusione multimodale di dati (input video e scheletro) su misura per l'osservazione intelligente in classe nella formazione medica e infermieristica. A differenza dei modelli esistenti, il nuovo modello facilita l'attenzione degli studenti e il rilevamento dello stato emotivo in tempo reale, il che è prezioso sia per la valutazione della qualità dell'istruzione che per il benessere psicologico.

Opere correlate
L'aula intelligente è un nuovo ambiente didattico che utilizza la moderna tecnologia dell'informazione per migliorare l'interazione didattica, l'apprendimento personalizzato e la gestione dell'insegnamento. Può utilizzare metodi di insegnamento intelligenti per migliorare l'efficienza e la qualità dell'insegnamento, fornendo agli studenti esperienze di apprendimento più ricche e personalizzate. Pertanto, molti studiosi in tutto il mondo hanno studiato la tecnologia intelligente e l'insegnamento in classe. Radosavljevic et al. hanno proposto un modello di classe intelligente basato sull'intelligenza ambientale, che valuta i livelli di affaticamento degli studenti e regola le strategie di apprendimento analizzando i dati delle loro attività accademiche quotidiane per ottimizzare i risultati dell'apprendimento¹¹. Tai T. Y ha studiato l'effetto degli assistenti personali intelligenti sul miglioramento della capacità di parlare in una lingua straniera e ha scoperto che l'utilizzo dell'Assistente Google ha migliorato significativamente la capacità di parlare dei non madrelingua, con effetti simili a quelli dei madrelingua nella comunicazione¹². Chen et al. hanno scoperto attraverso la loro ricerca che l'utilizzo dei chatbot come strumenti didattici potrebbe rispondere rapidamente alle esigenze degli studenti, migliorare l'interattività e dimostrare la potenziale applicazione della tecnologia intelligente in classe¹³. La ricerca ha sollevato un metodo di valutazione dell'efficacia dell'insegnamento in classe basato sulla modalità di insegnamento intelligente, che ha migliorato l'accuratezza della valutazione utilizzando l'algoritmo di ricerca a cuculo e la macchina per l'apprendimento estremo¹⁴.

Il riconoscimento del comportamento nelle classi intelligenti è una tecnologia chiave per ottenere un insegnamento personalizzato e ottimizzare la gestione della classe. Può monitorare lo stato del comportamento degli studenti in tempo reale e fornire un feedback efficace. Attraverso il riconoscimento del comportamento, gli insegnanti possono comprendere con precisione la partecipazione e la concentrazione degli studenti, migliorando così l'efficacia dell'insegnamento e assistendo il processo decisionale. In questo contesto, gli studiosi di tutto il mondo hanno condotto ricerche approfondite sul riconoscimento intelligente del comportamento in classe. La ricerca ha proposto un sistema di monitoraggio visivo in tempo reale basato sull'intelligenza artificiale, che utilizzava l'apprendimento automatico per addestrare modelli di riconoscimento del comportamento degli studenti per aiutare gli insegnanti a monitorare meglio la partecipazione degli studenti e l'interazione in classe, ottimizzando così la qualità dell'insegnamento¹⁵. Chonggao P ha ottenuto il riconoscimento del comportamento degli studenti in tempo reale e ha migliorato l'accuratezza dell'analisi del comportamento in classe nell'insegnamento a distanza combinando l'analisi del clustering e l'algoritmo della foresta casuale, nonché il modello dello scheletro umano¹⁶. Wu S ha sviluppato un modello di riconoscimento del comportamento degli studenti che combina l'ottimizzazione dello sciame di particelle e l'algoritmo K-nearest neighbor, promuovendo l'accuratezza del riconoscimento delle emozioni per soddisfare le esigenze pratiche dell'insegnamento in classe¹⁷. Il sistema ACORN proposto da Ramakrishnan et al. ha utilizzato l'apprendimento automatico multimodale e le reti neurali convoluzionali combinate per analizzare l'audio, le espressioni facciali e i dati delle immagini. L'integrazione di queste caratteristiche attraverso reti convoluzionali temporali ha permesso di ottenere una valutazione automatica dell'atmosfera della classe e ha fatto progressi preliminari¹⁸.

In sintesi, la ricerca esistente ha proposto varie tecniche basate sull'apprendimento automatico e sull'apprendimento profondo per il riconoscimento intelligente del comportamento in classe, coprendo aree come il rilevamento della stanchezza degli studenti, l'analisi del sentimento e il monitoraggio dell'interazione in classe. Tuttavia, ci sono ancora alcune carenze nella ricerca attuale e molti metodi mancano di sufficiente tempo reale e scalabilità nelle applicazioni pratiche, rendendo difficile l'adattamento a scenari complessi e mutevoli in classe. Pertanto, lo studio propone un metodo intelligente di riconoscimento del comportamento in classe con Transformer e AM. L'innovazione della ricerca risiede nell'utilizzo della potente capacità di modellazione temporale del Transformer combinata con l'AM spaziotemporale per catturare con precisione i momenti e le regioni comportamentali chiave in classe e nell'integrazione di più fonti di informazioni, come video e audio, attraverso la fusione multimodale dei dati per migliorare la completezza e l'accuratezza del riconoscimento del comportamento.

Protocollo

Questo studio utilizza set di dati disponibili pubblicamente che non contengono informazioni di identificazione personale. Tutti i dati utilizzati nella ricerca sono stati resi anonimi per garantire la privacy dei partecipanti. Il consenso informato è stato ottenuto da tutti i partecipanti al momento della raccolta dei dati e lo studio aderisce alle linee guida etiche. Il protocollo spiega il metodo di riconoscimento intelligente del comportamento in classe, che consiste nell'estrazione di caratteristiche basata sulla fusione multimodale dei dati e nel riconoscimento del comportamento spaziotemporale basato su Transformer e attenzione. Le prestazioni dell'intero metodo sono ottimizzate attraverso l'allenamento congiunto.

1. Raccolta dati multimodello

La raccolta di dati multimodali ha comportato la raccolta di dati sincronizzati sul comportamento in classe da due set di dati: il set di dati EduSense e il set di dati di interazione SBU Kinect. EduSense ha registrato registrazioni di aule universitarie nella vita reale e SBU Kinect ha registrato sequenze scheletriche basate sull'interazione. I set di dati contenevano flussi video, segnali audio e informazioni 3D sull'articolazione scheletrica per modellare le posture e il movimento degli studenti. La pre-elaborazione dei dati garantiva l'allineamento temporale e la rimozione del rumore per la pulizia. Questa convergenza ha fornito un monitoraggio del comportamento end-to-end, registrando i gesti visivi e il movimento del corpo in molte situazioni di apprendimento.

2. Estrazione di feature basata sulla fusione multimodale dei dati

Affrontando la questione del riconoscimento del comportamento degli studenti nelle classi intelligenti, viene proposto un metodo per il riconoscimento intelligente del comportamento in classe con Transformer e AM. A causa della natura complessa delle aule con numerosi studenti, i cambiamenti nei fattori all'interno della scena possono interferire con il riconoscimento del comportamento degli studenti. Inoltre, l'estrazione di singole caratteristiche presenta limitazioni quali informazioni incomplete, suscettibilità alle interferenze ambientali e difficoltà nell'acquisizione di comportamenti complessi ^19,20. Pertanto, lo studio propone innanzitutto un metodo di estrazione delle caratteristiche della classe degli studenti basato sulla fusione multimodale dei dati. Questo metodo combina i dati provenienti dalle modalità video e scheletriche, utilizzando la loro complementarietà per ottenere un'estrazione più completa e accurata del comportamento degli studenti. In particolare, ogni sequenza video di input viene suddivisa in base ai fotogrammi. I fotogrammi vengono inseriti in una R-CNN Faster pre-addestrata per localizzare le regioni umane di interesse. Le regioni rilevate vengono inserite in una spina dorsale della rete neurale convoluzionale per ottenere caratteristiche visive temporali. Per la modalità scheletrica, le posizioni articolari 3D sono poste in sequenza e codificate utilizzando un modello BERT pre-addestrato per ottenere dipendenze temporali e spaziali. Questi vengono normalizzati e incorporati prima di essere immessi nella rete di fusione multimodale. Tra queste, la modalità video è principalmente responsabile dell'acquisizione di caratteristiche visive come i movimenti e le espressioni degli studenti, mentre la modalità scheletrica descrive accuratamente i cambiamenti di postura degli studenti attraverso informazioni sui punti congiunti. Mentre la modalità video si basa sulle caratteristiche globali della percezione visiva, mentre la modalità scheletrica si basa sulle caratteristiche visive globali per rappresentare il comportamento umano, la modalità scheletrica si concentra sui cambiamenti dinamici nella posizione articolare, portando a significative differenze semantiche tra le due²¹. Pertanto, è necessario sviluppare una rete di fusione multimodale specializzata per modellare efficacemente la correlazione tra le due modalità. La rete di fusione multimodale è mostrata nella Figura 1.

Nella Figura 1, la rete è principalmente suddivisa in tre moduli. Tra questi, l'input del modulo di elaborazione della modalità video è una sequenza video, che viene estratta attraverso una rete neurale convoluzionale basata su regioni più veloci (Faster R-CNN) per l'estrazione di funzionalità. Il trattamento della modalità video inizia traducendo le riprese video in classe in input fotogramma per fotogramma per l'estrazione delle caratteristiche. I frame vengono trattati con una rete neurale convoluzionale basata su regioni più veloce (Faster R-CNN) con una base ResNet-50 addestrata su ImageNet. La rete tratta i fotogrammi RGB ridimensionati a 224 × 224 pixel, ottenendo mappe di funzionalità visive di alto livello con caratteristiche spaziali e specifiche dell'attività degli studenti. Queste caratteristiche vengono quindi inserite in un modulo di auto-attenzione, che apprende le relazioni temporali tra i fotogrammi prima di codificarle in incorporamenti spaziotemporali tramite un livello Transformer. Ciò preserva deboli segnali comportamentali, come l'inclinazione della testa o il sollevamento delle mani, nelle rappresentazioni di incorporamento per la fusione successiva. Le caratteristiche video estratte vengono catturate dal modulo di auto-attenzione per catturare le relazioni temporali e spaziali all'interno della modalità video, e quindi ulteriormente modellate da un trasformatore per generare vettori di incorporamento per le informazioni spazio-temporali della sequenza video. L'input del modulo di elaborazione della modalità scheletrica è una sequenza scheletrica, che viene elaborata da BERT (Bidirectional Encoder Representation from Transformers) per estrarre le caratteristiche temporali e spaziali delle articolazioni scheletriche. Per i dati scheletrici, la posa di ogni studente viene modellata come una sequenza di coordinate articolari 2D dai video della classe utilizzando uno stimatore di posa basato su OpenPose. Queste sequenze vengono convertite in token di incorporamento in cui ogni token corrisponde a un fotogramma con 18 punti chiave. Il contesto temporale e le dipendenze di queste sequenze congiunte sono modellati utilizzando un modello BERT (Bidirectional Encoder Representations from Transformers). Il modello impiega 12 strati di trasformatori, 8 teste di attenzione e una dimensione nascosta di 768, che è l'architettura standard su base BERT. Il modello viene messo a punto durante l'addestramento per acquisire modelli articolari specifici per il comportamento. Gli embedding di output rappresentano le caratteristiche strutturali e relative al movimento del comportamento degli studenti che vengono successivamente combinate con le funzionalità della modalità video. Successivamente, le caratteristiche scheletriche vengono ulteriormente aggregate in caratteristiche spaziali e temporali attraverso CNN 3D e operazioni di pooling, generando vettori incorporati dello scheletro come rappresentazioni delle caratteristiche della modalità scheletrica.

3. Modulo di fusione dell'attenzione incrociata

Nel modulo di fusione a attenzione incrociata, lo studio utilizza il meccanismo di attenzione multi-testa (MHAM) per costruire la relazione di interazione tra la modalità video e la modalità scheletrica ed estrae ulteriormente le caratteristiche di fusione più compatte attraverso CNN 3D e operazioni di pooling dalle caratteristiche di fusione multimodale generate. Il processo di fusione viene realizzato utilizzando una rete di attenzione a due flussi, in cui gli incorporamenti temporali di ciascuna modalità vengono fatti passare attraverso CNN 3D e GRU bidirezionali. I flussi di dati multimodali sono allineati utilizzando moduli di attenzione multi-testa (MHAM), con un'attenzione scalata al prodotto per ottenere dipendenze intermodali. Gli embedding vengono quindi raggruppati per affrontare la complessità dimensionale e inviati a un livello Softmax completamente connesso per la classificazione.

Nelle reti di fusione multimodale, il modulo di auto-attenzione viene utilizzato per modellare la dipendenza temporale e spaziale all'interno di un singolo modo, mentre il modulo di fusione di attenzione incrociata viene utilizzato per stabilire l'associazione e l'interazione informativa tra diversi modi. Pertanto, entrambi sono molto importanti. Il modulo di auto-attenzione acquisisce le dipendenze interne della sequenza di input calcolando la relazione tra la query Q, il tasto K e il valore V. Il calcolo di Q, della chiave K e del valore V è mostrato nell'equazione (1). Dove si trovano rispettivamente le matrici di query, chiave e valore; d_k è la dimensionalità vettoriale chiave e d_k è la dimensionalità dei vettori di valore. Il fattore di dimensione d_k è adottato per evitare che i prodotti puntiformi diventino grandi, il che influenzerebbe la stabilità dei gradienti durante l'allenamento.

(1)

Nell'equazione (1), rappresenta le caratteristiche di input, dove n è la lunghezza della sequenza di input, d_model è la dimensione delle caratteristiche e W^Q, W^K e W^V rappresentano tre insiemi di matrici di proiezione apprendibili. Tramite questi mapping di matrici, le funzionalità di input vengono trasformate in query, chiavi e valori. Il prodotto scalare della query Q e la chiave K vengono utilizzati per calcolare i pesi dell'attenzione e scalarli, come mostrato nell'equazione (2).

(2)

Nell'equazione (2), d_k rappresenta la dimensione dell'interrogazione di Q e della chiave K, mentre softmax denota la funzione softmax utilizzata per ottenere la matrice del peso dell'attenzione. Il ridimensionamento può prevenire efficacemente il problema del gradiente troppo piccolo a causa di valori eccessivi del prodotto scalare causati dalla dimensionalità. La matrice del peso di attenzione viene applicata al valore V per ottenere l'output Z del modulo di auto-attenzione, come mostrato nell'equazione (3).

(3)

Nell'equazione (3), a_ij indica il peso dell'attenzione del vettore di interrogazione i-esimo sul vettore chiave j-esimo . La struttura specifica del modulo di fusione dell'attenzione incrociata è indicata nella Figura 2.

Dalla Figura 2, questo modulo inizia principalmente a elaborare le caratteristiche di input dalle modalità scheletrica e video. In primo luogo, la sequenza dello scheletro e la sequenza video vengono sottoposte separatamente a strati convoluzionali 3D per estrarre le caratteristiche spaziotemporali, quindi queste caratteristiche spaziotemporali vengono modellate utilizzando le unità ricorrenti con gate bidirezionale (Bi-GRU) per la modellazione temporale. Successivamente, le caratteristiche delle due modalità vengono ulteriormente estratte attraverso i MHAM per estrarre le correlazioni all'interno delle modalità. Ogni modalità consente di ottenere la rappresentazione delle funzionalità internamente attraverso meccanismi di query, chiavi e valori. Quindi, viene eseguito il pooling mediato nel tempo sulle funzionalità di output per ridurre la complessità della dimensione temporale. Dopo il pooling, le caratteristiche multimodali vengono raggruppate statisticamente per calcolare la media e la deviazione standard di ciascuna modalità e infine emettono il riconoscimento e la classificazione dell'azione dello studente attraverso un livello completamente connesso (FCL) e un classificatore Softmax. Pertanto, l'estrazione delle caratteristiche basata sulla fusione multimodale dei dati proposta nello studio utilizza l'auto-attenzione e le AM incrociate per catturare e modellare accuratamente le caratteristiche spazio-temporali del comportamento degli studenti fondendo i dati provenienti da modalità video e scheletriche, migliorando così l'accuratezza e la completezza del riconoscimento del comportamento degli studenti nelle classi intelligenti.

4. Riconoscimento del comportamento spazio-temporale basato su Transformer e attenzione

L'estrazione delle caratteristiche basata sulla fusione multimodale dei dati consente di ottenere un miglioramento preliminare della completezza e dell'accuratezza del comportamento degli studenti fondendo i dati provenienti dalle modalità video e scheletriche. Tuttavia, nel contesto delle classi intelligenti, il comportamento degli studenti spesso cambia nel tempo e lo stesso comportamento può mostrare caratteristiche diverse in diversi punti temporali e regioni spaziali. Affidarsi esclusivamente alle informazioni statiche fuse dalle caratteristiche multimodali non può catturare completamente le complesse relazioni dinamiche spazio-temporali nella sequenza di comportamento ^22,23. Pertanto, ulteriori ricerche propongono una modellazione del comportamento spazio-temporale e AM basata su Transformer. Lo studio ha scelto Vision Transformer (ViT) come architettura di rete, che può modellare le informazioni spaziotemporali globali di input attraverso l'AM autonoma e ha una maggiore capacità di catturare le dipendenze spaziotemporali. Dopo la fusione multimodale, le caratteristiche fuse vengono nuovamente rappresentate utilizzando un Vision Transformer (ViT) per prevedere il comportamento spaziotemporale. Le mappe delle caratteristiche nell'input sono suddivise in 16 × 16 patch disgiunte, incorporate linearmente in vettori unidimensionali e codificate posizionalmente per preservare l'ordine spaziale. La struttura ViT dispone di 12 blocchi encoder Transformer, costituiti da auto-attenzione multi-testa (8 teste) e strati feed-forward la cui dimensione nascosta è 768. Per migliorare la salienza comportamentale, sono suggeriti i moduli di Attenzione Spaziale (SA) e Attenzione Temporale (TA). Il modulo SA incoraggia la rilevanza delle caratteristiche nelle aree spaziali tramite l'attivazione di Tanh, mentre il modulo TA evidenzia importanti frame temporali tramite l'attivazione di ReLU. Questi due flussi di attenzione vengono successivamente combinati con la dorsale ViT tramite un metodo di formazione in due fasi, in modo che il modello impari a catturare in modo efficiente l'evoluzione dinamica del comportamento in classe. La struttura di ViT è illustrata nella Figura 3.

Nella Figura 3, in ViT, l'input originale è un'immagine segmentata in più piccoli blocchi di dimensioni fisse, ciascuno rappresentato come parte dell'immagine, e appiattito linearmente in un vettore unidimensionale. Poiché il Transformer non è in grado di percepire le informazioni sulla posizione, ogni piccolo blocco viene incorporato con le informazioni sulla posizione prima di essere inserito nel Transformer per garantire che possa catturare la relazione di posizione spaziale relativa tra diversi piccoli blocchi. Il modulo principale di ViT è l'encoder Transformer, composto da più blocchi di codifica Transformer impilati. I blocchi di codifica sono composti da un MHAM e da una rete neurale feed-forward. Il MHAM cattura le dipendenze tra le sequenze di input in parallelo, mentre la rete neurale feed-forward esegue trasformazioni non lineari sui risultati per migliorare la capacità del modello di acquisire ed esprimere informazioni globali. Dopo che l'encoder Transformer ha elaborato tutte le piccole informazioni, l'output dell'ultimo livello di codifica viene passato alla testa di percettrone multistrato (MLP Head), che emette i risultati finali del riconoscimento e della classificazione delle azioni degli studenti.

In pratica, ogni fotogramma è diviso in 16 × 16 patch non sovrapposte, appiattito e incorporato posizionalmente per mantenere le relazioni spaziali. Gli incorporamenti di patch vengono elaborati in sequenza da encoder a trasformatore impilati nell'architettura ViT. Il modulo Spatial Attention (SA) utilizza l'attivazione tanh per variare l'attenzione tra le aree di interesse all'interno di ciascun fotogramma, mentre il modulo Temporal Attention (TA) utilizza ReLU per evidenziare i fotogrammi temporalmente importanti. Questo meccanismo a due attenzioni consente una modellazione efficace delle dinamiche di comportamento dello spazio e del tempo.

Per migliorare ulteriormente le prestazioni di ViT in sequenze comportamentali complesse, vengono introdotte l'attenzione spaziale (SA) e l'attenzione temporale (TA) per consentire a ViT non solo di selezionare autonomamente importanti articolazioni spaziali, ma anche di concentrarsi sui comportamenti in diversi punti temporali, catturando meglio i cambiamenti dinamici spazio-temporali del comportamento. Il modulo SA e il modulo TA sono indicati nella Figura 4.

Nella Figura 4A, il modulo SA elabora le informazioni sulle dimensioni spaziali dell'input passando le caratteristiche del frame corrente nel livello ViT per estrarre gli stati nascosti. Questi sono combinati con le caratteristiche del telaio precedente e inseriti congiuntamente nell'FCL. L'FCL eseguirà una trasformazione lineare sulle caratteristiche per generare rappresentazioni di caratteristiche latenti. Successivamente, viene passato alla funzione di attivazione Tanh per mappare l'output nell'intervallo di [-1,1], migliorando la non linearità e distinguendo meglio tra caratteristiche importanti e non importanti. Infine, le funzionalità vengono normalizzate tramite un livello di normalizzazione per garantire che le funzionalità di output abbiano una scala relativamente stabile. Nella Figura 4B, il modulo TA si concentra maggiormente sulle informazioni chiave contenute in ciascun fotogramma nella dimensione temporale. A differenza di Tanh in SA, il modulo TA utilizza la funzione di attivazione ReLU per sopprimere i valori negativi e mantiene solo l'output dei valori positivi, rimuovendo efficacemente le informazioni negative sul rumore e migliorando la capacità di acquisizione temporale del modello.

5. Metodo di allenamento congiunto

Per risolvere efficacemente il problema delle caratteristiche spaziotemporali distorte e ridondanti causate dall'influenza reciproca tra ViT, modulo SA e modulo TA nel riconoscimento del comportamento spaziotemporale basato su Transformer e attenzione, viene adottato un metodo di formazione congiunto per ottimizzare i tre moduli. Il processo specifico è indicato nella Figura 5.

Nella Figura 5, la strategia di addestramento congiunto inserisce prima i parametri di addestramento del modello, imposta la struttura della rete e gli iperparametri. Successivamente, viene condotto un pre-training separato su SA e TA per apprendere meglio le funzionalità locali. Vale la pena notare che durante il pre-allenamento di un modello, i pesi dell'altro modello vengono mantenuti fissi e non vengono aggiornati. Dopo aver completato il pre-training individuale, il livello ViT viene combinato per l'allenamento. Quindi, verranno fissati due modelli di attenzione e la rete ViT principale verrà addestrata separatamente. Infine, addestrando congiuntamente i principali moduli ViT network, SA e TA, l'intera rete viene ottimizzata per generare il modello finale per il riconoscimento intelligente del comportamento in classe. La procedura di formazione viene eseguita in modo graduale: (1) pre-addestramento autonomo dei moduli SA e TA con parametri ViT congelati, (2) addestramento graduale di ViT con pesi dei moduli di attenzione congelati e (3) messa a punto end-to-end di tutti i componenti insieme all'ottimizzatore Adam (tasso di apprendimento = 0,001, dimensione del lotto = 64, epoche = 100). L'approccio stabilizza l'apprendimento delle funzionalità e riduce le interferenze tra i moduli durante l'ottimizzazione.

Nel complesso, il metodo di riconoscimento intelligente del comportamento in classe proposto combina modalità video e scheletriche per modellare le relazioni spazio-temporali attraverso l'auto-attenzione e l'AM incrociata. Utilizzando la capacità di modellazione spazio-temporale globale di ViT e combinando moduli spaziali e TA, il modello è ottimizzato per acquisire i comportamenti chiave e le dinamiche temporali, ottenendo un riconoscimento del comportamento degli studenti più completo e accurato. Le operazioni di fusione critica, in cui vengono combinate le rappresentazioni delle caratteristiche multimodali, vengono eseguite nell'architettura in esame. In particolare, le caratteristiche spaziali apprese dalla CNN sono collegate alle caratteristiche temporali del Bi-LSTM. Questo output viene quindi fuso con le funzionalità di MHAM che aumentano l'attenzione prima dell'attività di classificazione. Queste operazioni di fusione sono cruciali per la fusione di punti di vista complementari dei dati comportamentali e sono enfatizzate nella Figura 1 e nella Figura 5.

L'algoritmo 1 illustra i dati multimodali combinati, le informazioni scheletriche, testuali e video, utilizzando i modelli basati su ViT, BERT e GCN per estrarre le caratteristiche informative in una classe. La rappresentazione congiunta viene quindi contrassegnata per identificare il comportamento degli studenti, con maggiore precisione utilizzando l'apprendimento intermodale.

Algoritmo 1: Processo di riconoscimento del comportamento multimodale utilizzando ViT, BERT e GCN.

Inizializzare:

Modello BERT pre-addestrato

Modello R-CNN più veloce pre-addestrato

Modello ViT pre-addestrato

Modello GCN per i dati di ossatura

Classificatore (ad esempio, MLP o trasformatore)

Caricare il set di dati:

Per ogni campione nel set di dati multimodale:

Estrai fotogrammi video

Estrai trascrizione audio

Estrarre i dati dello scheletro (OpenPose o MediaPipe)

Passaggio 1: elaborazione della modalità video

Per ogni fotogramma nel video:

Applica R-CNN più veloce per rilevare oggetti/partecipanti

Applicazione di Vision Transformer (ViT) per estrarre le funzioni a livello di frame

Aggregare le feature nel tempo per la rappresentazione temporale

Passaggio 2: elaborazione della modalità di testo

Pre-elaborazione del testo della trascrizione:

Tokenizza utilizzando il tokenizzatore BERT

Passare i token attraverso il modello BERT

Estrarre gli incorporamenti contestuali dal token [CLS] o dal pooling medio

Passaggio 3: elaborazione della modalità scheletrica

Per ogni sequenza di scheletro:

Normalizza le coordinate

Passare attraverso GCN o ST-GCN per estrarre le funzioni di movimento

Passaggio 4: fusione delle funzionalità

Concatenare o miccia di attenzione:

Funzioni video

Funzioni del testo

Caratteristiche scheletriche

Ottenere una rappresentazione multimodale unificata

Passaggio 5: classificazione

Passare la rappresentazione fusa al classificatore finale

Prevedi l'etichetta del comportamento in classe (ad esempio, attento, distratto)

Passaggio 6: valutazione

Confronta le previsioni con la verità sul campo

Metriche di calcolo: accuratezza, precisione, richiamo, punteggio F1

Risultati

Per valutare l'efficacia e la superiorità del metodo di riconoscimento intelligente del comportamento in classe con Transformer e AM, sono state condotte verifiche e analisi sperimentali delle prestazioni. In primo luogo, sono stati configurati l'ambiente sperimentale e i parametri, come indicato nella Tabella 1.

Sulla base della Tabella 1, lo studio ha selezionato l'EduSense Dataset e l'SBU Kinect Interaction Dataset come set di dati sperimentali, denominati ...

Discussione

È stato proposto un metodo di riconoscimento del comportamento per classi intelligenti basato su Transformer e AM per affrontare le sfide del comportamento complesso degli studenti e del riconoscimento multimodale dei dati. Una rete ViT con capacità di modellazione spaziotemporale globale è stata costruita integrando i dati provenienti da modalità video e scheletriche, e l'auto-attenzione e le AM incrociate sono state utilizzate per catturare le caratteristiche spaziotemporali del compor...

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
128 GB di RAM DDR4	https://www.crucial.com/memory/ddr4	Memoria sufficiente per l'elaborazione multimodale dei dati
SSD da 2 TB di storage	https://www.samsung.com/ssd	più fornitori	Per l'archiviazione di set di dati e modelli
BERT (configurazione di base)	Hugging Face	https://huggingface.co/bert-base-uncased	per l'incorporamento di sequenze scheletriche
CUDA 11.1 Toolkit	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Abilita l'accelerazione GPU per la libreria PyTorch
cuDNN 8.0	NVIDIA	https://developer.nvidia.com/cudnn	libreria accelerata da GPU per reti neurali profonde
Set di dati EduSense	Carnegie Mellon University	https://www.cs.cmu.edu/~./edusense	Set di dati
in aula universitaria nella vita realeR-CNN (ResNet-50)	Open Source (PyTorch)	https://github.com/facebookresearch/detectron2	più veloce Rilevatore di oggetti utilizzato per l'estrazione di funzionalità video
CPU Intel Xeon E5-2680 v4 Intel		https://www.intel.com/products/xeon-e5-2680-v4	Processore ad alte prestazioni per l'addestramento del modello
Matplotlib	Open Source	https://matplotlib.org	Utilizzato per tracciare le metriche
NVIDIA Tesla V100 GPU	NVIDIA	https://www.nvidia.com/en-us/data-center/tesla-v100	Utilizzato per l'addestramento e l'inferenza; supporta il riconoscimento del comportamento in tempo reale
OpenPose	CMU		https://github.com/CMU-Perceptual-Computing-Lab/openpose Estrae i punti chiave scheletrici 2D dai fotogrammi video
Framework PyTorch 1.8	Open Source	https://www.pytorch.org	Libreria di deep learning utilizzata per sviluppo del modello
SBU Kinect Interaction Dataset	Stony Brook University	https://www3.cs.stonybrook.edu/~kyunghan/sbu_kinect	Set di dati scheletrici basato sull'interazione
TensorBoard	Open Source (Google)	https://www.tensorflow.org/tensorboard	Utilizzato per la visualizzazione dell'addestramento
Ubuntu 20.04 LTS Operating System	Canonical	https://www.ubuntu.com/download	Sistema operativo Linux utilizzato come ambiente di sviluppo
Vision Transformer (ViT)	Google / Hugging Face	https://huggingface.co/google/vit-base-patch16-224	Utilizzato per la modellazione del comportamento spazio-temporale globale