Reconhecimento de Comportamento em Sala de Aula via Transformador e Mecanismo de Atenção: Aplicação na Avaliação da Qualidade do Ensino para Educação Médica em IA

Resumo

Este estudo apresenta um sistema de IA baseado em Transformer para reconhecer o comportamento em sala de aula na educação médica e de enfermagem. Usando dados multimodais, o sistema avalia o envolvimento e os estados emocionais do aluno. Os resultados demonstram maior precisão em comparação com os modelos tradicionais, permitindo feedback em tempo real e suporte aprimorado para a qualidade do ensino e a saúde mental dos alunos.

Resumo

Este estudo apresenta um sistema de inteligência artificial baseado em Transformer projetado para reconhecimento de comportamento em sala de aula, com o objetivo de melhorar a avaliação da qualidade do ensino e o monitoramento da saúde mental na educação médica e de enfermagem. O modelo utiliza dados multimodais, especificamente vídeo, áudio e movimento esquelético, para avaliar os principais indicadores de envolvimento do aluno, como capacidade de atenção, frequência de interação e flutuações emocionais. Uma nova estratégia de fusão multimodal, combinada com mecanismos de atenção espaço-temporal, permite que o sistema capture comportamentos complexos em sala de aula com maior precisão e robustez. Os resultados experimentais nos conjuntos de dados EduSense e SBU Kinect demonstram que o método proposto supera significativamente os modelos tradicionais em precisão e taxa de alarmes falsos. Além disso, estudos de ablação confirmam a contribuição dos módulos de atenção espacial e temporal para a capacidade de reconhecimento do sistema. A estrutura oferece suporte a feedback em tempo real e mapeamento visual de comportamento, oferecendo valor prático em ambientes de aprendizagem experiencial. Essa abordagem fornece uma solução escalável e adaptativa para o monitoramento do comportamento em sala de aula e apóia estratégias de intervenção precoce na educação médica.

Introdução

Com os crescentes desafios de saúde mental entre estudantes de enfermagem e medicina devido ao estresse acadêmico e clínico, a integração da inteligência artificial em ambientes de sala de aula pode fornecer não apenas monitoramento da qualidade do ensino, mas também suporte psicológico em tempo real. Este estudo posiciona o reconhecimento de comportamento na educação médica para apoiar a aprendizagem experiencial e promover o bem-estar do aluno¹. A sala de aula inteligente refere-se a um modelo educacional novo e de alta qualidade que combina processos de ensino inteligentes e personalizados por meio da aplicação de tecnologias de ponta, como tecnologia da informação, inteligência artificial, big data e Internet das Coisas, para auxiliar a gestão do ensino e a interação em sala de aula ^2,3,4. Atualmente, com o desenvolvimento de tecnologias como câmeras e sensores, os dados comportamentais coletados em sala de aula incluem não apenas vídeos, mas também dados multimodais, como voz e áudio⁵. No entanto, lidar com essas informações e dados espaço-temporais complexos e extrair com precisão características comportamentais valiosas deles são os principais desafios enfrentados no campo do reconhecimento inteligente do comportamento em sala de aula ^6,7. As abordagens de reconhecimento de comportamento existentes dependem principalmente da extração de recursos de fontes de dados modais únicos, como fluxos de vídeo em sala de aula ou imagens sequenciais⁸. Embora esses métodos possam detectar eventos comportamentais grosseiros, eles geralmente falham em modelar a evolução temporal e as nuances espaciais dos gestos, expressões ou fatores de frequência de interação dos alunos, críticos para a compreensão do bem-estar e do foco do aluno⁹. Além disso, os modelos atuais carecem de mecanismos robustos para fundir fontes de dados heterogêneas, como pistas de áudio e movimento esquelético, o que limita sua sensibilidade ao comportamento afetivo ou desengajado¹⁰. Para abordar essas limitações, este estudo propõe um sistema de reconhecimento de comportamento em sala de aula baseado em transformador, aprimorado com mecanismos de atenção espaço-temporal. Ao alavancar a capacidade do Transformer de modelar dependências de longo alcance e combiná-la com estratégias de fusão de recursos multimodais, o sistema proposto visa melhorar a precisão da classificação de comportamento, permitindo a visualização em tempo real de indicadores emocionais e de engajamento. O objetivo final é apoiar a avaliação dinâmica da qualidade do ensino e o feedback de saúde mental incorporado na educação médica, oferecendo uma solução escalável e adaptável para monitorar e melhorar a eficácia instrucional e o bem-estar do aluno.

A avaliação propõe um novo sistema de reconhecimento de comportamento baseado em transformador que combina mecanismos de atenção espaço-temporal com fusão de dados multimodais (entradas de vídeo e esqueleto) adaptadas para observação inteligente em sala de aula na educação médica e de enfermagem. Em contraste com os modelos existentes, o novo modelo facilita a atenção precisa e em tempo real do aluno e a detecção do estado emocional, o que é valioso tanto para a avaliação da qualidade instrucional quanto para o bem-estar psicológico.

Trabalhos relacionados
A sala de aula inteligente é um novo ambiente de ensino que utiliza tecnologia da informação moderna para aprimorar a interação de ensino, o aprendizado personalizado e o gerenciamento de ensino. Ele pode usar métodos de ensino inteligentes para melhorar a eficiência e a qualidade do ensino, proporcionando aos alunos experiências de aprendizado mais ricas e personalizadas. Portanto, muitos estudiosos ao redor do mundo pesquisaram tecnologia inteligente e ensino em sala de aula. Radosavljevic et al. propuseram um modelo de sala de aula inteligente baseado em inteligência ambiental, que avalia os níveis de fadiga dos alunos e ajusta as estratégias de aprendizagem analisando seus dados de atividade acadêmica diária para otimizar os resultados de aprendizagem¹¹. Tai T. Y estudou o efeito de assistentes pessoais inteligentes na melhoria da capacidade de falar em línguas estrangeiras e descobriu que o uso do Google Assistant melhorou significativamente a capacidade de fala de falantes não nativos, com efeitos semelhantes aos falantes nativos na comunicação¹². Chen et al. descobriram por meio de sua pesquisa que o uso de chatbots como ferramentas de ensino pode responder rapidamente às necessidades dos alunos, aumentar a interatividade e demonstrar o potencial de aplicação da tecnologia inteligente na sala de aula¹³. A pesquisa levantou um método de avaliação da eficácia do ensino em sala de aula baseado no modo de ensino inteligente, que melhorou a precisão da avaliação usando o algoritmo de busca cuco e a máquina de aprendizado extremo¹⁴.

O reconhecimento de comportamento em salas de aula inteligentes é uma tecnologia fundamental para alcançar um ensino personalizado e otimizar o gerenciamento da sala de aula. Ele pode monitorar o status de comportamento dos alunos em tempo real e fornecer feedback eficaz. Por meio do reconhecimento de comportamento, os professores podem entender com precisão a participação e o foco dos alunos, melhorando assim a eficácia do ensino e auxiliando na tomada de decisões. Nesse contexto, estudiosos de todo o mundo realizaram uma extensa pesquisa sobre o reconhecimento inteligente do comportamento em sala de aula. A pesquisa propôs um sistema de monitoramento visual em tempo real baseado em inteligência artificial, que usou aprendizado de máquina para treinar modelos de reconhecimento de comportamento dos alunos para ajudar os professores a monitorar melhor a participação dos alunos e a interação em sala de aula, otimizando assim a qualidade do ensino¹⁵. Chonggao P alcançou o reconhecimento do comportamento do aluno em tempo real e melhorou a precisão da análise do comportamento em sala de aula no ensino remoto, combinando análise de agrupamento e algoritmo de floresta aleatória, bem como o modelo de esqueleto humano¹⁶. Wu S desenvolveu um modelo de reconhecimento de comportamento do aluno que combina otimização de enxame de partículas e o algoritmo K-vizinho mais próximo, promovendo a precisão do reconhecimento de emoções para atender às necessidades práticas do ensino em sala de aula¹⁷. O sistema ACORN proposto por Ramakrishnan et al. utilizou aprendizado de máquina multimodal e redes neurais convolucionais combinadas para analisar dados de áudio, expressões faciais e imagens. A integração desses recursos por meio de redes convolucionais temporais alcançou a avaliação automática da atmosfera da sala de aula e fez progressos preliminares¹⁸.

Em resumo, a pesquisa existente propôs várias técnicas baseadas em aprendizado de máquina e aprendizado profundo para reconhecimento inteligente de comportamento em sala de aula, abrangendo áreas como detecção de fadiga do aluno, análise de sentimentos e monitoramento de interação em sala de aula. No entanto, ainda existem algumas deficiências na pesquisa atual, e muitos métodos carecem de tempo real e escalabilidade suficientes em aplicações práticas, dificultando a adaptação a cenários complexos e mutáveis da sala de aula. Portanto, o estudo propõe um método inteligente de reconhecimento de comportamento em sala de aula com Transformer e AM. A inovação da pesquisa está na utilização da poderosa capacidade de modelagem temporal do Transformer combinada com AM espaço-temporal para capturar com precisão os principais momentos e regiões comportamentais na sala de aula e integrar várias fontes de informação, como vídeo e áudio, por meio da fusão de dados multimodais para aumentar a abrangência e precisão do reconhecimento de comportamento.

Protocolo

Este estudo usa conjuntos de dados disponíveis publicamente que não contêm nenhuma informação de identificação pessoal. Todos os dados utilizados na pesquisa foram anonimizados para garantir a privacidade dos participantes. O consentimento informado foi obtido de todos os participantes no momento da coleta de dados, e o estudo segue as diretrizes éticas. O protocolo explica o método inteligente de reconhecimento de comportamento em sala de aula, que consiste na extração de recursos com base na fusão de dados multimodais e no reconhecimento de comportamento espaço-temporal com base no Transformer e na atenção. O desempenho de todo o método é otimizado por meio de treinamento conjunto.

1. Coleta de dados multimodelo

A coleta de dados multimodais envolveu a coleta de dados sincronizados de comportamento em sala de aula de dois conjuntos de dados: o conjunto de dados EduSense e o conjunto de dados de interação SBU Kinect. O EduSense gravou gravações de salas de aula da universidade da vida real e o SBU Kinect gravou sequências esqueléticas baseadas em interação. Os conjuntos de dados continham fluxos de vídeo, dicas de áudio e informações da articulação esquelética 3D para modelar as posturas e o movimento dos alunos. O pré-processamento de dados garantiu alinhamento temporal e remoção de ruído para limpeza. Essa convergência forneceu monitoramento de comportamento de ponta a ponta, registrando gestos visuais e movimentos corporais em muitas situações de aprendizagem.

2. Extração de recursos com base na fusão de dados multimodais

Visando a questão do reconhecimento do comportamento do aluno em salas de aula inteligentes, é proposto um método para reconhecimento inteligente do comportamento em sala de aula com Transformer e AM. Devido à natureza complexa das salas de aula com vários alunos, mudanças nos fatores dentro da cena podem interferir no reconhecimento do comportamento do aluno. Além disso, a extração de características únicas apresenta limitações como informações incompletas, suscetibilidade a interferências ambientais e dificuldade em capturar comportamentos complexos^19,20. Portanto, o estudo propõe primeiro um método de extração de recursos de sala de aula do aluno baseado na fusão de dados multimodais. Este método combina dados das modalidades de vídeo e esqueleto, utilizando sua complementaridade para obter uma extração de recursos mais abrangente e precisa do comportamento do aluno. Em particular, cada sequência de vídeo de entrada é dividida em quadros. Os quadros são alimentados em um R-CNN mais rápido pré-treinado para localizar regiões humanas de interesse. As regiões detectadas são alimentadas em um backbone de rede neural convolucional para obter características visuais temporais. Para a modalidade esquelética, as posições articulares 3D são colocadas como sequências e codificadas usando um modelo BERT pré-treinado para obter dependências temporais e espaciais. Estes são normalizados e incorporados antes de serem inseridos na rede de fusão multimodal. Entre eles, a modalidade de vídeo é a principal responsável por capturar recursos visuais, como movimentos e expressões dos alunos, enquanto a modalidade esquelética descreve com precisão as mudanças de postura dos alunos por meio de informações de pontos articulares. Enquanto a modalidade de vídeo se baseia nas características globais da percepção visual, enquanto a modalidade esquelética apresenta características visuais globais para representar o comportamento humano, a modalidade esquelética se concentra nas mudanças dinâmicas na posição articular, levando a diferenças semânticas significativas entre as duas²¹. Portanto, é necessário desenvolver uma rede de fusão multimodal especializada para modelar efetivamente a correlação entre as duas modalidades. A rede de fusão multimodal é mostrada na Figura 1.

Na Figura 1, a rede é dividida principalmente em três módulos. Entre eles, a entrada do módulo de processamento de modalidade de vídeo é uma sequência de vídeo, que é extraída por meio de uma Rede Neural Convolucional Baseada em Região Mais Rápida (R-CNN Mais Rápida) para extração de recursos. O tratamento da modalidade de vídeo começa com a tradução de cenas de vídeo em sala de aula em entradas quadro a quadro para extração de recursos. Os quadros são tratados com uma rede neural convolucional baseada em região mais rápida (R-CNN mais rápida) com uma base ResNet-50 treinada no ImageNet. A rede trata quadros RGB redimensionados para 224 × 224 pixels, resultando em mapas de recursos visuais de alto nível com recursos espaciais e específicos de objetos da atividade do aluno. Esses recursos são então inseridos em um módulo de autoatenção, que aprende as relações temporais entre os quadros antes de codificá-los em incorporações espaço-temporais por meio de uma camada Transformer. Isso preserva sinais comportamentais fracos, como inclinações de cabeça ou levantamentos de mãos, na incorporação de representações para fusão posterior. Os recursos de vídeo extraídos são capturados pelo módulo de autoatenção para capturar as relações temporais e espaciais dentro da modalidade de vídeo e, em seguida, modelados por um transformador para gerar vetores de incorporação para as informações espaço-temporais da sequência de vídeo. A entrada do módulo de processamento da modalidade esquelética é uma sequência esquelética, que é processada por Representação de Codificador Bidirecional de Transformadores (BERT) para extrair características temporais e espaciais das articulações esqueléticas. Para dados esqueléticos, a pose de cada aluno é modelada como uma sequência de coordenadas conjuntas 2D dos vídeos da sala de aula usando um estimador de pose baseado no OpenPose. Essas sequências são convertidas em tokens de incorporação nos quais cada token corresponde a um quadro com 18 pontos-chave. O contexto temporal e as dependências dessas sequências conjuntas são modelados usando um modelo Bidirectional Encoder Representations from Transformers (BERT). O modelo emprega 12 camadas de transformador, 8 cabeças de atenção e um tamanho oculto de 768, que é a arquitetura padrão baseada em BERT. O modelo é ajustado durante o treinamento para adquirir padrões articulares específicos do comportamento. As incorporações de saída representam as características estruturais e relacionadas ao movimento do comportamento do aluno que são posteriormente combinadas com os recursos da modalidade de vídeo. Posteriormente, as características esqueléticas são agregadas em características espaciais e temporais por meio de CNN 3D e operações de agrupamento, gerando vetores incorporados do esqueleto como representações de características da modalidade esquelética.

3. Módulo de fusão de atenção cruzada

No módulo de fusão de atenção cruzada, o estudo usa o mecanismo de atenção multi-cabeça (MHAM) para construir a relação de interação entre a modalidade de vídeo e a modalidade esquelética, e extrai ainda recursos de fusão mais compactos por meio de CNN 3D e operações de agrupamento dos recursos de fusão multimodal gerados. O processo de fusão é realizado usando uma rede de atenção de dois fluxos, em que as incorporações temporais de cada modalidade são passadas por CNNs 3D e GRUs bidirecionais. Os fluxos de dados multimodais são alinhados usando Módulos de Atenção Multi-Head (MHAM), com atenção escalonada do produto escalar para obter dependências intermodais. As incorporações são então agrupadas para lidar com a complexidade dimensional e enviadas para uma camada Softmax totalmente conectada para classificação.

Em redes de fusão multimodal, o módulo de autoatenção é utilizado para modelar a dependência temporal e espacial dentro de um único modo, enquanto o módulo de fusão de atenção cruzada é utilizado para estabelecer a associação e interação de informações entre diferentes modos. Portanto, ambos são muito importantes. O módulo de autoatenção captura as dependências internas da sequência de entrada calculando a relação entre a consulta Q, a chave K e o valor V. O cálculo de Q, chave K e valor V é mostrado na equação (1). Onde estão as matrizes de consulta, chave e valor, respectivamente; d_k é a dimensionalidade do vetor chave e d_k é a dimensionalidade dos vetores de valor. O fator de dimensão d_k é adotado para evitar que os produtos escalares se tornem grandes, o que influenciaria a estabilidade dos gradientes durante o treinamento.

(1)

Na equação (1), representa os recursos de entrada, onde n é o comprimento da sequência de entrada, o_modelo d é a dimensão dos recursos e W^Q, W^K e W^V representam três conjuntos de matrizes de projeção que podem ser aprendidas. Por meio desses mapeamentos de matriz, os recursos de entrada são transformados em consultas, chaves e valores. O produto escalar da consulta Q e a chave K são utilizados para calcular pesos de atenção e dimensioná-los, conforme mostrado na equação (2).

(2)

Na equação (2), d_k representa a dimensão da consulta Q e a chave K, e softmax denota a função softmax utilizada para obter a matriz de peso de atenção. O dimensionamento pode efetivamente evitar o problema do gradiente ser muito pequeno devido a valores excessivos de produtos escalares causados pela dimensionalidade. A matriz de peso de atenção é aplicada ao valor V para obter a saída Z do módulo de autoatenção, conforme mostrado na equação (3).

(3)

Na equação (3), a_ij significa o peso de atenção do i-ésimo vetor de consulta no j ésimo vetor-chave. A estrutura específica do módulo de fusão de atenção cruzada é indicada na Figura 2.

A partir da Figura 2, este módulo começa principalmente a processar recursos de entrada de modalidades esqueléticas e de vídeo. Em primeiro lugar, a sequência de esqueleto e a sequência de vídeo são submetidas separadamente a camadas convolucionais 3D para extrair características espaço-temporais e, em seguida, essas características espaço-temporais são modeladas usando Unidades Recorrentes Fechadas Bidirecionais (Bi-GRUs) para modelagem temporal. Em seguida, as características das duas modalidades são extraídas por meio de MHAMs para extrair correlações dentro das modalidades. Cada modalidade alcança a representação de recursos internamente por meio de mecanismos de consultas, chaves e valores. Em seguida, o pool com média de tempo é executado nos recursos de saída para reduzir a complexidade da dimensão de tempo. Após o agrupamento, os recursos multimodais são agrupados estatisticamente para calcular a média e o desvio padrão de cada modalidade e, finalmente, gerar o reconhecimento e classificação da ação do aluno por meio de uma camada totalmente conectada (FCL) e classificador Softmax. Portanto, a extração de recursos com base na fusão de dados multimodais proposta no estudo utiliza autoatenção e AMs cruzados para capturar e modelar com precisão as características espaço-temporais do comportamento do aluno, fundindo dados de modalidades de vídeo e esqueleto, melhorando assim a precisão e a abrangência do reconhecimento do comportamento do aluno em salas de aula inteligentes.

4. Reconhecimento de comportamento espaço-temporal baseado em Transformer e atenção

A extração de recursos baseada na fusão de dados multimodais alcança uma melhoria preliminar na abrangência e precisão do comportamento do aluno, fundindo dados das modalidades de vídeo e esqueleto. No entanto, no contexto de salas de aula inteligentes, o comportamento dos alunos geralmente muda com o tempo, e o mesmo comportamento pode exibir características diferentes em diferentes pontos de tempo e regiões espaciais. Confiar apenas em informações estáticas fundidas de recursos multimodais não pode capturar totalmente as complexas relações dinâmicas espaço-temporais na sequência de comportamento^22,23. Portanto, pesquisas futuras propõem uma modelagem do comportamento espaço-temporal e AM baseada em Transformer. O estudo escolheu o Vision Transformer (ViT) como a arquitetura de rede, que pode modelar as informações espaço-temporais globais de entrada por meio de AM próprio e tem uma capacidade mais forte de capturar dependências espaço-temporais. Após a fusão multimodal, as características fundidas são novamente representadas usando um Vision Transformer (ViT) para prever o comportamento espaço-temporal. Os mapas de recursos na entrada são divididos em patches disjuntos de 16 × 16, linearmente incorporados em vetores unidimensionais e codificados posicionalmente para preservar a ordem espacial. A estrutura ViT possui 12 blocos codificadores Transformer, compostos por autoatenção de várias cabeças (8 cabeças) e camadas feed-forward cuja dimensão oculta é 768. Para melhorar a saliência comportamental, são sugeridos os módulos Atenção Espacial (SA) e Atenção Temporal (TA). O módulo SA incentiva a relevância de recursos em áreas espaciais por meio da ativação do Tanh, enquanto o módulo TA destaca quadros temporais importantes por meio da ativação do ReLU. Esses dois fluxos de atenção são posteriormente combinados com o backbone ViT por meio de um método de treinamento de dois estágios, de modo que o modelo aprenda a capturar a evolução dinâmica do comportamento em sala de aula com eficiência. A estrutura do ViT é mostrada na Figura 3.

Na Figura 3, no ViT, a entrada original é uma imagem segmentada em vários pequenos blocos de tamanho fixo, cada um representado como parte da imagem, e linearmente achatado em um vetor unidimensional. Como o Transformer não pode perceber informações de localização, cada pequeno bloco é incorporado com informações de localização antes de ser inserido no Transformer para garantir que ele possa capturar a relação de posição espacial relativa entre diferentes pequenos blocos. O módulo central do ViT é o codificador Transformer, que é composto por vários blocos de codificação Transformer empilhados. Os blocos de codificação são compostos por um MHAM e uma rede neural feed-forward. O MHAM captura as dependências entre as sequências de entrada em paralelo, enquanto a rede neural feed-forward realiza transformações não lineares nos resultados para aprimorar a capacidade do modelo de capturar e expressar informações globais. Depois que o codificador do Transformer processa todas as pequenas informações, a saída da última camada de codificação é passada para o Multi-Layer Perceptron Head (MLP Head), que gera os resultados finais de reconhecimento e classificação da ação do aluno.

Praticamente, cada quadro é dividido em 16 × 16 patches não sobrepostos, achatados e incorporados posicionalmente para manter as relações espaciais. As incorporações de patch são processadas sequencialmente por codificadores de transformadores empilhados na arquitetura ViT. O módulo Atenção Espacial (SA) utiliza a ativação tanh para variar a atenção entre as áreas de interesse dentro de cada quadro, e o módulo Atenção Temporal (TA) utiliza ReLU para destacar quadros temporalmente importantes. Esse mecanismo de duas atenções permite a modelagem eficaz da dinâmica do comportamento do espaço e do tempo.

Para melhorar ainda mais o desempenho do ViT em sequências comportamentais complexas, a atenção espacial (SA) e a atenção temporal (TA) são introduzidas para permitir que o ViT não apenas selecione juntas espaciais importantes de forma autônoma, mas também se concentre em comportamentos em diferentes pontos de tempo, capturando melhor as mudanças dinâmicas espaço-temporais do comportamento. O módulo SA e o módulo TA são indicados na Figura 4.

Na Figura 4A, o módulo SA processa as informações de dimensão espacial da entrada passando os recursos do quadro atual para a camada ViT para extrair os estados ocultos. Estes são combinados com as características do quadro anterior e alimentados em conjunto no FCL. O FCL executará uma transformação linear nos recursos para gerar representações de recursos latentes. Posteriormente, é passado para a função de ativação Tanh para mapear a saída para a faixa de [-1,1], aumentando a não linearidade e distinguindo melhor entre características importantes e sem importância. Por fim, os recursos são normalizados por meio de uma camada de normalização para garantir que os recursos de saída tenham uma escala relativamente estável. Na Figura 4B, o módulo TA se concentra mais nas principais informações contidas em cada quadro na dimensão temporal. Ao contrário do Tanh no SA, o módulo TA usa a função de ativação ReLU para suprimir valores negativos e retém apenas a saída de valores positivos, removendo efetivamente informações de ruído negativo e aprimorando a capacidade de captura temporal do modelo.

5. Método de treinamento conjunto

Para resolver efetivamente o problema de características espaço-temporais tendenciosas e redundantes causadas pela influência mútua entre ViT, módulo SA e módulo TA no reconhecimento de comportamento espaço-temporal baseado em Transformer e atenção, um método de treinamento conjunto é adotado para otimizar os três módulos. O processo específico é indicado na Figura 5.

Na Figura 5, a estratégia de treinamento conjunto primeiro insere os parâmetros de treinamento do modelo, define a estrutura de rede e os hiperparâmetros. Posteriormente, é realizado um pré-treinamento separado em SA e TA para aprender melhor as características locais. Vale ressaltar que durante o pré-treino de um modelo, os pesos do outro modelo são mantidos fixos e não são atualizados. Depois de concluir o pré-treinamento individual, a camada ViT é combinada para o treinamento. Em seguida, dois modelos de atenção serão corrigidos e a rede ViT principal será treinada separadamente. Finalmente, treinando em conjunto os principais módulos ViT network, SA e TA, a rede geral é otimizada para gerar o modelo final para reconhecimento inteligente de comportamento em sala de aula. O procedimento de treinamento é realizado passo a passo: (1) pré-treinamento autônomo dos módulos SA e TA com parâmetros ViT congelados, (2) treinamento passo a passo de ViT com pesos de módulo de atenção congelados e (3) ajuste fino de ponta a ponta de todos os componentes junto com o otimizador Adam (taxa de aprendizado = 0,001, tamanho do lote = 64, épocas = 100). A abordagem estabiliza o aprendizado de recursos e reduz a interferência entre os módulos durante a otimização.

No geral, o método de reconhecimento de comportamento inteligente em sala de aula proposto combina modalidades de vídeo e esquelética para modelar relações espaço-temporais por meio de autoatenção e AMs cruzados. Ao utilizar a capacidade de modelagem espaço-temporal global do ViT e combinar módulos espaciais e TA, o modelo é otimizado para capturar comportamentos-chave e dinâmicas temporais, alcançando um reconhecimento mais abrangente e preciso do comportamento do aluno. Operações críticas de fusão, nas quais representações de recursos multimodais são combinadas, são realizadas na arquitetura em consideração. Especificamente, as características espaciais aprendidas pela CNN estão conectadas às características temporais do Bi-LSTM. Essa saída é então fundida com recursos de atenção aumentada do MHAM antes da tarefa de classificação. Essas operações de fusão são cruciais para a fusão de visões complementares de dados comportamentais e são enfatizadas na Figura 1 e na Figura 5.

O algoritmo 1 ilustra os dados multimodais combinados, informações esqueléticas, de texto e de vídeo, usando modelos baseados em ViT, BERT e GCN para extrair recursos informativos em uma classe. A representação conjunta é então marcada para identificar o comportamento do aluno, com maior precisão usando o aprendizado intermodal.

Algoritmo 1: Processo de reconhecimento de comportamento multimodal usando ViT, BERT e GCN.

Inicializar:

Modelo BERT pré-treinado

Modelo R-CNN mais rápido pré-treinado

Modelo ViT pré-treinado

Modelo GCN para dados de esqueleto

Classificador (por exemplo, MLP ou Transformer)

Carregar conjunto de dados:

Para cada amostra no conjunto de dados multimodal:

Extrair quadros de vídeo

Extrair transcrição de áudio

Extrair dados do esqueleto (OpenPose ou MediaPipe)

Etapa 1: processamento da modalidade de vídeo

Para cada quadro no vídeo:

Aplique R-CNN mais rápido para detectar objetos/participantes

Aplique o Vision Transformer (ViT) para extrair recursos no nível do quadro

Agregar feições ao longo do tempo para representação temporal

Etapa 2: Processamento da modalidade de texto

Pré-processar o texto da transcrição:

Tokenize usando o tokenizer BERT

Passar tokens pelo modelo BERT

Extrair incorporações contextuais do token [CLS] ou do pool médio

Etapa 3: Processamento da modalidade esquelética

Para cada sequência de esqueleto:

Normalizar coordenadas

Passe por GCN ou ST-GCN para extrair recursos de movimento

Etapa 4: fusão de recursos

Concatenar ou fundir a atenção:

Recursos de vídeo

Recursos de texto

Características esqueléticas

Obtenha uma representação multimodal unificada

Etapa 5: Classificação

Passe a representação fundida para o classificador final

Preveja o rótulo de comportamento em sala de aula (por exemplo, atento, distraído)

Etapa 6: Avaliação

Compare as previsões com a verdade fundamental

Calcular métricas: Exatidão, Precisão, Recall, Pontuação F1

Resultados

Para avaliar a eficácia e superioridade do método de reconhecimento de comportamento em sala de aula inteligente com Transformer e AM, foram realizadas verificações e análises experimentais de desempenho. Primeiramente, foram configurados o ambiente experimental e os parâmetros, conforme indicado na Tabela 1.

Com base na Tabela 1, o estudo selecionou o EduSense Dataset e o SBU Kinect Interaction Dataset como conjuntos de dados experimentais, denominados D1 e D...

Discussão

Um método de reconhecimento de comportamento para salas de aula inteligentes baseado em Transformer e AM foi proposto para enfrentar os desafios do comportamento complexo do aluno e do reconhecimento de dados multimodais. Uma rede ViT com capacidade de modelagem espaço-temporal global foi construída integrando dados de modalidades de vídeo e esqueléticas, e autoatenção e AMs cruzados foram utilizados para capturar características espaço-temporais do comportamento. Ao integrar dados de ví...

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
128 GB de RAM DDR4	Vários fornecedores	https://www.crucial.com/memory/ddr4	Memória suficiente para processamento de dados multimodal
Armazenamento SSD de 2 TB	Vários fornecedores	https://www.samsung.com/ssd	Para armazenar conjuntos de dados e modelos
BERT (configuração básica)	Modelo de linguagem Hugging Face	https://huggingface.co/bert-base-uncased	para incorporação de sequência esquelética
CUDA 11.1 Toolkit	NVIDIA	https://developer.nvidia.com/cuda-toolkit	Permite a aceleração de GPU para PyTorch
cuDNN 8.0 Library	NVIDIA	https://developer.nvidia.com/cudnn	biblioteca acelerada por GPU para redes neurais profundas
Conjunto de dados EduSense	Carnegie Mellon University	https://www.cs.cmu.edu/~./edusense	Conjunto de dados
de sala de aula universitária da vida realR-CNN mais rápido (ResNet-50)	Código aberto (PyTorch)	https://github.com/facebookresearch/detectron2	Detector de objetos usado para extração de recursos de vídeo
CPU Intel Xeon E5-2680 v4 Intel		https://www.intel.com/products/xeon-e5-2680-v4	Processador de alto desempenho para treinamento de modelo
Matplotlib	Open Source	https://matplotlib.org	Usado para plotar métricas
NVIDIA Tesla V100 GPU	NVIDIA	https://www.nvidia.com/en-us/data-center/tesla-v100	Usado para treinamento e inferência; suporta reconhecimento de comportamento em tempo real
OpenPose	CMU	https://github.com/CMU-Perceptual-Computing-Lab/openpose	Extrai pontos-chave esqueléticos 2D de quadros de vídeo
PyTorch 1.8 Framework	Open Source	https://www.pytorch.org	Biblioteca de aprendizado profundo usada para desenvolvimento de modelo
SBU Kinect Interaction Dataset	Stony Brook University	https://www3.cs.stonybrook.edu/~kyunghan/sbu_kinect	Conjunto de dados esquelético baseado em interação
TensorBoard	Open Source (Google)	https://www.tensorflow.org/tensorboard	Usado para visualização de treinamento
Ubuntu 20.04 LTS Operating System	Canonical	https://www.ubuntu.com/download	Sistema operacional Linux usado como ambiente de desenvolvimento
Vision Transformer (ViT)	Google / Hugging Face	https://huggingface.co/google/vit-base-patch16-224	Usado para modelagem de comportamento espaço-temporal global