Este estudo avalia o engajamento comportamental dos estudantes detectando seus comportamentos em vídeos de sala de aula universitária usando um algoritmo de aprendizado profundo. Sete comportamentos positivamente correlacionados com o engajamento na aprendizagem são identificados, e um modelo de pontuação é usado para avaliar o engajamento geral dos alunos individuais e da turma.
É necessária uma assinatura do JoVE para visualizar este conteúdo. Faça login ou inicie seu teste gratuito.
Artigo de investigação
Avaliação de Engajamento Comportamental em Salas de Aula Universitárias por meio de Detecção de Objetos em Vídeo Baseada em Aprendizado Profundo
Neste artigo
Resumo
Resumo
Este estudo tem como objetivo avaliar o engajamento dos estudantes em salas de aula universitárias utilizando a detecção de objetos por vídeo baseada em aprendizado profundo. Para isso, por meio de análise de correlação, esta pesquisa identificou primeiro sete comportamentos em sala de aula apresentando correlação altamente positiva com o engajamento na aprendizagem como indicadores para medir o engajamento dos alunos; em seguida, coletou 30 vídeos sincronizados de aulas reais em sala de aula de 6 turmas da Universidade de Ciência e Tecnologia de Shandong (SDUST) e os dividiu em um conjunto de treinamento e um conjunto de testes. Após os sete comportamentos serem anotados manualmente nos dados de treinamento, um algoritmo de aprendizado de máquina era então treinado de forma supervisionada nesse conjunto. Uma vez treinado, o modelo gerava anotações iniciais para os dados não rotulados restantes. Para alcançar um reconhecimento de comportamento em sala de aula mais preciso e eficiente, este estudo selecionou dois algoritmos representativos, a saber, Faster R-CNN e YOLOv5s, para experimentos de detecção de comportamento. Com base em uma comparação do desempenho em detecção em termos de precisão e custo de tempo, o YOLOv5s foi selecionado para a detecção de comportamento em sala de aula neste estudo. Por fim, este estudo utilizou o método de grupos focais para atribuir pontuações a cada comportamento e desenvolver um modelo de pontuação de engajamento de aprendizagem em três níveis. Baseado em dados comportamentais medidos automaticamente, o modelo permite a avaliação automática e em tempo real do engajamento de aprendizagem tanto no nível individual quanto na turma.
Introdução
Engajamento na aprendizagem, que se refere à participação, concentração e esforço dos alunos na aprendizagem, consiste em engajamento comportamental, engajamento emocional e engajamentocognitivo 1. O engajamento dos alunos revela sua situação de aprendizagem e ajuda os professores a ajustar as estratégiasde ensino 2. No entanto, o engajamento na aprendizagem em sala de aula é avaliado principalmente pelos relatos dos alunos e pelas observações dosprofessores 3. A alta proporção professor-aluno nas universidades chinesas significa que os professores levam muito tempo e esforço para usar métodos manuais tradicionais para avaliação do engajamento na aprendizagem.
Nos últimos anos, com a crescente popularidade das salas de aula inteligentes de gravação e transmissão na China, a medição automática do engajamento de aprendizagem baseada em vídeos em sala de aulatornou-se possível 4. Do ponto de vista do ensino em sala de aula aprimorado por tecnologia inteligente, este estudo aplicou métodos de aprendizado profundo para detectar os comportamentos dos estudantes em vídeos de sala de aula universitária e propôs um modelo de pontuação para medir automaticamente o engajamento comportamental dos alunos.
Uma breve revisão dos estudos de engajamento comportamental
Existem três níveis principais de engajamento comportamental: (1) No nível da escola, refere-se ao entusiasmo dos alunos em participar de atividadesextracurriculares 5. (2) No nível da sala de aula, inclui comportamentos positivos dos alunos em sala de aula, como o cumprimento da ordem da turma, e comportamentos destrutivos, como faltar à aula ou falar na6ª turma. (3) No nível do processo de aprendizagem, refere-se à participação e aos comportamentos dos alunos em tarefas de aprendizagem, como fazer perguntas e completar tarefasde casa 7. Atualmente, métodos para avaliação do engajamento comportamental podem ser amplamente classificados em três categorias: manual, semi-automático e métodosautomáticos 8.
Métodos manuais, incluindo autorrelato, entrevistas, observação do professor e outros métodos tradicionais de avaliação, são trabalhosos e difíceis de garantir objetividade e precisão. A análise de logs é um método representativo de avaliação semi-automática que analisa principalmente os dados dos logs de aprendizagem coletados pelas plataformas de aprendizagem, incluindo indicadores como frequência de login, duração online e precisão das respostas. Esse método pode avaliar o engajamento dos alunos de forma mais objetiva; no entanto, o grande volume e a complexidade dos dados representam desafios para o processamentosubsequente 4. O método automático é baseado em visão computacional, utilizando dispositivos inteligentes, como plataformas de gravação e transmissão, para capturar expressões, gestos, comportamentos e outros sinais visuais dos alunos em sala de aula, principalmente para avaliar o comportamento em sala de aula. Comparado aos dois métodos anteriores, essa abordagem permite a medição rápida do engajamento comportamental por meio de computadores e algoritmos e é menos suscetível à interferênciasubjetiva 9.
Uma breve revisão da avaliação de engajamento comportamental baseada na detecção de objetos
Com o avanço do deep learning, as técnicas de detecção de objetos são cada vez mais aplicadas à análise de engajamento de aprendizagem. Algoritmos de detecção de objetos realizam classificação e localização de objetos em imagens baseadas em redes neurais convolucionais. Em salas de aula inteligentes equipadas com sistemas de gravação de vídeo, tais algoritmos podem reconhecer informações visuais relacionadas às posturas, gestos e expressões faciais dos alunos a partir de vídeos da sala de aula, permitindo assim a identificação automática dos comportamentos dos alunos e a avaliação de seu engajamento comportamental. Consequentemente, o estado de aprendizagem em sala de aula refletido pelos comportamentos não verbais dos alunos pode ser interpretadode forma eficaz 9.
Uma variedade de equipamentos e algoritmos foi empregada para coletar e identificar múltiplos comportamentos não verbais dos alunos a partir de vídeos. Rahman et al.10 e Zaletelj eKošir 11 usaram sensores Kinect para coletar a linha de visão dos alunos, informações faciais, características da postura corporal, etc., e analisaram o nível de atenção dos alunos usando algoritmos de aprendizado de máquina. Whitehill et al.8 usaram uma webcam de iPad para registrar as expressões faciais dos alunos e treinar um modelo de reconhecimento, provando que a técnica de aprendizado de máquina é igual à observação humana na precisão da avaliação do engajamento de aprendizagem. Sukumaran e Manoharan12 detectaram o engajamento do estudante usando sinais EGG. Ashwin e Guddeti13 usaram redes neurais convolucionais para analisar vídeos de sala de aula em ambiente de laboratório, a fim de detectar comportamentos não verbais, como expressões faciais, posturas das mãos e posturas corporais, para avaliar o engajamento na aprendizagem. Bai et al.14 usaram o Faster R-CNN com fusão de características multiplexadas para detectar comportamentos em sala de aula, como estudar, dormir e cabeça baixa, por meio de aprendizagem por transferência. Deng et al.9 analisaram vídeos de sala de aula remota combinando técnicas de deep learning do Faster R-CNN e propuseram um método para alcançar reconhecimento comportamental e medição de engajamento em sala de aula com base nas posturas da cabeça, mão e corpo dos alunos.
Os primeiros estudos foram conduzidos principalmente em ambientes laboratoriais, muitos dos quais focaram em um único indivíduo em um único cenário 10,11,12,13, enquanto estudos mais recentes têm examinado cada vez mais ambientes reais de sala de aula 9,14,15,16,17,18,19 . Além disso, a variedade de comportamentos examinados tornou-se cada vez mais diversa. Por exemplo, Bai et al.14 e Ouyang et al.15 analisaram vídeos de sala de aula nos quais apenas dois comportamentos — cabeça para cima e cabeça para baixo — foram identificados. Deng et al.9 investigaram vídeos de salas de aula do ensino fundamental e expandiram as categorias de comportamento detectado dos movimentos da cabeça para incluir movimentos das mãos e do corpo. Zhang e oscolegas 16 coletaram cinco tipos de comportamentos dos alunos, incluindo olhar para cima, olhar para baixo, dormir, olhar ao redor e bocejar.
No entanto, como os dados foram coletados em salas de aula do ensino fundamental, onde os alunos normalmente estão sentados em posições fixas, a gama de comportamentos observáveis permaneceu relativamente limitada. Portanto, estudos posteriores têm focado cada vez mais nas salas de aula universitárias. Muitas salas de aula universitárias são grandes, com cerca de cem estudantes frequentemente sentados aleatoriamente, tornando mais difícil detectar o comportamento dos alunos. Além disso, em ambientes reais de sala de aula universitária, os alunos apresentam maior diversidade comportamental e interatividade, incluindo interações com professores, colegas, quadros-negros e livros didáticos. Yan et al.17 propuseram um método de reconhecimento de postura baseado em aprendizado profundo, o BetaPose, que foi projetado para melhorar a precisão do reconhecimento de postura em cenas de sala de aula lotadas. Tan et al.18 incorporaram um módulo de atenção coordenada (CA) à rede YOLOv9, e o modelo resultante CA-YOLOv9 foi aplicado ao reconhecimento de sete comportamentos em sala de aula em ambientes universitários complexos com grandes populações estudantis. Wang et al.19 propuseram uma rede bidirecional de aumento de características (BATNet) para identificar os comportamentos dos alunos em salas de aula inteligentes, especialmente para alvos pequenos e ocluídos.
Com o desenvolvimento dos algoritmos, a velocidade e a precisão da detecção de comportamento foram muito melhoradas; No entanto, estudos atuais ignoraram a explicação sobre se há correlação entre comportamentos detectados em sala de aula e engajamento dos alunos, deixando questões como se certos comportamentos podem ser usados como parâmetros para medir o engajamento comportamental, e quais comportamentos podem refletir efetivamente o engajamento na aprendizagem, sem resposta. Além disso, é preciso encontrar uma forma explícita de mostrar o engajamento comportamental dos alunos. Assim, este estudo identificou comportamentos em sala de aula altamente relacionados ao engajamento dos alunos por meio de análise de correlação; Enquanto isso, foi desenvolvido um sistema de pontuação para construir um modelo de avaliação do engajamento comportamental. Consequentemente, a medição automática do engajamento comportamental pode ser alcançada tanto para alunos individuais quanto para a turma como um todo.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Protocolo
Todos os vídeos foram obtidos e utilizados em conformidade com as práticas éticas atuais de pesquisa humana, conforme prescrito pela Universidade de Ciência e Tecnologia de Shandong. A aprovação foi recebida para o uso dos dados.
Primeiro, foi realizada uma análise de correlação para identificar comportamentos dos alunos que poderiam servir como indicadores de engajamento comportamental. Após o conjunto de dados ser estabelecido por extração de quadros e dividido em conjunto de treinamento e conjunto de teste, dois algoritmos representativos para detecção de objetos foram executados no conjunto de treinamento e comparados em termos de precisão e eficiência. Por fim, o algoritmo com melhor desempenho (YOLO-v5s) foi selecionado para rodar no conjunto de testes e realizar a detecção de comportamento. A Figura 1 apresenta o fluxograma do processo de identificação e detecção dos comportamentos dos alunos.
Figura 1. Fluxograma de identificação e detecção dos comportamentos dos alunos. Por favor, clique aqui para ver uma versão ampliada desta figura.
Identificação de indicadores
Antes de realizar experimentos de detecção de objetos, era necessário identificar comportamentos não verbais que indicassem o engajamento comportamental dos alunos. Até o momento, estudos sobre engajamento comportamental baseados na detecção de objetos alcançaram sucesso na detecção de uma variedade de comportamentos não verbais, incluindo linha de visão, informações faciais e posturacorporal 9,10,11,12,13,14. No entanto, ainda não foi discutido se comportamentos específicos são justificados como indicadores do engajamento comportamental dos alunos. Assim, neste estudo, foi utilizada uma análise de correlação entre os comportamentos dos alunos e seu nível de engajamento comportamental para identificar comportamentos indicativos de engajamento comportamental.
(1) Teste de engajamento comportamental
Este estudo selecionou 122 estudantes de graduação de quatro turmas naturais de alunos não formados em inglês na SDUST-Jinan como amostra para um estudo correlacional. Primeiro, escalas de autorrelato foram empregadas para coletar dados de engajamento comportamental dos 122 estudantes, visando entender seu estado de engajamento comportamental sob uma perspectiva de experiência interna. Considerando que os dados em vídeo da sala de aula para este estudo foram obtidos de aulas de "Inglês Acadêmico", foi adotado o instrumento multidimensional de avaliação para engajamento de aprendizagem em salas de aula universitárias de inglês, desenvolvido por RenQingmei 20 . Este instrumento foi especificamente desenvolvido para o ambiente de ensino de línguas estrangeiras chinesas e emprega a mesma categorização clássica do engajamento na aprendizagem deste estudo, abrangendo três dimensões: engajamento comportamental, afetivo e cognitivo. Entre eles, o instrumento de engajamento comportamental consiste em nove itens, correspondentes à interação professor-aluno (por exemplo, "Eu respondo ativamente perguntas feitas pelo professor na aula de inglês"), esforço individual (por exemplo, "Eu considero cuidadosamente as dificuldades encontradas durante o aprendizado em aula de inglês"), interação entre colegas (por exemplo, "Eu colaboro com outros alunos para completar tarefas de aprendizagem em aula de inglês"), etc. Cada item é apresentado em um formato de escala de 5 pontos do Likert, com opções de resposta como "quase nunca, raramente, às vezes, frequentemente, sempre", pontuadas de 1 a 5, exigindo que os alunos escolham a opção que melhor se alinhe com sua experiência de aprendizagem. Estudantes com pontuação de 15 pontos ou menos foram classificados como alunos de baixo engajamento, aqueles com 16-30 pontos como estudantes de engajamento moderado e aqueles com 31-45 pontos como alunos de alto engajamento. Por fim, foram coletadas 120 escalas válidas, com 17 alunos na categoria de baixo engajamento, 45 na categoria de engajamento moderado e 58 na categoria de alto engajamento.
(2) Identificação de comportamento
Enquanto isso, quatro vídeos gravados, totalizando 50 minutos de aulas completas de "Inglês Acadêmico" nessas quatro aulas, foram coletados. Com um quadro desenhado a cada 15 s, 200 imagens foram finalmente extraídas para observação. Com base em visualizações repetidas das amostras de vídeo por três alunos, este estudo inicialmente identificou 12 tipos de comportamentos dos alunos na sala de aula, a saber: olhar ao redor, usar o celular, discutir, andar, andar, comer ou beber, fazer anotações ou ler, ouvir atentamente, levantar-se (para responder uma pergunta), bocejar, dormir e usar o computador. Exemplos dos 12 comportamentos são mostrados na Figura 2.
Figura 2. Exemplos de 12 comportamentos. Por favor, clique aqui para ver uma versão ampliada desta figura.
Cada tipo foi acompanhado por descrições detalhadas de características visuais e contexto espaço-temporal, formando o Procedimento Operacional Padrão para Anotação de Comportamento em Sala de Aula, que garantiu consistência conceitual entre as anotações. A Tabela 1 mostra as 12 categorias de comportamento dos alunos e as descrições de cada comportamento.
Olhar ao redor incluía virar a cabeça para a esquerda, direita e para trás significativamente. Os alunos eram considerados em uma discussão se virassem a cabeça e abrissem a boca. No cenário da sala de aula, ouvir atentamente estava associado a olhar diretamente para o quadro-negro ou para o professor à sua frente; Quando o olhar estava voltado para outro lugar, era muito provável que o estudante estivesse vagando. Quando o aluno apresentava uma postura de cabeça baixa e havia um objeto como um livro ou caderno, esse comportamento podia ser identificado como anotação ou leitura de um livro. Quando o comportamento envolvia uma postura em pé e o aluno estava em seu assento com a boca aberta, ele era considerado respondendo a uma pergunta em pé; Se o aluno não estava em seu assento, ele era considerado como alguém andando por aí, o que poderia indicar que o aluno estava atrasado para a aula ou saindo da sala, etc. Quando um aluno estava deitando a cabeça na mesa, ele/ela era identificado como dormindo. Quando um aluno segurava comida ou bebida nas mãos, o comportamento era identificado como comer ou beber. Uma boca bem aberta ou uma postura comportamental de alongamento do corpo indicavam que o aluno estava bocejando.
| Categoria de comportamento | Descrição do Comportamento |
| Olhando ao redor | Movimento óbvio da cabeça para a direita, esquerda ou volta |
| Uso do telefone celular | Tocar um celular com as mãos |
| Discutindo | Boca aberta, acompanhada por um movimento da cabeça |
| Vagando | Um olhar vidrado para lugares irrelevantes |
| Circulando | Saindo do assento |
| Comer ou beber | Boca aberta e em contato com comida ou água |
| Anotações ou leitura | Anotando ou olhando para um livro |
| Ouvindo atentamente | Olhando para o quadro-negro ou para o professor |
| Levantando-se (para responder perguntas) | De pé no assento com a boca aberta |
| Bocejando | Boca aberta ou alongamento do corpo |
| Dormindo | Cabeça na mesa |
| Uso do computador | Um computador aberto na mesa |
Tabela 1: Categorias e descrições dos comportamentos dos alunos.
(3) Análise de correlação
Usando os critérios acima, 12 professores experientes foram convidados a assistir vídeos dos 120 alunos e registrar seus tipos comportamentais e frequências. Os comportamentos foram identificados de acordo com a Tabela 1. Os professores eram divididos em quatro grupos, com três professores em cada grupo. Cada grupo era responsável por registrar 30 alunos, com cada um dos três professores registrando independentemente os comportamentos de 30 alunos. O Alfa de Cronbach (chamado de α) é um indicador para medir a consistência interna de uma escala ou questionário. O intervalo de valores do alfa de Cronbach é de 0 a 1, e α ≥ 0,8 geralmente é interpretado como boa consistência interna21. Se houve um alto grau de consistência (α > 0,8, ou seja, um alto grau de consistência) na frequência de um determinado tipo de comportamento entre os três professores, a frequência do comportamento foi registrada como a média das três frequências. Subsequentemente, com os dados, por um lado, representando as frequências de diferentes comportamentos de cada aluno e, por outro, seus níveis de engajamento comportamental, foi realizada uma análise de correlação entre os dois fatores. O resultado está mostrado na Tabela 2.
| Comportamentos | Engajamento comportamental | |
| Comer ou beber | Correlação de Pearson | .319** |
| Sig. (de duas caudas) | 0.004 | |
| N | 120 | |
| Bocejando | Correlação de Pearson | -.335** |
| Sig. (de duas caudas) | 0 | |
| N | 120 | |
| Discutindo | Correlação de Pearson | .546** |
| Sig. (de duas caudas) | 0 | |
| N | 120 | |
| Circulando | Correlação de Pearson | -.774** |
| Sig. (de duas caudas) | 0 | |
| N | 120 | |
| Vagando | Correlação de Pearson | .293** |
| Sig. (de duas caudas) | 0.008 | |
| N | 120 | |
| Olhando ao redor | Correlação de Pearson | -.834** |
| Sig. (de duas caudas) | 0 | |
| N | 120 | |
| Leitura ou anotação | Correlação de Pearson | .912** |
| Sig. (de duas caudas) | 0 | |
| N | 120 | |
| Ouvindo atentamente | Correlação de Pearson | .881** |
| Sig. (de duas caudas) | 0 | |
| N | 120 | |
| Levantando-se | Correlação de Pearson | .330** |
| (para responder a uma pergunta) | Sig. (de duas caudas) | 0 |
| N | 120 | |
| Dormindo | Correlação de Pearson | -.411** |
| Sig. (de duas caudas) | 0 | |
| N | 120 | |
| Usando | Correlação de Pearson | .591** |
| Telefone celular | Sig. (de duas caudas) | 0 |
| N | 120 | |
| Uso do computador | Correlação de Pearson | .362** |
| Sig. (de duas caudas) | 0.001 | |
| N | 120 |
Tabela 2: Resultados da análise de correlação.
Na análise de correlação, r é o coeficiente de correlação, referindo-se ao grau linear de correlação entre duas variáveis, variando de −1 a 1. De acordo com o grau de relação, a correlação pode ser classificada nos seguintes tipos:
Alta correlação (│r│ ≥ 0,70)
Correlação média (0,40 ≤ │r│ ≤ 0,70)
Baixa correlação (│r│ ≤ 0,40)
De acordo com a direção da relação, ela pode ser classificada nos seguintes tipos:
Correlação positiva (r > 0)
Correlação negativa (r < 0)
Sem correlação (r = 0)
Na Tabela 1, pode-se ver que sete comportamentos, incluindo olhar ao redor (r = −0,834**, p < 0,05), usar celular (r = 0,591**, p < 0,05), discutir (r = 0,546, p < 0,05), andar ao redor (r = −0,774**, p < 0,05), anotar ou ler (r = 0,912**, p < 0,05), ouvir atentamente (r = −0,881**, p < 0,05) e dormir (r = −0,411**, p < 0,05), apresentaram alta ou média correlação com o engajamento comportamental, enquanto comportamentos como comer ou beber (r = 0,319**, p = 0,04), levantar-se (para responder uma pergunta) (r = 0,330**, p = 0,00), bocejar (r = −0,335**, p < 0,05), errar (r = 0,293, p > 0,05) e usar computador (r = 0,362, p < 0,05) apresentaram baixa ou nenhuma correlação com o engajamento comportamental. Com base na análise de correlação, este estudo identificou sete comportamentos como indicadores de engajamento na aprendizagem, a saber: olhar ao redor, usar o celular, discutir, circular, anotar ou ler, ouvir atentamente e dormir.
Estabelecimento do conjunto de dados
Os dados em vídeo usados neste estudo foram coletados da plataforma de gravação direta do SDUST, que forneceu vídeos sincronizados do ensino real em sala de aula do curso "Academic English". Dez vídeos de quatro turmas de alunos que não eram estudantes de inglês foram coletados, cada um com aproximadamente 50 minutos de duração, para estabelecer um conjunto de dados treinável do comportamento dos alunos em sala de aula. Com um quadro desenhado a cada 15 s, 2.000 imagens eram extraídas com resolução de 1.920 × 1.080.
Divisão do conjunto de dados
O experimento dividiu o conjunto de dados de comportamento do aluno em duas partes completamente independentes: um conjunto de treinamento e um conjunto de teste, conforme mostrado na Tabela 3, sem imagens compartilhadas. O conjunto de dados cobriu todos os sete comportamentos dos alunos. O conjunto de treinamento e o conjunto de teste foram usados para parâmetros do modelo de treinamento e avaliação da precisão, respectivamente. Os parâmetros de treinamento foram definidos conforme mostrado na Tabela 4.
| Conjunto de dados | Número de imagens |
| Total | 2830 |
| Conjunto de treinamento | 2111 |
| Conjunto de testes | 719 |
Tabela 3: Divisão do conjunto de dados de comportamento dos alunos.
| Parâmetro | Valor |
| Taxa de aprendizado | 0.01 |
| Momentum | 0.937 |
| Decaimento do peso | 0.0005 |
| Época | 100 |
| Tamanho do lote | 16 |
Tabela 4: Definição dos parâmetros experimentais.
Para evitar vazamentos de dados causados pelo mesmo aluno aparecendo em subconjuntos diferentes e preservar a continuidade temporal natural dos comportamentos, foi adotado um método chamado "Estratificado Temporal Split".
Disjunção do sujeito: O conjunto de dados foi particionado por IDs únicos de alunos, garantindo que os alunos dos conjuntos de treinamento, validação e teste fossem mutuamente exclusivos.
Particionamento temporal: Os vídeos foram organizados cronologicamente. Os primeiros 70% dos segmentos temporais foram usados para treinamento, os próximos 15% para validação e os últimos 15% para testes. Esse método simulava melhor a generalização temporal do mundo real em comparação com a divisão aleatória.
Balanceamento de classes: Para categorias sub-representadas como "dormindo" e "usando celular", uma sobreamostragem moderada foi aplicada dentro do conjunto de treinamento para garantir que o modelo aprendesse características de todas as categorias.
Anotação do conjunto de dados de treinamento
Uma ferramenta de anotação de código aberto foi usada para anotar manualmente os dados de treinamento. A ferramenta era empregada para anotação de caixas delimitadoras. O fluxo de trabalho específico era o seguinte: (1) Quadros-chave eram extraídos a uma taxa fixa (1 quadro/s) a partir de vídeos de vigilância cobrindo diferentes escolas, horários e tipos de cursos, seguidos por processamento de anonimização, como desfoque facial; (2) Seguindo o SOP de anotação, os anotadores usaram caixas retangulares para delimitar precisamente o aluno realizando um comportamento específico e atribuíram o rótulo de categoria correspondente; (3) As anotações eram exportadas como arquivos XML no formato PASCAL VOC.
Para garantir a qualidade do rótulo, especialmente para evitar erros na distinção de comportamentos ambíguos (por exemplo, discutir vs. errar), foi implementado um mecanismo colaborativo de "Anotação-Arbitragem em Três Estágios":
Anotação inicial: Cada quadro-chave era anotado independentemente por três anotadores treinados. Cada rótulo consiste em um rótulo de categoria e uma caixa delimitadora.
Verificação de consistência: A interseção sobre a União e a consistência de categorias entre anotações foram calculadas. Caixas delimitadoras, que são os resultados de anotações iniciais com IoU > 0,8 e rótulos de categoria idênticos, eram consideradas "anotações consistentes". Caixas delimitadoras com IoU ≤ 0,8 ou rótulos de categoria não idênticos eram consideradas "anotações inconsistentes".
Arbitragem de especialistas: Para anotações inconsistentes (por exemplo, casos ambíguos como "olhando ao redor" vs. "discutindo"), um painel de especialistas com experiência em ensino tomou a decisão final com base no clipe de vídeo, no contexto comportamental e no conhecimento pedagógico prévio. A determinação final é feita verificando a precisão do rótulo por meio da inspeção do segmento de vídeo de origem do quadro-chave.
A anotação revelou que os comportamentos dos alunos foram caracterizados por múltiplos, intensivos e pequenos alvos, como mostrado na Figura 3.
Figura 3. Um exemplo de anotação de imagens de sala de aula. Por favor, clique aqui para ver uma versão ampliada desta figura.
Os alunos em sala apresentaram comportamentos como ouvir atentamente, usar o celular e ler ou fazer anotações com frequência, enquanto a frequência de andar, andar, etc., era relativamente baixa. A Figura 4 mostra a distribuição dos comportamentos em sala de aula no conjunto de dados de treinamento.
Figura 4. Distribuição de comportamentos no conjunto de dados de treinamento. Por favor, clique aqui para ver uma versão ampliada desta figura.
Detecção dos comportamentos dos alunos
Os frameworks de detecção de objetos baseados em aprendizado profundo foram divididos principalmente em duascategorias: 22: métodos de dois estágios, representados pela série Faster R-CNN, e métodos de um estágio, representados pelo YOLO. Para a primeira categoria, os métodos de detecção em dois estágios primeiro geraram propostas de região usando uma Rede de Propostas de Região (RPN) antes de realizar cálculos detalhados de probabilidade de classe e regressão em caixas limitantes. Para a segunda categoria, os métodos de um estágio simplificaram o processo de detecção ao prever simultaneamente classes de objetos e caixas delimitadoras em um único estágio. Embora os métodos de dois estágios tenham surgido mais cedo no desenvolvimento do campo, as abordagens de uma etapa ganharam popularidade devido à sua arquitetura simplificada e eficiência computacional. Para alcançar um reconhecimento de comportamento em sala de aula mais preciso e eficiente, este estudo selecionou algoritmos representativos de ambas as categorias, nomeadamente Faster R-CNN23,24 e YOLO-v525,26, para conduzir experimentos de detecção de comportamento em sala de aula, e comparou os resultados da detecção dos dois algoritmos antes de finalmente decidir qual será o algoritmo usado para detecção de comportamento neste estudo.
Para avaliar eficientemente os resultados experimentais, o foco foi colocado na precisão geral da detecção em relação ao custo de tempo de cada modelo algorítmico. Precisão Média Média (mAP) e tempo de treinamento (h) foram usados para medir os dois modelos.
Sete categorias de comportamentos foram detectadas para reconhecimento pelos dois métodos, e os valores médios de precisão da detecção (AP) foram registrados na Tabela 5. Entre elas, os YOLO-v5s superaram o Faster R-CNN na detecção de três categorias de ações, a saber: andar por aí, ouvir atentamente as aulas e usar celulares, com valores de AP de 100%, 62,7% e 31,8%, respectivamente.
| Modelo de Rede | Discutindo | Dando a volta | Ouvindo com atenção | Olhando ao redor | Dormindo | Anotações ou Leitura | Usando o Celular |
| R-CNN mais rápido | 32.6 | 99.5 | 45.4 | 9.3 | 22 | 52.6 | 26.8 |
| YOLO-v5s | 17.8 | 100 | 62.7 | 3.8 | 19 | 51 | 31.8 |
Tabela 5: A precisão média dos dois algoritmos para uma única classe.
O tempo de treinamento e a precisão média da detecção das duas redes clássicas de detecção no conjunto de teste com um IoU de 0,5 são mostrados na Tabela 6. Embora a rede Faster R-CNN tivesse maior precisão, seu tempo de duração era relativamente longo. Em comparação, os YOLO-v5 tinham um tempo de execução 30% menor com apenas 0,3% de redução na precisão, demonstrando uma melhoria maior na eficiência. Dada a necessidade de detecção em tempo real do comportamento dos alunos em sala de aula neste estudo, esperava-se que o tempo de treinamento para a rede fosse o mais curto possível. Considerando tanto a precisão da detecção quanto o custo de tempo dos modelos treinados no conjunto de treinamento, este artigo concluiu que o YOLO-v5s era mais adequado para a detecção de comportamento dos alunos em sala de aula.
| Modelo de Rede | h | mAP@0,5 (%) |
| R-CNN mais rápido | 2.88 | 41.17 |
| YOLO-v5s | 2.016 | 40.87 |
Tabela 6: Comparação do desempenho da detecção.
Portanto, o YOLO-v5s foi escolhido para realizar a detecção de comportamento em sala de aula neste estudo. Os resultados de detecção produzidos pelo YOLO-v5s são ilustrados na Figura 5, mostrando a detecção contínua de comportamento multi-alvo junto com os rótulos correspondentes.
Figura 5. Exemplos de resultados de detecção do conjunto de teste. Por favor, clique aqui para ver uma versão ampliada desta figura.
(1) Aumento e pré-processamento de dados
Para aumentar a robustez e generalização do modelo, foi empregada uma estratégia composta de aumento de dados durante o treinamento, incluindo transformações afins aleatórias, jitter de cor e oclusão aleatória. Todas as imagens foram redimensionadas uniformemente para 640 × 640 pixels.
(2) Estratégia de treinamento
O processo de treinamento foi dividido em três fases:
Fase da Espinha Dorsal Congelada (Épocas 1-100): A rede da espinha dorsal foi congelada, e apenas a cabeça de detecção foi treinada, usando uma baixa taxa de aprendizado para aquecimento.
Fase Completa de Ajuste Fino da Rede (Épocas 101-250): Todas as camadas de rede foram descongeladas. Um agendador de recozimento cosseno ajustava a taxa de aprendizado.
Fase de Refinamento (Épocas 251-300): A Média Móvel Exponencial foi aplicada para estabilizar o treinamento, e a intensidade do aumento de dados foi reduzida para o refinamento do modelo.
Para corrigir o desequilíbrio de classes, pesos específicos de classe inversamente proporcionais às suas frequências no conjunto de treinamento foram aplicados à função de perda.
(3) Pós-processamento e otimização temporal
Para manter a consistência temporal nos comportamentos em sala de aula, um filtro de consistência temporal foi aplicado após a inferência do modelo. Especificamente, para um alvo detectado em uma sequência de vídeo, sua categoria de comportamento precisava ser identificada em pelo menos três quadros consecutivos para ser confirmada, filtrando efetivamente falsos positivos transitórios.
Estabelecimento do método de pontuação de engajamento comportamental
Este estudo utilizou o método de grupos focais para atribuir pontuações a cada comportamento. Vinte professores universitários de primeira linha foram convidados a avaliar o engajamento das sete categorias de comportamento com base em sua experiência em gestão de sala de aula. Todos os 20 professores lecionavam há mais de 10 anos e ministravam uma ampla variedade de disciplinas em várias áreas. As pontuações de engajamento variaram de 0 a 3, com 0-1 indicando engajamento baixo, 1-2 indicando engajamento médio e 2-3 indicando engajamento alto. Se houve um alto grau de consistência (α > 0,8) nas avaliações de múltiplos avaliadores para um determinado tipo de comportamento, o engajamento desse comportamento foi medido pela média das avaliações individuais dos professores. As avaliações finais para cada tipo de comportamento estão apresentadas na Tabela 7.
| Tipo de comportamento | olhando ao redor | Usando o celular | discutindo | andando por aí | Anotações ou leitura | Ouvindo atentamente | Dormindo |
| Pontuação de engajamento | 0.9 | 1.2 | 1.9 | 0.6 | 2.7 | 2.8 | 0.2 |
Tabela 7: Avaliações de comportamento.
A fórmula para o engajamento comportamental de cada aluno é
ESi = engajamento comportamental do aluno, Sj = pontuação do comportamento, fj = frequência do comportamento j.
Assumindo que o número de comportamentos detectados por um aluno em uma turma era 100, incluindo 4 "discutindo", 68 "ouvindo atentamente", 25 "lendo/fazendo anotações" e 3 "observando ao redor", a pontuação geral de engajamento pessoal do aluno foi (1,9 × 4 + 2,8 × 68 + 2,7 × 25 + 0,9 × 3) / 100 = 2,68. Tomando toda a aula como referência, o engajamento comportamental foi dividido em quatro níveis de acordo com a divisão em intervalos iguais de uma escala de 0 a 3: uma pontuação abaixo de 0,75 foi definida como "não engajado", 0,76-1,5 como "levemente engajado", 1,6-2,25 como "engajado" e 2,26-3 como "muito engajado"; assim, o aluno foi avaliado como "muito engajado" na turma.
O engajamento comportamental de toda a turma referiu-se à média de pontuação de todos os alunos. A fórmula para o engajamento comportamental da turma é:
Ec = engajamento comportamental da turma, E S = engajamento comportamental de um determinado aluno, n = número de alunos
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Resultados
Ao detectar comportamentos e usar o modelo de pontuação, foi alcançada a medição automática do engajamento comportamental dos alunos. Tomando uma aula no vídeo como exemplo, o engajamento comportamental em tempo real de cada aluno poderia ser calculado com base nos resultados da detecção comportamental e no modelo de pontuação. A Figura 6 ilustra o engajamento comportamental de dois alunos nesta turma, exibindo seus níveis de engajamento em ...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Discussão
Este estudo realizou o reconhecimento e a medição automática do engajamento comportamental. Comparado a estudos anteriores, os comportamentos identificados foram mais representativos das salas de aula universitárias (como o uso de celular), e a avaliação do engajamento comportamental foi apresentada em figuras, tornando intuitiva a visualização. Essa abordagem automática de medição permitiu que os professores avaliassem de forma eficiente e clara o engajamento dos alunos individualmente,...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Divulgações
Os autores não têm conflitos de interesse a declarar.
Agradecimentos
Esta pesquisa foi apoiada pelo Programa de Planejamento de Ciências Sociais de Shandong (23CRWJ11).
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Materiais
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| Vídeos em sala de aula | Os dados em vídeo usados neste estudo são coletados da plataforma de gravação direta da Universidade de Ciência e Tecnologia de Shandong (SDUST), que são vídeos sincronizados do ensino real em sala de aula do curso de Inglês Acadêmico. 30 vídeos de 6 turmas de alunos que não eram de inglês foram coletados, com cerca de 50 minutos cada, para estabelecer um conjunto de dados treinável dos alunos Comportamento em sala de aula. | ||
| IBM SPSS Estatísticas 26 | IBM | SPSS para Windows é um pacote modular de software que integra funções de entrada de dados, organização e análise. Suas funções básicas incluem gerenciamento de dados, análise estatística, análise de gráficos, gestão de resultados, entre outros. O SPSS é usado principalmente para análise de consistência e análise de correlação neste artigo. | |
| Rotulagem 1.8.6 | A rotulagem é uma ferramenta visual de anotação de imagens. Ele é escrito em Python e utiliza Qt como interface gráfica. As anotações são salvas como arquivos XML no formato PASCAL VOC, que é usado pelo ImageNet. Além disso, suporta o formato YOLO. Ele é usado para conjuntos de dados necessários para redes de detecção de objetos, como Faster R-CNN, YOLO e SSD, para anotar objetos em imagens. | ||
| MMDetection 2.22.0 | MMDetection, 2.22.0, MMDetection é uma caixa de ferramentas de detecção de objetos que inclui métodos ricos de detecção de objetos, segmentação de instâncias e segmentação panorâmica, além de componentes e módulos relacionados. |
Referências
- Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: potential of the concept, state of the evidence. Rev Educ Res. 74 (1), 59-109 (2004).
- Xu, J. F., Qiu, Y. J. Development and validation of an online English learning engagement scale for college students. Foreign Lang Their Teach. 42 (1), 39-50 (2025).
- Xing, C. B., Xu, M. B. Higher education expansion, teacher–student ratio and education quality. Econ Educ Rev. 8 (1), 59-88 (2023).
- Li, X., Li, Y. Y., Bao, H. G., Cheng, L. New developments in learning engagement evaluation: from one-dimensional analysis to multimodal fusion. Res Audiovis Educ. 42 (10), 100-107 (2021).
- Finn, J. D., Pannozzo, G. M., Voelkl, K. E. Disruptive and inattentive-withdrawn behavior and achievement among fourth graders. Elem Sch J. 95 (5), 421-434 (1995).
- Finn, J. D., Rock, D. A. Academic success among students at risk for school failure. J Appl Psychol. 82 (2), 221-234 (1997).
- Skinner, E. A., Belmont, M. J. Motivation in the classroom: reciprocal effects of teacher behavior and student engagement across the school year. J Educ Psychol. 85 (4), 571-581 (1993).
- Whitehill, J., Serpell, Z., Lin, Y. C., Foster, A., Movellan, J. R. The faces of engagement: automatic recognition of student engagement from facial expressions. IEEE Trans Affect Comput. 5 (1), 86-98 (2014).
- Deng, W., Xia, L. J., Liu, Q. T., Zhang, S., Wei, Y. T. Analysis of distance classroom learning engagement based on video recognition. J Contin High Educ. 35 (6), 15-24 (2022).
- Designing an empirical framework to measure the level of interest of humans. Rahman, M., et al. Proc Int Conf Electr Inf Commun Technol (EICT), , 581-585 (2015).
- Zaletelj, J., Košir, A. Predicting students’ attention in the classroom from Kinect facial and body features. EURASIP J Image Video Process. 2017 (1), 80-82 (2017).
- Sukumaran, A., Manoharan, A. Student engagement recognition: comprehensive analysis through EEG and verification by image traits using deep learning techniques. IEEE Access. 13 (1), 11639-11662 (2025).
- Unobtrusive students’ engagement analysis in computer science laboratories using deep learning techniques. Ashwin, T. S., Guddeti, R. M. R. Proc IEEE Int Conf Adv Learn Technol (ICALT), , 436-440 (2018).
- Bai, J., et al. Detection of students’ classroom performance based on Faster R-CNN and transfer learning with multi-channel feature fusion. J Guangxi Norm Univ Nat Sci Ed. 38 (5), 1-11 (2020).
- Ouyang, W. X., Fan, W. S., Chen, L. W. Classroom head-up and head-down behavior recognition based on YOLOv5. Comput Knowl Technol. 19 (29), 9-12 (2023).
- Classroom behavior recognition and detection based on deep learning. Zhang, J. P., Zhang, Z. Y., Guan, L. T., Hu, H. M. Proc Int Conf Comput Vis Image Deep Learn (CVIDL), , 430-433 (2024).
- Yan, X. Y., Kuang, Y. X., Bai, G. R., Li, Y. Student classroom behavior recognition based on deep learning. Comput Eng. 49 (7), 251-258 (2023).
- Tan, S. Y., Wang, Z. X., He, G. D. Real-time panoramic multi-scale classroom behavior recognition based on the CA-YOLOv9 network. Mod Educ Technol. 34 (7), 123-130 (2024).
- Wang, S. B., Lin, Z. J., Huang, J., Ju, J. H. A real-time network-based method for analyzing student classroom behavior. J Zhejiang Univ Sci Technol. 37 (3), 259-269 (2025).
- Ren, Q. M. Formulation and verification of a multidimensional evaluation scale for student engagement in college English classrooms. Shandong Foreign Lang Teach. 43 (4), 58-66 (2022).
- Cronbach, L. J. Coefficient alpha and the internal structure of tests. Psychometrika. 16 (3), 297-334 (1951).
- Zhou, J. Y., Zhao, Y. M. Application of convolutional neural networks in image classification and object detection. Comput Eng Appl. 53 (13), 34-41 (2017).
- Fast R-CNN. Girshick, R. Proc IEEE Int Conf Comput Vis, , 91-99 (2015).
- Ren, S. P., He, K. M., Girshick, R., Sun, J. Faster R-CNN: toward real-time object detection with region proposal networks. Adv Neural Inf Process Syst (NeurIPS). 29, 91-99 (2016).
- Multiple object tracking based on YOLOv5 and an optimized DeepSORT algorithm. Bai, T. J Phys Conf Ser, 2547 (1), 012001(2023).
- Wang, Y. P., Chi, Z. Z., Liu, M., Li, G., Ding, S. High-performance lightweight fall detection using an improved YOLOv5s algorithm. Machines. 11 (8), 818(2023).
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.