Name: Sistema baseado em inteligência artificial para detectar níveis de atenção em alunos (Vídeo) | JoVE Journal
Uploaded: 2023-12-15T14:10:00.000+00:00
Duration: 6 min 37 s
Description: Descubra como algoritmos de inteligência artificial detectam níveis de atenção de alunos em tempo real usando classificação de imagens e estimativa de pose. Este método auxilia professores a otimizar estratégias de ensino e melhorar o engajamento educacional.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Este trabalho foi desenvolvido com financiamento do Programa Prometeo, projeto ID CIPROM/2021/017. A Prof. Rosabel Roig é a presidente da UNESCO "Educação, Pesquisa e Inclusão Digital".

O protocolo a seguir segue as diretrizes do comitê de ética em pesquisa com seres humanos da Universidade de Alicante com o número de protocolo aprovado UA-2022-11-12. O consentimento informado foi obtido de todos os participantes para este experimento e para usar os dados aqui.
1. Configuração de hardware, software e classe
<ol><li>Defina um roteador com recursos WiFi (os experimentos foram realizados usando um DLink DSR 1000AC) no local desejado para que seu alcance cubra toda a sala. Aqui, foram cobertas salas de aula de 25 m2 com 30 alunos.</li>
	<li>Defina um smartwatch (aqui Samsung Galaxy Smartwatch 5) e uma câmera (aqui câmeras Logitech C920) para cada local do aluno. Defina um dispositivo incorporado para cada dois alunos. Fixe duas câmeras em dois tripés e conecte-as a outro dispositivo incorporado (doravante denominadas câmeras zenitais).</li>
	<li>Conecte as câmeras aos dispositivos incorporados correspondentes com um link USB e ligue-os. Ligue os smartwatches também. Conecte todos os dispositivos embarcados e smartwatch à rede WiFi do roteador configurado na etapa 1.1.</li>
	<li>Coloque as câmeras no canto da mesa de cada aluno e aponte-as para a frente e ligeiramente inclinadas para cima para que o rosto do aluno fique claramente visível nas imagens.</li>
	<li>Coloque os dois tripés com as câmeras na frente das mesas mais próximas dos corredores na primeira fila de assentos da sala de aula. Mova o elevador do tripé para a posição mais alta para que as câmeras possam visualizar claramente a maioria dos alunos. Cada dispositivo incorporado será capaz de gerenciar um ou dois alunos, juntamente com suas respectivas câmeras e relógios. A configuração é representada na Figura 1.</li>
	<li>Execute o software de captura nos smartwatches e nos dispositivos incorporados para que eles estejam prontos para enviar as imagens e os dados de acelerômetro, giroscópio, frequência cardíaca e iluminação. Execute o software do servidor que coleta os dados e os armazena. Um diagrama de todos esses elementos pode ser visto na Figura 2.</li>
	<li>Certifique-se de que as câmeras zenitais dominem a cena para que tenham uma visão clara dos corpos dos alunos. Coloque uma câmera individual adicional na frente de cada aluno.</li>
	<li>Deixe os alunos sentarem-se em seus lugares, informe-os sobre os objetivos do experimento e instrua-os a usar os smartwatches na mão dominante e a não interagir com nenhum dos elementos da configuração.</li>
	<li>Inicie a captura e coleta dos dados no servidor e retome as aulas como de costume.</li>
</ol><img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/65931/65931fig01.jpg"> Figura 1: Pipeline de hardware e dados. Os dados das câmeras e smartwatches são coletados e alimentados nos algoritmos de aprendizado de máquina para serem processados. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig01large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/65931/65931fig02.jpg"> Figura 2: Posição dos sensores, professor e alunos. Diagrama mostrando as posições das câmeras, smartwatches e GUI na sala de aula com o professor e os alunos. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig02large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
2. Pipeline de captura e processamento de dados
NOTA: Todas essas etapas são executadas automaticamente pelo software de processamento implantado em um servidor. A implementação utilizada para os experimentos neste trabalho foi escrita em Python 3.8.
<ol><li>Colete os dados necessários reunindo todas as imagens e dados biométricos do smartwatch para cada aluno e crie um quadro de dados que inclua dados de 1 s. Este quadro de dados é composto por uma imagem da câmera individual, uma imagem de cada câmera zenital (duas neste caso), cinquenta registros dos três valores do giroscópio, cinquenta registros dos três valores do acelerômetro, um valor de frequência cardíaca e um valor de condição de luz.</li>
	<li>Para calcular a direção da cabeça, o primeiro passo é usar a webcam apontada para o rosto do aluno e recuperar uma imagem. Em seguida, essa imagem é processada pelo algoritmo de estimativa de pontos de referência BlazeFace17 . A saída de tal algoritmo é uma lista de pontos-chave 2D correspondentes a áreas específicas do rosto.</li>
	<li>Usando a posição estimada dos olhos, nariz, boca e queixo fornecida pelo algoritmo, resolva o problema de perspectiva n-point usando o método cv::SolvePnPMethod da biblioteca OpenCV, uma configuração de rosto canônica. A matriz de rotação que define a direção da cabeça é obtida como resultado deste procedimento.</li>
	<li>Calcule a pose do corpo encaminhando a imagem zenital do quadro de dados no qual o aluno é representado para o algoritmo de estimativa de ponto de referência BlazePose18 e recupere uma lista de coordenadas 2D das articulações do corpo representado na imagem. Esta lista de pontos de referência descreve a pose do aluno. NOTA: A postura do corpo é importante, pois pode representar com precisão o envolvimento de um aluno com diferentes atividades durante a aula. Por exemplo, se o aluno estiver sentado naturalmente com as mãos na mesa, isso pode significar que ele está fazendo anotações. Por outro lado, se eles estão movendo continuamente os braços, isso pode significar que estão falando com alguém.</li>
	<li>Obtenha a imagem do rosto do aluno e execute o pré-processamento de alinhamento. Recupere os pontos-chave dos olhos da lista calculada na etapa 2.3 e projete-os no plano da imagem para que a posição dos olhos seja obtida.</li>
	<li>Trace um vetor virtual que une a posição de ambos os olhos. Calcule o ângulo entre esse vetor e a linha horizontal e construa uma matriz de homografia para aplicar o ângulo reverso à imagem e aos pontos-chave para que os olhos fiquem alinhados horizontalmente.</li>
	<li>Corte o rosto usando os pontos-chave para detectar seus limites e alimente o adesivo na rede neural convolucional de detecção de emoções19. Recupere a saída da rede, que é um vetor com 7 posições, cada posição dando a probabilidade do rosto mostrar uma das sete emoções básicas: neutro, feliz, enojado, zangado, assustado, surpreso e triste.</li>
	<li>Meça o nível de atenção obtendo os dados do acelerômetro, giroscópio e frequência cardíaca do quadro de dados (Figura 3).</li>
	<li>Alimente o modelo baseado em aprendizado profundo que foi personalizado e treinado do zero descrito nos resultados representativos com o fluxo de dados do acelerômetro e do giroscópio. Recupere a saída do modelo, que é um vetor com 4 posições, cada posição dando a probabilidade de os dados representarem uma das seguintes ações possíveis: escrever à mão, digitar em um teclado, usar um telefone celular ou descansar, conforme mostrado na Figura 4.</li>
	<li>Alimente o classificador de atenção final com uma linearização de todos os resultados dos sistemas anteriores, mesclando a direção da cabeça, a saída de reconhecimento de emoções, a pose do corpo e os dados do giroscópio, acelerômetro e frequência cardíaca. Recupere os resultados deste classificador final, que é uma pontuação de 0 a 100. Classifique esse valor contínuo em uma das três categorias distintas possíveis de atenção: baixo nível de atenção (0-40%), nível médio de atenção (40%-75%) e alto nível de atenção (75% - 100%). A estrutura do conjunto de dados gerado é mostrada na Tabela 1.</li>
	<li>Mostre os resultados dos níveis de atenção ao professor usando a interface gráfica do usuário (GUI) do computador do professor, acessível a partir de um navegador da web comum.</li>
</ol><img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/65931/65931fig03.jpg"> Figura 3: Dados capturados pelo smartwatch. O smartwatch fornece um giroscópio, acelerômetro, frequência cardíaca e condição de luz como fluxos de dados. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig03large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>
<img alt="Figure 4" class="xfigimg" src="/files/ftp_upload/65931/65931fig04.jpg"> Figura 4: Exemplos das categorias consideradas pelo modelo de reconhecimento de atividade. Quatro ações diferentes são reconhecidas pelo modelo de reconhecimento de atividades: caligrafia, digitação em um teclado, uso de um smartphone e posição de repouso. <a href="https://www.jove.com/files/ftp_upload/65931/65931fig04large.jpg" target="_blank">Clique aqui para ver uma versão maior desta figura.</a>

Aprimorando o envolvimento em sala de aula: análise baseada em IA dos níveis de atenção dos alunos

<ol><li>Hasnine, M. N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Students%27+emotion+extraction+and+visualization+for+engagement+detection+in+online+learning%5BTitle%5D)+AND+%22Procedia+Comp+Sci%22%5BJournal%5D)">Students' emotion extraction and visualization for engagement detection in online learning.</a> Procedia Comp Sci. 192, 3423-3431 (2021).</li>
<li>Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Emotion+recognition+and+artificial+intelligence%3A+A+systematic+review+%282014-2023%29+and+research+recommendations%5BTitle%5D)+AND+%22Info+Fusion%22%5BJournal%5D)">Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations.</a> Info Fusion. 102, 102019(2024).</li>
<li>Bosch, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+student+engagement%3A+Human+versus+machine%5BTitle%5D)+AND+%22UMAP+%2716%3A+Proc+the+2016+Conf+User+Model+Adapt+Personal%22%5BJournal%5D)">Detecting student engagement: Human versus machine.</a> UMAP '16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).</li>
<li>Araya, R., Sossa-Rivera, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+detection+of+gaze+and+body+orientation+in+elementary+school+classrooms%5BTitle%5D)+AND+%22Front+Robot+AI%22%5BJournal%5D)">Automatic detection of gaze and body orientation in elementary school classrooms.</a> Front Robot AI. 8, 729832(2021).</li>
<li>Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Harnessing+commodity+wearable+devices+for+capturing+learner+engagement%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Harnessing commodity wearable devices for capturing learner engagement.</a> IEEE Access. 7, 15749-15757 (2019).</li>
<li>Vanneste, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+vision+and+human+behaviour%2C+emotion+and+cognition+detection%3A+A+use+case+on+student+engagement%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement.</a> Mathematics. 9 (3), 287(2021).</li>
<li>Ma, X., Xu, M., Dong, Y., Sun, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+student+engagement+in+online+learning+environment+based+on+neural+Turing+machine%5BTitle%5D)+AND+%22Int+J+Info+Edu+Tech%22%5BJournal%5D)">Automatic student engagement in online learning environment based on neural Turing machine.</a> Int J Info Edu Tech. 11 (3), 107-111 (2021).</li>
<li>Wood, E., Bulling, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EyeTab%3A+model-based+gaze+estimation+on+unmodified+tablet+computers%5BTitle%5D)+AND+%22ETRA+%2714%3A+Proc+Symp+Eye+Tracking+Res+Appl%22%5BJournal%5D)">EyeTab: model-based gaze estimation on unmodified tablet computers.</a> ETRA '14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).</li>
<li>Sanghvi, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+analysis+of+affective+postures+and+body+motion+to+detect+engagement+with+a+game+companion%5BTitle%5D)+AND+%22HRI+%2711%3A+Proc+6th+Int+Conf+Human-robot+Interact%22%5BJournal%5D)">Automatic analysis of affective postures and body motion to detect engagement with a game companion.</a> HRI '11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).</li>
<li>Gupta, S., Kumar, P., Tekchandani, R. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Facial+emotion+recognition+based+real-time+learner+engagement+detection+system+in+online+learning+context+using+deep+learning+models%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models.</a> Multimed Tools Appl. 82 (8), 11365-11394 (2023).</li>
<li>Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Student+behavior+analysis+to+measure+engagement+levels+in+online+learning+environments%5BTitle%5D)+AND+%22Signal+Image+Video+Process%22%5BJournal%5D)">Student behavior analysis to measure engagement levels in online learning environments.</a> Signal Image Video Process. 15 (7), 1387-1395 (2021).</li>
<li>Belle, A., Hargraves, R. H., Najarian, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automated+optimal+engagement+and+attention+detection+system+using+electrocardiogram%5BTitle%5D)+AND+%22Comput+Math+Methods+Med%22%5BJournal%5D)">An automated optimal engagement and attention detection system using electrocardiogram.</a> Comput Math Methods Med. 2012, 528781(2012).</li>
<li>Alban, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Heart+rate+as+a+predictor+of+challenging+behaviours+among+children+with+autism+from+wearable+sensors+in+social+robot+interactions%5BTitle%5D)+AND+%22Robotics%22%5BJournal%5D)">Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions.</a> Robotics. 12 (2), 55(2023).</li>
<li>Kajiwara, Y., Shimauchi, T., Kimura, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+emotion+and+engagement+of+workers+in+order+picking+based+on+behavior+and+pulse+waves+acquired+by+wearable+devices%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices.</a> Sensors. 19 (1), 165(2019).</li>
<li>Personalizing a smartwatch-based gesture interface with transfer learning. Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, , 2530-2534 (2014).</li>
<li>Mekruksavanich, S., Jitpattanakul, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+convolutional+neural+network+with+RNNs+for+complex+activity+recognition+using+wrist-worn+wearable+sensor+data%5BTitle%5D)+AND+%22Electronics%22%5BJournal%5D)">Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data.</a> Electronics. 10 (14), 1685(2021).</li>
<li>Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazeFace%3A+Sub-millisecond+Neural+Face+Detection+on+Mobile+GPUs%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs.</a> arXiv. , (2019).</li>
<li>Bazarevsky, V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazePose%3A+On-device+Real-time+Body+Pose+tracking%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazePose: On-device Real-time Body Pose tracking.</a> arXiv. , (2020).</li>
<li>Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Towards+a+better+performance+in+facial+expression+recognition%3A+a+data-centric+approach%5BTitle%5D)+AND+%22Comput+Intelligence+Neurosci%22%5BJournal%5D)">Towards a better performance in facial expression recognition: a data-centric approach.</a> Comput Intelligence Neurosci. , In press (2023).</li>
<li>El-Garem, A., Adel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applying+systematic+literature+review+and+Delphi+methods+to+explore+digital+transformation+key+success+factors%5BTitle%5D)+AND+%22Int+J+Eco+Mgmt+Engi%22%5BJournal%5D)">Applying systematic literature review and Delphi methods to explore digital transformation key success factors.</a> Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).</li>
<li>Using electroencephalography to determine student attention in the classroom. Indumathi, V., Kist, A. A. IEEE Global Engineering Education Conference (EDUCON, Kuwait, Kuwait, , 1-3 (2023).</li>
<li>Ma, X., Xie, Y., Wang, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+the+construction+and+application+of+teacher-student+interaction+evaluation+system+for+smart+classroom+in+the+post+COVID-19%5BTitle%5D)+AND+%22Studies+Edu+Eval%22%5BJournal%5D)">Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19.</a> Studies Edu Eval. 78, 101286(2023).</li>
<li>Andersen, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Constructing+Delphi+statements+for+technology+foresight%5BTitle%5D)+AND+%22Futures+Foresight+Sci%22%5BJournal%5D)">Constructing Delphi statements for technology foresight.</a> Futures Foresight Sci. 5 (2), e144(2022).</li>
<li>Khodyakov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Disciplinary+trends+in+the+use+of+the+Delphi+method%3A+A+bibliometric+analysis%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Disciplinary trends in the use of the Delphi method: A bibliometric analysis.</a> PLoS One. 18 (8), e0289009(2023).</li>
<li>Martins, A. I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Consensus+on+the+Terms+and+Procedures+for+Planning+and+Reporting+a+Usability+Evaluation+of+Health-Related+Digital+Solutions%3A+Delphi+Study+and+a+Resulting+Checklist%5BTitle%5D)+AND+%22J+Medical+Internet+Res%22%5BJournal%5D)">Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist.</a> J Medical Internet Res. 25, e44326(2023).</li>
<li>Dalmaso, M., Castelli, L., Galfano, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Social+modulators+of+gaze-mediated+orienting+of+attention%3A+A+review%5BTitle%5D)+AND+%22Psychon+Bull+Rev%22%5BJournal%5D)">Social modulators of gaze-mediated orienting of attention: A review.</a> Psychon Bull Rev. 27 (5), 833-855 (2020).</li>
<li>Klein, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+about+attention%3A+Successive+approximations+to+a+productive+taxonomy%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Thinking about attention: Successive approximations to a productive taxonomy.</a> Cognition. 225, 105137(2022).</li>
<li>Schindler, S., Bublatzky, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+and+emotion%3A+An+integrative+review+of+emotional+face+processing+as+a+function+of+attention%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Attention and emotion: An integrative review of emotional face processing as a function of attention.</a> Cortex. 130, 362-386 (2020).</li>
<li>Zaletelj, J., Košir, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+students%27+attention+in+the+classroom+from+Kinect+facial+and+body+features%5BTitle%5D)+AND+%22J+Image+Video+Proc%22%5BJournal%5D)">Predicting students' attention in the classroom from Kinect facial and body features.</a> J Image Video Proc. 80, (2017).</li>
<li>Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Pupillometry+as+an+integrated+readout+of+distinct+attentional+networks%5BTitle%5D)+AND+%22Trends+Neurosci%22%5BJournal%5D)">Pupillometry as an integrated readout of distinct attentional networks.</a> Trends Neurosci. 45 (8), 635-647 (2022).</li>
</ol>

Os autores declaram que não têm interesses financeiros concorrentes conhecidos ou relacionamentos pessoais que possam ter influenciado o trabalho relatado neste artigo.

Este trabalho apresenta um sistema que mede o nível de atenção de um aluno em sala de aula usando câmeras, smartwatches e algoritmos de inteligência artificial. Essas informações são posteriormente apresentadas ao professor para que ele tenha uma ideia do estado geral da turma.
Uma das principais etapas críticas do protocolo é a sincronização das informações do smartwatch com a imagem da câmera colorida, pois estas possuem frequências diferentes. Isso foi resolvido implantando framboesas como ...

Em ambientes educacionais modernos, avaliar com precisão e manter a atenção dos alunos é crucial para um ensino e aprendizagem eficazes. No entanto, os métodos tradicionais de medir o engajamento, como autorrelato ou observações subjetivas do professor, são demorados e propensos a vieses. Para enfrentar esse desafio, as técnicas de Inteligência Artificial (IA) surgiram como soluções promissoras para detecção automatizada de atenção. Um aspecto significativo da compreensão dos níveis de engajamento dos alunos é o reconhecimento de emoções1. Os sistemas de IA podem analisar expressões faciais para identificar emoções, como neutro, nojo, surpresa, tristeza, medo, felicidade e raiva2.
A direção do olhar e a postura corporal também são indicadores cruciais da atenção dos alunos3. Ao utilizar câmeras e algoritmos avançados de aprendizado de máquina, os sistemas de IA podem rastrear com precisão para onde os alunos estão olhando e analisar sua postura corporal para detectar sinais de desinteresse ou fadiga4. Além disso, a incorporação de dados biométricos aumenta a precisão e a confiabilidade da detecção de atenção5. Por meio da coleta de medições, como frequência cardíaca e níveis de saturação de oxigênio no sangue, por meio de smartwatches usados pelos alunos, é possível obter indicadores objetivos de atenção, complementando outras fontes de informação.
Este artigo propõe um sistema que avalia o nível de atenção de um indivíduo usando câmeras coloridas e outros sensores diferentes. Ele combina reconhecimento de emoções, análise da direção do olhar, avaliação da postura corporal e dados biométricos para fornecer aos educadores um conjunto abrangente de ferramentas para otimizar o processo de ensino-aprendizagem e melhorar o envolvimento dos alunos. Ao empregar essas ferramentas, os educadores podem obter uma compreensão abrangente do processo de ensino-aprendizagem e aumentar o envolvimento dos alunos, otimizando assim a experiência educacional geral. Ao aplicar técnicas de IA, é possível avaliar automaticamente esses dados.
O principal objetivo deste trabalho é descrever o sistema que nos permite capturar toda a informação e, uma vez captada, treinar um modelo de IA que nos permita obter a atenção de toda a turma em tempo real. Embora outros trabalhos já tenham proposto a captação da atenção por meio de informações visuais ou emocionais6, este trabalho propõe o uso combinado dessas técnicas, o que proporciona uma abordagem holística para permitir o uso de técnicas de IA mais complexas e eficazes. Além disso, os conjuntos de dados até agora disponíveis estão limitados a um conjunto de vídeos ou a um conjunto de dados biométricos. A literatura não inclui conjuntos de dados que forneçam dados completos com imagens do rosto ou do corpo do aluno, dados biométricos, dados sobre a posição do professor, etc. Com o sistema aqui apresentado, é possível capturar esse tipo de conjunto de dados.
O sistema associa um nível de atenção a cada aluno em cada momento. Esse valor é um valor de probabilidade de atenção entre 0% e 100%, que pode ser interpretado como baixo nível de atenção (0%-40%), nível médio de atenção (40%-75%) e alto nível de atenção (75%-100%). Ao longo do texto, essa probabilidade de atenção é referida como o nível de atenção, atenção do aluno ou se os alunos estão distraídos ou não, mas todos estão relacionados ao mesmo valor de saída do nosso sistema.
Ao longo dos anos, o campo da detecção automática de engajamento cresceu significativamente devido ao seu potencial para revolucionar a educação. Os pesquisadores propuseram várias abordagens para esta área de estudo.
Ma et al.7 introduziram um novo método baseado em uma Máquina de Turing Neural para reconhecimento automático de engajamento. Eles extraíram certos recursos, como olhar, unidades de ação facial, pose da cabeça e pose do corpo, para criar uma representação abrangente do reconhecimento de engajamento.
O EyeTab8, outro sistema inovador, usou modelos para estimar para onde alguém está olhando com os dois olhos. Foi feito especialmente para funcionar sem problemas em um tablet padrão, sem modificações. Este sistema aproveita algoritmos conhecidos para processar imagens e analisar a visão computacional. Seu pipeline de estimativa do olhar inclui um detector ocular baseado em recursos semelhantes a Haar, bem como uma abordagem de ajuste de elipse limbus baseada em RANSAC.
Sanghvi et al.9 propõem uma abordagem que se baseia em técnicas baseadas na visão para extrair automaticamente características posturais expressivas de vídeos gravados em uma visão lateral, capturando o comportamento das crianças. É realizada uma avaliação inicial, envolvendo o treinamento de modelos de reconhecimento múltiplo usando expressões posturais afetivas contextualizadas. Os resultados obtidos demonstram que padrões de comportamento postural podem efetivamente predizer o envolvimento das crianças com o robô.
Em outros trabalhos, como Gupta et al.10, um método baseado em aprendizado profundo é empregado para detectar o engajamento em tempo real de alunos online, analisando suas expressões faciais e classificando suas emoções. A abordagem utiliza o reconhecimento de emoções faciais para calcular um índice de engajamento (IE) que prevê dois estados de engajamento: engajado e desengajado. Vários modelos de aprendizado profundo, incluindo Inception-V3, VGG19 e ResNet-50, são avaliados e comparados para identificar o modelo de classificação preditiva mais eficaz para detecção de engajamento em tempo real.
Em Altuwairqi et al.11, os pesquisadores apresentam uma nova abordagem multimodal automática para avaliar os níveis de engajamento dos alunos em tempo real. Para garantir medições precisas e confiáveis, a equipe integrou e analisou três modalidades distintas que capturam os comportamentos dos alunos: expressões faciais para emoções, pressionamentos de tecla do teclado e movimentos do mouse.
Guillén et al.12 propõem o desenvolvimento de um sistema de monitoramento que utiliza a eletrocardiografia (ECG) como sinal fisiológico primário para analisar e predizer a presença ou ausência de atenção cognitiva em indivíduos durante a realização de uma tarefa.
Alban et al.13 utilizam uma rede neural (NN) para detectar emoções, analisando os valores de frequência cardíaca (FC) e atividade eletrodérmica (EDA) de vários participantes nos domínios de tempo e frequência. Eles descobriram que um aumento na raiz quadrada média das diferenças sucessivas (RMSDD) e nos intervalos de desvio padrão normal a normal (SDNN), juntamente com uma diminuição na FC média, indicam atividade aumentada no sistema nervoso simpático, que está associado ao medo.
Kajiwara et al.14 propõem um sistema inovador que emprega sensores vestíveis e redes neurais profundas para prever o nível de emoção e engajamento dos trabalhadores. O sistema segue um processo de três etapas. Inicialmente, os sensores vestíveis capturam e coletam dados sobre comportamentos e ondas de pulso. Posteriormente, as características das séries temporais são calculadas com base nos dados comportamentais e fisiológicos adquiridos. Finalmente, as redes neurais profundas são usadas para inserir os recursos da série temporal e fazer previsões sobre as emoções e os níveis de engajamento do indivíduo.
Em outras pesquisas, como Costante et al.15, é proposta uma abordagem baseada em um novo algoritmo de aprendizado de métrica de transferência, que utiliza conhecimento prévio de um conjunto predefinido de gestos para aprimorar o reconhecimento de gestos definidos pelo usuário. Essa melhoria é alcançada com o mínimo de dependência de amostras de treinamento adicionais. Da mesma forma, uma estrutura de reconhecimento de atividade humana baseada em sensores16 é apresentada para abordar o objetivo do reconhecimento impessoal de atividades humanas complexas. Os dados de sinal coletados de sensores usados no pulso são utilizados na estrutura de reconhecimento de atividade humana desenvolvida, empregando quatro modelos DL baseados em RNN (Memórias de Longo e Curto Prazo, Memórias Bidirecionais de Longo e Curto Prazo, Unidades Recorrentes Fechadas e Unidades Recorrentes Fechadas Bidirecionais) para investigar as atividades realizadas pelo usuário do dispositivo vestível.

<table><tbody><tr><td>4 GPUs&nbsp; GPU NVIDIA TCSA40M-PB Nvidia A40 Ampere</td><td></td><td></td><td>para servidor de processamento de modelo centralizado</td></tr><tr><td>FusionServer 2288H V5</td><td>X-Fusion</td><td>02311XBK</td><td>Plataforma que inclui fonte de alimentação e placa-mãe para servidor de processamento de modelo centralizado</td></tr><tr><td>Cartão de memória Evo Plus 128 GB</td><td>Samsung</td><td>MB-MC128KA/EU</td><td>Cartão de memória para a operação do raspberry pi 4b 2gb.&nbsp; Um para cada framboesa.&nbsp;</td></tr><tr><td>RAM NEMIX - 512 GB Kit DDR4-3200 PC4-25600 8Rx4 EC</td><td>NEMIX</td><td>M393AAG40M32-CAE</td><td>RAM para servidor de processamento de modelo centralizado</td></tr><tr><td>Processador Intel Xeon Gold 6330</td><td>Intel</td><td>CD8068904572101</td><td>para servidor de processamento de modelo centralizado</td></tr><tr><td>Raspberry PI 4B 2GB</td><td>Raspberry</td><td>1822095</td><td>Servidor local que recebe solicitações dos relógios e as envia para o servidor geral. Um a cada dois alunos.</td></tr><tr><td>Samsung Galaxy Watch 5 (40mm)</td><td>Relógio Samsung</td><td>SM-R900NZAAPHE</td><td>que monitora a atividade de cada aluno. Para cada aluno.&nbsp;</td></tr><tr><td>Samsung MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5 polegadas Ssd Samsung</td><td></td><td>MZQL23T8HCLS-00B7C</td><td>Armazenamento interno para servidor de processamento de modelo centralizado</td></tr><tr><td>WebCam HD Pro C920 Webcam FullHD</td><td>Logitech</td><td>960-001055</td><td>Webcam HD. Um para cada aluno mais dois para poses de estudante.</td></tr></tbody></table>

sistema baseado em inteligência artificial para detectar níveis de atenção em alunos

Artificial Intelligence-Based System for Detecting Attention Levels in Students

O nível de atenção dos alunos em sala de aula pode ser melhorado por meio do uso de técnicas de Inteligência Artificial (IA). Ao identificar automaticamente o nível de atenção, os professores podem empregar estratégias para recuperar o foco dos alunos. Isso pode ser alcançado por meio de várias fontes de informação.
Uma fonte é analisar as emoções refletidas nos rostos dos alunos. A IA pode detectar emoções, como neutro, nojo, surpresa, tristeza, medo, felicidade e raiva. Além disso, a direção do olhar dos alunos também pode indicar seu nível de atenção. Outra fonte é observar a postura corporal dos alunos. Usando câmeras e técnicas de aprendizado profundo, a postura pode ser analisada para determinar o nível de atenção. Por exemplo, os alunos que estão curvados ou descansando a cabeça em suas carteiras podem ter um nível mais baixo de atenção. Os smartwatches distribuídos aos alunos podem fornecer dados biométricos e outros, incluindo frequência cardíaca e medições inerciais, que também podem ser usados como indicadores de atenção. Ao combinar essas fontes de informação, um sistema de IA pode ser treinado para identificar o nível de atenção na sala de aula. No entanto, a integração dos diferentes tipos de dados representa um desafio que requer a criação de um conjunto de dados rotulado. A contribuição de especialistas e os estudos existentes são consultados para uma rotulagem precisa. Neste artigo, propomos a integração de tais medições e a criação de um conjunto de dados e um potencial classificador de atenção. Para fornecer feedback ao professor, exploramos vários métodos, como smartwatches ou computadores diretos. Uma vez que o professor se conscientize dos problemas de atenção, ele pode ajustar sua abordagem de ensino para reengajar e motivar os alunos. Em resumo, as técnicas de IA podem identificar automaticamente o nível de atenção dos alunos, analisando suas emoções, direção do olhar, postura corporal e dados biométricos. Essas informações podem auxiliar os professores na otimização do processo de ensino-aprendizagem.

O público-alvo deste estudo são estudantes de graduação e mestrado, portanto, a principal faixa etária está entre 18 e 25 anos. Essa população foi selecionada porque pode lidar com dispositivos eletrônicos com menos distrações do que os alunos mais jovens. No total, o grupo incluiu 25 pessoas. Essa faixa etária pode fornecer os resultados mais confiáveis para testar a proposta.
Os resultados do nível de atenção mostrado ao professor têm 2 partes. A parte A do resultado mostra informações indiv...

Este artigo propõe um sistema baseado em inteligência artificial para detectar automaticamente se os alunos estão prestando atenção na aula ou se estão distraídos. Este sistema foi projetado para ajudar os professores a manter a atenção dos alunos, otimizar suas aulas e introduzir modificações dinamicamente para que sejam mais envolventes.

Sistema baseado em inteligência artificial para detectar níveis de atenção em alunos

The attention level of students in a classroom can be improved through the use of Artificial Intelligence (AI) techniques. By automatically identifying ...

Nossa pesquisa se concentra em explorar a viabilidade do uso de inteligência artificial para medir e detectar o nível de atenção do aluno em sala de aula. Estamos investigando se algoritmos e metodologias desenvolvidos sob medida podem avaliar efetivamente o envolvimento dos alunos durante as aulas. As abordagens mais recentes são baseadas em inteligência artificial.Especificamente, os algoritmos de aprendizado são o estado da arte. Esse tipo de algoritmo usa grandes quantidades de dados para treinar seus modelos internos e, em seguida, pode ser usado para classificar imagens, estimar a pose de uma pessoa ou realizar uma série de outras tarefas interessantes. Temos dois desafios críticos principais em nosso estudo.Primeiro, há questões técnicas que devem ser resolvidas. Por exemplo, como configurar os dispositivos, como estimar o movimento da imagem, a pose e o restante dos outros parâmetros que consideramos em nossa abordagem. E então há um ramo subjetivo, pois não está claro se todos os indivíduos expressam o nível de atenção da mesma maneira.O ponto mais forte do nosso sistema é que usamos uma abordagem multimodal. Analisamos diferentes entradas, emoção facial, pose do corpo, pose da cabeça, dados do acelerador e frequência cardíaca para classificar automaticamente o nível de atenção. Além disso, nossos métodos dependem fortemente da inteligência artificial, que tem sido usada com alto sucesso em outras áreas de pesquisa relacionadas.

artificial-intelligence-based-system-for-detecting-attention-levels

Research

JoVE Journal

Engineering

Engenharia

Para replicar as configurações de laboratório, os métodos de coleta de dados on-line para tarefas visuais exigem um controle rígido sobre a apresentação do estímulo. Descrevemos métodos para o uso de um aplicativo da web para coletar dados de desempenho em dois testes de atenção visual.

Métodos de Ensaio Visual Atenção online

A RT técnica passivation superfície do líquido para investigar a atividade de recombinação de defeitos de silício em massa é descrito. Para que a técnica seja bem sucedido, três passos críticos são necessários: (i) a limpeza química e corrosão de silício, (ii) a imersão de silício em 15% de ácido fluorídrico e (iii) iluminação durante 1 min.

Luz reforçada Passivation ácido fluorídrico: uma técnica sensível para a detecção de defeitos de silício em massa

Um scanner para imagiologia de partículas magnéticas nas amostras planas foi desenvolvido utilizando a frequência plana mistura técnica de detecção magnética. A resposta magnética produto de intermodulação da magnetização nonhysteretic não linear das partículas é gravada em cima de uma excitação de dois frequência. Ele pode ser usado para captar imagens 2D de amostras biológicas finas.

Frequência mistura Scanner Detecção magnética for Imaging Partículas Magnéticas em amostras Planar

Um protocolo para obtenção de um perfil de cloreto solúvel em água utilizando uma alta precisão, método de trituração é apresentado.

Detectando a distribuição de cloreto solúvel em água da pasta de cimento em uma maneira de alta precisão

É proposto um protocolo para avaliar soluções baseadas em wearables de pulso commercial-off-the-shelf (COTS) para estimar o stress em estudantes. O protocolo é realizado em duas fases, um teste de indução de estresse de base laboratorial inicial e uma fase de monitoramento ocorrendo na sala de aula, enquanto o estudante está realizando atividades acadêmicas.

Avaliação de Wearables Commercial-Off-The-Shelf pulso para estimar o Stress em estudantes

Aqui, apresentamos um protocolo para crescer LSMO nanopartículas e (Gd) BCO filmes em (001) SrTiO3 (STO) único-cristal substratos por rádio frequência (RF)-sputtering.

Rádio frequência Magnetron Sputtering do GdBa2Cu3O7−δ/ La0,67Sr0,33MnO BICAMADA de quase3 filmes em substratos de único-cristal SrTiO3 (STO)

Aqui, apresentamos um protocolo para construir um modelo matemático de nível de componente para um motor de ciclo variável.

Um método rápido para modelar um mecanismo de ciclo variável

Os nós de robôs distribuídos fornecem sequências de estímulos de luz azul para orientar as trajetórias de crescimento das plantas de escalada. Ao ativar o fototropismo natural, os robôs orientam as plantas através de decisões binárias de esquerda-direita, crescendo-as em padrões predefinidos que, por contraste, não são possíveis quando os robôs estão inativos.

Sensoriamento robótico e provisão de estímulos para crescimento de plantas guiadas

Este protocolo fornece uma lista detalhada de etapas a serem realizadas para a fabricação, controle e avaliação do desempenho de escalada de um robô macio inspirado em lagartixas.

Avaliação de fabricação, controle e desempenho de um robô macio inspirado em gecko

Este estudo introduz protocolos experimentais para um drone bio-híbrido de detecção de odor baseado em antenas de sedamoth. A operação de um dispositivo experimental de eletroantennograma com antenas de sedamoth é apresentada, além da estrutura de um drone bio-híbrido projetado para localização de fonte de odor usando o algoritmo de surto espiral.

Drone bio-híbrido de detecção de odor baseado em eletroantennografia usando antenas de seda para localização de fonte de odor

Descubra como algoritmos de inteligência artificial detectam níveis de atenção de alunos em tempo real usando classificação de imagens e estimativa de pose. Este método auxilia professores a otimizar estratégias de ensino e melhorar o engajamento educacional.

Sistema baseado em inteligência artificial para detectar níveis de atenção em alunos

Explorar mais vídeos