Name: 基于人工智能的系统，用于检测学生的注意力水平 (视频) | JoVE Journal
Uploaded: 2023-12-15T14:10:00.000+00:00
Duration: 6 min 37 s
Description: 了解如何使用人工智能算法实时检测学生注意力水平。本研究通过图像分类、姿态估计和多模态数据分析，帮助教师优化教学策略并提升课堂参与度。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作由Programa Prometeo资助，项目编号CIPROM/2021/017。Rosabel Roig教授担任联合国教科文组织&#34;教育、研究与数字包容&#34;主席。

本方案遵循阿利坎特大学人类研究伦理委员会的指导方针，批准方案编号为 UA-2022-11-12。本实验已获得所有参与者的知情同意，同意将其数据用于本研究。
1. 硬件、软件与课程设置
<ol>
	<li>在预定位置设置具备 WiFi 功能的路由器（实验中使用的是 DLink DSR 1000AC），确保其信号覆盖整个房间。此处覆盖的是面积为 25 m2、容纳 30 名学生的教室。</li>
	<li>为每个学生位置配备一块智能手表（本实验使用 Samsung Galaxy Smartwatch 5）和一台摄像头（本实验使用 Logitech C920 摄像头），每两名学生共用一台嵌入式设备。将两台摄像头固定在三脚架上，并连接至另一台嵌入式设备（下文称为顶视摄像头）。</li>
	<li>通过 USB 连接线将摄像头与对应的嵌入式设备连接并开启。同时开启智能手表。将所有嵌入式设备和智能手表连接至第 1.1 步中设置的路由器的 WiFi 网络。</li>
	<li>将摄像头放置在每名学生课桌的角落，朝前并略微向上倾斜，以确保学生面部在图像中清晰可见。</li>
	<li>将装有摄像头的两个三脚架放置在教室第一排最靠近过道的课桌前方。将三脚架升至最高位置，以便摄像头能够清晰地观察到大多数学生。每台嵌入式设备将负责管理一名或两名学生及其对应的摄像头和手表。该设置如图 1所示。</li>
	<li>在智能手表和嵌入式设备上运行采集软件，使其准备发送图像以及加速度计、陀螺仪、心率和光照数据。运行服务器端软件以收集并存储数据。所有这些组件的示意图如图 2所示。</li>
	<li>确保顶视摄像头主导场景，使其能够清晰地捕捉学生的身体。在每名学生前方额外放置一台独立摄像头。</li>
	<li>让学生就座，向他们说明实验目的，并指导他们将智能手表佩戴在惯用手腕上，且不得触碰或操作任何实验装置。</li>
	<li>在服务器端启动数据采集与收集，并照常恢复课堂教学。</li>
</ol>
<img alt="包含机器学习、摄像头、智能手表的课堂监控系统示意图；结果在图形用户界面中显示。" class="xfigimg" src="/files/ftp_upload/65931/65931fig01.jpg" data-altupdatedat="1788304762000" data-alt="图 1"> 
图 1：硬件与数据流程。 摄像头和智能手表采集的数据被输入至机器学习算法进行处理。<a href="https://www.jove.com/files/ftp_upload/65931/65931fig01large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="显示网络摄像头、智能手表、生物识别数据摄像头和学生工作站的教室示意图。" class="xfigimg" src="/files/ftp_upload/65931/65931fig02.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：传感器、教师和学生的位置。 示意图显示了教室中摄像头、智能手表和图形用户界面（GUI）相对于教师和学生的位置。<a href="https://www.jove.com/files/ftp_upload/65931/65931fig02large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
2. 捕获与数据处理流程
注意：所有这些步骤均由部署在服务器中的处理软件自动执行。本研究所用的实现基于 Python 3.8 编写。
<ol>
	<li>通过收集每位学生的智能手表中的所有图像和生物特征数据，获取所需数据，并构建一个包含1秒数据的数据框。该数据框包括来自个体摄像头的一张图像、来自每台顶视摄像头的各一张图像（本例中为两张）、五十条陀螺仪三轴数值记录、五十条加速度计三轴数值记录、一个心率值以及一个光照条件值。</li>
	<li>为计算头部朝向，首先使用对准学生面部的网络摄像头获取一张图像。然后，将该图像输入BlazeFace17关键点估计算法进行处理。该算法的输出是一组对应于面部特定区域的二维关键点列表。</li>
	<li>利用算法提供的双眼、鼻尖、嘴部和下巴的估计位置，采用OpenCV库中的cv::SolvePnPMethod方法求解透视n点问题，并基于标准人脸模型设定参数。由此过程得到定义头部方向的旋转矩阵。</li>
	<li>将数据框中包含学生的顶视图像输入BlazePose18关键点估计算法，以计算身体姿态，并获取图像中人体各关节的二维坐标列表。该关键点列表描述了学生的身体姿态。 
	注意：身体姿态对于准确反映学生在课堂活动中参与程度具有重要意义。例如，若学生自然地坐在座位上且双手置于桌面，可能表示其正在记笔记；而若其手臂持续移动，则可能表示其正在与他人交谈。</li>
	<li>获取学生面部图像并执行对齐预处理。从步骤2.3中计算得到的关键点列表中提取眼部关键点，并将其投影至图像平面，从而确定双眼在图像中的位置。</li>
	<li>绘制一条连接双眼位置的虚拟向量，计算该向量与水平线之间的夹角，并构建一个单应性矩阵，用以对图像及关键点施加反向角度变换，使双眼在图像中呈水平对齐状态。</li>
	<li>利用关键点检测面部边界并裁剪出面部区域，将该图像块输入情绪识别卷积神经网络19。从网络获取输出结果，该结果为一个包含7个元素的向量，每个元素表示面部呈现七种基本情绪之一的概率：中性、快乐、厌恶、愤怒、恐惧、惊讶和悲伤。</li>
	<li>通过从数据框中获取加速度计、陀螺仪和心率数据，测量注意力水平（图3）。</li>
	<li>将代表结果中所述的、从零开始定制构建并训练的深度学习模型，输入来自加速度计和陀螺仪数据流。获取模型输出，该输出为一个包含4个元素的向量，每个元素表示数据对应以下四种可能行为之一的概率：手写、键盘打字、使用手机或静止状态，如图4所示。</li>
	<li>将前述各系统结果（包括头部朝向、情绪识别输出、身体姿态以及陀螺仪、加速度计和心率数据）进行线性化合并后，输入最终的注意力分类器。获取该分类器的输出结果，即一个0到100之间的评分。将此连续值划分为三个可能的离散注意力等级：低注意力水平（0–40%）、中等注意力水平（40%–75%）和高注意力水平（75%–100%）。生成的数据集结构如表1所示。</li>
	<li>通过教师计算机上的图形用户界面（GUI），在常规网页浏览器中向教师展示注意力水平的分析结果。</li>
</ol>
<img alt="可穿戴传感器数据分析示意图：加速度计、陀螺仪、心率和光传感器图表。" class="xfigimg" src="/files/ftp_upload/65931/65931fig03.jpg" data-altupdatedat="1788304762000" data-alt="图 3"> 
图 3：智能手表采集的数据。 智能手表提供陀螺仪、加速度计、心率和光照条件等数据流。 <a href="https://www.jove.com/files/ftp_upload/65931/65931fig03large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="手腕活动；打字、书写、使用手机、智能手表。行为学研究设置，用户界面测试。" class="xfigimg" src="/files/ftp_upload/65931/65931fig04.jpg" data-altupdatedat="1788304762000" data-alt="图 4"> 
图 4：活动识别模型所考虑的类别示例。 活动识别模型可识别四种不同的动作：手写、键盘打字、使用智能手机以及静止状态。<a href="https://www.jove.com/files/ftp_upload/65931/65931fig04large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>

Enhancing Classroom Engagement: AI-Based Analysis of Student Attention Levels

<ol><li>Hasnine, M. N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Students%27+emotion+extraction+and+visualization+for+engagement+detection+in+online+learning%5BTitle%5D)+AND+%22Procedia+Comp+Sci%22%5BJournal%5D)">Students' emotion extraction and visualization for engagement detection in online learning.</a> Procedia Comp Sci. 192, 3423-3431 (2021).</li>
<li>Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., Acharya, U. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Emotion+recognition+and+artificial+intelligence%3A+A+systematic+review+%282014-2023%29+and+research+recommendations%5BTitle%5D)+AND+%22Info+Fusion%22%5BJournal%5D)">Emotion recognition and artificial intelligence: A systematic review (2014-2023) and research recommendations.</a> Info Fusion. 102, 102019(2024).</li>
<li>Bosch, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Detecting+student+engagement%3A+Human+versus+machine%5BTitle%5D)+AND+%22UMAP+%2716%3A+Proc+the+2016+Conf+User+Model+Adapt+Personal%22%5BJournal%5D)">Detecting student engagement: Human versus machine.</a> UMAP '16: Proc the 2016 Conf User Model Adapt Personal. , 317-320 (2016).</li>
<li>Araya, R., Sossa-Rivera, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+detection+of+gaze+and+body+orientation+in+elementary+school+classrooms%5BTitle%5D)+AND+%22Front+Robot+AI%22%5BJournal%5D)">Automatic detection of gaze and body orientation in elementary school classrooms.</a> Front Robot AI. 8, 729832(2021).</li>
<li>Lu, Y., Zhang, J., Li, B., Chen, P., Zhuang, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Harnessing+commodity+wearable+devices+for+capturing+learner+engagement%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Harnessing commodity wearable devices for capturing learner engagement.</a> IEEE Access. 7, 15749-15757 (2019).</li>
<li>Vanneste, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+vision+and+human+behaviour%2C+emotion+and+cognition+detection%3A+A+use+case+on+student+engagement%5BTitle%5D)+AND+%22Mathematics%22%5BJournal%5D)">Computer vision and human behaviour, emotion and cognition detection: A use case on student engagement.</a> Mathematics. 9 (3), 287(2021).</li>
<li>Ma, X., Xu, M., Dong, Y., Sun, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+student+engagement+in+online+learning+environment+based+on+neural+Turing+machine%5BTitle%5D)+AND+%22Int+J+Info+Edu+Tech%22%5BJournal%5D)">Automatic student engagement in online learning environment based on neural Turing machine.</a> Int J Info Edu Tech. 11 (3), 107-111 (2021).</li>
<li>Wood, E., Bulling, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((EyeTab%3A+model-based+gaze+estimation+on+unmodified+tablet+computers%5BTitle%5D)+AND+%22ETRA+%2714%3A+Proc+Symp+Eye+Tracking+Res+Appl%22%5BJournal%5D)">EyeTab: model-based gaze estimation on unmodified tablet computers.</a> ETRA '14: Proc Symp Eye Tracking Res Appl. , 207-210 (2014).</li>
<li>Sanghvi, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+analysis+of+affective+postures+and+body+motion+to+detect+engagement+with+a+game+companion%5BTitle%5D)+AND+%22HRI+%2711%3A+Proc+6th+Int+Conf+Human-robot+Interact%22%5BJournal%5D)">Automatic analysis of affective postures and body motion to detect engagement with a game companion.</a> HRI '11: Proc 6th Int Conf Human-robot Interact. , 205-211 (2011).</li>
<li>Gupta, S., Kumar, P., Tekchandani, R. K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Facial+emotion+recognition+based+real-time+learner+engagement+detection+system+in+online+learning+context+using+deep+learning+models%5BTitle%5D)+AND+%22Multimed+Tools+Appl%22%5BJournal%5D)">Facial emotion recognition based real-time learner engagement detection system in online learning context using deep learning models.</a> Multimed Tools Appl. 82 (8), 11365-11394 (2023).</li>
<li>Altuwairqi, K., Jarraya, S. K., Allinjawi, A., Hammami, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Student+behavior+analysis+to+measure+engagement+levels+in+online+learning+environments%5BTitle%5D)+AND+%22Signal+Image+Video+Process%22%5BJournal%5D)">Student behavior analysis to measure engagement levels in online learning environments.</a> Signal Image Video Process. 15 (7), 1387-1395 (2021).</li>
<li>Belle, A., Hargraves, R. H., Najarian, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+automated+optimal+engagement+and+attention+detection+system+using+electrocardiogram%5BTitle%5D)+AND+%22Comput+Math+Methods+Med%22%5BJournal%5D)">An automated optimal engagement and attention detection system using electrocardiogram.</a> Comput Math Methods Med. 2012, 528781(2012).</li>
<li>Alban, A. Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Heart+rate+as+a+predictor+of+challenging+behaviours+among+children+with+autism+from+wearable+sensors+in+social+robot+interactions%5BTitle%5D)+AND+%22Robotics%22%5BJournal%5D)">Heart rate as a predictor of challenging behaviours among children with autism from wearable sensors in social robot interactions.</a> Robotics. 12 (2), 55(2023).</li>
<li>Kajiwara, Y., Shimauchi, T., Kimura, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+emotion+and+engagement+of+workers+in+order+picking+based+on+behavior+and+pulse+waves+acquired+by+wearable+devices%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Predicting emotion and engagement of workers in order picking based on behavior and pulse waves acquired by wearable devices.</a> Sensors. 19 (1), 165(2019).</li>
<li>Personalizing a smartwatch-based gesture interface with transfer learning. Costante, G., Porzi, L., Lanz, O., Valigi, P., Ricci, E. 22nd European Signal Processing Conference (EUSIPCO), Lisbon, Portugal, , 2530-2534 (2014).</li>
<li>Mekruksavanich, S., Jitpattanakul, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+convolutional+neural+network+with+RNNs+for+complex+activity+recognition+using+wrist-worn+wearable+sensor+data%5BTitle%5D)+AND+%22Electronics%22%5BJournal%5D)">Deep convolutional neural network with RNNs for complex activity recognition using wrist-worn wearable sensor data.</a> Electronics. 10 (14), 1685(2021).</li>
<li>Bazarevsky, V., Kartynnik, Y., Vakunov, A., Raveendran, K., Grundmann, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazeFace%3A+Sub-millisecond+Neural+Face+Detection+on+Mobile+GPUs%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazeFace: Sub-millisecond Neural Face Detection on Mobile GPUs.</a> arXiv. , (2019).</li>
<li>Bazarevsky, V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BlazePose%3A+On-device+Real-time+Body+Pose+tracking%5BTitle%5D)+AND+%22arXiv%22%5BJournal%5D)">BlazePose: On-device Real-time Body Pose tracking.</a> arXiv. , (2020).</li>
<li>Mejia-Escobar, C., Cazorla, M., Martinez-Martin, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Towards+a+better+performance+in+facial+expression+recognition%3A+a+data-centric+approach%5BTitle%5D)+AND+%22Comput+Intelligence+Neurosci%22%5BJournal%5D)">Towards a better performance in facial expression recognition: a data-centric approach.</a> Comput Intelligence Neurosci. , In press (2023).</li>
<li>El-Garem, A., Adel, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Applying+systematic+literature+review+and+Delphi+methods+to+explore+digital+transformation+key+success+factors%5BTitle%5D)+AND+%22Int+J+Eco+Mgmt+Engi%22%5BJournal%5D)">Applying systematic literature review and Delphi methods to explore digital transformation key success factors.</a> Int J Eco Mgmt Engi. 16 (7), 383-389 (2022).</li>
<li>Using electroencephalography to determine student attention in the classroom. Indumathi, V., Kist, A. A. IEEE Global Engineering Education Conference (EDUCON, Kuwait, Kuwait, , 1-3 (2023).</li>
<li>Ma, X., Xie, Y., Wang, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+the+construction+and+application+of+teacher-student+interaction+evaluation+system+for+smart+classroom+in+the+post+COVID-19%5BTitle%5D)+AND+%22Studies+Edu+Eval%22%5BJournal%5D)">Research on the construction and application of teacher-student interaction evaluation system for smart classroom in the post COVID-19.</a> Studies Edu Eval. 78, 101286(2023).</li>
<li>Andersen, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Constructing+Delphi+statements+for+technology+foresight%5BTitle%5D)+AND+%22Futures+Foresight+Sci%22%5BJournal%5D)">Constructing Delphi statements for technology foresight.</a> Futures Foresight Sci. 5 (2), e144(2022).</li>
<li>Khodyakov, D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Disciplinary+trends+in+the+use+of+the+Delphi+method%3A+A+bibliometric+analysis%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Disciplinary trends in the use of the Delphi method: A bibliometric analysis.</a> PLoS One. 18 (8), e0289009(2023).</li>
<li>Martins, A. I., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Consensus+on+the+Terms+and+Procedures+for+Planning+and+Reporting+a+Usability+Evaluation+of+Health-Related+Digital+Solutions%3A+Delphi+Study+and+a+Resulting+Checklist%5BTitle%5D)+AND+%22J+Medical+Internet+Res%22%5BJournal%5D)">Consensus on the Terms and Procedures for Planning and Reporting a Usability Evaluation of Health-Related Digital Solutions: Delphi Study and a Resulting Checklist.</a> J Medical Internet Res. 25, e44326(2023).</li>
<li>Dalmaso, M., Castelli, L., Galfano, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Social+modulators+of+gaze-mediated+orienting+of+attention%3A+A+review%5BTitle%5D)+AND+%22Psychon+Bull+Rev%22%5BJournal%5D)">Social modulators of gaze-mediated orienting of attention: A review.</a> Psychon Bull Rev. 27 (5), 833-855 (2020).</li>
<li>Klein, R. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Thinking+about+attention%3A+Successive+approximations+to+a+productive+taxonomy%5BTitle%5D)+AND+%22Cognition%22%5BJournal%5D)">Thinking about attention: Successive approximations to a productive taxonomy.</a> Cognition. 225, 105137(2022).</li>
<li>Schindler, S., Bublatzky, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Attention+and+emotion%3A+An+integrative+review+of+emotional+face+processing+as+a+function+of+attention%5BTitle%5D)+AND+%22Cortex%22%5BJournal%5D)">Attention and emotion: An integrative review of emotional face processing as a function of attention.</a> Cortex. 130, 362-386 (2020).</li>
<li>Zaletelj, J., Košir, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Predicting+students%27+attention+in+the+classroom+from+Kinect+facial+and+body+features%5BTitle%5D)+AND+%22J+Image+Video+Proc%22%5BJournal%5D)">Predicting students' attention in the classroom from Kinect facial and body features.</a> J Image Video Proc. 80, (2017).</li>
<li>Strauch, C., Wang, C. A., Einhäuser, W., Van der Stigchel, S., Naber, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Pupillometry+as+an+integrated+readout+of+distinct+attentional+networks%5BTitle%5D)+AND+%22Trends+Neurosci%22%5BJournal%5D)">Pupillometry as an integrated readout of distinct attentional networks.</a> Trends Neurosci. 45 (8), 635-647 (2022).</li>
</ol>

作者声明，他们不存在任何已知的相互竞争的经济利益或可能被认为影响本文所报告工作的个人关系。

本研究展示了一种利用摄像头、智能手表和人工智能算法来测量学生在课堂上注意力水平的系统。随后，该信息将提供给教师，使其能够了解班级整体的学习状态。
该方案的一个主要关键步骤是将智能手表信息与彩色相机图像进行同步，因为二者的采集频率不同。这一问题通过部署树莓派作为服务器来解决，该服务器接收来自智能手表和相机的数据及其对应的时间戳，并对这些信息进行初步匹配。最后，这些数据被发送至一个中央服务器进行进一步处理。该方案的另一个关键步骤是定义最终的分类器，以利用来自不同来源的数据生成最终推断。为解决这一问题，原始数据必须通过多个子系统进行预处理，以提取出有价值的信息，例如用户的姿态、情绪或动作。这些信息与生物特征数据一起经过归一化处理并融合，以估计每位学生的注意力水平。
实验结果表明，使用天顶相机和单个相机可以准确估计头部方向和姿态，而情感识别对最常见的情感（如快乐或中性）具有更好的表现。关于智能手表的动作分类器，高度可区分的动作（如书写、打字或发短信）具有良好的检测精度，适用于该系统。
<p class="jove_conten...

在现代教育环境中，准确评估并维持学生的注意力对于有效的教学与学习至关重要。然而，传统的参与度评估方法（如自我报告或教师主观观察）耗时且容易产生偏差。为应对这一挑战，人工智能（AI）技术已成为实现自动注意力检测的有前景的解决方案。理解学生参与程度的一个重要方面是情绪识别1。AI 系统可通过分析面部表情来识别情绪，例如中性、厌恶、惊讶、悲伤、恐惧、快乐和愤怒2。
注视方向和身体姿势也是衡量学生注意力的关键指标3。通过使用摄像头和先进的机器学习算法，人工智能系统能够准确追踪学生的视线方向，并分析其身体姿势，以检测出缺乏兴趣或疲劳的迹象4。此外，结合生物识别数据可进一步提高注意力检测的准确性和可靠性5。通过学生佩戴的智能手表采集心率和血氧饱和度等生理参数，可以获得客观的注意力指标，从而补充其他信息来源。
本文提出了一种利用彩色摄像头及其他多种传感器评估个体注意力水平的系统。该系统结合了情绪识别、视线方向分析、身体姿态评估和生物特征数据，为教育工作者提供了一套全面的工具，以优化教学过程并提高学生的参与度。通过使用这些工具，教育工作者能够全面了解教学过程，增强学生的参与性，从而优化整体教育体验。通过应用人工智能技术，甚至可以实现对这些数据的自动评估。
本研究的主要目标是描述一个系统，该系统能够采集所有相关信息，并在采集完成后训练一个人工智能模型，从而实时获取全班学生的注意力状态。尽管已有研究提出通过视觉或情绪信息来捕捉注意力6，但本研究提出将这些技术结合使用，从而提供一种整体性方法，以支持更复杂且高效的人工智能技术的应用。此外，迄今为止可用的数据集仅限于视频集合或生物特征数据之一。现有文献中尚无任何数据集能够同时提供学生面部或身体图像、生物特征数据、教师位置信息等完整的多模态数据。通过本文所提出的系统，可以实现此类数据集的采集。
该系统为每位学生在每个时间点关联一个注意力水平。该值是一个介于0%到100%之间的注意力概率值，可解释为低注意力水平（0%-40%）、中等注意力水平（40%-75%）和高注意力水平（75%-100%）。在本文中，此注意力概率被称为注意力水平、学生注意力，或用于判断学生是否分心，但这些表述均指代本系统输出的同一数值。
多年来，由于自动参与度检测在教育领域的革新潜力，该研究领域已显著发展。研究人员已为此领域提出了多种研究方法。
Ma 等人7提出了一种基于神经图灵机的新型自动参与度识别方法。他们提取了若干特征，如视线方向、面部动作单元、头部姿态和身体姿态，以构建参与度识别的综合表征。
EyeTab8是另一个创新系统，该系统通过模型估算某人双眼的注视位置。该系统专为在标准平板电脑上无缝运行而设计，无需任何硬件修改。该系统采用了成熟的图像处理和计算机视觉分析算法。其视线估计流程包括基于类Haar特征的眼部检测器，以及基于RANSAC的角膜缘椭圆拟合方法。
Sanghvi 等人9提出了一种基于视觉技术的方法，可从侧视角度拍摄的视频中自动提取具有表现力的姿态特征，以捕捉儿童的行为。研究进行了初步评估，通过使用情境化的情感姿态表达训练多个识别模型。实验结果表明，姿态行为模式能够有效预测儿童与机器人之间的参与程度。
在其他研究中，例如&#160;Gupta 等人10，采用基于深度学习的方法，通过分析在线学习者的面部表情并对其情绪进行分类，以检测其实时参与状态。该方法利用面部情绪识别技术计算参与度指数（EI），用于预测两种参与状态：参与和未参与。研究评估并比较了多种深度学习模型，包括 Inception-V3、VGG19 和 ResNet-50，以确定最适合实时参与状态检测的预测分类模型。
在&#160;Altuwairqi 等11研究人员提出了一种新颖的自动多模态方法，用于实时评估学生的参与度水平。为确保测量结果的准确性与可靠性，研究团队整合并分析了三种不同的模态以捕捉学生的行为：面部表情（用于情绪识别）、键盘按键以及鼠标移动。
Guillén 等人12提出开发一种监测系统，该系统以心电图（ECG）作为主要生理信号，用于分析和预测个体在执行任务时是否存在认知注意力。
Alban 等人13利用神经网络（NN）通过分析不同参与者在时域和频域中的心率（HR）和皮肤电活动（EDA）值来检测情绪。他们发现，连续差值的均方根（RMSDD）和正常窦性心搏间期标准差（SDNN）增加，同时平均心率降低，表明交感神经系统活动增强，这与恐惧情绪相关。
Kajiwara 等人14提出了一种创新系统，该系统利用可穿戴传感器和深度神经网络来预测工人的心理情绪水平和参与度。该系统遵循三个步骤：首先，可穿戴传感器采集并收集有关行为和脉搏波的数据；随后，基于获取的行为和生理数据计算时间序列特征；最后，利用深度神经网络输入这些时间序列特征，对个体的情绪状态和参与度水平进行预测。
在其他研究中，例如&#160;Costante 等人15提出了一种基于新型迁移度量学习算法的方法，该方法利用预定义手势集合的先验知识，以增强对用户自定义手势的识别能力。这种方法在几乎不依赖额外训练样本的情况下实现了性能提升。类似地，有研究提出了一种基于传感器的人类活动识别框架16，旨在实现对复杂人类活动的非特定个体识别。该框架利用来自腕戴式传感器采集的信号数据，结合四种基于循环神经网络（RNN）的深度学习模型（长短期记忆网络、双向长短期记忆网络、门控循环单元和双向门控循环单元），用于分析可穿戴设备使用者所执行的活动。

<table><tbody><tr><td>4 块 GPU&amp;nbsp; Nvidia A40 Ampere</td><td>NVIDIA</td><td>TCSA40M-PB</td><td>用于集中式模型处理服务器的 GPU</td></tr><tr><td>FusionServer 2288H V5</td><td>X-Fusion</td><td>02311XBK</td><td>包含集中式模型处理服务器电源和主板的平台</td></tr><tr><td>Memory Card Evo Plus 128 GB</td><td>Samsung</td><td>MB-MC128KA/EU</td><td>用于树莓派 4B 2GB 运行的存储卡。&amp;nbsp; 每个树莓派配备一张。&amp;nbsp;</td></tr><tr><td>NEMIX RAM - 512 GB 套件 DDR4-3200 PC4-25600 8Rx4 EC</td><td>NEMIX</td><td>M393AAG40M32-CAE</td><td>用于集中式模型处理服务器的内存</td></tr><tr><td>处理器 Intel Xeon Gold 6330</td><td>Intel</td><td>CD8068904572101</td><td>用于集中式模型处理服务器的处理器</td></tr><tr><td>树莓派 4B 2GB</td><td>Raspberry</td><td>1822095</td><td>本地服务器，接收来自智能手表的请求并将其发送至主服务器。每两名学生配备一台。</td></tr><tr><td>Samsung Galaxy Watch 5 (40mm)</td><td>Samsung</td><td>SM-R900NZAAPHE</td><td>用于监测每位学生活动的智能手表。每位学生配备一块。&amp;nbsp;</td></tr><tr><td>Samsung MZQL23T8HCLS-00B7C PM9A3 3.84TB Nvme U.2 PCI-Express-4 x4 2.5英寸固态硬盘</td><td>Samsung</td><td>MZQL23T8HCLS-00B7C</td><td>集中式模型处理服务器的内部存储设备</td></tr><tr><td>WebCam HD Pro C920 全高清网络摄像头</td><td>Logitech</td><td>960-001055</td><td>高清网络摄像头。每位学生配备一台，另加两台用于学生姿态识别。</td></tr></tbody></table>

基于人工智能的学生注意力水平检测系统

Artificial Intelligence-Based System for Detecting Attention Levels in Students

通过使用人工智能（AI）技术，可以提高课堂上学生的注意力水平。通过自动识别注意力水平，教师可以采用相应策略重新吸引学生的注意力。这可以通过多种信息来源实现。
一种方法是分析学生面部所反映的情绪。人工智能可以识别多种情绪，例如中性、厌恶、惊讶、悲伤、恐惧、快乐和愤怒。此外，学生视线的方向也可能反映其注意力水平。另一种方法是观察学生的身体姿态。通过使用摄像头和深度学习技术，可以分析姿态以判断注意力程度。例如，弯腰驼背或把头靠在桌上的学生可能注意力较低。分发给学生佩戴的智能手表可提供生物特征及其他数据，包括心率和惯性测量数据，这些也可作为注意力的指标。通过整合上述各类信息，可训练人工智能系统识别课堂上的注意力水平。然而，整合不同类型的数据存在挑战，需要构建一个带有标签的数据集。为此需参考专家意见及现有研究，以实现准确标注。本文提出整合此类测量手段，并构建一个数据集以及潜在的注意力分类器。为向教师提供反馈，我们探索了多种方法，例如通过智能手表或直接连接计算机。一旦教师意识到学生存在注意力问题，便可调整教学方式，重新吸引并激励学生。总之，人工智能技术可通过分析学生的情绪、视线方向、身体姿态和生物特征数据，自动识别其注意力水平。这些信息有助于教师优化教学与学习过程。

本研究的目标群体为本科及硕士研究生，主要年龄范围为18至25岁。选择该人群的原因是他们使用电子设备时受到的干扰少于 younger 学生。该组共包括25人。此年龄段能够为测试本研究方案提供最可靠的结果。
学生对教师注意力水平的结果分为两部分。结果的A部分显示每位学生当前注意力水平的个体信息。B部分则用于获取整个班级的平均注意力水平及其在整节课中的时间变化历史。这使我们能够捕捉课堂上学生注意力的总体趋势，并实时调整教师所采用的教学方法。每秒钟，该界面都会向服务器请求一次新信息。此外，此视图结合了浏览器通知功能，能够在教师正常开展教学活动时，以非干扰的方式提示学生注意力发生的剧烈变化，而无需始终保持该图形用户界面处于前台。该图形用户界面的示例如图5所示。
<img alt="学生注意力监测系统，显示随时间变化的参与度的示意图和图表。" class="xfigimg" src="/file...

本文提出了一种基于人工智能的系统，用于自动检测学生是否在专心听课或注意力分散。该系统旨在帮助教师维持学生的注意力，优化课程内容，并动态引入调整，以提高课堂的吸引力。

通过使用人工智能（AI）技术，可以提高课堂上学生的注意力水平。通过自动识别……

我们的研究重点是探索利用人工智能在课堂环境中测量和检测学生注意力水平的可行性。我们正在研究自主开发的算法和方法是否能够有效评估学生在课堂上的参与程度。目前最新的方法基于人工智能技术。具体而言，这些学习算法属于前沿技术。这类算法利用大量数据来训练线性模型，随后可用于图像分类、估计人体姿态，以及完成其他一系列有趣的任务。我们的研究面临两个主要的关键挑战。首先，存在一些必须解决的技术问题。例如，如何设置设备，如何从图像中估计运动、姿态以及我们在方法中考虑的其他参数。此外还有一个主观性分支，因为尚不明确所有个体是否以相同方式表达注意力水平。我们系统最突出的优势在于采用了多模态方法。我们分析多种输入信息，包括面部表情、身体姿态、头部姿态、加速度计数据和心率，以自动分类注意力水平。此外，我们的方法在很大程度上依赖于人工智能，该技术已在其他相关研究领域中被成功广泛应用。首先，在目标位置安装一台具备 Wi-Fi 功能的路由器，以覆盖整个房间。为每位学生的所在位置配置一块智能手表和一台摄像头。为每两名学生配置一台嵌入式设备。将两台摄像机分别固定在两个三脚架上，并连接至另一台嵌入式设备。通过USB连接线将摄像机与对应的嵌入式设备连接，并开启设备。同时打开智能手表。然后将所有嵌入式设备和智能手表连接至路由器的 Wi-Fi 网络。将摄像头放置在每位学生课桌的角落，朝前并略微向上倾斜，以确保学生的面部清晰可见。然后，将两个装有摄像头的三脚架放置在教室第一排靠近过道的课桌前方。调节三脚架的升降杆至最高位置，以确保能够清晰地观察到大多数学生。运行智能手表和嵌入式设备上的采集软件，以发送图像以及加速度计、陀螺仪、心率和光照数据。此外，运行服务器软件以收集和存储这些数据。接下来，将天顶相机定位以覆盖整个场景，确保能够清晰地看到学生身体。同时在每位学生前方放置一台额外的相机。让学生就座，向他们说明实验目的，并指导他们将智能手表佩戴在惯用手手腕上。在服务器上启动数据采集与收集，然后恢复正常的课堂教学。首先，设置用于检测学生注意力水平所需的硬件和软件。指导学生将智能手表佩戴在惯用手手腕上，并开始数据采集。通过收集每位学生智能手表中的所有图像和生物识别数据来获取所需数据。随后构建一个数据框，其中包含一秒钟内的数据，包括来自个体相机和天顶相机的各一张图像，以及陀螺仪、加速度计、心率和光照条件值各自对应的50条记录。现在利用算法提供的双眼、鼻、口和下巴的估计位置，通过 OpenCV 库中的 cv:solvePnP 方法求解透视端点问题，从而获得定义头部朝向的旋转矩阵。为了计算身体姿态，使用 BlazePose 18 个关键点估计算法处理天顶视角图像，并提取图像中身体关节的二维坐标列表。获取学生的面部图像，并通过将关键点列表中的坐标投影到图像平面上来确定眼睛的位置。接着，绘制一条连接两眼位置的虚拟向量。计算该向量与水平线之间的夹角，并构建一个单应性矩阵。将图像进行反向角度调整，并利用关键点使双眼水平对齐。然后根据关键点确定面部边界并裁剪出面部区域，输入至情绪检测卷积神经网络。获取网络输出结果，即一个包含七个位置的向量，分别表示七种基本情绪的对应概率。为了测量注意力水平，从数据帧中获取加速度计、陀螺仪和心率数据。将加速度计和陀螺仪数据流输入到自定义构建的基于深度学习的模型后，获取模型输出，该输出指示书写、在键盘上打字、使用手机或静止状态的概率。通过融合头部方向、情绪识别结果、身体姿态、陀螺仪、加速度计和心率数据，输入至最终的注意力分类器。然后获取分类器结果，并将连续得分划分为低、中、高三种注意力等级。通过教师计算机上的图形用户界面，在普通网页浏览器中向教师展示注意力水平的结果。该模型共训练了 300 个轮次。验证损失低于0.1%，验证准确率为97%，表明该模型性能良好。

artificial-intelligence-based-system-for-detecting-attention-levels

Research

科研

JoVE Journal

Engineering

工程

基于人工智能的系统，用于检测学生的注意力水平

为了模拟实验室环境，视觉任务的在线数据采集方法需要对刺激呈现进行严格控制。我们概述了使用网络应用程序收集两种视觉注意测试表现数据的方法。...

在线测试视觉注意力的方法

介绍了一种通过室温液体表面钝化技术来研究体相硅缺陷复合活性的方法。该技术的成功实施需要三个关键步骤：（i）硅的化学清洗与腐蚀，（ii）将硅浸入15%的氢氟酸中，（iii）光照1分钟。...

光增强氢氟酸钝化：一种检测体相硅缺陷的灵敏技术

采用平面频率混合磁检测技术研制了一种用于平面样品中磁性颗粒成像的扫描仪。该技术通过双频激励，记录颗粒非线性无滞回磁化产生的磁互调响应，可用于对薄层生物样品进行二维成像。...

用于平面样品中磁性颗粒成像的频率混合磁检测扫描仪

介绍了一种利用高精度铣削方法获得水溶性氯化物分布的方案。...

高精度检测水泥浆体中水溶性氯离子分布

提出了一种基于商用现成（COTS）腕戴设备评估学生压力水平的解决方案的协议。该协议分为两个阶段进行：第一阶段为在实验室环境下开展的压力诱导测试，第二阶段为在教室环境中对学生进行学术活动期间的压力监测。...

评估市售腕戴设备在学生压力估计中的应用

本文介绍了一种通过射频（RF）溅射法在（001）取向的 SrTiO3（STO）单晶衬底上生长 LSMO 纳米颗粒和（Gd）BCO...

射频磁控溅射 GdBa2Cu3O7−δ/ La0.67Sr0.33MnO3SrTiO上的准双层薄膜3（STO）单晶衬底

本文介绍了一种用于构建变循环发动机部件级数学模型的实验方案。...

一种用于变循环发动机建模的快速方法

分布式机器人节点提供一系列蓝光刺激，以引导攀援植物的生长轨迹。通过激活植物的天然向光性，机器人引导植物做出左右二元选择，使其生长成预设的图案；而当机器人处于休眠状态时，则无法实现此类生长模式。...

用于引导植物生长的机器人感知与刺激供给

本方案提供了制造、控制和评估仿壁虎软体机器人攀爬性能所需执行步骤的详细列表。...

仿壁虎软体机器人的制造、控制与性能评估

本研究介绍了基于蚕蛾触角的生物混合型嗅探无人机的实验方案。除了展示利用蚕蛾触角操作实验性触角电位装置的方法外，还介绍了采用螺旋涌进算法实现气味源定位的生物混合无人机的结构设计。...

基于丝蛾触角的电触角图谱生物混合型嗅探无人机用于气味源定位

了解如何使用人工智能算法实时检测学生注意力水平。本研究通过图像分类、姿态估计和多模态数据分析，帮助教师优化教学策略并提升课堂参与度。

基于人工智能的学生注意力水平检测系统

探索更多视频