基于人工智能的学生注意力水平检测系统

摘要

本文提出了一种基于人工智能的系统，用于自动检测学生是否在专心听课或注意力分散。该系统旨在帮助教师维持学生的注意力，优化课程内容，并动态引入调整，以提高课堂的吸引力。

摘要

通过使用人工智能（AI）技术，可以提高课堂上学生的注意力水平。通过自动识别注意力水平，教师可以采用相应策略重新吸引学生的注意力。这可以通过多种信息来源实现。

一种方法是分析学生面部所反映的情绪。人工智能可以识别多种情绪，例如中性、厌恶、惊讶、悲伤、恐惧、快乐和愤怒。此外，学生视线的方向也可能反映其注意力水平。另一种方法是观察学生的身体姿态。通过使用摄像头和深度学习技术，可以分析姿态以判断注意力程度。例如，弯腰驼背或把头靠在桌上的学生可能注意力较低。分发给学生佩戴的智能手表可提供生物特征及其他数据，包括心率和惯性测量数据，这些也可作为注意力的指标。通过整合上述各类信息，可训练人工智能系统识别课堂上的注意力水平。然而，整合不同类型的数据存在挑战，需要构建一个带有标签的数据集。为此需参考专家意见及现有研究，以实现准确标注。本文提出整合此类测量手段，并构建一个数据集以及潜在的注意力分类器。为向教师提供反馈，我们探索了多种方法，例如通过智能手表或直接连接计算机。一旦教师意识到学生存在注意力问题，便可调整教学方式，重新吸引并激励学生。总之，人工智能技术可通过分析学生的情绪、视线方向、身体姿态和生物特征数据，自动识别其注意力水平。这些信息有助于教师优化教学与学习过程。

引言

在现代教育环境中，准确评估并维持学生的注意力对于有效的教学与学习至关重要。然而，传统的参与度评估方法（如自我报告或教师主观观察）耗时且容易产生偏差。为应对这一挑战，人工智能（AI）技术已成为实现自动注意力检测的有前景的解决方案。理解学生参与程度的一个重要方面是情绪识别¹。AI 系统可通过分析面部表情来识别情绪，例如中性、厌恶、惊讶、悲伤、恐惧、快乐和愤怒²。

注视方向和身体姿势也是衡量学生注意力的关键指标³。通过使用摄像头和先进的机器学习算法，人工智能系统能够准确追踪学生的视线方向，并分析其身体姿势，以检测出缺乏兴趣或疲劳的迹象⁴。此外，结合生物识别数据可进一步提高注意力检测的准确性和可靠性⁵。通过学生佩戴的智能手表采集心率和血氧饱和度等生理参数，可以获得客观的注意力指标，从而补充其他信息来源。

本文提出了一种利用彩色摄像头及其他多种传感器评估个体注意力水平的系统。该系统结合了情绪识别、视线方向分析、身体姿态评估和生物特征数据，为教育工作者提供了一套全面的工具，以优化教学过程并提高学生的参与度。通过使用这些工具，教育工作者能够全面了解教学过程，增强学生的参与性，从而优化整体教育体验。通过应用人工智能技术，甚至可以实现对这些数据的自动评估。

本研究的主要目标是描述一个系统，该系统能够采集所有相关信息，并在采集完成后训练一个人工智能模型，从而实时获取全班学生的注意力状态。尽管已有研究提出通过视觉或情绪信息来捕捉注意力⁶，但本研究提出将这些技术结合使用，从而提供一种整体性方法，以支持更复杂且高效的人工智能技术的应用。此外，迄今为止可用的数据集仅限于视频集合或生物特征数据之一。现有文献中尚无任何数据集能够同时提供学生面部或身体图像、生物特征数据、教师位置信息等完整的多模态数据。通过本文所提出的系统，可以实现此类数据集的采集。

该系统为每位学生在每个时间点关联一个注意力水平。该值是一个介于0%到100%之间的注意力概率值，可解释为低注意力水平（0%-40%）、中等注意力水平（40%-75%）和高注意力水平（75%-100%）。在本文中，此注意力概率被称为注意力水平、学生注意力，或用于判断学生是否分心，但这些表述均指代本系统输出的同一数值。

多年来，由于自动参与度检测在教育领域的革新潜力，该研究领域已显著发展。研究人员已为此领域提出了多种研究方法。

Ma 等人⁷提出了一种基于神经图灵机的新型自动参与度识别方法。他们提取了若干特征，如视线方向、面部动作单元、头部姿态和身体姿态，以构建参与度识别的综合表征。

EyeTab⁸是另一个创新系统，该系统通过模型估算某人双眼的注视位置。该系统专为在标准平板电脑上无缝运行而设计，无需任何硬件修改。该系统采用了成熟的图像处理和计算机视觉分析算法。其视线估计流程包括基于类Haar特征的眼部检测器，以及基于RANSAC的角膜缘椭圆拟合方法。

Sanghvi 等人⁹提出了一种基于视觉技术的方法，可从侧视角度拍摄的视频中自动提取具有表现力的姿态特征，以捕捉儿童的行为。研究进行了初步评估，通过使用情境化的情感姿态表达训练多个识别模型。实验结果表明，姿态行为模式能够有效预测儿童与机器人之间的参与程度。

在其他研究中，例如 Gupta 等人¹⁰，采用基于深度学习的方法，通过分析在线学习者的面部表情并对其情绪进行分类，以检测其实时参与状态。该方法利用面部情绪识别技术计算参与度指数（EI），用于预测两种参与状态：参与和未参与。研究评估并比较了多种深度学习模型，包括 Inception-V3、VGG19 和 ResNet-50，以确定最适合实时参与状态检测的预测分类模型。

在 Altuwairqi 等¹¹研究人员提出了一种新颖的自动多模态方法，用于实时评估学生的参与度水平。为确保测量结果的准确性与可靠性，研究团队整合并分析了三种不同的模态以捕捉学生的行为：面部表情（用于情绪识别）、键盘按键以及鼠标移动。

Guillén 等人¹²提出开发一种监测系统，该系统以心电图（ECG）作为主要生理信号，用于分析和预测个体在执行任务时是否存在认知注意力。

Alban 等人¹³利用神经网络（NN）通过分析不同参与者在时域和频域中的心率（HR）和皮肤电活动（EDA）值来检测情绪。他们发现，连续差值的均方根（RMSDD）和正常窦性心搏间期标准差（SDNN）增加，同时平均心率降低，表明交感神经系统活动增强，这与恐惧情绪相关。

Kajiwara 等人¹⁴提出了一种创新系统，该系统利用可穿戴传感器和深度神经网络来预测工人的心理情绪水平和参与度。该系统遵循三个步骤：首先，可穿戴传感器采集并收集有关行为和脉搏波的数据；随后，基于获取的行为和生理数据计算时间序列特征；最后，利用深度神经网络输入这些时间序列特征，对个体的情绪状态和参与度水平进行预测。

在其他研究中，例如 Costante 等人¹⁵提出了一种基于新型迁移度量学习算法的方法，该方法利用预定义手势集合的先验知识，以增强对用户自定义手势的识别能力。这种方法在几乎不依赖额外训练样本的情况下实现了性能提升。类似地，有研究提出了一种基于传感器的人类活动识别框架¹⁶，旨在实现对复杂人类活动的非特定个体识别。该框架利用来自腕戴式传感器采集的信号数据，结合四种基于循环神经网络（RNN）的深度学习模型（长短期记忆网络、双向长短期记忆网络、门控循环单元和双向门控循环单元），用于分析可穿戴设备使用者所执行的活动。

方案

以下方案遵循阿利坎特大学人类研究伦理委员会的指导原则，批准协议编号为 UA-2022-11-12。本实验已获得所有参与者的知情同意，同意将其数据用于本研究。

1. 硬件、软件与课程设置

1. 在目标位置设置一台具备 WiFi 功能的路由器（实验中使用的是 DLink DSR 1000AC），确保其信号覆盖整个房间。本实验覆盖面积为 25 m²、容纳 30 名学生的教室。
2. 为每个学生位置配备一块智能手表（此处为 Samsung Galaxy Smartwatch 5）和一台摄像头（此处为 Logitech C920 摄像头）。每两名学生配备一台嵌入式设备。将两台摄像头固定在三脚架上，并连接至另一台嵌入式设备（后文称为顶视摄像头）。
3. 通过 USB 连接线将摄像头与对应的嵌入式设备连接并开启摄像头。同时开启智能手表。将所有嵌入式设备和智能手表连接至第 1.1 步设置的路由器 WiFi 网络。
4. 将摄像头放置在每名学生课桌的角落，朝前并略微向上倾斜，以确保学生面部在图像中清晰可见。
5. 将装有摄像头的两个三脚架放置在教室第一排靠近过道的课桌前方。将三脚架升至最高位置，以便摄像头能够清晰地观察到大多数学生。每台嵌入式设备可管理一名或两名学生及其对应的摄像头和手表。该设置如图 1所示。
6. 在智能手表和嵌入式设备上运行采集软件，使其准备发送图像以及加速度计、陀螺仪、心率和光照数据。运行服务器端软件以收集并存储数据。所有这些组件的示意图如图 2所示。
7. 确保顶视摄像头主导场景，使其能够清晰地拍摄到学生的身体。在每名学生前方额外放置一台独立摄像头。
8. 让学生就座，向其说明实验目的，并指导他们将智能手表佩戴在惯用手腕上，且不得触碰或操作实验装置中的任何设备。
9. 在服务器端启动数据采集与收集，并照常恢复课堂教学。

图1：硬件与数据流程。 摄像头和智能手表的数据被采集后输入机器学习算法进行处理。请点击此处查看该图的放大版本。

图 2：传感器、教师和学生的相对位置。 示意图展示了教室中摄像头、智能手表和图形用户界面（GUI）相对于教师和学生的位置。请点击此处查看该图的放大版本。

2. 捕获与数据处理流程

注意：所有这些步骤均由部署在服务器中的处理软件自动执行。本研究实验所使用的实现基于 Python 3.8 编写。

1. 通过收集每位学生智能手表的所有图像和生物识别数据，获取所需数据，并构建一个包含1秒时间窗口内数据的数据框。该数据框包括来自个体摄像头的一张图像、来自每台顶视摄像头的图像（本例中为两张）、五十条三轴陀螺仪数值记录、五十条三轴加速度计数值记录、一条心率值以及一条光照条件值。
2. 为计算头部朝向，首先使用对准学生面部的网络摄像头获取一张图像。随后，将该图像输入BlazeFace¹⁷关键点估计算法进行处理。该算法输出一组对应于面部特定区域的二维关键点列表。
3. 利用算法提供的双眼、鼻尖、嘴部和下巴的估计位置，结合OpenCV库中的cv::SolvePnPMethod方法求解透视n点问题，并采用标准人脸模型设置。此过程的结果为定义头部方向的旋转矩阵。
4. 将数据框中包含学生的顶视图像输入BlazePose¹⁸关键点估计算法，以计算身体姿态，并获取图像中人体各关节的二维坐标列表。该关键点列表描述了学生的身体姿态。
   注：身体姿态对于准确反映学生在课堂期间参与不同活动的情况至关重要。例如，若学生自然坐姿且双手置于桌面上，可能表示其正在记笔记；而若其手臂持续移动，则可能表示其正在与他人交谈。
5. 获取学生面部图像并执行对齐预处理。从步骤2.3中计算得到的关键点列表中提取眼睛关键点，并将其投影至图像平面，从而确定眼睛的位置。
6. 绘制一条连接两眼位置的虚拟向量，计算该向量与水平线之间的夹角，并构建一个单应性矩阵，用以对图像及关键点施加反向角度变换，使双眼在图像中水平对齐。
7. 利用关键点检测面部边界并裁剪出面部区域，将裁剪后的图像块输入情绪识别卷积神经网络¹⁹。获取网络输出结果，该结果为一个包含7个元素的向量，每个元素分别表示面部呈现七种基本情绪之一的概率：中性、高兴、厌恶、愤怒、恐惧、惊讶和悲伤。
8. 通过从数据框中获取加速度计、陀螺仪和心率数据，测量注意力水平（图3）。
9. 将代表结果部分所述的、从零开始定制构建并训练的深度学习模型，输入加速度计和陀螺仪数据流。获取模型输出结果，该结果为一个包含4个元素的向量，每个元素分别表示数据对应以下四种可能行为之一的概率：手写、键盘打字、使用手机或静止状态，如图4所示。
10. 将前述各系统结果（包括头部朝向、情绪识别输出、身体姿态以及陀螺仪、加速度计和心率数据）进行线性化整合后，输入最终的注意力分类器。获取该分类器的输出结果，即一个0到100之间的评分。将此连续值划分为三个可能的离散注意力等级：低注意力水平（0–40%）、中等注意力水平（40%–75%）和高注意力水平（75%–100%）。生成数据集的结构如表1所示。
11. 通过教师计算机上的图形用户界面（GUI），在普通网页浏览器中向教师展示注意力水平的分析结果。

图3：智能手表采集的数据。 智能手表提供陀螺仪、加速度计、心率和光照条件等连续数据流。 请点击此处查看该图的放大版本。

图 4：动作识别模型所考虑的类别示例。 动作识别模型可识别四种不同的动作：手写、在键盘上打字、使用智能手机以及静止状态。请点击此处查看该图的放大版本。

结果

本研究的目标群体为本科及硕士研究生，主要年龄段在18至25岁之间。选择该人群的原因是他们使用电子设备时受到的干扰少于 younger 学生。该组共包括25人。此年龄段的受试者能够为测试本研究方案提供最可靠的结果。

学生对教师注意力水平的结果分为两部分。结果的A部分显示每位学生当前注意力水平的个体信息。B部分则用于获取整个班级的平均注意力水平及其在整节课中的时间变化历程。这使我们能够捕捉学生在课堂上注意力的总体趋势，并实时调整教师所采用的教学方法。每秒钟，该界面都会向服务器请求一次新信息。此外，此视图集成了浏览器通知功能，可在不影响教师正常教学活动的前提下，以非干扰方式提示学生注意力发生的显著变化，而无需将此图形用户界面保持在前台。该图形用户界面的示例如图5所示。

讨论

本研究展示了一种利用摄像头、智能手表和人工智能算法来测量学生在课堂上注意力水平的系统。随后，该信息将提供给教师，使其能够了解班级整体的学习状态。

该方案的一个主要关键步骤是将智能手表信息与彩色相机图像进行同步，因为二者的采集频率不同。这一问题通过部署树莓派作为服务器来解决，该服务器接收来自智能手表和相机的数据及其对应的时间戳，并对这些信息进行初步匹配。最后，这些数据被发送至一个中央服务器进行进一步处理。该方案的另一个关键步骤是定义最终的分类器，以利用来自不同来源的数据生成最终推断。为解决这一问题，原始数据必须通过多个子系统进行预处理，以提取出有价值的信息，例如用户的姿态、情绪或动作。这些信息与生物特征数据一起经过归一化处理并融合，以估计每位学生的注意力水平。

实验结果表明，使用天顶相机和单个相机可以准确估计头部方向和姿态，而情感识别对最常见的情感（如快乐或中性）具有更好的表现。关于智能手表的动作分类器，高度可区分的动作（如书写、打字或发短信）具有良好的检测精度，适用于该系统。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
4 块 GPU  Nvidia A40 Ampere	NVIDIA	TCSA40M-PB	用于集中式模型处理服务器的 GPU
FusionServer 2288H V5	X-Fusion	02311XBK	包含集中式模型处理服务器电源和主板的平台
Memory Card Evo Plus 128 GB	Samsung	MB-MC128KA/EU	用于树莓派 4B 2GB 运行的存储卡。  每个树莓派配备一张。
NEMIX RAM - 512 GB 套件 DDR4-3200 PC4-25600 8Rx4 EC	NEMIX	M393AAG40M32-CAE	用于集中式模型处理服务器的内存
处理器 Intel Xeon Gold 6330	Intel	CD8068904572101	用于集中式模型处理服务器的处理器
树莓派 4B 2GB	Raspberry	1822095	本地服务器，接收来自智能手表的请求并将其发送至主服务器。每两名学生配备一台。
Samsung Galaxy Watch 5 (40mm)	Samsung	SM-R900NZAAPHE	用于监测每位学生活动的智能手表。每位学生配备一块。
Samsung MZQL23T8HCLS-00B7C PM9A3 3.84TB Nvme U.2 PCI-Express-4 x4 2.5英寸固态硬盘	Samsung	MZQL23T8HCLS-00B7C	集中式模型处理服务器的内部存储设备
WebCam HD Pro C920 全高清网络摄像头	Logitech	960-001055	高清网络摄像头。每位学生配备一台，另加两台用于学生姿态识别。