基于人工智能的系统，用于检测学生的注意力水平

Summary

本文提出了一种基于人工智能的系统，可以自动检测学生是否在专心致志地上课或分心。该系统旨在帮助教师保持学生的注意力，优化他们的课程，并动态地引入修改，以使他们更具吸引力。

Abstract

通过使用人工智能 （AI） 技术，可以提高课堂上学生的注意力水平。通过自动识别注意力水平，教师可以采用策略来重新吸引学生的注意力。这可以通过各种信息来源来实现。

一个来源是分析学生脸上反映的情绪。人工智能可以检测情绪，如中性、厌恶、惊讶、悲伤、恐惧、快乐和愤怒。此外，学生注视的方向也可以潜在地表明他们的注意力水平。另一个来源是观察学生的身体姿势。通过使用摄像头和深度学习技术，可以分析姿势以确定注意力水平。例如，懒洋洋地躺着或把头靠在桌子上的学生可能注意力较低。分发给学生的智能手表可以提供生物识别和其他数据，包括心率和惯性测量，这些数据也可以用作注意力指标。通过结合这些信息源，可以训练人工智能系统来识别课堂上的注意力水平。然而，集成不同类型的数据带来了一个挑战，需要创建带标签的数据集。参考专家意见和现有研究，以确保准确标记。在本文中，我们提出了将此类测量结果集成并创建数据集和潜在注意力分类器的建议。为了向老师提供反馈，我们探索了各种方法，例如智能手表或直接计算机。一旦教师意识到注意力问题，他们就可以调整他们的教学方法，以重新吸引和激励学生。总的来说，人工智能技术可以通过分析学生的情绪、注视方向、身体姿势和生物特征数据来自动识别他们的注意力水平。这些信息可以帮助教师优化教学过程。

Introduction

在现代教育环境中，准确评估和保持学生的注意力对于有效的教学和学习至关重要。然而，衡量敬业度的传统方法，如自我报告或主观的教师观察，既耗时又容易产生偏见。为了应对这一挑战，人工智能 （AI） 技术已成为自动注意力检测的有前途的解决方案。了解学生参与水平的一个重要方面是情绪识别¹。人工智能系统可以分析面部表情来识别情绪，如中性、厌恶、惊讶、悲伤、恐惧、快乐和愤怒².

注视方向和身体姿势也是学生注意力的重要指标³.通过利用摄像头和先进的机器学习算法，人工智能系统可以准确跟踪学生的视线，并分析他们的身体姿势，以检测出不感兴趣或疲劳的迹象⁴.此外，结合生物识别数据可以提高注意力检测的准确性和可靠性⁵.通过学生佩戴的智能手表收集心率和血氧饱和度水平等测量值，可以获得客观的注意力指标，从而补充其他信息来源。

本文提出了一种系统，该系统使用彩色相机和其他不同的传感器评估个人的注意力水平。它结合了情绪识别、视线方向分析、身体姿势评估和生物识别数据，为教育工作者提供了一套全面的工具，用于优化教学过程和提高学生参与度。通过使用这些工具，教育工作者可以全面了解教学过程并提高学生的参与度，从而优化整体教育体验。....

Protocol

以下协议遵循阿利坎特大学人类研究伦理委员会的指导方针，批准的协议编号为 UA-2022-11-12。已获得本实验和在此处使用数据的所有参与者的知情同意。

1. 硬件、软件和类设置

1. 在所需位置设置具有WiFi功能的路由器（实验是使用DLink DSR 1000AC进行的），以便其范围覆盖整个房间。在这里，覆盖了 25 m² 的教室，可容纳 30 名学生。
2. 为每个学生位置设置一个智能手表（这里是三星 Galaxy Smartwatch 5）和一个摄像头（这里是罗技 C920 摄像头）。为每两名学生设置一个嵌入式设备。将两个摄像头固定在两个三脚架上，并将它们连接到另一个嵌入式设备（以下简称天顶摄像头）。
3. 通过 USB 链接将相机连接到相应的嵌入式设备并打开它们。 同时打开智能手表。将每个嵌入式设备和智能手表连接到步骤 1.1 中设置的路由器的 WiFi 网络。
4. 将摄像头放在每个学生课桌的一角，将它们指向前方并略微向上倾斜，以便在图像中清楚地看到学生的脸部。
5. 将带有摄像头的两个三脚架放在教室第一排座位最靠近过道的课桌前。将三脚架立管移动到最高位置，以便摄像头可以清楚地看到大部分学生。每个嵌入式设备将能够管理一到两个学生，以及他们各自的摄像头和手表。设置如图 1 所示。

Results

本研究的目标群体是本科生和硕士生，因此主要年龄组年龄在 18 至 25 岁之间。之所以选择这个群体，是因为与年轻学生相比，他们可以以更少的干扰处理电子设备。该小组总共包括25人。这个年龄组可以提供最可靠的结果来检验提案。

向教师展示的注意力水平结果有 2 个部分。结果的 A 部分显示了有关每个学生当前注意力水平的个人信息。然后，B 部分旨在获得整个班级的平均注意力及其在整个课程中的时间历史。这使我们能够捕捉学生在课堂上注意力的一般趋势，并以实时方式调整教师使用的方法。每秒钟，接口都会从服务器请求新信息。此外，此视图结合了浏览器通知的使用，允许在教师正常进行活动时以非侵入性方式显示学生注意力的剧烈变化，而无需将此 GUI 保持在前台。此 GUI 的一个示例如图 5 所示。

Discussion

这项工作提出了一个系统，该系统使用摄像头、智能手表和人工智能算法来测量教室中学生的注意力水平。这些信息随后被呈现给老师，以便他们了解班级的总体状态。

该协议的主要关键步骤之一是将智能手表信息与彩色相机图像同步，因为它们具有不同的频率。通过将覆盆子部署为服务器，这些服务器从智能手表和相机接收带有各自时间戳的信息，并对这些信息进行粗略匹配，从而解决了这个问题。最后，这些信息被发送到一个集中的服务器进行进一步处理。该协议的另一个关键步骤是定义最终分类器，以使用从不同来源获得的数据生成最终推理。为了解决这个问题，必须通过不同的子系统对原始数据进行预处理，以生成有价值的信息，例如用户的姿势、情绪或动作。这些信息与生物识别数据一起被归一化并组合起来，以估计每个学生的注意力水平。

实验结果表明，使用天顶相机和单相机可以准确估计头部方向和姿势估计，而情绪识别在最常见的情绪（如快乐或中立）中表现更好。关于智能手表的动作分类器，高度可区分的动作，如写作、打字或发短信，具有良好的检测精度，适用于系统。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
4 个 GPU Nvidia A40 Ampere	NVIDIA	TCSA40M-PB	GPU，用于集中式模型处理服务器
FusionServer 2288H V5	X-Fusion	02311XBK	平台，包括用于集中式模型处理服务器的电源和主板
存储卡 Evo Plus 128 GB	三星	MB-MC128KA/EU	用于树莓派 4b 2gb作的内存卡。每个覆盆子一个。
NEMIX RAM - 512 GB 套件 DDR4-3200 PC4-25600 8Rx4 EC	NEMIX	M393AAG40M32-CAE	RAM，用于集中式模型处理服务器
Intel Xeon Gold 6330	Intel	CD8068904572101	处理器，用于集中式模型处理服务器
Raspberry PI 4B 2GB	Raspberry	1822095	接收来自时钟的请求并将其发送到通用服务器的本地服务器。每两个学生一个。
三星 Galaxy Watch 5 （40 毫米）	三星	SM-R900NZAAPHE	时钟，可监控每个学生的活动。对于每个学生。
三星 MZQL23T8HCLS-00B7C PM9A3 3.84Tb Nvme U.2 PCI-Express-4 x4 2.5 英寸 SSD	三星	MZQL23T8HCLS-00B7C	集中式模型处理服务器的内部存储
高清专业版 C920 网络摄像头全高清	罗技	960-001055	网络摄像头高清。每个学生一个，学生姿势两个。