本研究通过使用深度学习算法检测大学课堂视频中学生的行为，评估其行为参与度。研究识别出七种与学习参与度正相关的行为，并采用评分模型评估单个学生及整个班级的整体参与水平。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
本研究旨在利用基于深度学习的视频目标检测技术，评估大学生在课堂中的学习投入情况。为此，研究首先通过相关性分析，确定了七种与学习投入高度正相关的课堂行为，作为衡量学生学习投入的指标；随后，采集了来自山东科技大学（SDUST）6个班级共30段真实课堂教学的同步视频，并将其划分为训练集和测试集。在对训练数据中的七类行为进行人工标注后，采用监督学习方式训练机器学习算法。模型训练完成后，对剩余未标注数据生成初步标注结果。为实现更准确、高效的课堂行为识别，本研究选取了两种具有代表性的算法——Faster R-CNN 和 YOLOv5s，开展行为检测实验。通过对比两者在检测精度和时间成本方面的表现，最终选定 YOLOv5s 用于本研究的课堂行为检测。最后，研究采用焦点小组法为每种行为赋分，构建了一个三级学习投入评分模型。基于自动获取的行为数据，该模型可实现对个体及班级层面学习投入的实时、自动化评估。
引言
学习投入指学生在学习过程中的参与度、专注度和努力程度，包括行为投入、情感投入和认知投入1。学生的学习投入情况反映了其学习状态，有助于教师调整教学策略2。然而，课堂学习投入主要依赖学生的自我报告和教师的观察进行评估3。中国高校师生比较高，教师采用传统人工方法进行学习投入评估需要耗费大量时间和精力。
近年来，随着中国智能录播教室的日益普及，基于课堂视频自动测量学习投入度成为可能4。从智能技术增强课堂教学的视角出发，本研究应用深度学习方法检测高校课堂视频中学生的行为，并提出一种用于自动测量学生行为投入度的评分模型。
关于行为参与研究的简要综述
行为参与主要包括三个层次：（1）在学校层面，指学生参与课外活动的积极性5；（2）在课堂层面，包括学生在课堂中的积极行为，如遵守课堂秩序，以及破坏性行为，如逃课或课堂讲话6；（3）在学习过程层面，指学生在学习任务中的参与情况和具体行为，例如提问和完成作业7。目前，评估行为参与的方法大致可分为三类：人工方法、半自动方....
访问受限。请登录或开始试用以查看此内容。
方案
所有视频的获取和使用均符合山东科技大学规定的人类研究现行伦理规范。数据使用已获得批准。
首先，通过相关性分析来识别可作为行为参与度指标的学生行为。在通过帧提取建立数据集并将其划分为训练集和测试集后，在训练集上运行了两种具有代表性的目标检测算法，并在准确性和效率方面进行了比较。最后，选择性能更优的算法（YOLO-v5s）在测试集上运行以执行行为检测。图1展示了学生行为识别与检测流程的流程图。
图1。学生行为识别与检测的流程图。 请点击此处查看此图的放大版本。....
访问受限。请登录或开始试用以查看此内容。
结果
通过检测行为并利用评分模型，实现了对学生行为参与度的自动测量。以视频中的一堂课为例，可根据行为检测结果和评分模型，计算出每位学生实时的行为参与度。图6 展示了该课堂中两名学生的行为参与度，呈现了他们在不同时间点的参与水平。结果显示，在整节课中，学生A的平均参与度高于学生B。两名学生在课程初期（前15分钟）均表现出较高的参与度，但在课程后半段，其参与度均有所下降。
图6．两名学生的行为参与度。
访问受限。请登录或开始试用以查看此内容。
讨论
本研究实现了对学生行为参与度的自动识别与测量。与以往研究相比，所识别的行为更能代表大学课堂中的实际情况（例如使用手机），且行为参与度的评估以图表形式呈现，直观易懂。这种自动测量方法使教师能够高效、清晰地评估单个学生以及整个班级的参与情况，从而支持个性化教学并提升课堂教学效率。例如，在图7中可以看出，两个班级在课程开始时均成功引入内容，有效吸引了学生的注意力。A班出现了多个中等和高参与度的峰值，表明师生互动有效且教学策略具有吸引力。相比之下，B班在课程后半段未出现高参与度峰值，参与度评分降至1.5以下，提示教师需重新考虑教学活动与教学策略的设计。
在基于目标检测的学生行为识别方法研究过程中，遇到了若干主要挑战。在数据标注阶段，困难主要体现在行为定义的模糊性以及标注一致性的确保上。尽管采用了“三阶段标注-仲裁”协同机制进行标注，但学生在课堂中的行为往往是连续且渐进的，难以在视频帧中精确界定其起止边界。例如，“讨论”行为可能包含完整的“环顾四周”过程，从而导致不同标注人员之间产生解释上的差异。同时，行为发生过程中的遮挡（如被前排.......
访问受限。请登录或开始试用以查看此内容。
披露
作者声明无任何利益冲突。
致谢
本研究由山东省社会科学规划基金项目（23CRWJ11）资助。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 课堂视频 | 本研究所使用的视频数据来自山东科技大学（SDUST）的直录播平台，为《学术英语》课程真实课堂教学的同步录像。共采集了6个非英语专业班级的30段视频，每段约50分钟，用于构建可训练的学生’课堂行为数据集。 | ||
| IBM SPSS Statistics 26 | IBM | SPSS for Windows 是一个集成数据录入、组织与分析功能的模块化软件包。其基本功能包括数据管理、统计分析、图表分析、输出管理等。本文主要使用 SPSS 进行一致性分析和相关性分析。 | |
| Labeling 1.8.6 | Labeling 是一种可视化图像标注工具，采用 Python 编写，并使用 Qt 构建图形界面。标注结果以 XML 文件格式保存，支持 ImageNet 所采用的 PASCAL VOC 格式，同时亦支持 YOLO 格式。该工具用于为 Faster R-CNN、YOLO 和 SSD 等目标检测网络所需的数据集标注图像中的目标对象。 | ||
| MMDetection 2.22.0 | MMDetection 2.22.0 是一个目标检测工具箱，包含丰富的目标检测、实例分割和全景分割方法，以及相关组件与模块。 |
参考文献
- Fredricks, J. A., Blumenfeld, P. C., Paris, A. H. School engagement: potential of the concept, state of the evidence. Rev Educ Res. 74 (1), 59-109 (2004).
- Xu, J. F., Qiu, Y. J. Development and validation of an online English learning engagem....
访问受限。请登录或开始试用以查看此内容。