本方案结合课堂观察、反思性写作、亲社会意图测量和学习分析,以评估大学生在为期4周的教学周期内的行为参与度、反思性表达以及以社会为导向的学习成果。方案详细说明了伦理审批、测量工具内容、软件工作流程、缺失数据处理、故障排除程序以及代表性结果的解释,包括观察到的实施限制。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本方案结合课堂观察、反思性写作、亲社会意图测量和学习分析,以评估大学生在为期4周的教学周期内的行为参与度、反思性表达以及以社会为导向的学习成果。方案详细说明了伦理审批、测量工具内容、软件工作流程、缺失数据处理、故障排除程序以及代表性结果的解释,包括观察到的实施限制。
为应对传统指标之外对学生参与度进行多维度评估的需求,本方案描述了一种系统性方法,用于评估本科生课程中的课堂参与、反思性表达、学习分析活动以及亲社会意图。该方案结合了基于时间间隔的行为观察、每周结构化反思写作、去标识化的学习管理系统记录,以及前后测亲社会意图问卷。修订后的流程提供了一个可重复的行为编码模型、附带评分示例的反思表达评分量表、软件与数据管理步骤,以及针对观察者分歧、平台记录缺失、反思提交率低、摄像可视性差、参与者流失和先修知识不一致等问题的明确故障排除指南。当研究者需要一种低干扰、可重复的方法,将本科教学过程中的实时课堂行为、学生自我解读与常规学习管理系统(LMS)活动相结合时,应使用本方案。该方案不适用于完全异步且无可观测互动的课程,或禁止独立观察或记录关联的环境,也不适用于需要生物特征或情绪识别推断的研究。代表性结果来自已实施的实证应用,均在获得伦理审查批准、课程记录去标识化及数据仓储准备后报告。
评估高等教育中的学生参与度需要采用全面的、多来源的方法。尽管学生参与度被广泛理解为一个多维度的构念,涵盖可观察的行为、认知努力以及与环境的互动,但目前的分析方法主要依赖于表面化的日志数据,例如登录频率和系统记录的操作1。这种过度依赖对实际课堂教学研究构成了重大挑战。最重要形式的教学参与——包括直接的同伴互动、认知反思以及社会性贡献——往往完全发生在学习平台可见范围之外2。
随着混合教学模式的普及,现代大学课堂的复杂性日益加剧,这种模式将数字平台与传统的面对面教学相结合。尽管学习分析的系统性综述证实,数字痕迹能够为时间分配、访问模式以及长期知识保留率提供有价值的见解,但仅凭这些指标尚无法判断学习者的注意力是否真正高效或具有实际意义3。因此,近期学术研究主张,应将学习分析建立在更坚实的理论框架之上,通过将数字痕迹与更丰富、依赖具体情境的参与度测量指标(如课堂行为和反思性活动)相结合,以增强其解释力4。
反思性写作为此项评估提供了重要的定性维度。课后有结构的反思和日志能够记录学生对学习活动的理解,澄清教学中的难点,并将理论内容与后续的实践活动联系起来。近期的实证研究将反思性表达概念化为一个整合的、多组分的结构,包括描述性回忆、分析性推断、自我参照表征以及意义概括5。此外,研究表明,向学生持续提供反思指导,能够逐步增强其内省能力;随着课程中结构化反思频率的增加,学生的自主探究能力也同步提升6。
当前参与度研究中的第二个主要空白在于课堂社会化经常被边缘化。尽管现有研究高度关注个体行为或认知,但大学课堂本质上是社会性学习环境,学生通过协作和互动相互影响。新兴证据表明,课堂氛围和参与结构与亲社会行为及以贡献为导向的心态密切相关——然而,相较于学业表现或学生满意度等传统指标,这些结果仍缺乏深入探究。学术环境中的亲社会行为不仅仅是情绪状态或压力的副产品,而是根本上关联于学生在集体学习活动中如何定位自身7。因此,测量亲社会意图可作为恰当的视角,用以判断课堂参与是否超越了孤立的任务完成,进而在直接教学环境之外促进合作性与鼓励性行为8。
这些概念性进展凸显了在单一教学窗口内部署整合性证据收集框架的必要性。多源设计可缓解依赖单一指标的局限性,能够在不同参与模式之间进行交叉验证,并揭示学生如何理解其课后活动,从而促进自主学习9。尽管反思性评估能够捕捉学习者的内在认知状态,但将这些自我报告与客观行为痕迹相结合,可显著提升学习数据的可解释性。目前,尚缺乏适用于常规大学教学实践的、切实可行且课堂就绪的整合方案,能够无缝融合系统性行为观察、结构化反思报告与学习分析技术。
为解决这些方法学上的不足,本文提出了一种评估方案,旨在同时测量大学生在课堂上的参与度、反思性表达以及亲社会意图。该方案专为本科教学环境设计,提供了一种简化的研究方法,在不牺牲科学可重复性的前提下,最大限度地减少了管理负担。通过弥合可观察行为、自我体验表述与社会导向学习成果之间的分析鸿沟,该框架回应了教育环境中人机交互研究对更高概念清晰度的日益增长的需求10。
访问受限。请登录或开始试用以查看此内容。
所有涉及人类参与者的实验方法均遵循《赫尔辛基宣言》及相关机构指南。本研究的方案在招募开始前已获得南昌工程学院伦理委员会的批准(批准编号:NITE778291)。每位参与的学生均签署了书面知情同意书。分析仅使用了去标识化的汇总课堂观察数据、反思评分、学习分析数据和问卷数据;可识别身份的课堂视频、姓名、机构编号以及未脱敏的反思文本均未公开发布。
1. 研究设计与受试者选择
2. 基线数据采集与身份管理
3. 课堂观察准备
4. 基于时间区间的行為編碼
5. 观察者培训与信度评估
6. 反思性表达的收集与评估
7. 学习分析数据的提取
8. 实验方案后的测量与数据集整合
9. 故障排除与实验方案的调整
访问受限。请登录或开始试用以查看此内容。
参与者纳入、数据完整性与评分信度
最初邀请了来自所有班级的204名学生参与,其中198名学生同意参加。由于部分学生在研究期间退课,或在观察、反思及平台记录之间的数据链接不完整,后续排除了14个案例。因此,最终分析样本包括184名学生。参与者特征、每周完成率及整体数据完整性详见表3。
在为期4周的项目中,共观察了24次课程,为每位参与者生成了同步的学习分析记录。在预计提交的736份反思报告中,有701份在72小时窗口期内提交,18份迟交,17份缺失。最终,171名学生按时完成了所有每周的反思任务。在剔除教师账户、重复记录以及超出时间窗口的活动后,共成功提取出184名参与者的完整学习分析数据。
观察编码在整个方案实施期间保持高度稳定。课堂观察的六个行为指标的评分者间信度显示,Cohen's kappa 值介于 0.76 至 0.84 之间,漂移测试期间的总体一致性超过 86%。在反思性表达评分方面,四个维度的组内相关系数(ICCs)介于 0.82 至 0....
访问受限。请登录或开始试用以查看此内容。
本研究提出了一种实用的方案,通过整合行为观察、反思性写作和学习分析,全面考察大学生在单一教学周期内的参与度、自我表达能力及亲社会意识。该三模态方法捕捉了参与的不同维度,回应了高等教育研究领域近期的批评观点,即仅依赖使用时长指标或基于传感器的监测在单独评估时存在不足1。在为期4周的方案实施过程中,课堂可见参与度显著提升。具体而言,口头参与和同伴协作行为增加,任务注意力也同步提高,而求助行为和以任务为中心的笔记记录则变化甚微。这些行为变化表明,随着学生逐渐适应教学环境,其参与方式逐步演变为更具策略性、社会互动性和贡献导向性的形式16。
从方法论的角度来看,该方案的价值取决于严谨的实施,而非结果是否一致地呈现积极效果。因此,修订后的工作流程强调预设的OCEI计算公式、独立观察、有记录的软件处理过程、评分量表示例、信度阈值以及明确的缺失数据处理规则。这些补充内容旨在使该方案能够在普通课堂环境中实现可重复性,因为在这些环境中,平台记录、学生出勤、摄像头可视性以及反思质量可能存在不完善的情况。
访问受限。请登录或开始试用以查看此内容。
作者无任何利益冲突需要披露。
作者向参与本研究的本科生及课程教师表示诚挚的感谢。他们的配合对于获取行为观察数据、反思性写作材料以及学习分析记录至关重要。本研究未从任何公共、商业或非营利机构获得特定资助。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 课堂观察编码表 | 内部开发 | 六项二元行为指标 | 基于时间区间的编码,包括任务专注注意力、言语参与、同伴协作、任务导向的笔记记录/设备使用、分心行为以及求助行为。 |
| GraphPad Prism | Graphpad | 版本 10.2.3 | 用于生成工作流程图、周趋势图、分布图和关联图。 |
| 机构学习管理系统 / 课程平台 | 所属高校 | 现有机构LMS账户系统 | 收集去标识化的学习分析数据。 |
| Microsoft PowerPoint | Microsoft | Microsoft 365 v2402 | 用于生成工作流程图、周趋势图、分布图和关联图。 |
| R | R Foundation | ggplot2 3.5.1 | |
| 电子表格软件 | Microsoft Corporation | Microsoft Excel 365 v2402 | 用于数据录入、清理、去标识化检查,以及观察数据、反思数据与学习分析数据集的合并。 |
| SPSS Statistics | IBM Corp | 版本 26.0 | 统计分析软件;用于描述性统计、重复测量比较、Cohen's kappa、组内相关系数(ICC)、Cronbach's alpha、相关分析和回归模型。 |
访问受限。请登录或开始试用以查看此内容。