将叙事模拟与视觉人工智能整合到教学管理中的研究：构建高校心理健康能力

摘要

本研究将叙事模拟与视觉人工智能整合到教学管理系统中，以提升大学生的心理健康水平、情绪韧性及参与度。

摘要

大学生面临的心理健康挑战日益增多，包括焦虑、抑郁和压力等问题，然而大多数高等教育环境缺乏主动的情绪监测与支持系统。本研究旨在设计、实施并评估一种混合式教学管理系统，该系统将叙事模拟与视觉人工智能（AI）相结合，以提升学生的心理健康素养和情绪韧性。该系统包含一个模拟压力情境的叙事决策模块，以及一个基于面部表情识别的、嵌入课堂环境的人工智能情绪识别工具。研究采用混合方法设计，共有来自多所高校的332名本科生和15名教职员工参与。研究收集了干预前后的问卷调查数据、使用日志以及视觉AI获取的实时情绪数据。定量数据采用描述性统计、配对t检验、方差分析（ANOVA）和多元线性回归进行分析。结果表明，学生在心理健康评分（p < 0.01）、情绪觉察能力和决策自信心方面均有统计学意义上的显著提升。这种整合式方法展现出良好的可用性和可扩展性，既为教师提供早期情绪洞察，也为学生创造反思性学习环境。该方法最适合具备人工智能支持的教室环境及经过培训的伦理监管机制的教育机构采用。

引言

心理健康已成为高等教育中的一个紧迫问题，全球大学生中报告的焦虑、抑郁和倦怠水平不断上升¹。这些心理负担通常与学业过载、社会压力和经济不确定性有关，对学业表现、学生留存率以及长期健康产生负面影响²。尽管许多高校已实施心理咨询和危机干预措施，但这些方法往往具有被动性且覆盖范围有限³。人们越来越需要主动、可扩展并能融入日常学习环境的心理韧性支持策略。

教育技术的最新进展为将情感支持直接融入教学系统提供了新的机遇。其中两种有前景的方法是叙事模拟和视觉人工智能（AI）。叙事模拟是指以互动故事为驱动的模块，将学生置于情感复杂的场景中，鼓励其进行反思、共情和决策。基于经验学习理论，这类模拟允许学习者在安全且有指导的环境中，预演应对考试焦虑、时间管理或同伴冲突等挑战的反应^4,5。经验学习理论进一步指出，反思与主动实践对于将经验转化为持久的学习至关重要，因此叙事模拟成为培养情绪智力和适应性应对能力的有效手段。

视觉人工智能利用机器学习模型实时推断学生的情绪状态，例如通过面部表情、目光或姿势⁶。在符合伦理规范并获得知情同意的前提下，此类系统可作为早期预警工具，在情绪问题升级前识别出压力或注意力分散的迹象⁷。当嵌入教学管理平台时，视觉人工智能可为教师提供及时反馈，支持个性化的学业干预或情绪回应。这种整合方式与认知行为理论相一致，该理论强调，提高对适应不良认知的觉察并对其进行重构，有助于改善情绪结果。

这种方法也与当前将教学管理视为在数字环境和线下环境中协调学生体验的观点相契合。通过将心理健康支持嵌入这一教学体系，韧性训练便成为学术过程的一部分，而非可有可无的附加内容⁸。该方法还与压力与应对的交互模型（Transactional Model of Stress and Coping）相一致，该模型将情绪调节视为评估与应对策略之间动态互动的过程；在此框架下，视觉人工智能有助于初级评估（识别情绪线索），而叙事模拟则在心理安全的环境中支持次级评估（探索不同的应对方式）。

尽管兴趣日益增长，但目前仍缺乏实证研究对视觉人工智能与叙事模拟在高等教育心理健康支持中的联合应用进行评估。此外，诸如心理健康素养等关键构念， "有助于识别、管理或预防精神障碍的知识与信念"⁹，以及情绪韧性，即适应心理压力的能力¹⁰，往往缺乏充分的操作化定义。本研究通过设计并测试一种整合式教学管理系统，弥补了上述不足；该系统将叙事模拟与视觉人工智能组件相结合，以促进对困扰情绪的早期识别，并增强学生的自我调节能力。

研究目的与主要贡献

本研究探讨了如何将叙事模拟与视觉人工智能有意义地整合到教学管理系统中，以应对大学生的心理健康问题。其目标不是将心理健康视为一种外部服务，而是将情感参与和早期心理支持融入日常学习过程中。通过将互动式决策情景与实时情绪监测相结合，既为学生提供了反思性实践的机会，也使教师能够敏锐地响应 distress 的迹象。

该系统在概念上基于体验式学习，强调实践、反馈和情感投入是行为改变的驱动力。叙事模拟呈现了常见的学术压力源（例如时间压力、同伴紧张关系），要求学习者做出具有显著情感意义的选择。与此同时，一种针对面部表情推断校准的视觉人工智能工具，可监测教学过程中实时的细微变化。该方法还借鉴了情绪智力理论，该理论将自我意识、共情能力和情绪调节视为心理韧性的核心能力。

本研究涉及三个学科领域的332名本科生和15名教职员工。采用混合方法设计，我们评估了焦虑、抑郁和压力是否降低，以及学生的情绪觉察能力和决策信心是否提高。统计建模与定性分析共同揭示了情绪感知技术如何作为日常学术生活中一种可扩展的预防性组成部分，支持学生心理健康——并非取代专业照护，而是对其形成补充。

系统概述

本研究分为五个主要部分。引言部分阐述了应对高等教育中心理健康挑战的背景与动机。第二部分回顾了有关叙事模拟、视觉人工智能及其在教育领域应用的现有文献。第三部分概述了研究设计，包括混合方法研究路径、参与者招募以及分析技术。第四部分展示了关键的研究结果，涵盖定量与定性发现，重点关注学生情绪韧性及心理健康意识的变化。最后，结论部分讨论了研究结果的广泛意义，并提出了将具备情绪感知能力的技术融入教学实践的未来发展方向。

相关工作

各高校已尝试多种方法来支持心理健康，包括由学生主导的外展活动、数字化宣传以及课堂干预措施¹¹。全校范围的信息传播结合学生同伴支持可提高对心理服务的参与度和认知度，但针对不同人群进行个性化干预仍面临挑战¹²。在人群层面，研究通常依赖基于诊断标准的自报问卷¹³，这限制了因果推断，并忽略了压力的实时指标^14,15。

越来越多的研究将情绪智力（EI）作为预测学生幸福感的指标；诸如自我意识、情绪清晰度和情绪修复等特质与更积极的结果相关，其中归属感常被认定为中介因素¹⁶。然而，许多研究结果基于一次性调查，缺乏用于持续支持的动态反馈。将基于情绪智力的原则融入叙事模拟，为深化共情、反思和自我调节能力提供了一条可行路径。

与此同时，教育研究者正越来越多地将人工智能整合到学习环境中¹⁷。用于检测面部表情或与压力相关的微表情的视觉人工智能工具，已在考试和辅导中得到应用，并在提供自适应反馈方面展现出良好效果¹⁸。叙事模拟在护理和医学教育中已得到广泛应用，用于训练涉及强烈情绪决策的应对能力¹⁹，但这些应用通常局限于特定领域，很少融入通用的教学管理系统²⁰。少量研究提出了学生与人工智能协作以及由人工智能驱动的教学设计框架^21,22，强调伦理问题、实施差距，以及亟需开发具有可扩展性的模型，以在新颖性之外提供真正的教学与心理价值。

本研究通过将叙事模拟与实时情感计算相结合，在大学学习环境中针对心理健康挑战创建了一种主动式嵌入响应机制，从而推动了该领域的发展。

研究空白与实际实施的考虑因素

尽管用于学生心理健康的数字工具不断增多，但许多研究依赖于自我报告和课堂环境之外的短期干预，限制了其长期影响和及时性。目前很少有研究将情绪智力（EI）或心理健康素养等概念与实时反馈或可观察的课堂行为联系起来。视觉人工智能和叙事模拟虽已被分别探索，但很少被整合到一个能够在学术活动中同时追踪并回应情绪状态的综合系统中。本研究通过在学习环境中将基于模拟的情绪反思与人工智能驱动的情绪识别相结合，弥补了这一空白。

实际实施中的注意事项

有效的部署依赖于基础设施（稳定的互联网、集成摄像头）、伦理监督以及算法校准，以保护参与者并减少偏见，尤其是在涉及面部分析时。教师还需要接受培训，以负责任地解读人工智能生成的提示，并将其融入教学决策中。因此，该方法最适合具备完善数字基础设施和机构伦理委员会的大学，在这些机构中，它可以作为促进学生心理健康的主动且可扩展的框架。

方案

在数据收集之前，已获得南京邮电大学机构审查委员会的伦理批准（批准编号：NJUPT-IRB-2024-0312）。所有参与者在了解研究范围、参与的自愿性、使用视觉人工智能进行情绪追踪以及数据保密程序后，均签署了书面知情同意书。参与者可在任何时候无惩罚地退出研究。所使用的软件和设备列于材料表中。

1. 研究准备

1. 操作时间线与端到端流程的定义
   设定两个评估时间点：T1（干预前），即首次考试结束后立即进行；T2（干预后），在教师根据人工智能情绪提示提供简要反馈后进行。第一次叙事模拟安排在考试结束后立即进行，第二次模拟则在数天后进行，以评估应对策略的变化。整个端到端流程包括教室摄像头输入、情绪识别API、教师反馈、问卷收集、数据整合与分析，如图1A所示。
2. 参与者招募与记录
   共从现有课程中通过自愿报名方式招募了347名参与者，其中包括332名本科生（年龄18–22岁；男性140名，女性192名）和15名教职员工（年龄27–45岁；女性10名，男性5名）。记录了参与者的学年与院系分布情况。学生与教职员工的人口统计信息分别列于表1和表2中。
3. 教室与材料准备
   每个教室配备一台计算机（Intel i5或更高配置，≥ 8 GB内存）、一台高清网络摄像头（≥ 720p）以及稳定的互联网连接（≥ 10 Mbps）。摄像头置于与眼睛齐平的位置，并在均匀的正面照明条件下安装，以确保面部清晰可见（分辨率≥ 640 × 480像素）。现场设有提示，说明情绪追踪正在运行。每次会话前均需确认取景与照明条件，并在检测稳定性确认后启动软件配置。

2. 视觉AI配置

1. 情绪识别服务的配置
   创建了云账户，并启用了情绪识别 API。生成了 API 密钥和端点 URL，凭据以加密形式存储，并采用基于角色的访问控制。为确保可重复性，使用了 Microsoft Azure 人脸 API（情绪识别，v3.2，东亚区域）。客户端完成身份验证 通过 使用承载令牌（bearer token）通过 HTTPS 传输，返回包含 {faceId、faceRectangle、emotions: {anger、fear、sadness、disgust、happiness、surprise、neutral}、timestamp} 的每帧面部 JSON 对象，帧率约为 25-30 fps。
2. 相机连接与检测校准
   教室网络摄像头视频流已连接至API客户端（Python或REST）。采样率设置为25-30帧每秒（fps），帧分辨率为640 × 480像素。启动测试视频流，并通过接收到带有有效时间戳的JSON格式数据的HTTP 200 OK响应确认连接正常。调整摄像头角度和光照条件，直至人脸在进入画面后一秒内被检测到。记录最终的摄像头位置和光照参数。校准完成的依据是确认屏幕上显示边界框、200 OK指示符及JSON字段，如图所示 图1B.
3. 分类阈值与记录规则的定义
   每个 JSON 输出均包含 ISO 8601 时间戳、情绪标签和置信度值。每帧的负性情绪综合值定义为愤怒、恐惧、悲伤和厌恶置信度得分的平均值。当该综合值在至少连续 5 秒内保持 ≥ 0.75 时（滑动窗口），触发压力警报。通过一次 10 分钟的预试验运行优化阈值，目标为每次会话的假阳性率 ≤5%。日志配置为汇总会话级别的统计摘要，而非存储可识别的帧数据。
4. 隐私与数据最小化控制的实施
   为学生分配了假名标识符（S001-S332），为教师分配了假名标识符（F001-F015），ID 对应密钥文件保存在启用基于角色访问控制的加密服务器上。本地视频缓存已禁用。若因质量保证需要临时缓存，则在验证后24小时内删除缓存的帧。记录每次会话的检测准确率、平均延迟和错误率，供后续在“结果”部分展示。
5. AI 准备就绪验证（程序性检查点）
   稳定的面部检测达到 25-30 fps，接收到 HTTP 200 OK 响应，有效的 JSON 字段，记录完整的阈值设置，以及安全的凭据存储均已确认。整个流程被报告为已通过与校准示意图一致的就绪检查。 图1B.

3. 问卷调查的实施

1. 仪器配置与锚定
   采用5点李克特量表，通过改编自DASS-21的条目来测量抑郁、焦虑和压力，条目内容已调整以契合学术情境。条目编码与锚定方式遵循表3所示的量表结构。
2. T1阶段（前测）施测
   在首次考试结束后、任何基于人工智能的反馈提供之前，立即实施问卷调查。通过部署安全的在线表单进行施测，所有字段均设为必填项，并防止重复提交。数据集以CSV格式导出，包含参与者ID、时间点（T1）及各条目得分。
3. 简要教师反馈的提供
   在T1阶段后24小时内，由人工智能识别出的学生将获得非临床性质的指导建议。反馈内容包括简短的放松练习（3–5分钟）、学习计划调整或时间管理建议。研究数据集中未记录任何临床记录。对于表现出严重心理困扰的学生，将根据机构政策转介至校园心理咨询服务。
4. T2阶段（后测）施测
   在第二次考试结束后并完成相应反馈后，再次施测相同的问卷。数据以CSV格式导出，标注时间点（T2），并通过参与者ID与T1阶段的应答进行匹配。
5. 调查数据锁定（程序性检查点）
   核实应答率与缺失数据模式，在数据合并前锁定调查数据库。计划在结果部分纳入描述性统计分析。

4. 叙事模拟练习

1. 模拟实验1的执行
   呈现一个学业压力情境，描述诸如收到低分或认为反馈不公等情况。要求每位学生从三种应对方式中选择一种：压抑挫败感、公开指责教师，或进行反思并寻求澄清。给予3-5分钟时间进行选择，随后撰写150-200字的书面理由。显示计时提示和应答选项的模拟界面如图1C所示。
2. 简短访谈的实施
   模拟实验1结束后立即进行持续5-7分钟的简短访谈，以探讨参与者的认知评估、应对意图及感知到的情绪触发因素。访谈记录被整理并与参与者编号对应。
3. 模拟实验2的执行
   数天后进行第二次模拟实验，程序与模拟实验1相同，但使用一个平行的情境。本次实验旨在观察情绪觉察和应对行为的变化。选择、理由及访谈记录均按模拟实验1的方式进行归档。
4. 模拟记录的确认（程序性检查点）
   核实每位参与者均有一项记录的选择、一篇不少于150字的理由陈述，以及一条对应的访谈记录。随后准备编码汇总模板，用于后续的主题分析。

5. 导出 AI 日志并合并数据集

1. 导出会话级别的情绪摘要
   会话级别的情绪摘要以 CSV 格式导出，包含参与者 ID、会话 ID、ISO 8601 时间戳、情绪标签、置信度值以及应激标志指示符。原始视频帧未被保存。
2. 将 AI 日志与问卷文件合并
   使用参与者 ID 和会话日期作为关键变量，将 AI 日志文件与 T1 和 T2 问卷数据集进行合并。计算衍生变量，例如 Δ焦虑 = 焦虑_T2 − 焦虑_T1，以评估随时间的变化情况。对 5% 的合并记录进行了审核，以验证标识符的一致性和时间顺序的合理性。
3. 确认合并完整性（程序性检查点）
   确认了参与者 ID 的一对一匹配以及正确的时间顺序，确保每位参与者的 T1 时间点早于 T2。在开展统计分析之前，所有发现的差异均已解决。

6. 定量分析（SPSS 工作流程）

1. 数据导入与变量定义
   在 SPSS 27.0 中打开数据文件，并导入 CSV 数据集。定义变量标签和类型，建立缺失值处理规则。主文件以 .sav 格式保存，用于后续分析。
2. 信度评估与描述性统计
   计算每个构念的 Cronbach's α 系数以评估内部一致性。生成所有变量的描述性统计结果，包括平均值（M）和标准差（SD）。保留输出结果，供“结果”部分使用。
3. 配对样本 t 检验的执行
   采用配对样本 t 检验比较焦虑、抑郁和压力在 T1 与 T2 时间点的得分。结果包括 t 值、自由度（df）、p 值、Cohen's d 效应量及 95% 置信区间（CI），均在结果部分予以呈现。
4. 重复测量方差分析的执行
   在重复测量方差分析中，将时间（T1、T2）设定为组内因素。评估 Mauchly 球形假设检验结果，当假设不满足时应用 Greenhouse-Geisser 校正。分析报告 F 值、df、p 值、η² 和 95% 置信区间（CI），用于结果部分的撰写。
5. 多元线性回归模型的拟合
   拟合多元线性回归模型，以 T2 结果为因变量，T1 得分、AI 压力标记率和叙事选择（虚拟编码）为自变量。通过报告 β 系数、标准误（SE）、t 值、p 值和 R² 对模型结果进行总结。
6. 单位与符号规范的维护
   所有数值均遵循国际单位制（SI）规范，数字与单位之间保留空格（例如：10 min、25 fps、640 × 480 px）。适当情况下使用 Word 的公式编辑器插入方程，且全文各部分保持统计符号的一致性。

7. 主题分析工作流程

1. 定性语料库的构建
   访谈记录被转录，叙述性理由按参与者编号和时间点（Sim1 或 Sim2）归类，整合为一个统一的语料库。该语料库作为定性分析的数据集。
2. 编码手册的制定与编码员培训
   制定编码手册，重点关注情感投入、决策质量以及情绪智力指标，包括自我意识、共情能力和情绪调节。两名编码员使用语料库的10%进行培训，以确保对编码及分析标准的理解一致。
3. 建立评分者间信度并完成编码
   以Cohen's κ值至少达到0.75为目标评估评分者间信度。所有分歧均经过讨论并解决后，最终确定编码手册。随后对剩余语料库进行全面编码。汇总主题出现频率，并绘制代表性主题图，用于结果部分的展示。每个核心主题均选取一条代表性引语加以说明。

8. 质量控制、故障排除与归档

1. 技术问题的解决
   当面部检测率较低时，改善了正面照明并调整了摄像头角度。确保帧率保持在 25-30 fps 范围内。若观察到过多的压力标记，则将检测阈值提高至 0.80，或将检测时间窗口延长至至少 8 秒，以稳定结果。
2. 数据一致性的保障
   在数据分析前核对参与者编号和时间点。每完成 50 份转录文本后，编码人员需重新校准，以防止编码偏差。每次会话均保留会话级别的质量控制清单，并由会话负责人和数据管理员共同签署，以记录操作过程的完整性。
3. 数据集与文档的归档
   所有分析文件均通过将直接标识信息替换为参与者编号进行去标识化处理。知情同意书与研究数据分开存储。最终数据集、SPSS 语法文件、代码本及质量控制日志均归档于受控访问的安全服务器中。

结果

描述性分析

前后测比较表明，干预实施后负面情绪持续下降。焦虑、抑郁和压力的后测均值分别从前测的3.25、3.11和3.08降至2.87、2.74和2.69（图2）。描述性结果汇总于表4，量表条目层面的结构见表3。为评估本研究情境下人工智能的可靠性，微软Azure情感识别API在七个类别上的平均分类准确率达到91.4%，平均错误率为8.6%，每帧延迟<1.2秒，表明其具备可接受的精度以检测情绪变化（表4）。

多元线性回归结果

回归模型通过将干预后（T2）的焦虑、抑郁和压力对基线（T1）得分、AI 压力标记率以及叙事选择（虚拟编码）进行回归，检验了干预后结果的预测因子，分析流程遵循方法部分所述。与干预相关的预测因子与负面情绪呈负相关，标准化系数...

讨论

该研究表明，当叙事模拟与视觉人工智能相结合时，情绪意识成为一种共享过程，而非单向干预。学生不仅仅是对数字工具做出反应，而是在进行一种结构化的情绪反思，将认知评估与具身经验相连接。在整个数据集中，定量和定性结果均显示出焦虑程度降低和情绪调节能力改善的一致模式，表明该方案可作为大学教学系统中的情感智能层发挥作用。

决定该方法有效性的似乎并非技术本身，而是校准、反馈与叙事设计之间的协调配合。在情感识别模块被精确调校且教师及时跟进的教学环节中，学生回应的反思性质量明显更高；而当这些步骤被跳过或延迟时，学生的参与度则显著下降。这一观察结果支持了情感学习本质上是互动性和依赖情境的观点。

从设计角度来看，本方案也为早期关于完全沉浸式虚拟现实和多模态表征的研究提供了对照，后者强调通过感官沉浸实现自我意识²³。而本研究的重点在于认知参与；学生通过引导性的叙事反思构建自身的理解。这一区别或许可以解释为何即便使用相对简单的硬件，情感参与度仍能得到提升。此外，关于系统运行透明度可增强信任感的研究发现，与...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
硬件	面部识别摄像头	Logitech（或类似品牌）	C920 HD 网络摄像头
仪器	访谈转录收集	手动录入	音频记录/文本
问卷	改良版 DASS-21 量表	作者改编	五点李克特量表格式
软件	Microsoft Azure 情绪识别 API	Microsoft	Emotion API v3（云端）
软件	SPSS Statistics	IBM	版本 26
软件	叙事模拟系统	自主开发	基于网页（HTML5）
系统平台	高校教学管理平台	内部平台	集成人工智能模块