探索使用孤立表情和电影片段评估创伤性脑损伤患者情绪识别能力

摘要

本文介绍了一套行为任务的实施方法，用于检测对孤立的面部和声音情绪表达的情绪识别能力，以及一种使用商业电视和电影片段的新任务，以评估包含情境线索的多模态情绪识别能力。

摘要

本研究向60名创伤性脑损伤（TBI）患者和60名对照组个体呈现了孤立的面部情绪表情、孤立的语音情绪表达以及包含情境线索的多模态（即，电影片段）刺激材料。所有刺激均通过计算机呈现。要求参与者采用强制选择格式，指出每个刺激中人物的情绪感受。此外，对于电影片段，参与者还需报告自身对刺激的情绪反应，以及体验该情绪的强度水平。

引言

创伤性脑损伤（TBI）每年在全球范围内影响约1000万人¹。TBI发生后，个体利用非语言线索（如面部表情和声音表达（i.e., 语调）以及情境线索）识别他人情绪的能力通常会受到显著损害^2-7。由于成功的人际互动和高质量的人际关系至少部分依赖于对他人情绪的准确理解^7-10，因此在TBI后普遍报告的社会功能不良结果中，情绪识别困难被证实是重要影响因素之一^3,8,11,12。

针对创伤性脑损伤（TBI）患者情绪识别能力的研究通常集中于孤立的线索，尤其是使用静态照片识别面部情绪表情²。尽管此类研究对于治疗方案的开发具有重要意义，但其并不能充分反映个体在日常互动中识别和解读情绪非语言线索的能力。静态图像不仅为情绪识别提供了更长的解读时间，而且通常仅呈现表情的峰值（即，表情最强烈的状态）^13-16。此外，静态图像缺乏伴随动作出现的时间性线索^12,13,15，无法真实反映日常情境中快速变化的情绪面部表情。进一步的研究证据表明，静态和动态视觉表情在大脑中的处理区域不同，且个体对动态刺激的反应更为准确^17-24。

创伤性脑损伤（TBI）患者对声音情绪的识别能力已被广泛研究，包括在含有和不含意义明确的言语内容的情况下。有研究指出，言语内容的存在会增加感知负荷，因为准确理解需要同时处理声音的非言语语调以及言语信息中的语义内容²⁵。尽管许多研究表明，在缺乏有意义的言语内容时，对声音情绪的识别能力有所提高，但 Dimoska et al. ²⁵ 却未发现表现上的差异。他们认为，TBI 患者在情感句子中倾向于关注语义内容；因此，即使语义内容为中性或已被消除，他们仍会持续关注句子中的言语信息。因此，他们的研究结果并未明确显示有意义的言语内容是否有助于或阻碍对声音情绪表达的识别。

除了伴随非语言声音线索的有意义的言语内容外，社会情境本身也提供了背景信息。情境背景提供了有关情绪表达产生时所处环境的信息，因此会极大地影响对情绪表达的解读。在评估某人的情绪状态时，我们会利用情境背景来判断当前情境是否符合该人的愿望和预期。这最终会影响一个人的感受，因此了解情境背景应能更准确地推断他人的情绪²⁶。这种能力被称为心理理论（theory of mind），研究表明，创伤性脑损伤（TBI）后该能力显著受损^6,27-31。Milders et al. ^8,31 报道，TBI患者在判断短篇故事中人物的意图和情感方面存在显著困难。

尽管这些研究揭示了创伤性脑损伤患者在非言语和情境性情绪加工方面的缺陷，但要将这些结果推广到日常社交互动中仍存在困难，因为在真实社交情境中，各类情绪线索往往是同时出现并嵌入社会背景之中的。为了更好地理解脑外伤患者如何在日常社交互动中解读情绪，我们需要采用具有多模态特性的刺激材料。此前仅有两项研究在探讨脑外伤患者情绪线索加工机制时纳入了多模态刺激。McDonald 和 Saunders¹⁵ 和 Williams 与 Wood¹⁶ 提取的刺激材料来自 情绪评估测试（EET）， 是……的一部分 该 社会推断测试意识²⁶EET 包含一系列录像片段，片段中男女演员在对话过程中表现出非语言的情绪线索。对话的言语内容在语义上是中性的，且未提供有关演员情绪状态或背景信息的提示。因此，受试者无需在处理非语言的面部和声音线索的同时，加工和整合有意义的言语内容。这些研究的结果表明，与对照组相比，创伤性脑损伤（TBI）患者在识别多模态情绪刺激方面的能力显著较差。由于这两项研究均未考察语义或情境信息对情绪表达理解的影响，目前尚不清楚增加此类信息是否会因增强跨感官冗余而促进情绪加工，还是会因增加认知负荷而对情绪感知产生负面影响。

本文概述了一组用于比较孤立条件下对面部和声音情绪线索的感知，以及在有意义的情境背景中对同时出现的这些线索的感知的任务。孤立条件下的任务是更广泛的非语言情绪识别测验——非语言情绪识别诊断分析2（DANVA2）³²的一部分。在本方案中，我们使用了成人面部表情（DANVA-面部）和成人副语言（DANVA-声音）两个子测验。每个子测验包含24个刺激材料，分别呈现快乐、悲伤、愤怒和恐惧四种情绪的六种表现形式。DANVA2要求参与者通过四选一的强制选择格式识别所呈现的情绪。在此基础上，本研究为两个子测验均增加了一个第五选项（我不知道）。为确保评估的是情绪识别能力而非信息处理速度，每个面部表情的呈现时间由两秒延长至五秒。除在强制选择反应格式中增加一个选项外，成人副语言子测验未作其他修改。每句话仅播放一次。两项任务均未提供反馈。

采用电影片段来评估个体在情境背景下对同时出现的面部和声音情绪线索的感知能力。尽管这些片段中的言语内容并未明确说明片段中人物的感受，但其与情境背景具有相关意义。本研究共纳入15个取自商业电影和电视剧的片段，每个片段时长介于45至103秒之间（平均时长=71.87秒）。在该任务过程中，未向参与者提供反馈。每种以下情绪类别均包含三个片段：快乐、悲伤、愤怒、恐惧和中性。这些片段的选择依据来自一项针对年轻成年人（n = 70）开展的研究结果 ^{Zupan, B. & Babbage, D. R. Emotion elicitation stimuli from film clips and narrative text. Manuscript submitted to J Soc Psyc}。在该研究中，参与者观看了每个目标情绪类别对应的六个电影片段，以及六个中性情绪片段，片段时长范围为24至127秒（平均时长=77.3秒）。尽管目标是纳入相对较短的电影片段，但所选的每个片段都必须包含足够的情境信息，以确保观众在不了解其来源影片其他内容的情况下仍能理解片段含义³³。

在Zupan和Babbage的研究^{Emotion elicitation stimuli from film clips and narrative text，见上文引用}中，当前研究选用的影片片段在诱发目标情绪方面的准确识别率分别为：快乐情绪83%至89%，悲伤情绪86%至93%，愤怒情绪63%至93%，恐惧情绪77%至96%，中性情绪81%至87%。尽管采用与DANVA2任务中相同数量的情绪类别样本（n = 6）更为理想，但由于本研究所用影片片段刺激材料相比DANVA-Faces和DANVA-Voices任务中的刺激材料更长，因此我们仅选用三个样本。

这些任务的数据来自60名创伤性脑损伤（TBI）参与者和60名年龄与性别相匹配的对照组参与者。参与者单独或以小组形式（最多3人）接受测试，三项任务的测试顺序在各次测试会话中随机分配。

方案

本方案已获得布鲁克大学和卡罗莱纳康复医院机构审查委员会的批准。

1. 测试前准备

1. 为15个电影片段创建3个独立的列表，每个列表以不同的受限顺序排列片段。
2. 确保每个列表以中性刺激开始和结束，且针对相同情绪的任意两个片段不连续出现。
3. 在桌面上为每种电影片段播放顺序创建单独的文件夹，并以顺序名称标记文件夹（例如，顺序1）。
4. 将15个片段分别保存到三个文件夹中。
5. 重新命名每个电影片段，使其反映播放顺序编号，且不提供关于目标情绪的任何线索（即，01；02；03；等）。
6. 创建六种随机化的任务呈现顺序（DANVA-面孔、DANVA-声音、电影片段）（见图1）。
7. 为 incoming participant 分配一种三种受限的电影片段呈现顺序。
8. 为 incoming participant 分配一种六种随机化的任务呈现顺序。

2. 测试当天

1. 将被试带入实验室，并让其在桌旁舒适就座。
2. 与被试逐条阅读知情同意书，向其讲解每部分内容。
3. 回答被试关于知情同意书的任何问题，并请其签署同意书。
4. 让被试填写简短的人口学信息问卷（出生日期；性别）。有创伤性脑损伤（TBI）的被试还需额外填写问卷中的相关病史部分（受伤日期、受伤原因、伤情严重程度）。
   注意：当被试填写问卷时，应询问其是否存在已知的视觉处理困难，以便为TBI被试安排合适的座位
5. 让被试坐在计算机前的椅子上。确保所有被试（若有多人）均能清晰看到屏幕。

3. DANVA-面孔任务

1. 为每位参与者提供一个夹板，上面附有DANVA-Faces反应表和一支笔，用于圈选答案。
2. 向参与者提供以下说明： "看到每个项目后，在对应幻灯片上项目编号的横线上圈出你的反应（高兴、悲伤、愤怒、恐惧或中性）。"
   注意：如果脑外伤（TBI）参与者报告存在视觉处理困难，或已观察到精细运动功能障碍，请为其提供替代应答页。该页面以横向排版，将五种应答选项以更大的字体列出。
3. 在演示文稿中打开DANVA-Faces任务，并使用幻灯片放映视图进行播放。
4. 向参与者提供以下说明： "在本次活动中，我将向你们展示一些人的面部表情，你们需要告诉我他们的情绪状态。请告诉我他们是感到高兴、悲伤、愤怒还是恐惧。其中，“恐惧”与“害怕”或“受惊”含义相同。如果无法确定情绪，请选择“我不知道”。本活动共包含24张面部图片，每张图片将在屏幕上显示五秒钟。你们必须在图片消失前作出回答，答案方为有效。请在你们面前的答题纸上圈出所选答案。".
   注意：如果受试者无法自行圈出其答案，且以小组形式参与研究，请提供以下说明： "通过指向你面前纸张上的选项来表明你的答案"检查者随后将在 DANVA-Faces 反应量表上记录参与者的反应。
5. 确保参与者在开始前没有疑问。
6. 以两次练习试验开始任务。向参与者提供以下指导说明： "我们将进行两次练习试验，以便您了解每个面孔在屏幕上呈现的时间以及您需要在多长时间内作出回答".
7. 当面部图像消失时，按键盘上的回车键进入下一个刺激。操作前请确保所有参与者均在抬头注视屏幕。
8. 确保参与者没有疑问。若无问题，开始测试试验。确保所有参与者均注视屏幕。按回车键以启动测试刺激。
9. 按照练习任务中所述的步骤继续操作，直至完成全部24个刺激。
10. 收集参与者的应答表。

4. DANVA-声音任务

1. 为每位参与者提供一个夹板，上面附有DANVA-Voices应答表和一支笔，用于圈选答案。
   注意：如果脑外伤（TBI）参与者已表明存在视觉处理困难或明显存在精细运动障碍，请为其提供替代应答页。该页面以横向格式列出五个选项，文字更大。
2. 通过访问以下网站打开DANVA-Voices任务：
   http://www.psychology.emory.edu/clinical/interpersonal/danva.htm
3. 点击“成人面部、声音和姿势”链接。
4. 在登录框中输入任意字母作为用户名，在密码框中输入 EMORYDANVA2 作为密码。
5. 点击继续。
6. 点击屏幕中央的“声音”（绿色圆圈）。
7. 测试音量水平。提供以下指导语："我想确认你能听到计算机发出的声音，并且音量对你来说是舒适的。我将点击“测试声音”。请告诉我你是否能听到声音，以及是否需要将音量调高或调低以达到舒适水平。"
8. 点击“测试声音”。
9. 根据参与者的请求调整音量（增大或减小）。
10. 再次点击“测试声音”，并根据参与者的反馈继续调整音量，直至参与者表示音量已舒适为止。
11. 向参与者说明任务要求。提供以下指导语：本任务中，你将听到有人说出句子“我现在要离开房间了，但稍后会回来。”你需要告诉我说话者的情绪是快乐、悲伤、愤怒还是恐惧。恐惧与害怕或惊恐含义相同。如果你不确定情绪类型，请选择“我不知道”选项。共有24个句子。在每个句子播放前，会先报出一个编号。你需要仔细聆听随后播放的句子。句子不会重复播放，因此请认真倾听。通过在你面前的应答表上圈出答案，告诉我说话者的情绪状态"。当你做出选择后，我需要在计算机屏幕上选择一个答案以进入下一项。我将始终选择同一种情绪（恐惧）。我的选择绝不表示正确答案。"
    注意：如果参与者无法自行圈选答案，且以小组形式参与研究，请提供以下指导语："通过指向你面前表格上的选项来表明你的答案"。主试将根据参与者的指示在DANVA-Voices应答表上记录其选择。
12. 点击“继续”。
13. 指导参与者在句子播放结束后，在其应答表上圈选（或指向）答案。
14. 点击“恐惧”。点击“下一个”。
15. 重复此程序，直至完成全部24个句子。
16. 任务结束后退出网站。
17. 收集参与者的应答表。

5. 电影片段任务

1. 让参与者舒适地坐在计算机前，确保所有人都能完全看到屏幕。
2. 为每个人提供一个文件夹，内含一份《情绪性电影片段反应记录表》的复印件。
   注意：如果TBI参与者已表明存在视觉处理困难或明显存在精细运动困难，请为参与者提供两份备选应答页。第一页列出五个强制选择应答选项，第二页提供0-9评分量表。两份应答页均采用较大字号并以横向排版。
3. 在计算机上打开指定影片片段播放顺序的文件夹。
4. 向参与者提供以下指导： "您将观看总共15段视频片段。在每段视频中，您会看到一个看似表现出某种情绪的人物。他们可能看起来“高兴”、“悲伤”、“愤怒”、“恐惧”或“中性”。首先，请告诉我该人物所表现出的情绪是什么。然后，请告诉我您在观看视频片段时体验到的情绪。最后，请指出最能描述您在观看片段时所感受到情绪强度的数字。例如，如果该人物的面部表情使您感到“轻微”高兴或悲伤，请圈选1至3之间的数字；如果您感到“中等程度”高兴或悲伤，请圈选4至6之间的数字；如果您感到“非常”高兴或悲伤，请圈选7至9之间的数字。只有在您完全没有感受到任何情绪时，才圈选0。您有任何问题吗？"
   注意：本研究仅分析了第一个问题（告诉我在场人物表现出何种情绪）。
5. 双击 01 以打开第一个视频片段。
6. 告诉参与者在观看视频片段时应关注哪个角色。
7. 在选项菜单中选择“全屏查看”以播放视频片段。
8. 视频播放结束后，指导参与者在答题纸上回答第 a 行问题（主角正在经历何种情绪？）。
9. 指导参与者对第 b 行作出回应（选择一种情绪） 最佳 描述了如何 你 在回答完第一行后，于反应表上填写观看视频片段时的感受。
10. 指导受试者在回答完 b 行后，对 c 行（您如何评价观看视频片段时所体验情绪的强度？）作出回应。
11. 指导参与者在完成反应后，将注意力重新转回计算机屏幕。
12. 返回计算机上的文件夹，该文件夹包含按参与者指定顺序排列的视频片段。
13. 双击 02 以打开第二个视频片段。重复步骤 5.5 至 5.12，直至参与者观看完全部 15 个视频片段。
14. 从参与者处收回反应表。

6. 从一个任务切换到另一个任务（可选步骤）

1. 在任务2和任务3之间为参与者提供休息的选项。

7. 任务评分

1. 参见DANVA2手册第25页的答案键³² 用于评估 DANVA-Faces 任务。
2. 将与答案键匹配的项目计为1分，不匹配的项目计为0分。“我不知道”类回答计为0分。
3. 通过累加正确回答的总数计算原始分数。将原始分数除以24（总题数）得到百分比准确率分数。
4. 参见DANVA2手册第27页的答案键³² 重复步骤 7.2 和 7.3，以完成 DANVA-Voices 任务的评分。
5. 参考参与者影片片段呈现顺序的答案键。当参与者回答角色所表现出的情绪时，若其识别出目标情绪，则计为1分；若未选择目标情绪（包括参与者回答“我不知道”），则计为0分。
6. 通过累加正确回答的数量计算原始分数。将原始分数除以15（总项目数）得到百分比准确率分数。
7. 为电影片段任务创建一个子集分数，仅包含对快乐、悲伤、愤怒和恐惧这12个电影片段的正确回答。将这些片段的正确回答数相加，再除以12，得到百分比准确率分数。
8. 通过将对中性影片片段的正确反应次数相加，计算对中性影片片段的反应得分。将正确反应次数除以3，得到百分比准确率得分。
   注意：由于 DANVA 任务未包含中性情绪的呈现，而电影片段任务包含了，因此需要创建一个子集分数。
9. 计算对正性情绪条目反应的得分（即，快乐）和负性情绪项目（合并愤怒、恐惧和悲伤刺激的反应）在所有三项任务中的表现。
10. 将每项任务中正性情绪条目的得分除以3，以获得百分比准确率得分。
11. 将每项任务中负性评价项目的得分除以9，以获得百分比准确率得分。

8. 数据分析

1. 采用混合模型方差分析（ANOVA）检验创伤性脑损伤（TBI）参与者与对照组参与者对孤立的面部情绪刺激、孤立的语音情绪刺激以及多模态电影片段刺激的反应。
2. 通过后续的单变量比较分析，进一步探讨ANOVA中发现的主效应。

结果

本任务组合用于比较在情境背景下出现的孤立情绪表达（即，仅面部；仅声音）与复合情绪表达（即，面部与声音结合）的情绪识别能力。共有60名（37名男性和23名女性）年龄在21至63岁之间（平均年龄 = 40.98岁）、患有中度至重度创伤性脑损伤（TBI）的参与者，以及60名（38名男性和22名女性）年龄匹配的对照组参与者（年龄范围 = 18至63岁；平均年龄 = 40.64岁）完成了三项任务。参与研究的TBI参与者需具备提示中度至重度TBI的格拉斯哥昏迷评分、创伤后遗忘或意识丧失情况。受伤后的平均时间为13.68年，最常见的致伤原因为机动车事故（72%）。TBI参与者的平均受教育年限为14.43年，对照组参与者为15.72年。若TBI参与者患有发育性情感障碍、获得性神经系统疾病、重大精神疾病或影响充分参与研究任务的视力或听力障碍，则被排除在研究之外。若对照组参与者报告有任何严重程度的TBI病史（包括导致脑震荡后综合征的脑震荡），则被排除。所有参与者均以英语为母语。

讨论

该论文描述了用于评估脑损伤（TBI）患者情绪识别能力的三项任务。所述方法的目标是，将个体对孤立的面部和声音情绪线索的反应准确性，与在有意义的情境背景下同时呈现这些线索时的感知能力进行比较。本研究纳入了电影片段，因为这些片段更接近日常生活情境，相较于孤立的情绪表达呈现方式，具有更高的生态效度。在对脑损伤患者实施该实验方案时，需考虑个体的视觉扫描能力，并确保刺激材料和应答表格完全可见。为此，设计了应答表格，每条刺激对应一行，并采用交替的颜色编码（例如，第1行=灰色；第2行=白色；第3行=灰色；等等）。

DANVA2 可完全在线获取。然而，我们未使用 DANVA-Faces 的在线版本，因为该版本预设每张面部图像仅呈现两秒。考虑到创伤性脑损伤（TBI）患者常存在信息处理速度较慢的问题，我们担心使用此版本所导致的错误可能更多反映的是信息处理速度障碍，而非面部情绪识别能力的真实情况。因此，我们所采用的 DANVA-Faces 呈现版本将每个刺激的显示时间延长至 5 秒。

本研究中使用的刺激材料为了解创...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
非言语准确性诊断分析-2	埃默里大学心理学系，美国佐治亚州亚特兰大		DANVA-面部子测验，DANVA-声音子测验
计算机	Apple iMac 台式机，27" 显示屏
统计分析软件	SPSS		大学授权的数据分析软件
快乐电影片段 1	Sweet Home Alabama，D&D Films，2002年，导演：A. Tennant		一名男子在珠宝店向女友求婚，令她惊喜不已
快乐电影片段 2	婚礼终结者，New Line Cinema，2005年，导演：D. Dobkin		一对情侣坐在海滩上边玩手势游戏边调情
快乐电影片段 3	冲锋陷阵，Jerry Bruckheimer Films，2000年，导演：B. Yakin		一名非裔美式橄榄球教练及其家人在球队赢得冠军后被社区接纳
悲伤电影片段 1	实习医生格蕾，ABC，2006年，导演：P. Horton		一位父亲只能通过眼神与家人交流
悲伤电影片段 2	世界末日，Touchstone Pictures，1998年，导演：M. Bay		女儿向身处太空执行危险任务的父亲告别
悲伤电影片段 3	实习医生格蕾，ABC，2006年，导演：M. Tinker		一名女子因未婚夫去世而心碎
愤怒电影片段 1	绿山墙的安妮，加拿大广播公司，1985年，导演：K. Sullivan		一位年长女性当着孩子的面公开评论其外貌
愤怒电影片段 2	致命的诱惑，Columbia Pictures，2002年，导演：M. Apted		妻子闻到丈夫衣服上有其他女人的香水味，于是当面质问其婚外情
愤怒电影片段 3	风月俏佳人，Touchstone Pictures，1990年，导演：G. Marshall		一名应召女郎试图在高档精品店购买服装却被拒之门外
恐惧电影片段 1	血钻，华纳兄弟影片公司，2006年，导演：E. Zwick		一辆辆载有民兵的车辆在父子二人外出行走时向他们逼近
恐惧电影片段 2	她眼中的世界，2929 Productions，2007年，导演：V. Perelman		两名 teenage 女孩在学校洗手间交谈时听到枪声，并逐渐逼近
恐惧电影片段 3	第六感，Barry Mendel Productions，1999年，导演：M. N. Shyamalan		一个小男孩在深夜走进厨房，发现母亲行为异常
中性电影片段 1	另一个她，Mandeville Films，1999年，导演：G. Marshall		母女二人坐在客厅里讨论一本艺术书籍
中性电影片段 2	心理游戏，Polygram Filmed Entertainment，1999年，导演：D. Fincher		一名男子向另一人解释游戏规则
中性电影片段 3	恋恋笔记本，New Line Cinema，2004年，导演：N. Cassavetes		一位年长男子在常规体检时与医生交谈