Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

探索孤立的表达式和电影剪辑的使用与创伤性脑损伤的人评价情感识别

Published: May 15, 2016 doi: 10.3791/53774

Summary

本文介绍了如何实现的行为任务电池检查孤立的面部和声音的情感表达情感识别,并使用商业电视和电影剪辑一个新的任务,以评估多式联运情绪识别,包括上下文线索。

Abstract

目前的研究提出了60人,创伤性脑损伤(TBI)和孤立情感的面部表情控制60,隔离声乐情感的表达,和多模式( ,影片剪辑)的刺激,包括上下文线索。所有的刺激均通过计算机呈现。被要求参加者以确定如何将人在每一个刺激是使用强迫选择格式的感觉。此外,为影片剪辑,参与者们必须表明他们响应刺激的感觉,和强度的水平与他们经历过的情感。

Introduction

创伤性脑损伤(TBI)影响世界各地的1每年大约有10万人。 TBI之后,认识到使用非语言线索,例如面部和声音表达情感人的能力( ,说话的语气),和上下文线索,往往是显著损害2-7。由于成功的人际交往和质量的关系至少部分依赖于别人的情绪7-10准确的解释,这并不奇怪,随着情感识别困难已报告有助于TBI后3,8常见的穷人的社会后果, 11,12。

研究人员通过调查情感识别与TBI往往集中于孤立的线索,尤其是识别使用静态照片2面部情感表情。虽然这项工作一直是很重要的,通知有利于治疗的发展克,它没有充分代表一个人的认识和解读情感的肢体语言会在日常交往的能力。不仅静态图像提供更多的时间来诠释刻画情感,他们也通常只描绘了顶点表达13-16( ,最大表示)。此外,静态图像缺乏与运动12,13,15发生的时间线索,并不能代表在日常生活中遇到的情感迅速变化的面部表情。此外,有证据表明,静态和动态视觉表达式在脑的不同区域进行处理,以向动态刺激17-24更准确的响应。

由人TBI声乐情感识别也进行了研究,既没有意义的语言内容。它已经提出的词句内容的存在增加,因为精确INTE感知需求rpretation要求有发言权的非语言语调与包括口头消息25语义内容的同时处理。虽然许多研究已经显示提高了人声的识别在没有有意义词句内容,Dimoska 等人 25发现在性能上没有差异影响。他们认为,人有脑外伤朝情感句子的语义内容的偏见;所以即使当内容在语义上是中性或淘汰,他们继续把重点放在句子中的口头信息。因此,他们的结果并没有清楚地显示有意义的语言内容是否有助于或阻碍声乐情感表达。

此外,可以陪非语言线索声乐有意义的语言内容,背景也通过社会情况本身提供。情境提供了有关在其下产生的情感表达,能这样就大大的情况下背景资料注量表达的解释。当评估一个人的感觉如何,我们使用环境来确定的情况是与人的需要和期望是一致的。这最终会影响一个人的感觉,所以情境的知识应当引起别人的情绪26更准确的推理。要做到这一点的能力被称为心理理论,发现是显著受损以下TBI 6,27-31的结构。 Milders 8.31报告,患有TBI有做出准确的判断有关,并理解简要事迹人物的意图和感受显著困难。

虽然这些研究都强调非语言和情境情感处理赤字,这是很难一概而论的结果到这些线索发生一起彼此和社会背景下的日常社会交往。为了更好地理解人们如何与TBI在日常社会交往诠释情感,我们需要使用在本质上多刺激。只有两个以前的研究已包括多式联运刺激作为调查的一部分进入人们的TBI过程的情感线索如何。麦当劳和桑德斯15和威廉姆斯和木提取16情感评估测试(EET),这是社会推理测试 26 意识的一部分的刺激。该EET由护身符录像,显示男性和女性角色刻画的非语言线索的情感,而与人交谈的。在谈话中口头上的内容是语义中性;关于演员的感受,不提供上下文信息线索。因此,需要处理和同时做这与非语言的面部和声音线索被淘汰整合有意义的语言内容。这些研究的结果表明,人的TBI分别significanTLY比他们从多刺激的识别能力,情绪控制不准确。因为无论是研究中考虑对情感表达的语义解释或语境信息的影响,它增加此类信息是否有助于处理,因为增加intersensory冗余的或消极的影响观感,因为增加认知需求仍不清楚。

本文概述了一套用于隔离比较面部和声音的情绪线索的知觉任务,而有意义的情境中同时出现的这些线索的看法。该隔离任务的非语言情感识别较大测试的一部分- 非言语准确的诊断分析2(DANVA2)32。在这个协议中,我们使用了成人面孔 (DANVA-面)和成人同期声 (DANVA-音色)测验。每个分测验的包括24个刺激,每个描绘快乐,悲伤,愤怒,和恐惧情绪六个交涉。该DANVA2要求参与者识别情感用强迫选择格式(4个选项)描绘。这里,第五选项(不知)用于两个子测试。时间显示出每一个面部表情量是从两个秒增加到五秒钟以确保我们正在评估影响的肯定和没有处理的速度。我们没有改变成人同期声分测验超出了强迫选择响应格式添加额外的选择。参与者只有一次听到每个句子。没有在任一任务提供了反馈。

电影剪辑被用来评估情境中同时发生的面部和声音情感线索的看法。虽然这些片段中的语言内容没有明确说明是什么在剪辑的人物都心照不宣,这是有意义的情境。来自共抽取十五剪辑mmercial电影和电视连续剧,包括在研究中,每45至103(平均= 71.87)秒。反馈这个任务时未提供给与会者。有三个片段分别代表如下情感类:高兴,悲伤,愤怒,恐惧,中性。这些片段是基于与年轻人进行的一项研究结果选择(N = 70) 祖潘,B.&巴贝奇,从电影剪辑和叙事文本DR情感启发刺激。手稿提交到J SOC心理误区 。在这项研究中,参与者赠送了每个目标的情感类六个电影剪辑和六个中立的电影剪辑,从24到127秒(平均=77.3秒)。而目标是包括相对短的电影剪辑,选择用于包含每个剪辑需要有足够的上下文信息,它可以通过观看者,而不必从它溶于33膜的附加 ​​知识来理解。

从电影剪辑和叙事文本祖潘和巴贝奇学习情感启发刺激被正确识别,上面提到的83和幸福的89%的目标的情感,86 - 93 %,持续伤心,63 - 为生气93%,77 - 96%的恐惧,以及81 - 中性87%。而具有相同数量的每种情感类别的范例的就像在DANVA2任务(N = 6)将是理想的,我们选择了3种,由于电影剪辑刺激的长度的增加相比,在DANVA-面刺激和DANVA-声音任务。

从这些任务的数据是从60名学员收集与TBI和60年龄和性别匹配的对照。参与者被视为单独或小团体(最大值= 3)和三个任务的顺序跨越测试会议是随机的。

Subscription Required. Please recommend JoVE to your librarian.

Protocol

该协议被批准在布鲁克大学和卡罗来纳康复机构审查委员会。

1.在测试之前

  1. 对于15电影剪辑创建3个单独的列表,列出每个剪辑以不同的限制令。
  2. 确保每个清单开始,以中性刺激,而且针对相同的情感没有两个剪辑连续发生结束。
  3. 在桌面创建电影为了演示每个列表上单独的文件夹和标签的订单名称的文件夹( 例如 ,订购1)。
  4. 15剪辑保存到这三个文件夹。
  5. 所以它反映了演示数,并给出关于目标的情感线索,不重新标签每个电影剪辑(02; 03; 也就是说 ,01 )。
  6. 创建任务(DANVA-面,DANVA-的声音,影片剪辑)显示( 见图1)六个随机订单。
  7. 分配传入particip蚂蚁电影剪辑呈现三个限制订单之一。
  8. 进入的参与者分配到的任务呈现六个随机订单之一。

2.测试日

  1. 把参与者(S)进入实验室,并在餐桌他们舒适座位。
  2. 通过阅读每一部分与他/她查看与参与者的同意书。
  3. 回答参与者可能对知情同意书,让他有任何疑问/她的签名。
  4. 有与会者填写简短的问卷调查人口(出生日期,性别)。有与会者还TBI完成相关病史调查问卷(受伤日期,受伤原因,损伤程度)问卷的部分。
    注:当参与者填写调查问卷,询问任何已知的视觉处理的困难,所以你可能会TBI相应座位的参与者
  5. 参与者在次前的位置椅子E计算机。确保所有参与者(如果有多个)具备屏幕的清晰视图。

3. DANVA-面任务

  1. 给每位学员剪辑板附有DANVA,响应面片和用笔圈的反应。
  2. 提供参与者以下说明:“当你看到每一个项目,圆您回应(快乐,悲伤,愤怒,恐惧,或中性)上对应于每张幻灯片显示的项目编号就行了。”
    注:如果学员TBI表明视觉处理困难或精细动作困难是显而易见的,提供与替代响应页面的参与者。此页面列出在横向格式的文本较大的五个响应。
  3. 在演示文稿中打开DANVA-面任务,并使用幻灯片放映视图播放。
  4. 使与会者有以下说明:“对于这个活动,我要告诉你一些民族的面孔,我想你告诉我他们的感受。我要你告诉我,如果他们很高兴,悲伤,愤怒或害怕。可怕的是同样的事情,害怕或恐惧。如果您不确定的情感,选择“我不知道”回应。有24个面孔完全。每个面都将在屏幕上大约五秒钟。前脸消失你的答案来算,你必须回答。指示由它盘旋片在你的面前“你的答案。
    注:如果参与者无法圆他/她自己的反应,并在研究的一小群的一部分参加,提供以下指令:“指示由指向它的表在你面前对你的答案”。然后考官会记录参与者对DANVA,响应面片的反应。
  5. 确保在开始之前参与者没有任何问题。
  6. 先从两练的试验任务。使与会者有以下说明:“我们将要完成两个PRActice试验,让你得到的每个面多久出现在屏幕上从某种意义上说,多久你要提供你的答案。“
  7. 按下键盘上输入的时候脸上消失,移动到下一个刺激。确保所有参与者都在屏幕才这么做的仰视。
  8. 确保参与者没有问题。如果没有,开始测试试验。确保所有参与者都看屏幕。按下回车键开始测试的刺激。
  9. 继续概述了实践的任务,直到24的刺激是完整的程序。
  10. 收集参与者的响应表。

4. DANVA-声音任务

  1. 给每位学员剪辑板附有DANVA,声音响应表和一支笔来圈响应。
    注:如果学员TBI表明视觉处理困难或精细动作困难是显而易见的,提供与替代响应页面的参与者。该PAGE列出横向格式文本较大的五个响应。
  2. 通过访问以下网站打开DANVA-声音任务:
    http://www.psychology.emory.edu/clinical/interpersonal/danva.htm
  3. 点击链接成人的面孔,声音,和姿势。
  4. 通过输入登录任何字母和密码输入EMORYDANVA2的登录名和密码填写。
  5. 点击继续。
  6. (在屏幕的中心绿圈)点击音色。
  7. 测试的音量。提供以下说明:“我想,以确保您可以听到电脑上的声音,它是在一个舒适的音量,你我要去点击测试声音,请告诉我,如果你能听到声音,。此外,如果你需要的声音更加响亮或更安静很舒服你。“
  8. 点击测试声音。
  9. 根据参与者的请求(增加/减少)调整音量。
  10. 点击“测试声音”再次。根据与会者的要求,调整音量。这样做,直到参与者报告它是在一个舒适的音量。
  11. 查看与参与者的任务指令。让参与者以下说明:对于此活动,你会听到有人说了一句“现在我要走出房间,但后来我会回来的。”我要你告诉我,如果他们很高兴,悲伤,愤怒或害怕。可怕的是同样的事情,害怕或恐惧。如果您不确定的情感,选择“我不知道”回应。有24个句子。每个句子是口语之前,号码将被公布。你要听后面的句子。的句子将不再重复,所以你需要仔细聆听。告诉我如何的人是通过在纸张在你面前“盘旋你的答案的感觉,一旦你做出选择,我需要选择在计算机屏幕上的响应移动到下一个项目。我会一直选择•他同情感(恐惧)。我的选择并不表示在正确的答案呢。“
    注:如果参与者无法圆他/她自己的反应,并在研究的一小群的一部分参加,提供以下指令:“指示由指向它的表在你面前对你的答案”。然后考官会记录参与者对DANVA,声音响应板的响应。
  12. 点击“继续”。
  13. 直接参与者圈(或点),他们对他们的回应表的答案时,这句话发挥。
  14. 点击“可怕”。点击“下一步”。
  15. 直到24句完成继续此过程。
  16. 退出该网站,当你到达任务结束。
  17. 收集参与者的响应表。

5.电影剪辑任务

  1. 座椅舒适参与者在电脑前。确保屏幕可以FUL所有LY看到。
  2. 给每个人的情感电影剪辑响应表的副本剪贴板。
    注:如果学员TBI表明视觉处理困难或精细动作困难是显而易见的,提供参与者与两个备用响应页面。第一页列出的五个强迫选择响应和第二提供了0-9级。这两种响应页面在更大的文本和横向格式。
  3. 打开电脑的电影剪辑呈现的分配顺序上的文件夹。
  4. 有以下几个方向参与者提供:“你是要查看共有15个电影剪辑在每个电影剪辑,你会看到一个字符谁看起来他们都感到了一定的情感,他们看起来'快乐','。伤心“,”愤怒“,”恐惧“或”中性“。首先,我要你告诉我的性格是显示什么情绪,然后告诉我你经历了什么感情,而看电影夹。最后,告诉我,最能说明边看夹你感受到情感的强度的数量。例如,如果一个人的脸让你觉得'轻度'快乐或悲伤,圈一批从1到3。如果你觉得'适度'快乐或悲伤,圈一批从4至6如果你感到“非常“快乐或悲伤,圈数为7至9只不等圈0,如果你没有感到任何感情可言。你有什么问题吗?“
    注:只有第一个问题(看官情感字符显示)分析了当前的研究。
  5. 双击01开的第一部电影剪辑。
  6. 告诉参与者集中在观看短片的字符。
  7. 在选项菜单中选择“查看全屏”播放的剪辑。
  8. 直接参与者时,剪辑播放完响应A线(情感是什么主角经历?)对他们的回应表。
  9. 我>直接参与者向B线(选择能描述的感受,一边看剪辑中一个情感)的响应表一旦线路已经回答了回应。
  10. 直接参与者,一旦线路B已经回答了回应C线(您如何评价在观看剪辑,你经历过的感情的强度?)。
  11. 直接参与者,一旦反应是完全重新指引他/她的注意电脑屏幕上。
  12. 返回到该文件夹​​包含在参与者的分配顺序电影剪辑在计算机上。
  13. 02双CCK打开第二个电影剪辑。重复步骤5.5至5.12,直至参与者观看所有15个电影剪辑。
  14. 收集参与者(S)的响应表。

6.从一个任务移到另一个(可选步骤)

  1. 为参与者提供取任务2和3之间休息的选项。
e_title“> 7,得分任务

  1. 参考答案键DANVA2手册32第25页上的得分DANVA-面任务。
  2. 匹配分数接听键为1,不正确的项目为0。“我不知道”响应被记为0分的项目。
  3. 通过加入正确响应的总数计算原始分数。除以24(共0条)的原始分数,以获得精确的百分比分数。
  4. 参考答案键DANVA2手册32第27页并重复步骤7.2和7.3的得分DANVA-声音任务。
  5. 请参考电影剪辑呈现为参与者分配秩序了接听键。获得1分,如果回答什么情感性格是显示,0如果参与者没有选择目标的情感(包括如果参加者说:“我不知道')的问题时,参与者识别目标的情感。
  6. 通过添加correc数计算原始分数Ť响应。除以15(共0条)的原始分数,以获得精确的百分比分数。
  7. 创建一个子集评分,通过添加正确的反应,只有这12剪辑只包含的快乐,悲伤,愤怒,恐惧和电影剪辑的反应电影剪辑任务。除以12的正确反应的数目,以获得一个百分比的准确性比分。
  8. 通过加入到中立夹子正确应答的数目创建用于向中立电影剪辑响应的分数。除以3的正确反应数,以获得一个百分比的准确性比分。
    注:子分数需要创建因为DANVA任务不包括中性的描写,而电影剪辑的任务一样。
  9. 计算反应积极valenced项的分数( ,高兴)和负valenced项目(结合起来,愤怒,恐惧和悲伤的刺激的反应)的所有三项任务。
  10. 除以3为积极valenced项目每个任务的成绩获得四氯乙烯entage准确性比分。
  11. 9除法负valenced项目每个任务的比分获得准确的百分比分数。

8.数据分析

  1. 进行方差分析的混合模型分析,以检查由参与者TBI和控制参与者孤立的面孔情绪刺激,隔离声乐情感刺激,和多式联运电影剪辑刺激的反应。
  2. 探索利用后续单变量比较的方差分析发现的主要影响。

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

此任务电池被用来比较情绪识别为孤立情感表达式( ,面仅;仅话音)和合并的情感表达一个情境中发生的( ,面部和声音)。共60(男37例,女23例)的参与者中重度颅脑损伤的21岁至63岁之间(平均= 40.98)和60(男38例,女22),年龄相合的控制(范围= 18至63;平均= 40.64)完成了三项任务。参与这项研究中,参与者需要一种TBI有无论是格拉斯哥昏迷量表评分,创伤后失忆或意识丧失,这是指示中度至重度脑外伤。受伤以来的平均时间为13.68年和伤害的最常见的原因是机动车事故(72%)。与TBI参与者已完成14.43多年的教育和控制参与者15.72年教育的平均值。以T参与者BI是从学习,如果他们有一个发展的情感性精神障碍,后天的神经系统疾病,主要的精神障碍或损伤视力或听力这将抑制学习任务全面参与排除在外。如果他们报告任何严重的脑外伤史的任何,包括导致postconcussive综合征震荡控制参与者被排除在外。所有与会者都讲英语作为他们的主要语言。

为了确保没有任务顺序的影响,我们分配参与者的电影剪辑三个限制随机订单之一,六个任务单(参见图1)之一。电影和任务依次为预先确定的使用在线计算机随机数发生器。既不膜也不任务顺序示出,以实现性能,因而不被用作在分析协变量。

图2包括图示的例子ØFA从DANVA-面任务和电影剪辑任务的刺激。好处和使用DANVA2和电影剪辑刺激的挑战,在讨论进行检查。

跨越三个方差分析检查组差异会影响识别任务发现组显著主效应[F(1,100)= 9.32; P = 0.003]和任务[F(2,200)= 11.05,P <0.001。作为推测,人的TBI比控制显著准确少关于DANVA-面任务,F(1,101)= 6.77的性能; P = 0.005,并且DANVA-音色任务,F(1,100)= 9.64, p值= 0.002(参见图3)。这是令人惊讶的发现在电影剪辑任务识别情感没有两组,F(118)= 2.12,P = 0.15之间显著不同。我们预期,该电影剪辑的多峰性质会增加任务的认知需求,使之更困难的人TBI认识到在电影剪辑的情感与对照组相比。此情况并非如此。看来,多线索增加冗余,允许患有TBI到比他们孤立表达更容易识别的情感。

类似这方面的前期工作,患有TBI发现显著更具挑战性的认识比两个DANVA-面孔[F(1,101)= 6.8,P = 0.01]和DANVA-声音[正面的负面的情绪表达DANVA-声音; ˚F(1,100)= 10.85,P = 0.001]任务( 见图4)。

虽然在这方面的研究报道价的影响,很少有研究考察目标的情感反应。我们分析了快乐,悲伤,恐惧,愤怒和刺激所有三个任务( 见图5)响应和另外分析到中立电影剪辑的反应(参见图6)。虽然价结果表明,患有TBI普遍认为负valenced刺激更具挑战性的识别比人没有TBI,有调查是否一个特别的情感( ,愤怒)驾驶这个结果的愿望。既然幸福是我们唯一的积极情感valenced,我们的结果反映在这里为那些价。当检查到带负valenced情绪(悲伤,愤怒,恐惧)反应,结果表明,人们发现TBI可怕是最困难的情感识别。事实上,这是电影剪辑工作中发现的唯一一组响应之间的差异。识别中性是显著更加困难的人的TBI比控制,F(118)= 6.68,P = 0.001。当中立被错误地认定,患有TBI有显著更可能提供比控制负valenced响应,F(2236)= 4.75,P = 0.009。

图1
图1.协议的示意图。在测试之前,参与者被分配到了电影剪辑的三表出订单之一。也有一些分配到的任务完成六个随机订单之一。在测试当天,参与者在完成实验任务之前提供的初步信息,[电影剪辑,DANVA-面(面),以及DANVA-音色(声音)。 请点击此处查看该图的放大版本。

图2
图2刺激的例子使用。A) ,在D的分离的面部的刺激的例子ANVA-面任务。在这个任务中的所有刺激都使用相同的背景。B)一部影片剪辑的影片剪辑任务截图静态照片。从商业电影和电视拍摄,并从45不等所有影片-长度为103毫秒,请点击此处查看该图的放大版本。

图3
图3.跨传媒回应,由集团。为回应人们使用和不使用TBI每个任务类型。与TBI参与者比对照组认可的情感[DANVA-面的静态表情显著准确的少; F(1,101)= 6.77; P = 0.005],和声乐情感表达[DANVA-声音; F(1,100)= 9.64,P = 0.002]。识别情感为上下文富集膜的差剪辑是不显著[F(1,118)= 2.12,P = 0.15]。错误条显示平均值(SEM)的标准误差。 请点击此处查看该图的放大版本。

图4
图4.价反应跨媒体,由集团。响应积极与整个任务的负面刺激。与TBI人能认识同样积极的情感表达来控制,但有显著更多的困难认识到消极情绪的面部表情[DANVA-面; F(1,101)= 6.8,p值= 0.01〕和负声情绪表达[DANVA-音色; ˚F(1,100)= 10.85,P = 0.001]。错误条显示平均值(SEM)的标准误差。 请点击此处查看LARG呃版本这个数字。

图5
图5.响应跨介质的每一情感范畴论,由集团。此图显示了每个人的TBI,为DANVA-面控制,DANVA-的声音,影片剪辑任务目标的情感反应。与TBI人进行类似控件快乐,无论是刺激的类型。对于悲伤,愤怒,和恐惧,患有TBI比控件DANVA-Faces和DANVA-声音任务显著准确较少。与TBI人也有显著更难以识别比电影剪辑控制恐惧。 请点击此处查看该图的放大版本。

.JPG“/>
图6.响应中性刺激的电影剪辑工作,由集团与 TBI人有显著更多的困难标签中性影片剪辑作为比对照组,F(1,118)= 6.68,P = 0.001中性。当中立被错误地认定,患有TBI也显著更有可能提供一个负valenced响应,而不是比对照组,F(2236)= 4.75,P = 0.009。 请点击此处查看该图的放大版本。

情感电视节目/商业片现场长度(秒)
快乐阿拉巴马甜蜜的家,D&D电影,2002 一个男人惊喜女友与一家珠宝店求婚。
导演:A.坦南特
快乐婚礼傲客,新线电影公司,2005年一对年轻夫妇坐在海边玩耍妖冶游戏。 62
导演:D.多布金
快乐冲锋陷阵,杰里·布鲁克海默电影2000 高中足球队的夺冠赛后一个黑人家庭被接受为一个白人社区。 65
导演:乙。亚肯
伤心实习医生格蕾,美国广播公司2006年父亲是进入手术,并且只能通过眨眼他的眼睛与他的家人沟通。 98
导演:P.霍顿
伤心 Armag怀着满腔,试金石影业,1998年女儿必须说再见她的父亲,而他是一个危险的任务。 75
导演:M.湾
伤心实习医生格蕾,美国广播公司2006年之后,她的未婚夫已过世女人是心脏破裂。 87
导演:M.廷克
愤怒绿山墙,加拿大广播公司,1985年的安妮一个老妇公开谈到她面前一个孩子的身体缺陷。 62
导演:K.沙利文
加拿大:绿山墙Productions公司的安妮
愤怒够了,哥伦比亚电影公司,2002年妻子面对丈夫不忠左右,他ř通过施加身体和情绪的主导地位esponds。 103
导演:M.艾普特
美国:哥伦比亚影业
愤怒麻雀变凤凰,试金石影业,1990年一名应召女郎试图从昂贵的商店购买服装和店员把她带走了。 65
导演:马歇尔G.
可怕血钻,华纳兄弟电影2006 父亲和儿子走在一起时,众多车辆运载民兵的做法。 50
导演:E.兹维克
可怕生命她的眼睛,2929年制作,在2007年之前两个十几岁的女孩在一个高中浴室说话,当他们听到枪声的继续得到密切。 79
导演:五佩雷尔曼
可怕第六感,巴里孟德尔制作,1999年一个小男孩从睡梦中唤醒,进入厨房,发现他的母亲做晚饭。 70
中性其他姐妹,曼德维尔电影,1999年一位母亲和女儿坐在和讨论艺术的书。 45
中性本场比赛,宝丽金电影娱乐,1999 一位男士是解释游戏规则到另一个绅士。 85
中性记事本,新线电影公司,2004年一位年长的绅士,他的医生例行检查期间交谈。 56
导演:N.卡萨维茨
NT“FO:保together.within页=”1“> 表1.电影剪辑的说明使用。

Subscription Required. Please recommend JoVE to your librarian.

Discussion

这份手稿描述了用于评估人的情绪TBI识别能力三个任务。上述方法的目的是孤立地比较响应精度面部和声音情感线索,以有意义的情境中同时出现的这些线索的看法。电影剪辑被列入目前的研究,因为他们的日常情景逼近使他们比情感表达的孤立表现更加生态有效。当执行这个协议与人的脑损伤,必须考虑个人的视觉扫描技术,确保刺激和响应表是完全可见是非常重要的。为了帮助此,响应片创建的由一行对于每个刺激的,并用交替的颜色编码的每一行( 例如 ,行1 =灰色;行2 =白色; 3号线=灰色; )。

该DANVA2完全可用线上。然而,不使用上行版本的DANVA-面的,因为它是预先设置为具有为只有两个秒为单位显示每个面上。鉴于往往被人们与TBI经历了处理问题的速度,我们关注的是,在这个版本出现的错误可能更指示处理问题的速度,比反射面的情感认同。我们对DANVA-面的演示版本增加了每个刺激显示为5秒的时间。

在目前的研究中使用的刺激提供了重要的洞察人脑外伤情感识别能力。然而,有许多方法,其中所述刺激可以用于这种性质的未来的研究加以改进。用于评估识别孤立的面部表情情绪的刺激分别来自DANVA2的DANVA-面任务。使用的DANVA-面刺激的益处是,它们是标准化的并且与人的TBI 3,34以前使用。 24项包括UDE都是由一小群音箱的情绪高,低强度的描写使参与者面临同样的扬声器生产变量表达式。此外,DANVA-面任务包括彩色照片与经常使用的黑白图像。不仅是彩色图像更现代,麦当劳和桑德斯15认为,他们很可能不那么抽象的人的TBI。与DANVA-面任务使用的刺激,首要的问题是,情感表达式是静态的。如先前所讨论的,静态图像提供人们更多的时间来解释情感被描绘,缺乏当面部移动12,13,15中发生的时域提示,并在大脑中作为动态的的相同区域不处理17- 23。因此,评估的情感识别不允许适当推广到现实生活中处理时只使用静态面部表情的情感。此外,研究已经表明,我们可以识别青霉在照片中otions比更精确地移动图像,因此使用静态图像可能高估能力13,35,36测试。因此,未来的研究需要包括隔离的动态面孔情绪的刺激,以更准确地评估人TBI如何诠释情感只有面部刻画。这些刺激可能被选择在有针对性的情感被描绘帧,删除的声音,和裁剪电影只专注于角色的头部和颈部使用电影剪辑创建。这将消除额外的上下文线索,包括手势暗示和肢体语言。

在目前的研究中使用的人声情感表达水平也从DANVA2服用。类似于DANVA-面的任务,所述DANVA-音色任务包括高和低强度的24项。在DANVA - 声音的每一项都使用相同的语义中性的一句话(我要走出房间,现在,以后我会回来的)。重复单句允许听众专注于非语言线索情绪( ,语调)而忽略了语言的内容。这是相对于在以往的研究,其中包括为每个项目15个不同 (语义中性)语言内容使用刺激。不同于目前的研究结果,麦当劳和桑德斯15日报道,患有TBI有较孤立的面部表情的情感识别时,在孤立的声乐情感表达情感显著困难。在这项研究中改变每个项目中使用的声刺激的词句内容,所以这是可能的,参加者集中于解释语言内容,这是语义中性,因此毫无意义。这种说法是由已经表明,人(无需)TBI更有可能使用口头内容与非语言线索声来诠释人声的情感表达37-39研究的支持。未来的研究应furt她探索的程度,人们TBI利用非语言与孤立声乐口头表达的内容来确定口信传达中的语义信息是否更占优势比情感传达通过语音语调。这可以通过用句子,都有意义和言语内容中性有限数量的创建的刺激来完成。这些句子然后可以用两种或全等非语言不一致声乐线索相结合。这在语言和非语言的情感内容全等句子都可能导致情感的更快,更准确的鉴定表示40。然而,目前还不清楚这提示参与者将集中在口头和非言语内容是不一致的,并且一个信道是否将主导整个任务,或者如果主导线索将依赖于通过每个信道所描绘的情感。

在DANVA2刺激被创建PRESenting音箱采用短小品的目的是引起目标的情感,然后指示这些发言者表示通过脸或语音的情感。已经提出了这些方法导致夸大和刻板表达式可能导致高估识别能力41。另一方面电影剪辑包括与情境发生面部和声音表情,使得它们比使用分离的表达式更加生态有效。要注意的是,虽然没有语义空档,词句内容没有指定任何方式的字符的情绪状态是很重要的。这种性质的电影剪辑与人TBI采用新颖。而目前的研究结果表明,包括在大大促进情绪识别的电影剪辑的附加 ​​上下文信息,它是可能的参加者通过存在附加的线索的影响( 例如 ,身体姿势)和/或电影的设计ÒF中的剪辑( 例如 ,起搏,照明和取景)42,43。参与者也可能被背景音乐存在的影响,所以结果需要解释和认真推广。情感背景音乐的影响,应在今后的研究,通过比较电影剪辑没有没有这个线索,以确定是否一致的背景音乐的存在有利于情绪识别进一步调查。尽管这些信息不一定会推广到日常社会交往,它可能有治疗情感识别赤字具有重要意义。它也有可能是与会者在当前研究中依靠身体姿势和电影剪辑的字符手势来促进情感感知。再次,发现操纵这些线索的存在和不存在的电影剪辑将探索这提示脑的人脑外伤最充分地利用在以往的情感演绎的时候很重要yday的情况。然而,识别操纵每个这些外部因素以不同程度的商业电影剪辑构成了显著挑战。相反,未来的研究可能会侧重于内的各种情境的设置表明从事有意义的互动角色创造高品质的电影剪辑。这些夹子可以控制为上下文线索,姿势,手势和背景音乐的存在和不存在。此外,该夹子可以用于评估识别动态隔离的面部表情的如先前描述的,识别分离的声情感表现形式,这两个线索合并,然后加入上下文信息。这将提供急需的洞察人脑外伤如何看待情感和可能允许更好的泛化到现实生活的设置。

像这里提出的一个未来研究的其他方法的考虑是靶情绪的数量和响应形式在选定。目前的研究包括四个主要的情绪:快乐,悲伤,愤怒,和恐惧。中性也评价在影片的剪辑工作。目标情感这种选择仅包括一个积极的情绪( ,高兴)因此很难比较准确的响应积极与消极情绪。此外,这样的一组有限的情绪更容易让与会者作出他们的选择,这可能不是在日常互动可靠使用的策略时,依靠淘汰过程。未来的研究应包括对感情的数量扩张,还应该包括孤立的面部和声音表情刻画中性。此外,愤怒电影剪辑没有得到很好的通过任一组确定,这表明该膜剪辑本身可能已被选择不当。由祖潘和巴贝奇祖潘,B.&巴贝奇,从膜C DR情感启发刺激以前的验证研究愤怒的电影剪辑的平均识别率嘴唇和叙事文本。 90%,其余四类-比起85提交到J SOC PSYC手稿只有73%。使用胶片剪辑以前的研究报告也难以选择生气剪辑33,44,45。为什么它是更具挑战性的选择,导致高识别愤怒的电影剪辑目前还不清楚。这可能是因为气愤的是一个更复杂的情感,供应一系列的社会功能( 例如 ,不喜欢表达主张与权威),要求知觉者在其相关性方面的情况进行评估,以自己的信仰体系46。

此外,今后的研究应考虑是否表明电影剪辑影响参与者的反应的价和力度,特别是对中性剪辑。虽然目前的研究显示,没有在其中的15个电影剪辑被显示给参与者的顺序的效果,它仍然是可能的,一些剪辑可能导致更大的感情同情的,导致结转效果时,下一个剪辑播放。虽然我们确实有参加者完成一份问卷,以评估他们的同情一般能力(见纽曼,祖潘,Malec和哈蒙德47)我们没有特别要求参与者指出他们是否与人物强调,如果是这样,到什么程度。这些问题可能​​提供更深入地了解为什么我们的结果表明参与者TBI更有可能提供中性刺激消极反应。

目前的研究使用了强迫选择响应格式,在情感识别研究中常用的范例。这是可能的约束的参与者的有限选项来选择一个单一的情感时,他们认为多个情绪48的存在。此外,他们可能会选择的情感,他们没有察觉,而不是选择另一种反应( ,我不知道)。使用无财与人重度颅脑损伤CE响应格式可能会导致额外的和/或问题较多的问题( 例如 ,文字的产生困难;解释对一个字的长流)。因此,它可能是最好先采取强制选择的形式,使一个附加的自由选择的单词或评论移动到下一个项目之前以复加。

在目前的研究中使用的电影剪辑是一种新的方法被人们与TBI评估情感识别。据推测,人的TBI会发现电影剪辑更复杂,因而不是孤立的面部和声音线索更具挑战性的多式联运性质。然而,结果表明,而不是增加的处理需求,许多情感线索,包括上下文信息,存在容易处理。然而,在线索众多大概是目前日常生活,情感识别是P A显著问题eople与TBI。因此,虽然影片剪辑不是孤立的情感表达更有效的生态环境,他们并不完全代表在日常社会交往提供的线索。这可能是作为一个观察者与参与者可以更好地整合现有的情感线索。

Subscription Required. Please recommend JoVE to your librarian.

Materials

Name Company Catalog Number Comments
Diagnostic Analysis of Nonverbal Accuracy-2 Department of Pychology, Emory University. Atlanta, GA DANVA-Faces subtest, DANVA-Voices subtest
Computer Apple iMac Desktop, 27" display
Statistical Analysis Software SPSS University Licensed software for data analysis
Happy Film Clip 1 Sweet Home Alabama, D&D Films, 2002, Director: A Tennant A man surprises his girlfriend by proposing in a jewelry store
Happy Film Clip 2 Wedding Crashers, New Line Cinema, 2005, Director: D. Dobkin A couple is sitting on the beach and flirting while playing a hand game
Happy Film Clip 3 Reme-mber the Titans, Jerry Bruckheimer Films, 2000, Director: B. Yakin An African American football coach and his family are accepted by their community when the school team wins the football championship
Sad Film Clip 1 Grey's Anatomy, ABC, 2006, Director: P. Horton A father is only able to communicate with his family using his eyes. 
Sad Film Clip 2 Armageddon, Touchstone Pictures, 1998, Director: M. Bay A daughter is saying goodbye to her father who is in space on a dangerous mission
Sad Film Clip 3 Grey's Anatomy, ABC, 2006, Director: M. Tinker A woman is heartbroken her fiance has died
Angry Film Clip 1 Anne of Green Gables, Canadian Broadcast Corporation, 1985, Director: K. Sullivan An older woman speaks openly about a child's physical appearance in front of her
Angry Film Clip 2 Enough, Columbia Pictures, 2002, Director: M. Apted A wife confronts her husband about an affair when she smells another woman's perfume on his clothing
Angry Film Clip 3 Pretty Woman, Touchstone Pictures, 1990, Director: G. Marshall A call girl attempts to purchase clothing in an expensive boutique and is turned away
Fearful Film Clip 1 Blood Diamond, Warner Bros Pictures, 2006, Director: E. Zwick Numerous vehicles carrying militia approach a man and his son while they are out walking
Fearful Film Clip 2 The Life Before Her Eyes, 2929 Productions, 2007, Directors: V. Perelman Two teenaged gilrs are talking in the school bathroom when they hear gunshots that continue to get closer
Fearful Film Clip 3 The Sixth Sense, Barry Mendel Productions, 1999, Director: M. N. Shyamalan A young boy enters the kitchen in the middle of the night and finds his mother behaving very atypically
Neutral Film Clip 1 The Other Sister, Mandeville Films, 1999, Director: G. Marshall A mother and daughter are discussing an art book while sitting in their living room
Neutral Film Clip 2 The Game, Polygram Filmed Entertainment, 1999, Director: D. Fincher One gentleman is explaining the rules of a game to another
Neutral Film Clip 3 The Notebook, New Line Cinema, 2004, Director: N. Cassavetes An older gentleman and his doctor are conversing during a routine check-up

DOWNLOAD MATERIALS LIST

References

  1. Langlois, J., Rutland-Brown, W., Wald, M. The epidemiology and impact of traumatic brain injury: A brief overview. J. Head Trauma Rehabil. 21 (5), 375-378 (2006).
  2. Babbage, D. R., Yim, J., Zupan, B., Neumann, D., Tomita, M. R., Willer, B. Meta-analysis of facial affect recognition difficulties after traumatic brain injury. Neuropsychology. 25 (3), 277-285 (2011).
  3. Neumann, D., Zupan, B., Tomita, M., Willer, B. Training emotional processing in persons with brain injury. J. Head Trauma Rehabil. 24, 313-323 (2009).
  4. Bornhofen, C., McDonald, S. Treating deficits in emotion perception following traumatic brain injury. Neuropsychol Rehabil. 18 (1), 22-44 (2008).
  5. Zupan, B., Neumann, D., Babbage, D. R., Willer, B. The importance of vocal affect to bimodal processing of emotion: implications for individuals with traumatic brain injury. J Commun Disord. 42 (1), 1-17 (2009).
  6. Bibby, H., McDonald, S. Theory of mind after traumatic brain injury. Neuropsychologia. 43 (1), 99-114 (2005).
  7. Ferstl, E. C., Rinck, M., von Cramon, D. Y. Emotional and temporal aspects of situation model processing during text comprehension: an event-related fMRI study. J. Cogn. Neurosci. 17 (5), 724-739 (2005).
  8. Milders, M., Fuchs, S., Crawford, J. R. Neuropsychological impairments and changes in emotional and social behaviour following severe traumatic brain injury. J. Clin. Exp. Neuropsychol. 25 (2), 157-172 (2003).
  9. Spikman, J., Milders, M., Visser-Keizer, A., Westerhof-Evers, H., Herben-Dekker, M., van der Naalt, J. Deficits in facial emotion recognition indicate behavioral changes and impaired self-awareness after moderate to severe tramatic brain injury. PloS One. 8 (6), e65581 (2013).
  10. Zupan, B., Neumann, D. Affect Recognition in Traumatic Brain Injury: Responses to Unimodal and Multimodal Media. J. Head Trauma Rehabil. 29 (4), E1-E12 (2013).
  11. Radice-Neumann, D., Zupan, B., Babbage, D. R., Willer, B. Overview of impaired facial affect recognition in persons with traumatic brain injury. Brain Inj. 21 (8), 807-816 (2007).
  12. McDonald, S. Are You Crying or Laughing? Emotion Recognition Deficits After Severe Traumatic Brain Injury. Brain Impair. 6 (01), 56-67 (2005).
  13. Cunningham, D. W., Wallraven, C. Dynamic information for the recognition of conversational expressions. J. Vis. 9 (13), 1-17 (2009).
  14. Elfenbein, H. A., Marsh, A. A., Ambady, W. I. N. Emotional Intelligence and the Recognition of Emotion from Facid Expressions. The Wisdom in Feeling: Psychological Processes in Emotional Intelligence. , Guilford Press. New York. 37-59 (2002).
  15. McDonald, S., Saunders, J. C. Differential impairment in recognition of emotion across different media in people with severe traumatic brain injury. J. Int Neuropsycho. Soc. : JINS. 11 (4), 392-399 (2005).
  16. Williams, C., Wood, R. L. Impairment in the recognition of emotion across different media following traumatic brain injury. J. Clin. Exp. Neuropsychol. 32 (2), 113-122 (2010).
  17. Adolphs, R., Tranel, D., Damasio, A. R. Dissociable neural systems for recognizing emotions. Brain Cogn. 52 (1), 61-69 (2003).
  18. Biele, C., Grabowska, A. Sex differences in perception of emotion intensity in dynamic and static facial expressions. Exp. Brain Res. 171, 1-6 (2006).
  19. Collignon, O., Girard, S., et al. Audio-visual integration of emotion expression. Brain Res. 1242, 126-135 (2008).
  20. LaBar, K. S., Crupain, M. J., Voyvodic, J. T., McCarthy, G. Dynamic perception of facial affect and identity in the human brain. Cereb. Cortex. 13 (10), 1023-1033 (2003).
  21. Mayes, A. K., Pipingas, A., Silberstein, R. B., Johnston, P. Steady state visually evoked potential correlates of static and dynamic emotional face processing. Brain Topogr. 22 (3), 145-157 (2009).
  22. Sato, W., Yoshikawa, S. Enhanced Experience of Emotional Arousal in Response to Dynamic Facial Expressions. J. Nonverbal Behav. 31 (2), 119-135 (2007).
  23. Schulz, J., Pilz, K. S. Natural facial motion enhances cortical responses to faces. Exp. Brain Res. 194 (3), 465-475 (2009).
  24. O'Toole, A., Roark, D., Abdi, H. Recognizing moving faces: A psychological and neural synthesis. Trends Cogn. Sci. 6 (6), 261-266 (2002).
  25. Dimoska, A., McDonald, S., Pell, M. C., Tate, R. L., James, C. M. Recognizing vocal expressions of emotion in patients with social skills deficits following traumatic brain injury. J. Int. Neuropsyco. Soc.: JINS. 16 (2), 369-382 (2010).
  26. McDonald, S., Flanagan, S., Rollins, J., Kinch, J. TASIT: A new clinical tool for assessing social perception after traumatic brain injury. J. Head Trauma Rehab. 18 (3), 219-238 (2003).
  27. Channon, S., Pellijeff, A., Rule, A. Social cognition after head injury: sarcasm and theory of mind. Brain Lang. 93 (2), 123-134 (2005).
  28. Henry, J. D., Phillips, L. H., Crawford, J. R., Theodorou, G., Summers, F. Cognitive and psychosocial correlates of alexithymia following traumatic brain injury. Neuropsychologia. 44 (1), 62-72 (2006).
  29. Martìn-Rodrìguez, J. F., Leòn-Carriòn, J. Theory of mind deficits in patients with acquired brain injury: a quantitative review. Neuropsychologia. 48 (5), 1181-1191 (2010).
  30. McDonald, S., Flanagan, S. Social perception deficits after traumatic brain injury: interaction between emotion recognition, mentalizing ability, and social communication. Neuropsychology. 18 (3), 572-579 (2004).
  31. Milders, M., Ietswaart, M., Crawford, J. R., Currie, D. Impairments in theory of mind shortly after traumatic brain injury and at 1-year follow-up. Neuropsychology. 20 (4), 400-408 (2006).
  32. Nowicki, S. The Manual for the Receptive Tests of the Diagnostic Analysis of Nonverbal Accuracy 2 (DANVA2). , (2008).
  33. Gross, J. J., Levenson, R. W. Emotion Elicitation Using Films. Cogn. Emot. 9 (1), 87-108 (1995).
  34. Spell, L. A., Frank, E. Recognition of Nonverbal Communication of Affect Following Traumatic Brain Injury. J. Nonverbal Behav. 24 (4), 285-300 (2000).
  35. Edgar, C., McRorie, M., Sneddon, I. Emotional intelligence, personality and the decoding of non-verbal expressions of emotion. Pers. Ind. Dif. 52, 295-300 (2012).
  36. Nowicki, S., Mitchell, J. Accuracy in Identifying Affect in Child and Adult Faces and Voices and Social Competence in Preschool Children. Genet. Soc. Gen. Psychol. 124 (1), (1998).
  37. Astesano, C., Besson, M., Alter, K. Brain potentials during semantic and prosodic processing in French. Cogn. Brain Res. 18, 172-184 (2004).
  38. Kotz, S. A., Paulmann, S. When emotional prosody and semantics dance cheek to cheek: ERP evidence. Brain Res. 115, 107-118 (2007).
  39. Paulmann, S., Pell, M. D., Kotz, S. How aging affects the recognition of emotional speech. Brain Lang. 104 (3), 262-269 (2008).
  40. Pell, M. D., Jaywant, A., Monetta, L., Kotz, S. A. Emotional speech processing: disentangling the effects of prosody and semantic cues. Cogn. Emot. 25 (5), 834-853 (2011).
  41. Bänziger, T., Scherer, K. R. Using Actor Portrayals to Systematically Study Multimodal Emotion Expression: The GEMEP Corpus. Affective Computing and Intelligent Interaction, LNCS 4738. , 476-487 (2007).
  42. Busselle, R., Bilandzic, H. Fictionality and Perceived Realism in Experiencing Stories: A Model of Narrative Comprehension and Engagement. Commun. Theory. 18 (2), 255-280 (2008).
  43. Zagalo, N., Barker, A., Branco, V. Story reaction structures to emotion detection. Proceedings of the 1st ACM Work. Story Represent. Mech. Context - SRMC. 04, 33-38 (2004).
  44. Hagemann, D., Naumann, E., Maier, S., Becker, G., Lurken, A., Bartussek, D. The Assessment of Affective Reactivity Using Films: Validity, Reliability and Sex Differences. Pers. Ind. Dif. 26, 627-639 (1999).
  45. Hewig, J., Hagemann, D., Seifert, J., Gollwitzer, M., Naumann, E., Bartussek, D. Brief Report. A revised film set for the induction of basic emotions. Cogn. Emot. 19 (7), 1095-1109 (2005).
  46. Wranik, T., Scherer, K. R. Why Do I Get Angry? A Componential Appraisal Approach. International Handbook of Anger. , 243-266 (2010).
  47. Neumann, D., Zupan, B., Malec, J. F., Hammond, F. M. Relationships between alexithymia, affect recognition, and empathy after traumatic brain injury. J. Head Trauma Rehabil. 29 (1), E18-E27 (2013).
  48. Russell, J. A. Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychol. Bull. 115 (1), 102-141 (1994).

Tags

行为,第111,情感识别,隔离表情,孤立的声乐情感表达,上下文线索,电影剪辑,创伤性脑损伤
探索孤立的表达式和电影剪辑的使用与创伤性脑损伤的人评价情感识别
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Zupan, B., Neumann, D. Exploring the More

Zupan, B., Neumann, D. Exploring the Use of Isolated Expressions and Film Clips to Evaluate Emotion Recognition by People with Traumatic Brain Injury. J. Vis. Exp. (111), e53774, doi:10.3791/53774 (2016).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter