Summary

Изучение использования изолированных выражений и клипов фильма для оценки Emotion распознавания людей с черепно-мозговой травмой

Published: May 15, 2016
doi:

Summary

В данной статье описывается, как реализовать батарею поведенческих задач для изучения распознавания эмоций изолированных лица и вокального выражения эмоций, а роман задача с использованием коммерческих телевизионных и кинематографических роликов для оценки мультимодального распознавания эмоций, которая включает в себя контекстные подсказки.

Abstract

В настоящем исследовании представлены 60 человек с черепно – мозговой травмой (ЧМТ) и 60 управления с изолированными выражения лица эмоции, изолированных вокальных выражения эмоций и мультимодальных (то есть., Видеороликами) раздражители , которые включали контекстные сигналы. были представлены все раздражители с помощью компьютера. Участники должны были указать, каким образом человек в каждом раздражителя чувствовал себя с использованием принудительного выбора формата. Кроме того, для клипов, участники должны были указать, как они чувствовали себя в ответ на стимул, и уровень интенсивности, с которой они испытали, что эмоции.

Introduction

Черепно – мозговая травма (ЧМТ) страдают около 10 миллионов человек каждый год по всему миру 1. После ЧМТ, способность распознавать эмоции в других , используя невербальные сигналы , такие как лицевые и вокальные выражения (то есть., Тон голоса), и контекстные подсказки, часто значительно скомпрометирована 2-7. Так как успешные межличностные взаимодействия и качества отношений, по крайней мере частично зависит от точной интерпретации эмоций других людей 7-10, это не удивительно , что трудности с распознавания эмоций, как сообщается, внести свой ​​вклад в бедных социальных результатов обычно сообщается после TBI 3,8, 11,12.

Исследования , расследующие распознавания эмоций люди с ЧМТ имели тенденцию сосредотачиваться на изолированных киев, в частности , распознавания лица выражения эмоций с использованием статических фотографий 2. Хотя эта работа была важна в деле информирования развития лечения программ, он не адекватно представлять свою способность распознавать и интерпретировать невербальные сигналы эмоций в повседневных взаимодействиях. Мало того, что статические изображения обеспечивают увеличенное время , чтобы интерпретировать эмоции изображаемого, они также , как правило , только изображают вершину (т.е.., Максимальное представление) выражений 13-16. Кроме того, статические изображения отсутствуют временные сигналы , которые возникают при движении 12,13,15, и не являются репрезентативными быстро меняющимся мимики эмоций , возникающих в повседневных ситуациях. Кроме того, есть данные, указывающие , что статические и динамические визуальные выражения обрабатываются в различных областях мозга, с более точной реакции на раздражители динамическим 17-24.

Вокальный распознавания эмоций люди с ЧМТ также была изучена, так и без значимого словесного содержания. Было высказано предположение, что наличие вербального содержания повышает требования восприятия, так как точную интеrpretation требует одновременную обработку невербальной тоном с смыслового содержания , включенного в вербальном сообщении 25. В то время как многие исследования показали , улучшенное распознавание вокала влияет в отсутствие значимого словесного содержания, Dimoska и др. 25 не обнаружили никакой разницы в производительности. Они утверждают, что люди с ЧМТ имеют уклон к смысловому содержанию в аффективных предложениях; так что даже когда содержание семантически нейтральным или устранены, они по-прежнему сосредоточены на вербальной информации в предложении. Таким образом, их результаты не ясно показывают, помогает ли смысл словесное содержание или препятствует вокального выражения эмоций.

В дополнение к содержательной словесного содержания, которое может сопровождать невербальные голосовые сигналы, контекст также обеспечивается через саму социальную ситуацию. Ситуационный контекст содержит справочную информацию об обстоятельствах, при которых выражение эмоций, был получен и может, таким образом, в значительной степени вфлюенса интерпретацию выражения. При оценке, как кто-то чувствует, мы используем контекст, чтобы определить, если ситуация согласуется с желаниями и ожиданиями этого человека. Это в конечном счете влияет как кто – то чувствует, так что знание ситуационного контекста должно привести к более точному логического вывода эмоций чужих 26. Возможность сделать это называется теорией разума, конструкцию найденного быть значительно нарушена следующие ЧМТ 6,27-31. Milders и др. 8,31 отчет о том , что люди с ЧМТ имеют значительные трудности , делая точные суждения о том, и понимание намерения и чувства персонажей в кратких рассказах.

В то время как эти исследования выявили дефицит в невербальной и ситуативной обработки эмоций, трудно обобщить результаты повседневных социальных взаимодействий, где эти сигналы встречаются рядом друг с другом и в социальном контексте. Чтобы лучше понять, как людис ЧМТ интерпретировать эмоции в повседневных социальных взаимодействиях, мы должны использовать стимулы, которые мультимодальным по своей природе. Только две предыдущие исследования включали мультимодальные стимулы как часть их расследование, как люди с ЧМТ киев процесс эмоций. Макдональд и Сондерс 15 и Уильямс и Вуд 16 извлеченный раздражители из Emotion апробацию (EET), которая является частью осознании социального Inference Test 26. EET состоит из записанных на видео виньетками, которые показывают мужские и женские актеры, изображающие невербальные сигналы эмоций, участвуя в разговоре. Вербальное содержание в разговорах семантически нейтральным; киев относительно того, как актеры чувствуют и контекстная информация не предоставляется. Таким образом, необходимость обрабатывать и интегрировать значимые словесные содержание, одновременно делая это с помощью невербальных лицевых и голосовых подсказок было устранено. Результаты этих исследований показали, что люди с ЧМТ были significanTLY менее точны, чем контроль в их способности идентифицировать эмоции от мультимодальных стимулов. Поскольку ни исследования рассматривали влияние семантической или контекстную информацию по интерпретации эмоций выражений, остается неясным, является ли добавление такого рода информации будет способствовать обработке из-за увеличения межчувственных избыточности или отрицательно влияют на восприятие из-за увеличения познавательных потребностей.

В данной статье рассматривается ряд задач, используемых для сравнения восприятия лица и вокальных эмоциональных сигналов в изоляции, и восприятие этих реплик, происходящих одновременно в пределах значимого ситуационного контекста. Выделений задачи являются частью большого теста невербального распознавания эмоций – Диагностический анализ невербального точности 2 (DANVA2) 32. В этом протоколе, мы использовали для взрослых Faces (DANVA-начертаний) и взрослых паралингвистика (DANVA-голоса) субтестов. Каждый из этих субтестов включает в себя 24 стимулов,изображающие шесть представлений каждого из счастливых, печальных, сердитых, и страшные эмоции. DANVA2 требует от участников, чтобы идентифицировать эмоции изображаются с использованием принудительного выбора формата (4 варианта). Здесь, пятый вариант (я не знаю) предусмотрен для обоих субтестов. Количество времени, было показано, каждое выражение лица было увеличено с двух секунд до пяти секунд, чтобы гарантировать, что мы оценивали влияют на распознавание, а не скорость обработки. Мы не изменили взрослых паралингвистика подтест за добавления дополнительного выбора в формате принудительного выбора ответа. Участники слышали каждое предложение только один раз. Обратная связь не была предоставлена ​​в любой задаче.

Фильм клипы были использованы для оценки восприятия лица и голосовых эмоций репликами, происходящих одновременно в ситуационном контексте. В то время как вербальное содержание в этих клипов не явно указать, какие были ощущения персонажи в клипах, имело бы смысл ситуационного контекста. Пятнадцать клипов, извлеченные из сотрудничестваmmercial фильмов и телесериалов были включены в исследование, каждый в пределах от 45 до 103 (среднее значение = 71.87) секунд. Обратная связь не была предоставлена ​​участникам во время выполнения этой задачи. Были три клипа, представляющие каждый из следующих категорий: эмоции счастье, печаль, гнев, страх, нейтральная. Эти клипы были выбраны на основе результатов исследования , проведенного с молодыми взрослыми (п = 70) Жупан, Б. и Бэббидж, DR Emotion заключениях раздражители из фильма клипов и повествовательной текста. Рукопись представляется J Soc Ре дак ци. В этом исследовании участники были представлены шесть фильмов клипов для каждой из категорий целевой эмоции, и шесть нейтральных клипов фильма, начиная от 24 до 127 секунд (среднее значение = 77,3 секунды). В то время как цель состояла в том, чтобы включать в себя относительно короткие клипы фильма, каждый клип , выбранный для включения необходимо иметь достаточно контекстную информацию , что это может быть понято зрителями без дополнительных знаний пленки , из которой оно было принято 33.

<p claсс = "jove_content"> Клипы , выбранные для данного исследования были правильно определены в исследовании Emotion выясняющих раздражители Zupan и Бэббидж из клипов и повествовательного текста, приведенное выше в качестве целевой эмоции между 83 и 89% для счастливых, 86 – 93 % для грустной, 63 – 93% для сердится, 77 – 96% за страх, а 81 – 87% для нейтральных. В то время как имеющие одинаковое количество экземпляров каждой категории эмоций, как это было в задачах DANVA2 (п = 6) был бы идеальным, мы выбрали только три из-за увеличения длины клипа раздражителей пленки по сравнению с раздражителями в DANVA-Faces и DANVA-Voices задачи.

Данные из этих задач были собраны из 60 участников с ЧМТ и 60 по возрасту и полу контрольной группы. Участники были замечены либо индивидуально, либо в небольших группах (максимум = 3) и порядка трех задач была рандомизированы по тестированию сеансов.

Protocol

Этот протокол был одобрен этическими комитетами в Брок Университете и в Carolinas реабилитации. 1. Перед тестированием Создание 3 отдельные списки для 15 клипов, каждый из которых содержит клипы в другом ограниченном порядке. Убедитесь в том, что каждый список начи?…

Representative Results

Эта задача батарея была использована для сравнения распознавания эмоций для отдельных выражений эмоций (т.е. лицом только;. Голос только) и комбинированные выражения эмоций (т. Е, лицо и голос) , которые происходят в ситуационном контексте. В общей сложности 60 (…

Discussion

Рукопись описывает три задачи, используемые для оценки способности распознавания эмоций людей с ЧМТ. Целью описанного метода было сравнение точности отклика для лица и голосовых эмоциональных сигналов в изоляции, к восприятию этих реплик, происходящих одновременно в пределах значим?…

Disclosures

The authors have nothing to disclose.

Acknowledgements

This work was supported by the Humanities Research Institute at Brock University in St. Catharines, Ontario, Canada and by the Cannon Research Center at Carolinas Rehabilitation in Charlotte, North Carolina, USA.

Materials

Diagnostic Analysis of Nonverbal Accuracy-2 Department of Pychology, Emory University. Atlanta, GA DANVA-Faces subtest, DANVA-Voices subtest
Computer Apple iMac Desktop, 27" display
Statistical Analysis Software SPSS University Licensed software for data analysis
Happy Film Clip 1 Sweet Home Alabama, D&D Films, 2002, Director: A Tennant A man surprises his girlfriend by proposing in a jewelry store
Happy Film Clip 2 Wedding Crashers, New Line Cinema, 2005, Director: D. Dobkin A couple is sitting on the beach and flirting while playing a hand game
Happy Film Clip 3 Reme-mber the Titans, Jerry Bruckheimer Films, 2000, Director: B. Yakin An African American football coach and his family are accepted by their community when the school team wins the football championship
Sad Film Clip 1 Grey's Anatomy, ABC, 2006, Director: P. Horton A father is only able to communicate with his family using his eyes. 
Sad Film Clip 2 Armageddon, Touchstone Pictures, 1998, Director: M. Bay A daughter is saying goodbye to her father who is in space on a dangerous mission
Sad Film Clip 3 Grey's Anatomy, ABC, 2006, Director: M. Tinker A woman is heartbroken her fiance has died
Angry Film Clip 1 Anne of Green Gables, Canadian Broadcast Corporation, 1985, Director: K. Sullivan An older woman speaks openly about a child's physical appearance in front of her
Angry Film Clip 2 Enough, Columbia Pictures, 2002, Director: M. Apted A wife confronts her husband about an affair when she smells another woman's perfume on his clothing
Angry Film Clip 3 Pretty Woman, Touchstone Pictures, 1990, Director: G. Marshall A call girl attempts to purchase clothing in an expensive boutique and is turned away
Fearful Film Clip 1 Blood Diamond, Warner Bros Pictures, 2006, Director: E. Zwick Numerous vehicles carrying militia approach a man and his son while they are out walking
Fearful Film Clip 2 The Life Before Her Eyes, 2929 Productions, 2007, Directors: V. Perelman Two teenaged gilrs are talking in the school bathroom when they hear gunshots that continue to get closer
Fearful Film Clip 3 The Sixth Sense, Barry Mendel Productions, 1999, Director: M. N. Shyamalan A young boy enters the kitchen in the middle of the night and finds his mother behaving very atypically
Neutral Film Clip 1 The Other Sister, Mandeville Films, 1999, Director: G. Marshall A mother and daughter are discussing an art book while sitting in their living room
Neutral Film Clip 2 The Game, Polygram Filmed Entertainment, 1999, Director: D. Fincher One gentleman is explaining the rules of a game to another
Neutral Film Clip 3 The Notebook, New Line Cinema, 2004, Director: N. Cassavetes An older gentleman and his doctor are conversing during a routine check-up

References

  1. Langlois, J., Rutland-Brown, W., Wald, M. The epidemiology and impact of traumatic brain injury: A brief overview. J. Head Trauma Rehabil. 21 (5), 375-378 (2006).
  2. Babbage, D. R., Yim, J., Zupan, B., Neumann, D., Tomita, M. R., Willer, B. Meta-analysis of facial affect recognition difficulties after traumatic brain injury. Neuropsychology. 25 (3), 277-285 (2011).
  3. Neumann, D., Zupan, B., Tomita, M., Willer, B. Training emotional processing in persons with brain injury. J. Head Trauma Rehabil. 24, 313-323 (2009).
  4. Bornhofen, C., McDonald, S. Treating deficits in emotion perception following traumatic brain injury. Neuropsychol Rehabil. 18 (1), 22-44 (2008).
  5. Zupan, B., Neumann, D., Babbage, D. R., Willer, B. The importance of vocal affect to bimodal processing of emotion: implications for individuals with traumatic brain injury. J Commun Disord. 42 (1), 1-17 (2009).
  6. Bibby, H., McDonald, S. Theory of mind after traumatic brain injury. Neuropsychologia. 43 (1), 99-114 (2005).
  7. Ferstl, E. C., Rinck, M., von Cramon, D. Y. Emotional and temporal aspects of situation model processing during text comprehension: an event-related fMRI study. J. Cogn. Neurosci. 17 (5), 724-739 (2005).
  8. Milders, M., Fuchs, S., Crawford, J. R. Neuropsychological impairments and changes in emotional and social behaviour following severe traumatic brain injury. J. Clin. Exp. Neuropsychol. 25 (2), 157-172 (2003).
  9. Spikman, J., Milders, M., Visser-Keizer, A., Westerhof-Evers, H., Herben-Dekker, M., van der Naalt, J. Deficits in facial emotion recognition indicate behavioral changes and impaired self-awareness after moderate to severe tramatic brain injury. PloS One. 8 (6), e65581 (2013).
  10. Zupan, B., Neumann, D. Affect Recognition in Traumatic Brain Injury: Responses to Unimodal and Multimodal Media. J. Head Trauma Rehabil. 29 (4), E1-E12 (2013).
  11. Radice-Neumann, D., Zupan, B., Babbage, D. R., Willer, B. Overview of impaired facial affect recognition in persons with traumatic brain injury. Brain Inj. 21 (8), 807-816 (2007).
  12. McDonald, S. Are You Crying or Laughing? Emotion Recognition Deficits After Severe Traumatic Brain Injury. Brain Impair. 6 (01), 56-67 (2005).
  13. Cunningham, D. W., Wallraven, C. Dynamic information for the recognition of conversational expressions. J. Vis. 9 (13), 1-17 (2009).
  14. Elfenbein, H. A., Marsh, A. A., Ambady, W. I. N. Emotional Intelligence and the Recognition of Emotion from Facid Expressions. The Wisdom in Feeling: Psychological Processes in Emotional Intelligence. , 37-59 (2002).
  15. McDonald, S., Saunders, J. C. Differential impairment in recognition of emotion across different media in people with severe traumatic brain injury. J. Int Neuropsycho. Soc. : JINS. 11 (4), 392-399 (2005).
  16. Williams, C., Wood, R. L. Impairment in the recognition of emotion across different media following traumatic brain injury. J. Clin. Exp. Neuropsychol. 32 (2), 113-122 (2010).
  17. Adolphs, R., Tranel, D., Damasio, A. R. Dissociable neural systems for recognizing emotions. Brain Cogn. 52 (1), 61-69 (2003).
  18. Biele, C., Grabowska, A. Sex differences in perception of emotion intensity in dynamic and static facial expressions. Exp. Brain Res. 171, 1-6 (2006).
  19. Collignon, O., Girard, S., et al. Audio-visual integration of emotion expression. Brain Res. 1242, 126-135 (2008).
  20. LaBar, K. S., Crupain, M. J., Voyvodic, J. T., McCarthy, G. Dynamic perception of facial affect and identity in the human brain. Cereb. Cortex. 13 (10), 1023-1033 (2003).
  21. Mayes, A. K., Pipingas, A., Silberstein, R. B., Johnston, P. Steady state visually evoked potential correlates of static and dynamic emotional face processing. Brain Topogr. 22 (3), 145-157 (2009).
  22. Sato, W., Yoshikawa, S. Enhanced Experience of Emotional Arousal in Response to Dynamic Facial Expressions. J. Nonverbal Behav. 31 (2), 119-135 (2007).
  23. Schulz, J., Pilz, K. S. Natural facial motion enhances cortical responses to faces. Exp. Brain Res. 194 (3), 465-475 (2009).
  24. O’Toole, A., Roark, D., Abdi, H. Recognizing moving faces: A psychological and neural synthesis. Trends Cogn. Sci. 6 (6), 261-266 (2002).
  25. Dimoska, A., McDonald, S., Pell, M. C., Tate, R. L., James, C. M. Recognizing vocal expressions of emotion in patients with social skills deficits following traumatic brain injury. J. Int. Neuropsyco. Soc.: JINS. 16 (2), 369-382 (2010).
  26. McDonald, S., Flanagan, S., Rollins, J., Kinch, J. TASIT: A new clinical tool for assessing social perception after traumatic brain injury. J. Head Trauma Rehab. 18 (3), 219-238 (2003).
  27. Channon, S., Pellijeff, A., Rule, A. Social cognition after head injury: sarcasm and theory of mind. Brain Lang. 93 (2), 123-134 (2005).
  28. Henry, J. D., Phillips, L. H., Crawford, J. R., Theodorou, G., Summers, F. Cognitive and psychosocial correlates of alexithymia following traumatic brain injury. Neuropsychologia. 44 (1), 62-72 (2006).
  29. Martìn-Rodrìguez, J. F., Leòn-Carriòn, J. Theory of mind deficits in patients with acquired brain injury: a quantitative review. Neuropsychologia. 48 (5), 1181-1191 (2010).
  30. McDonald, S., Flanagan, S. Social perception deficits after traumatic brain injury: interaction between emotion recognition, mentalizing ability, and social communication. Neuropsychology. 18 (3), 572-579 (2004).
  31. Milders, M., Ietswaart, M., Crawford, J. R., Currie, D. Impairments in theory of mind shortly after traumatic brain injury and at 1-year follow-up. Neuropsychology. 20 (4), 400-408 (2006).
  32. Nowicki, S. . The Manual for the Receptive Tests of the Diagnostic Analysis of Nonverbal Accuracy 2 (DANVA2). , (2008).
  33. Gross, J. J., Levenson, R. W. Emotion Elicitation Using Films. Cogn. Emot. 9 (1), 87-108 (1995).
  34. Spell, L. A., Frank, E. Recognition of Nonverbal Communication of Affect Following Traumatic Brain Injury. J. Nonverbal Behav. 24 (4), 285-300 (2000).
  35. Edgar, C., McRorie, M., Sneddon, I. Emotional intelligence, personality and the decoding of non-verbal expressions of emotion. Pers. Ind. Dif. 52, 295-300 (2012).
  36. Nowicki, S., Mitchell, J. Accuracy in Identifying Affect in Child and Adult Faces and Voices and Social Competence in Preschool Children. Genet. Soc. Gen. Psychol. 124 (1), (1998).
  37. Astesano, C., Besson, M., Alter, K. Brain potentials during semantic and prosodic processing in French. Cogn. Brain Res. 18, 172-184 (2004).
  38. Kotz, S. A., Paulmann, S. When emotional prosody and semantics dance cheek to cheek: ERP evidence. Brain Res. 115, 107-118 (2007).
  39. Paulmann, S., Pell, M. D., Kotz, S. How aging affects the recognition of emotional speech. Brain Lang. 104 (3), 262-269 (2008).
  40. Pell, M. D., Jaywant, A., Monetta, L., Kotz, S. A. Emotional speech processing: disentangling the effects of prosody and semantic cues. Cogn. Emot. 25 (5), 834-853 (2011).
  41. Bänziger, T., Scherer, K. R. Using Actor Portrayals to Systematically Study Multimodal Emotion Expression: The GEMEP Corpus. Affective Computing and Intelligent Interaction, LNCS 4738. , 476-487 (2007).
  42. Busselle, R., Bilandzic, H. Fictionality and Perceived Realism in Experiencing Stories: A Model of Narrative Comprehension and Engagement. Commun. Theory. 18 (2), 255-280 (2008).
  43. Zagalo, N., Barker, A., Branco, V. Story reaction structures to emotion detection. Proceedings of the 1st ACM Work. Story Represent. Mech. Context – SRMC. 04, 33-38 (2004).
  44. Hagemann, D., Naumann, E., Maier, S., Becker, G., Lurken, A., Bartussek, D. The Assessment of Affective Reactivity Using Films: Validity, Reliability and Sex Differences. Pers. Ind. Dif. 26, 627-639 (1999).
  45. Hewig, J., Hagemann, D., Seifert, J., Gollwitzer, M., Naumann, E., Bartussek, D. Brief Report. A revised film set for the induction of basic emotions. Cogn. Emot. 19 (7), 1095-1109 (2005).
  46. Wranik, T., Scherer, K. R. Why Do I Get Angry? A Componential Appraisal Approach. International Handbook of Anger. , 243-266 (2010).
  47. Neumann, D., Zupan, B., Malec, J. F., Hammond, F. M. Relationships between alexithymia, affect recognition, and empathy after traumatic brain injury. J. Head Trauma Rehabil. 29 (1), E18-E27 (2013).
  48. Russell, J. A. Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychol. Bull. 115 (1), 102-141 (1994).

Play Video

Cite This Article
Zupan, B., Neumann, D. Exploring the Use of Isolated Expressions and Film Clips to Evaluate Emotion Recognition by People with Traumatic Brain Injury. J. Vis. Exp. (111), e53774, doi:10.3791/53774 (2016).

View Video