Summary

Het verkennen van het gebruik van geïsoleerde Uitdrukkingen en Film Clips te evalueren Emotion Erkenning door mensen met een traumatisch hersenletsel

Published: May 15, 2016
doi:

Summary

Dit document beschrijft hoe u een batterij van gedrags-taken uit te voeren om herkenning van emoties van geïsoleerde het gezicht en vocale emotie te onderzoeken en een nieuwe taak met behulp van commerciële televisie en film clips multimodale herkenning van emoties die contextuele signalen omvat beoordelen.

Abstract

De huidige studie gepresenteerd 60 mensen met een traumatisch hersenletsel (TBI) en 60 controles met geïsoleerde gezicht emotie, geïsoleerde vocale emotie, en multimodaal (dwz., Filmpjes) stimuli die contextuele signalen opgenomen. Alle stimuli werden gepresenteerd via de computer. Deelnemers werden verplicht om aan te geven hoe de persoon in elke stimulus voelde met behulp van een geforceerde-choice-formaat. Bovendien, de film bevat, deelnemers moesten aangeven hoe ze voelden in reactie op de stimulus en de intensiteit waarmee zij ondervonden die emotie.

Introduction

Traumatisch hersenletsel (TBI) treft ongeveer 10 miljoen mensen per jaar over de hele wereld 1. Naar aanleiding van TBI, het vermogen om emoties bij anderen het gebruik van non-verbale signalen, zoals gezichtsuitdrukkingen en vocale uitingen te herkennen (bijv., Tone of voice), en contextuele signalen, wordt vaak aanzienlijk aangetast 2-7. Sinds succesvolle interpersoonlijke interacties en kwaliteit verhoudingen zijn ten minste gedeeltelijk afhankelijk van accurate interpretatie van andermans emoties 7-10, is het niet verwonderlijk dat de problemen met herkenning van emoties is gemeld bij te dragen aan de slechte sociale resultaten vaak gemeld na TBI 3,8, 11,12.

Studies die emotie erkenning door mensen met TBI hebben de neiging zich te richten op geïsoleerde signalen, in het bijzonder de erkenning van gezichtsuitdrukkingen emotie met behulp van statische foto's 2. Hoewel dit werk belangrijk is geweest in het informeren van de ontwikkeling van de behandeling program, is het niet adequaat vertegenwoordigen iemands vermogen om te herkennen en non-verbale signalen van emotie te interpreteren in alledaagse interacties. Niet alleen statische beelden zorgen voor meer tijd om de emotie geportretteerd te interpreteren, maar ook meestal alleen een beeld van de top (dwz., Maximum vertegenwoordiging) van de uitdrukkingen 13-16. Bovendien, statische beelden niet de tijdelijke signalen die optreden met beweging 12,13,15 en niet representatief voor het snel veranderende gezichtsuitdrukking van emoties aangetroffen in alledaagse situaties. Verder is er aanwijzingen zijn dat statische en dynamische effecten toe worden verwerkt in verschillende gebieden van de hersenen, meer accurate reacties op dynamische stimuli 17-24.

Vocal emotie erkenning door mensen met TBI is ook onderzocht, zowel met als zonder betekenisvolle verbale inhoud. Er is gesuggereerd dat de aanwezigheid van verbale inhoud perceptuele eisen omdat juist inte verhoogtrpretation vereist gelijktijdige verwerking van de non-verbale tone of voice met de semantische inhoud opgenomen in de verbale boodschap 25. Hoewel veel studies betere erkenning van koor gebleken beïnvloeden doordat zij geen bruikbare verbale inhoud, Dimoska et al. 25 vonden geen verschil in prestaties. Zij stellen dat mensen met TBI hebben een voorkeur voor semantische inhoud in affectieve zinnen; dus zelfs wanneer de inhoud is semantisch neutraal of geëlimineerd, ze blijven richten op de mondelinge informatie in de zin. Zo leverde de resultaten niet duidelijk of zinvolle verbale inhoud helpt of belemmert vocale emotie.

In aanvulling op de verbale zinvolle inhoud die de non-verbale vocale signalen kunnen begeleiden, is context ook verstrekt via de sociale situatie zelf. Situationele context biedt achtergrondinformatie over de omstandigheden waaronder de emotie werd geproduceerd en kan dus sterk inFluence de interpretatie van de uitdrukking. Bij de beoordeling hoe iemand zich voelt, gebruiken we context te bepalen of de situatie overeen met die persoon behoeften en verwachtingen. Dit heeft uiteindelijk van invloed op hoe iemand zich voelt, zodat de kennis van de situationele context moet leiden tot meer accurate Inferencing van anderen 'emotie 26. De mogelijkheid om dit te doen wordt aangeduid als theory of mind, een construct gevonden aanzienlijk te verslechteren na TBI 6,27-31. Milders et al. 8,31 rapport dat mensen met TBI hebben aanzienlijke moeite om nauwkeurige uitspraken over en inzicht in de intenties en gevoelens van de personages in het kort verhalen.

Hoewel deze studies tekorten in verbale en situationele verwerking van emoties heeft geselecteerd, is het moeilijk om de resultaten te generaliseren naar dagelijkse sociale interacties wanneer deze signalen treden naast elkaar en in een sociale context. Om beter te begrijpen hoe mensenmet TBI interpreteren emotie in het dagelijkse sociale interacties, moeten we prikkels die multimodale in de natuur te gebruiken. Slechts twee eerdere studies hebben multimodale stimuli als onderdeel van hun onderzoek naar de opgenomen hoe mensen met TBI proces emotie cues. McDonald en Saunders 15 en Williams and Wood 16 gewonnen prikkels uit de Emotion Evaluation Test (EET), die deel uitmaakt van het bewustzijn van Sociale Inference Test 26. De EET bestaat uit video-opname van vignetten dat mannelijke en vrouwelijke acteurs portretteren van non-verbale signalen emotie, terwijl die betrokken zijn bij een gesprek te laten zien. De verbale inhoud van de gesprekken is semantisch neutraal; aanwijzingen over hoe de acteurs voelen en contextuele informatie worden niet verstrekt. Dus de noodzaak te verwerken en zinvolle verbale inhoud integreren terwijl dit tegelijkertijd doen met de verbale gezicht en vocale signalen geëlimineerd. De resultaten van deze studies gaven aan dat mensen met TBI significan warenTLY minder nauwkeurig dan de controles in hun vermogen om emoties te identificeren van multimodale stimuli. Aangezien noch studie is gekeken naar de invloed van semantische of contextuele informatie over de interpretatie van emotie, blijft het onduidelijk of de toevoeging van dit type van informatieverwerking zou vergemakkelijken als gevolg van toegenomen intersensory redundantie of negatieve invloed hebben op de perceptie door de toegenomen cognitieve eisen.

Dit artikel schetst een aantal taken wordt gebruikt om de perceptie van het gezicht en vocale emotionele signalen te vergelijken in isolement, en de perceptie van deze signalen tegelijkertijd plaatsvinden binnen zinvolle situationele context. De isolaties taken zijn onderdeel van een grotere test van non-verbale herkenning van emoties – Het Diagnostisch Analyse van de non-verbale Nauwkeurigheid 2 (DANVA2) 32. In dit protocol hebben we gebruik gemaakt van de Adult Faces (DANVA-Faces) en Adult paralanguage (DANVA-Voices) subtests. Elk van deze testonderdelen omvat 24 stimuli,beeltenis van zes voorstellingen elk van blij, verdrietig, boos, en bang emoties. De DANVA2 vereist dat deelnemers om de emotie te identificeren afgebeeld met behulp van een geforceerde-choice-formaat (4 keuzes). Hier wordt een vijfde optie (ik weet het niet) voorzien voor zowel subtests. De hoeveelheid tijd elke gezichtsuitdrukking krijgt verhoogd van twee seconden tot vijf seconden zodat we beoordelen beïnvloeden herkenning en niet verwerkingssnelheid. We wilden niet weg volwassen paralanguage subtest na toevoeging van de extra keuze in de executiewaarde keuze reactie formaat. Deelnemers hoorde elke zin slechts één keer. Terugkoppeling was niet voorzien in beide taak.

Film clips werden gebruikt om de perceptie van het gezicht en vocale emotie signalen gelijktijdig optredend binnen situationele context te beoordelen. Terwijl de verbale content binnen deze clips niet expliciet wat de personages in de clips voelden, was het zinvol om de situationele context. Vijftien clips gewonnen uit commercial films en tv-series werden opgenomen in de studie, elke variërend 45-103 (gemiddelde = 71,87) seconden. Terugkoppeling werd tijdens deze taak niet aan de deelnemers verstrekt. Er waren drie clips die elk van de volgende emotie categorieën: blij, verdrietig, boos, angstig, neutraal. Deze clips zijn gekozen op basis van de resultaten van een studie uitgevoerd bij jonge volwassenen (n = 70) Zupan, B. & Babbage, DR Emotion uitlokking stimuli van filmfragmenten en verhalende tekst. Manuscript ingediend bij J Soc Psyc. In deze studie werden de deelnemers gepresenteerd zes filmpjes voor elk doel emotie categorieën en zes neutrale film bevat, variërend 24-127 seconden (gemiddelde = 77,3 seconden). Terwijl het doel was relatief korte filmpjes bevatten elk gekozen voor opname clip nodig om voldoende contextuele informatie dat kan worden begrepen door kijkers zonder aanvullende kennis van de folie waaruit het is gemaakt 33 zijn.

<p class = "jove_content"> De geselecteerd voor de huidige studie clips werden correct geïdentificeerd in de Zupan en Babbage studie Emotion uitlokking stimuli van filmfragmenten en verhalende tekst, aangehaald als het doel emotie tussen de 83 en 89% voor de happy, 86-93 % voor verdrietig, 63-93% voor boze, 77-96% voor angstige en 81-87% voor neutrale. Terwijl hetzelfde aantal exemplaren per categorie emotie was de DANVA2 taken (n = 6) zou ideaal zijn, gekozen voor drie door de toegenomen lengte van de film stimuli opzichte van stimuli in de DANVA-Faces en DANVA-Voices taken.

De gegevens van deze taken werden verzameld uit 60 deelnemers met TBI en 60 leeftijd en geslacht gematchte controles. Deelnemers werden gezien individueel of in groepjes (max = 3) en de volgorde van de drie taken was gerandomiseerd over testsessies.

Protocol

Dit protocol werd goedgekeurd door de institutionele review boards op Brock University en bij Carolinas Rehabilitation. 1. voorafgaand aan het testen Maak 3 afzonderlijke lijsten voor de 15 filmpjes, die elk een opsomming van de clips in een andere niet-openbare orde. Zorg ervoor dat elke lijst begint en eindigt met een neutrale stimulus en dat er geen twee clips die dezelfde emotie richten zich voordoen na elkaar. Maak een aparte map op het bureaublad voor elk…

Representative Results

Deze taak batterij werd gebruikt voor herkenning van emoties vergelijken voor geïsoleerde emotie (dat wil zeggen, het gezicht alleen;. Voice-only) en gecombineerde emotie (. Dat wil zeggen, het gezicht en de stem), die zich voordoen binnen een situationele context. Een totaal van 60 (37 mannen en 23 vrouwen) deelnemers met matige tot ernstige TBI in de leeftijd tussen 21 en 63 jaar (gemiddeld = 40,98) en 60 (38 mannen en 22 vrouwen) leeftijd -matched Controls (bereik =…

Discussion

Het manuscript beschrijft drie taken gebruikt voor herkenning van emoties mogelijkheden van mensen met TBI beoordelen. Het doel van de beschreven methode was om de nauwkeurigheid reactie te vergelijken voor het gezicht en vocale emotionele signalen in afzondering, de perceptie van deze signalen tegelijkertijd plaatsvinden binnen zinvolle situationele context. Film clips werden opgenomen in de huidige studie, omdat hun onderlinge aanpassing van alledaagse situaties maakte hen meer ecologisch valide dan geïsoleerde voors…

Disclosures

The authors have nothing to disclose.

Acknowledgements

This work was supported by the Humanities Research Institute at Brock University in St. Catharines, Ontario, Canada and by the Cannon Research Center at Carolinas Rehabilitation in Charlotte, North Carolina, USA.

Materials

Diagnostic Analysis of Nonverbal Accuracy-2 Department of Pychology, Emory University. Atlanta, GA DANVA-Faces subtest, DANVA-Voices subtest
Computer Apple iMac Desktop, 27" display
Statistical Analysis Software SPSS University Licensed software for data analysis
Happy Film Clip 1 Sweet Home Alabama, D&D Films, 2002, Director: A Tennant A man surprises his girlfriend by proposing in a jewelry store
Happy Film Clip 2 Wedding Crashers, New Line Cinema, 2005, Director: D. Dobkin A couple is sitting on the beach and flirting while playing a hand game
Happy Film Clip 3 Reme-mber the Titans, Jerry Bruckheimer Films, 2000, Director: B. Yakin An African American football coach and his family are accepted by their community when the school team wins the football championship
Sad Film Clip 1 Grey's Anatomy, ABC, 2006, Director: P. Horton A father is only able to communicate with his family using his eyes. 
Sad Film Clip 2 Armageddon, Touchstone Pictures, 1998, Director: M. Bay A daughter is saying goodbye to her father who is in space on a dangerous mission
Sad Film Clip 3 Grey's Anatomy, ABC, 2006, Director: M. Tinker A woman is heartbroken her fiance has died
Angry Film Clip 1 Anne of Green Gables, Canadian Broadcast Corporation, 1985, Director: K. Sullivan An older woman speaks openly about a child's physical appearance in front of her
Angry Film Clip 2 Enough, Columbia Pictures, 2002, Director: M. Apted A wife confronts her husband about an affair when she smells another woman's perfume on his clothing
Angry Film Clip 3 Pretty Woman, Touchstone Pictures, 1990, Director: G. Marshall A call girl attempts to purchase clothing in an expensive boutique and is turned away
Fearful Film Clip 1 Blood Diamond, Warner Bros Pictures, 2006, Director: E. Zwick Numerous vehicles carrying militia approach a man and his son while they are out walking
Fearful Film Clip 2 The Life Before Her Eyes, 2929 Productions, 2007, Directors: V. Perelman Two teenaged gilrs are talking in the school bathroom when they hear gunshots that continue to get closer
Fearful Film Clip 3 The Sixth Sense, Barry Mendel Productions, 1999, Director: M. N. Shyamalan A young boy enters the kitchen in the middle of the night and finds his mother behaving very atypically
Neutral Film Clip 1 The Other Sister, Mandeville Films, 1999, Director: G. Marshall A mother and daughter are discussing an art book while sitting in their living room
Neutral Film Clip 2 The Game, Polygram Filmed Entertainment, 1999, Director: D. Fincher One gentleman is explaining the rules of a game to another
Neutral Film Clip 3 The Notebook, New Line Cinema, 2004, Director: N. Cassavetes An older gentleman and his doctor are conversing during a routine check-up

References

  1. Langlois, J., Rutland-Brown, W., Wald, M. The epidemiology and impact of traumatic brain injury: A brief overview. J. Head Trauma Rehabil. 21 (5), 375-378 (2006).
  2. Babbage, D. R., Yim, J., Zupan, B., Neumann, D., Tomita, M. R., Willer, B. Meta-analysis of facial affect recognition difficulties after traumatic brain injury. Neuropsychology. 25 (3), 277-285 (2011).
  3. Neumann, D., Zupan, B., Tomita, M., Willer, B. Training emotional processing in persons with brain injury. J. Head Trauma Rehabil. 24, 313-323 (2009).
  4. Bornhofen, C., McDonald, S. Treating deficits in emotion perception following traumatic brain injury. Neuropsychol Rehabil. 18 (1), 22-44 (2008).
  5. Zupan, B., Neumann, D., Babbage, D. R., Willer, B. The importance of vocal affect to bimodal processing of emotion: implications for individuals with traumatic brain injury. J Commun Disord. 42 (1), 1-17 (2009).
  6. Bibby, H., McDonald, S. Theory of mind after traumatic brain injury. Neuropsychologia. 43 (1), 99-114 (2005).
  7. Ferstl, E. C., Rinck, M., von Cramon, D. Y. Emotional and temporal aspects of situation model processing during text comprehension: an event-related fMRI study. J. Cogn. Neurosci. 17 (5), 724-739 (2005).
  8. Milders, M., Fuchs, S., Crawford, J. R. Neuropsychological impairments and changes in emotional and social behaviour following severe traumatic brain injury. J. Clin. Exp. Neuropsychol. 25 (2), 157-172 (2003).
  9. Spikman, J., Milders, M., Visser-Keizer, A., Westerhof-Evers, H., Herben-Dekker, M., van der Naalt, J. Deficits in facial emotion recognition indicate behavioral changes and impaired self-awareness after moderate to severe tramatic brain injury. PloS One. 8 (6), e65581 (2013).
  10. Zupan, B., Neumann, D. Affect Recognition in Traumatic Brain Injury: Responses to Unimodal and Multimodal Media. J. Head Trauma Rehabil. 29 (4), E1-E12 (2013).
  11. Radice-Neumann, D., Zupan, B., Babbage, D. R., Willer, B. Overview of impaired facial affect recognition in persons with traumatic brain injury. Brain Inj. 21 (8), 807-816 (2007).
  12. McDonald, S. Are You Crying or Laughing? Emotion Recognition Deficits After Severe Traumatic Brain Injury. Brain Impair. 6 (01), 56-67 (2005).
  13. Cunningham, D. W., Wallraven, C. Dynamic information for the recognition of conversational expressions. J. Vis. 9 (13), 1-17 (2009).
  14. Elfenbein, H. A., Marsh, A. A., Ambady, W. I. N. Emotional Intelligence and the Recognition of Emotion from Facid Expressions. The Wisdom in Feeling: Psychological Processes in Emotional Intelligence. , 37-59 (2002).
  15. McDonald, S., Saunders, J. C. Differential impairment in recognition of emotion across different media in people with severe traumatic brain injury. J. Int Neuropsycho. Soc. : JINS. 11 (4), 392-399 (2005).
  16. Williams, C., Wood, R. L. Impairment in the recognition of emotion across different media following traumatic brain injury. J. Clin. Exp. Neuropsychol. 32 (2), 113-122 (2010).
  17. Adolphs, R., Tranel, D., Damasio, A. R. Dissociable neural systems for recognizing emotions. Brain Cogn. 52 (1), 61-69 (2003).
  18. Biele, C., Grabowska, A. Sex differences in perception of emotion intensity in dynamic and static facial expressions. Exp. Brain Res. 171, 1-6 (2006).
  19. Collignon, O., Girard, S., et al. Audio-visual integration of emotion expression. Brain Res. 1242, 126-135 (2008).
  20. LaBar, K. S., Crupain, M. J., Voyvodic, J. T., McCarthy, G. Dynamic perception of facial affect and identity in the human brain. Cereb. Cortex. 13 (10), 1023-1033 (2003).
  21. Mayes, A. K., Pipingas, A., Silberstein, R. B., Johnston, P. Steady state visually evoked potential correlates of static and dynamic emotional face processing. Brain Topogr. 22 (3), 145-157 (2009).
  22. Sato, W., Yoshikawa, S. Enhanced Experience of Emotional Arousal in Response to Dynamic Facial Expressions. J. Nonverbal Behav. 31 (2), 119-135 (2007).
  23. Schulz, J., Pilz, K. S. Natural facial motion enhances cortical responses to faces. Exp. Brain Res. 194 (3), 465-475 (2009).
  24. O’Toole, A., Roark, D., Abdi, H. Recognizing moving faces: A psychological and neural synthesis. Trends Cogn. Sci. 6 (6), 261-266 (2002).
  25. Dimoska, A., McDonald, S., Pell, M. C., Tate, R. L., James, C. M. Recognizing vocal expressions of emotion in patients with social skills deficits following traumatic brain injury. J. Int. Neuropsyco. Soc.: JINS. 16 (2), 369-382 (2010).
  26. McDonald, S., Flanagan, S., Rollins, J., Kinch, J. TASIT: A new clinical tool for assessing social perception after traumatic brain injury. J. Head Trauma Rehab. 18 (3), 219-238 (2003).
  27. Channon, S., Pellijeff, A., Rule, A. Social cognition after head injury: sarcasm and theory of mind. Brain Lang. 93 (2), 123-134 (2005).
  28. Henry, J. D., Phillips, L. H., Crawford, J. R., Theodorou, G., Summers, F. Cognitive and psychosocial correlates of alexithymia following traumatic brain injury. Neuropsychologia. 44 (1), 62-72 (2006).
  29. Martìn-Rodrìguez, J. F., Leòn-Carriòn, J. Theory of mind deficits in patients with acquired brain injury: a quantitative review. Neuropsychologia. 48 (5), 1181-1191 (2010).
  30. McDonald, S., Flanagan, S. Social perception deficits after traumatic brain injury: interaction between emotion recognition, mentalizing ability, and social communication. Neuropsychology. 18 (3), 572-579 (2004).
  31. Milders, M., Ietswaart, M., Crawford, J. R., Currie, D. Impairments in theory of mind shortly after traumatic brain injury and at 1-year follow-up. Neuropsychology. 20 (4), 400-408 (2006).
  32. Nowicki, S. . The Manual for the Receptive Tests of the Diagnostic Analysis of Nonverbal Accuracy 2 (DANVA2). , (2008).
  33. Gross, J. J., Levenson, R. W. Emotion Elicitation Using Films. Cogn. Emot. 9 (1), 87-108 (1995).
  34. Spell, L. A., Frank, E. Recognition of Nonverbal Communication of Affect Following Traumatic Brain Injury. J. Nonverbal Behav. 24 (4), 285-300 (2000).
  35. Edgar, C., McRorie, M., Sneddon, I. Emotional intelligence, personality and the decoding of non-verbal expressions of emotion. Pers. Ind. Dif. 52, 295-300 (2012).
  36. Nowicki, S., Mitchell, J. Accuracy in Identifying Affect in Child and Adult Faces and Voices and Social Competence in Preschool Children. Genet. Soc. Gen. Psychol. 124 (1), (1998).
  37. Astesano, C., Besson, M., Alter, K. Brain potentials during semantic and prosodic processing in French. Cogn. Brain Res. 18, 172-184 (2004).
  38. Kotz, S. A., Paulmann, S. When emotional prosody and semantics dance cheek to cheek: ERP evidence. Brain Res. 115, 107-118 (2007).
  39. Paulmann, S., Pell, M. D., Kotz, S. How aging affects the recognition of emotional speech. Brain Lang. 104 (3), 262-269 (2008).
  40. Pell, M. D., Jaywant, A., Monetta, L., Kotz, S. A. Emotional speech processing: disentangling the effects of prosody and semantic cues. Cogn. Emot. 25 (5), 834-853 (2011).
  41. Bänziger, T., Scherer, K. R. Using Actor Portrayals to Systematically Study Multimodal Emotion Expression: The GEMEP Corpus. Affective Computing and Intelligent Interaction, LNCS 4738. , 476-487 (2007).
  42. Busselle, R., Bilandzic, H. Fictionality and Perceived Realism in Experiencing Stories: A Model of Narrative Comprehension and Engagement. Commun. Theory. 18 (2), 255-280 (2008).
  43. Zagalo, N., Barker, A., Branco, V. Story reaction structures to emotion detection. Proceedings of the 1st ACM Work. Story Represent. Mech. Context – SRMC. 04, 33-38 (2004).
  44. Hagemann, D., Naumann, E., Maier, S., Becker, G., Lurken, A., Bartussek, D. The Assessment of Affective Reactivity Using Films: Validity, Reliability and Sex Differences. Pers. Ind. Dif. 26, 627-639 (1999).
  45. Hewig, J., Hagemann, D., Seifert, J., Gollwitzer, M., Naumann, E., Bartussek, D. Brief Report. A revised film set for the induction of basic emotions. Cogn. Emot. 19 (7), 1095-1109 (2005).
  46. Wranik, T., Scherer, K. R. Why Do I Get Angry? A Componential Appraisal Approach. International Handbook of Anger. , 243-266 (2010).
  47. Neumann, D., Zupan, B., Malec, J. F., Hammond, F. M. Relationships between alexithymia, affect recognition, and empathy after traumatic brain injury. J. Head Trauma Rehabil. 29 (1), E18-E27 (2013).
  48. Russell, J. A. Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychol. Bull. 115 (1), 102-141 (1994).

Play Video

Cite This Article
Zupan, B., Neumann, D. Exploring the Use of Isolated Expressions and Film Clips to Evaluate Emotion Recognition by People with Traumatic Brain Injury. J. Vis. Exp. (111), e53774, doi:10.3791/53774 (2016).

View Video