Summary
本稿では、単離された顔と声の感情表現の感情認識、および文脈手がかりを含んでマルチモーダル感情認識を評価するために、商業テレビや映画のクリップを用いた新規タスクを調べるために行動タスクのバッテリーを実装する方法について説明します。
Abstract
現在の研究では、外傷性脳損傷（TBI）と分離された顔の感情表現と60コントロール、孤立したボーカルの感情表現、およびマルチモーダル（ すなわち 、フィルムクリップ）文脈手がかりを含めた刺激で60人を発表しました。すべての刺激は、コンピュータを介して提示されました。参加者は各刺激者が強制選択形式を使用して感じていたかを示すために必要でした。さらに、フィルムクリップのために、参加者は刺激に応答して、彼らはその感情を経験すると強度のレベルでどう感じたかを示す必要がありました。
Introduction
外傷性脳損傷（TBI）世界1を挟んで年間約10万人に影響を与えます。 TBI、このような顔や声の表情などの非言語的手がかりを使用して、他で感情を認識する能力を、次の（ すなわち 、声のトーン）、および文脈手がかりは、多くの場合、大幅2-7を侵害されました。成功対人相互作用と品質の関係は、少なくとも他者の感情7-10の正確な解釈に部分的に依存しているので、感情認識の難しさは、一般的にTBI 3,8次報告貧しい社会的成果に貢献することが報告されていることは驚くべきことではありません11,12。
TBIを持つ人々によって感情認識を調査した研究は、単離された手がかり、静的写真2を使用して、顔の感情表現の特に認識に集中する傾向がありました。この作業は、治療プロの開発を知らせるに重要であったがグラムは、それは十分に認識し、日常の相互作用に感情の非言語的な手がかりを解釈する自分の能力を示すものではありません。だけでなく、静止画が描か感情を解釈するための時間が向上していない、彼らはまた、典型的には式だけ13-16の（ すなわち 、最大の表現）頂点を描きます。また、静止画像は動き12,13,15で発生する一時的な手がかりを欠いており、日常生活で遭遇する感情の急速に変化する表情を示すものではありません。また、静的および動的な視覚表現は動的刺激17-24へのより正確な応答と、脳の異なる領域で処理されていることを示す証拠があります。
TBIを持つ人々によってボーカル感情認識もとし、意味のある言葉によるコンテンツなしの両方、研究されています。言葉によるコンテンツの存在が正確INTEので知覚需要を増加させることが示唆されていますrpretationは口頭メッセージ25に含まれる意味内容と音声の非言語音の同時処理が必要となります。多くの研究は、ボーカルの改善された認識を示しているが、性能に差は認められなかっDimoska ら 25意味のある言葉によるコンテンツが存在しない場合、に影響を与えます。彼らは、TBIを持つ人々は、感情の文章で意味内容へのバイアスを持っていると主張しています。コンテンツは意味的に中性または排除された場合であってもそう、彼らは文の言語情報に注力していき。したがって、その結果は明らかに意味のある言葉によるコンテンツが役立ちますかボーカルの感情表現を妨げるかどうかは表示されませんでした。
非言語ボーカル手がかりに同行することができ、意味のある言葉によるコンテンツに加えて、コンテキストはまた、社会情勢自体を介して提供されます。状況的文脈は感情表現がで大幅に生産することができた状況についての背景情報を提供します表現の解釈をフルエンス。誰かがどのように感じているのか評価する際に、我々は状況がその人の欲求や期待と一致しているかどうかを判断するためにコンテキストを使用しています。これは最終的に、誰かが感じる方法に影響するので、状況コンテキストの知識は、他者の感情26のより正確な推論をもたらすはずです。これを行うための能力は、心の理論、大幅TBI 6,27-31次損なわれることがわかっコンストラクトと呼ばれています。 Milders ら 8,31レポートTBIを持つ人々は、かなりの難易度について正確な判断をすると簡単なストーリー内の文字の意図や感情の理解を持っていること。
これらの研究は、非言語的と状況感情処理で赤字を強調しているが、これらの手がかりは、互いに並んや社会的文脈の中で起こる日常の社会的相互作用に結果を一般化することは困難です。より良いどのように人々を理解するために、TBIは、日常の社会的相互作用で感情を解釈して、私たちは自然の中でマルチモーダルある刺激を使用する必要があります。 2つだけ以前の研究は、TBIのプロセス感情手がかりとどのように人々に彼らの調査の一環として、マルチモーダル刺激を含んでいました。マクドナルドとサンダース15とウィリアムズと木材16は、 社会的推論テスト 26 の意識の一部であるエモーション評価試験（EET）から刺激を抽出しました。 EETは、会話に従事しながら、非言語的感情手がかりを描いた男性と女性の俳優を示すビデオ撮影ビネットで構成されています。会話中の口頭コンテンツは意味的に中性です。俳優が感じているとコンテキスト情報が提供されていないかについての手がかり。このように、同時に非言語顔と声の手がかりでこれをしている間に意味のある言葉によるコンテンツを処理し、統合する必要性が排除されました。これらの研究の結果は、TBIを持つ人々がsignificanであることが示されましたマルチモーダル刺激から感情を同定する能力において対照よりTLYそれほど正確。どちらの研究では、感情表現の解釈に関する意味論的またはコンテキスト情報の影響を考えているので、このタイプの情報の追加が原因で増加し、認知需要の増加のため複数の感覚機能を同時に使った冗長性の処理を促進または負の知覚に影響を与えるかどうかは依然として不明です。
この記事では、分離して、顔と声の感情的な手がかりの知覚、および意味のある状況のコンテキスト内で同時に発生し、これらの手がかりの知覚を比較するために使用される一連のタスクの概要を説明します。 ノンバーバル精度の診断解析2（DANVA2）32 -アイソレーション・タスクは、非言語的感情認識の大きなテストの一部です。このプロトコルでは、我々は大人の顔 （DANVA-顔）と大人のパラ言語 （DANVA-声）サブテストを使用していました。これらのサブテストのそれぞれは、24の刺激を含みます、6表現、幸せ、悲しい、怒っている、と恐ろしい感情のそれぞれを描きました。 DANVA2は感情を識別するために、参加者を必要とする強制選択形式（4選択肢）を使用して演じました。ここでは、5番目のオプションは、（私は知らない）両方のサブテストのために提供されています。各表情が示された時間は、私たちが認識し、処理のない速度に影響を与える評価されたことを確認するために、5秒に2秒から増加しました。私たちは、強制選択応答の形式で追加の選択肢を追加することを超えて大人のパラ言語サブテストを変化させませんでした。参加者は1時間だけそれぞれの文を聞きました。フィードバックは、いずれのタスクで提供されていませんでした。
フィルムクリップは状況コンテキスト内で同時に生じる顔面ボーカル感情手がかりの知覚を評価しました。これらのクリップ内の口頭コンテンツが明示的にクリップ内の文字が感じていたものを明記しなかったが、それは状況コンテキストに有意義でした。 coから抽出さフィフティーンクリップmmercial映画やテレビシリーズは、45から103までの各秒（= 71.87を意味する）、研究に含めました。フィードバックは、このタスクの実行中に参加者に提供されていませんでした。ニュートラル、恐ろしい、幸せ、悲しい、怒っている：以下の感情の各カテゴリを表す3つのクリップがありました。これらのクリップは、若年成人で行われた調査の結果に基づいて選択した（N = 70） ズパン、B.＆バベッジ、フィルムクリップと物語テキストからDR感情誘発刺激。原稿は、JのSoc PSYCに提出しました 。その研究では、参加者は24〜127秒（= 77.3秒を意味する）に至るまで、対象の感情の各カテゴリのための6つのフィルムクリップ、6ニュートラルなフィルムクリップで発表されました。目標は、比較的短い映画クリップを含むようであったが、包含のために選択された各クリップは、それが33を撮影されたフィルムの付加的な知識を有することなく、視聴者によって理解され得ることが十分なコンテキスト情報を有することが必要。
フィルムクリップと物語テキストからズパンとバベッジ研究感情誘発刺激で同定されていた、幸せ、86のための83と89％の間でターゲット感情として上で引用しました ％悲しい、63のために - 怒りのための93％、77 - 恐ろしいのための96％、および81 - 中立のための87％。 DANVA2タスクであった（n = 6）が理想的であったであろうとして、各感情カテゴリの手本と同じ数を持ちながら、我々はDANVA-顔で刺激に比べてフィルムクリップ刺激の長さの増加に起因する3つだけを選択しましたそして、DANVA-声タスク。
これらのタスクからのデータは、TBIと60の参加者と60年齢と性別適合させた対照から採取しました。参加者は、個別に、または小グループ（最大= 3）と3つのタスクの順序で見られたテストセッション間でランダム化されました。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
このプロトコルは、ブロック大学でとキャロライナリハビリテーションでの治験審査委員会によって承認されました。
1.試験前に
- それぞれが異なる制限された順序でクリップを一覧表示する、15のフィルムクリップの3つの別々のリストを作成します。
- 各リストが始まると中性刺激で、同じ感情をターゲットにどの2つのクリップが連続して発生していないことを終了することを確認してください。
- フィルムオーダープレゼンテーションの各リストのデスクトップ上の別のフォルダを作成し、受注の名前のフォルダにラベルを付ける（ 例えば 、注文1）。
- 3つのフォルダのそれぞれに15のクリップを保存します。
- （。、 すなわち 01; 02; 03; など 。）それはプレゼンテーションの数を反映し、ターゲット感情に関していかなる手がかりを与えないように、各フィルムクリップラベル-RE。
- タスク（DANVA-顔、DANVA-声、映画クリップ）プレゼンテーション（ 図1参照）の6無作為化オーダーを作成します。
- 着信participを割り当てフィルムクリッププレゼンテーションの3制限受注のいずれかにアリ。
- タスクプレゼンテーションの6無作為化受注の1に入ってくる参加者を割り当てます。
テストの2日目
- ラボに参加者（複数可）を持参し、テーブルに快適にそれらを装着します。
- 彼/彼女と各セクションを読み取ることにより、参加者との同意書を確認します。
- 参加者が同意書について持っているし、彼/彼女はそれに署名持つかもしれない質問に答えます。
- 参加者は簡単な人口統計学的調査票（;性別生年月日）を完了しています。さらに、関連する病歴アンケート（傷害の日、傷害の原因、損傷の重症度）に関するアンケートのセクションを完了TBIを持つ参加者を持っています。
注：参加者がアンケートを完了している場合、あなたがそれに応じてTBIを持つ参加者を収容することができるので、任意の既知の視覚処理の難しさについて問い合わせます - 目の前で参加者を置き椅子の電子計算機。すべての参加者（複数の場合）は、画面の明確な見解を持っていることを確認してください。
3. DANVA-顔のタスク
- 添付DANVA-Facesの応答シートと円の応答にペンで各参加者にクリップ・ボードを与えます。
- 参加者に以下の指示を提供する： "あなたは各項目を参照した後、各スライドに表示される項目番号に対応する行に（幸せ、悲しい、怒っている、恐ろしい、または中性）あなたの応答を一周。」
注：TBIを持つ参加者は、視覚処理の難しさを示しているか、細かい運動困難が明らかである場合は、代替応答ページで参加者を提供しています。このページには、ランドスケープ形式で大きな文字で5応答を示しています。 - プレゼンテーションでDANVA-顔タスクを開き、スライドショー表示を使用して、それを再生します。
- 参加者に以下の指示を与える：「この活動のために、私はあなたにいくつかの人々の顔を表示するつもりですし、私はあなたがしたいです彼らはどのように感じているかを教えてください。私は、彼らは、幸せな悲しい、怒っているか恐ろしいしている場合、あなたが私に伝えたいです。恐ろしい同じことは、恐れたりおびえています。あなたは感情がわからない場合は、「私は知らない」応答を選択します。全部で24面があります。それぞれの顔が5秒間画面になります。あなたの答えはカウントするために顔が消える前に答えなければなりません。 「あなたの前にシート上にそれを周回することにより、あなたの答えを示しています。
注：参加者が彼/彼女の自身の応答を一周することができず、小グループの一部として研究に参加している場合は、次の命令を提供する：「あなたの目の前にシート上のそれを指すことにより、あなたの答えを示し」。審査官は、その後DANVA-Facesの応答シート上の参加者の応答を記録します。 - 参加者は出発前にご質問を持っていないことを確認してください。
- 2練習試行でタスクを開始します。参加者に以下の指示を与える：「私たちは2プラを完了しようとしていますctice試験ではそのようにあなたは、各顔が画面に表示されますどのくらいの感覚を取得し、どのくらいあなたがあなたの答え」を提供する必要があります。
- 顔が次の刺激に移動するには消失したとき、キーボードのEnterキーを押します。すべての参加者がそうする前に画面を見上げていることを確認します。
- 参加者が質問を持っていないことを確認してください。いずれも場合、テストトライアルを開始します。すべての参加者が画面を見ていることを確認します。テスト刺激を開始するにはEnterキーを押します。
- 24刺激が完了するまで練習タスクについて概説した手順を続行します。
- 参加者の応答シートを収集します。
4. DANVA-声タスク
- 添付DANVA-声応答シートと円の応答にペンで各参加者にクリップ・ボードを与えます。
注：TBIを持つ参加者は、視覚処理の難しさを示しているか、細かい運動困難が明らかである場合は、代替応答ページで参加者を提供しています。このパGEはランドスケープ形式で大きな文字で5応答を示しています。 - 次のWebサイトに行くことによってDANVA-声タスクを開きます。
http://www.psychology.emory.edu/clinical/interpersonal/danva.htm - 大人の顔、声、および姿勢のためのリンクをクリックしてください。
- ログインの任意の文字を入力するとパスワードのEMORYDANVA2を入力して、ログインとパスワードを入力してください。
- [続行]をクリックします。
- 声（画面中央の緑色の円）をクリックします。
- 音量レベルをテストします。私はあなたがコンピュータ上で音を聞くことができるようにする必要があります」と、それはあなたのための快適な音量であることを私はあなたが音を聞くことができる場合、テスト音が私に教えてくださいクリックするつもりだ、と次の指示を与えます。また、あなたがあなたのために快適であることを大声以上静かに音を必要とする場合。」
- テストサウンドをクリックします。
- 参加者の要求（増加/減少）に応じて音量を調整します。
- 再び「テストサウンド」をクリックします。参加者の要求に応じて音量を調整します。参加者は、それが快適な音量である報告するまでこれを行います。
- 参加者との作業手順を確認。参加者に以下の指示を与える：このアクティビティでは、誰かが文を言うのを聞くしようとしている「私は今、部屋を出て行くんだけど、私は後で戻ってきます。」私は、彼らは、幸せな悲しい、怒っているか恐ろしいしている場合、あなたが私に伝えたいです。恐ろしい同じことは、恐れたりおびえています。あなたは感情がわからない場合は、「私は知らない」応答を選択します。 24の文章があります。それぞれの文が話される前に、番号が発表されます。あなたは次の文に耳を傾ける必要があります。あなたは注意深く耳を傾ける必要があるので、文章が繰り返されることはありません。選択したら、私は次の項目に移動するには、コンピュータ画面上の応答を選択する必要があります。人は「あなたの前にシート上にあなたの答えを周回することにより、どのように感じているのか教えてください。私はいつもトンを選択します彼は同じ感情（恐ろしいです）。私の選択はとにかくで正解を示すものではありません。」
注：参加者が彼/彼女の自身の応答を一周することができず、小グループの一部として研究に参加している場合は、次の命令を提供する：「あなたの目の前にシート上のそれを指すことにより、あなたの答えを示し」。審査官は、その後DANVA-声応答シート上の参加者の応答を記録します。 - 「続ける」をクリックします。
- サークル（またはポイントまで）への直接参加者の応答のシートにその答え文が果たしてきました。
- 「恐ろしい」をクリックします。 「次へ」をクリックします。
- 24の文章が完了するまで、この手順を続行します。
- タスクの終わりに達したときにウェブサイトを終了します。
- 参加者の応答シートを収集します。
5. Filmクリップのタスク
- 快適にコンピュータの前の座席の参加者。画面がFULすることができていることを確認してくださいLYすべてで見られます。
- 一人一人に感情的な映画クリップレスポンスシートのコピーとクリップボードを与えます。
注：TBIを持つ参加者は、視覚処理の難しさを示しているか、細かい運動困難が明らかである場合は、2つの代替応答ページで参加者を提供しています。最初のページには、5強制選択応答を一覧表示し、第二は、0-9スケールを提供します。両方の応答ページは、大きな文字で、景観形式です。 - フィルムクリッププレゼンテーションの割り当て順序のためのコンピュータのフォルダを開きます。
- 以下の指示で、参加者を提供します。 "あなたは15のフィルムクリップの合計を表示しようとしている各フィルムクリップでは、あなたは彼らが特定の感情を感じているように見える文字を参照しようとしている彼らが「幸せ」に見えるかもしれません、 '。悲しい」、「怒っている」、「恐ろしい」、または ''中立。まず、私は映画を見ながらあなたが経験したものの感情を教えその後。あなたは文字が表示されているものの感情を私に伝えたいですクリップ。最後に、私は最高のクリップを見ながらあなたが感じた感情の強さを説明する番号を教えてください。人物の顔が作られている場合たとえば、あなたは「軽度」幸せか悲しい感じ、サークル1から3までの数字あなたは非常に「感じた場合は、「適度に」幸せか悲しい、円を4から6までの数字を感じた場合はあなたはまったく感情を感じていない場合は、 '幸せか悲しい、だけ円0 7から9までの数字を○で囲んで。何か質問がありますか？"
注：のみ最初の質問は、現在の研究のために分析した（何感情の文字が表示されて教えてください）。 - 第1のフィルムクリップを開くにはダブルクリックして01。
- クリップを見ながら文字に焦点を当てるために参加者に知らせます。
- クリップを再生するためのオプションメニューで「フルスクリーンを表示」を選択します。
- クリップの再生が終了したときにそれらの応答シートに（感情が経験主人公は何？）行目に対応するため、参加者に指示します。
- ラインbが回答された後（どのようにクリップを見ながら、あなたが経験した感情の強さを評価されますか？）ラインcに対応するため、参加者に指示します。
- 反応が完了したら、コンピュータの画面に彼/彼女の注意を再指示するために参加者に指示します。
- 参加者のために割り当てられたために、フィルムクリップが含まれているコンピュータ上のフォルダに戻ります。
- 02ダブルCCKは、第2のフィルムクリップを開きます。参加者はすべての15のフィルムクリップを見たまで、5.12〜ステップ5.5を繰り返します。
- 参加者（複数可）からの応答シートを収集します。
6.別の（オプションの手順）に一つのタスクからの移行
- 参加者のタスク2と3の間に休憩を取るためのオプションを提供します。
- DANVA-顔タスクを獲得するためにDANVA2マニュアル32の25ページの解答を参照してください。
- 解答1などの主要および応答は0としてスコア化されている「私は知らない」は0として誤った項目に一致する項目をスコア。
- 正しい応答の合計数を追加することによって、生のスコアを計算します。パーセンテージ精度のスコアを取得するために24（合計項目）によって生のスコアを割ります。
- DANVA2マニュアル32の27ページの解答キーを参照し、リピートはDANVA-声タスクを獲得するために7.2と7.3を繰り返します。
- 参加者のためのフィルムクリッププレゼンテーションの割り当て順序のための答えのキーを参照してください。文字が表示されたもの感情に関する質問、および0に応答するときに参加者が（参加者が「私にはわからない」と述べている場合を含む）は、標的感情を選択しなかった場合は、参加者がターゲット感情を識別した場合に1をスコア。
- correcの数を追加することによって、生のスコアを計算しますトン応答。パーセンテージ精度のスコアを取得するために15（合計項目）によって生のスコアを割ります。
- のみこれらの12のクリップへの正しい応答を追加することで、幸せな悲しい、怒っている、と恐ろしいフィルムクリップへの応答のみが含まれているFilmクリップのタスクのサブセットのスコアを作成します。パーセンテージ精度のスコアを取得するために12で正解数を割ります。
- 中立クリップへの正しい応答の数を追加することにより、中性フィルムクリップへの応答のスコアを作成します。パーセンテージ精度のスコアを取得するために3で、正しい応答の数を割ります。
注：サブセットのスコアは、フィルムクリップのタスクはなかったがDANVAタスクはニュートラルの描写が含まれていなかったので、作成する必要があります。 - （、。 すなわち幸せ）積極的にアイテムをvalencedへの応答のスコアを計算し、マイナスのすべての3つのタスクのために（、怒っている恐ろしいと悲しい刺激に対する応答を組み合わせた）アイテムをvalenced。
- PERCを得るために3で、各タスクのための積極valenced項目のスコアを割りentage精度スコア。
- パーセンテージ精度のスコアを取得するために9で、各タスクのための負valenced項目のスコアを割ります。
8.データ解析
- 混合モデルは、TBIとコントロールの参加者と参加者が孤立した顔の感情刺激に対する応答、孤立したボーカルの感情の刺激、およびマルチモーダルフィルムクリップ刺激を調べるために、分散分析（ANOVA）の分析を行っています。
- フォローアップ一変量の比較を用いてANOVAで見つかった主効果を探ります。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
このタスク電池は、単離された感情表現のための感情認識を比較するために使用された（ すなわち 、顔だけ;。音声のみ）状況のコンテキスト内で発生すると組み合わせた感情表現（。 すなわち 、顔や声）。 60の合計（37人の男性と23人の女性）21と63歳の重度のTBIに中等度（= 40.98平均）と60（38人の男性と22人の女性）を持つ参加者の年齢は、範囲= 18〜63（コントロールを-matched。平均= 40.64）は、3つのタスクを完了しました。研究に参加するには、TBIを持つ参加者は、グラスゴー昏睡スケールスコア、重度のTBIに中等度の指標とした意識的なの心的外傷後健忘または損失のいずれかを持っている必要がありました。負傷以来の平均時間は13.68歳であったと傷害の最も一般的な原因は、自動車事故（72％）でした。 TBIを持つ参加者は、教育と管理者教育の15.72年の14.43年の平均を完了しました。 Tと参加者彼らは発達情動障害を持っている場合、BIは試験から除外した、神経障害、主要な精神障害や勉強のタスクへの完全参加を阻害するであろう視覚障害や聴覚を獲得しました。彼らは脳震とう後症候群の結果脳震盪を含め、あらゆる重症度のTBIの任意の歴史を報告した場合、コントロールの参加者は除外しました。すべての参加者は、彼らの第一言語として英語を話しました。
何のタスク次効果がなかった確実にするために、我々は、フィルムクリップの3制限無作為化受注の1と6のタスクの受注（ 図1を参照）のいずれかに参加者を割り当てられます。フィルムと作業順序番号ジェネレータを無作為にオンラインコンピュータを使用して事前に決定しました。どちらのフィルムもタスクの順序は、パフォーマンスに影響を与えることが示されたため、分析における共変量として使用されませんでした。
図2は、絵の例Oを含み、DANVA-顔タスクとフィルムクリップタスクからFA刺激。 DANVA2とフィルムクリップ刺激を使用することの利点と課題を議論で検討されています。
3全体のANOVA調べる群差が認識タスクは、グループの有意な主効果を発見した影響し、[F（1、100）= 9.32; P = 0.003]とタスク[F（2、200）= 11.05、P <0.001]。仮説としては、TBIを持つ人々は、DANVA-顔タスク、F（1、101）= 6.77でのパフォーマンスを大幅に少ないのコントロールよりも正確であった; P = 0.005、およびDANVA-声タスク、F（1、100）= 9.64、 P = 0.002（ 図3を参照）。大幅に二つのグループ、F（1、118）= 2.12、P = 0.15間に差は認められなかったフィルムクリップタスクにおける感情の認識を見つけることは驚くべきことでした。私たちは、フィルムクリップのマルチモーダルな性質は、それがより多くなって、タスクの認知需要が増加すると予想していましたコントロールと比較して、フィルムクリップに感情を認識するためのTBIを持つ人々のため困難。これはそうではありませんでした。マルチモーダル手がかりがTBIを持つ人々がより簡単に、彼らは孤立表現できたよりも感情を認識することができ、冗長性を増加させたことが表示されます。
この分野でのこれまでの研究と同様に、TBIを持つ人々は、それがはるかに多くの挑戦DANVA-顔[F（1、101）= 6.8、P = 0.01]とDANVA-声[両方に陽性のものよりも負の感情表現を認識することが判明しましたDANVA-声。 F（1100）= 10.85、P = 0.001]タスク（ 図4を参照）。
この領域の研究は効果ヴァランス報告しているが、いくつかの研究では、ターゲットの感情への応答を調べました。私たちは、幸せな悲しい、恐ろしい、とすべての3つのタスクのために怒っているの刺激に対する応答を分析した（ 図5を参照）、さらに分析しますニュートラルなフィルムクリップへの応答（ 図6を参照）。価の結果はTBIを持つ人々は、一般的に、TBIのない人よりも識別するために負valenced刺激がより困難に見つかっていることを示しているが、特定の感情（ 例えば 、怒っている）、この結果を運転していたかどうかを調査する欲求がありました。幸せが私たちの唯一の積極valenced感情だったので、ここで我々の結果は、原子価のものを反映しました。 （、悲しい怒っている、恐ろしい）負valenced感情への応答を調べるとき、結果は、TBIを持つ人々は、識別するための最も困難な感情であることが恐ろしい見つけたことを示しました。実際には、これはフィルムクリップタスクで見つかった唯一のグループの応答間の差でした。ニュートラル特定することは、F（1、118）= 6.68、P = 0.001コントロールよりもTBIを持つ人々のため著しく困難でした。誤って同定された場合には、中性、TBIを持つ人々は、負valencedコントロールよりも応答、F（2,236）= 4.75を提供する可能性が有意に高かったですP = 0.009。
プロトコルの1模式図を図。試験前に、参加者は、フィルムクリップのための3つのプレゼンテーションの注文のうちの1つに割り当てました。そこはまた、タスク完了の6無作為化注文のうちの1つに割り当てました。テストの日に、参加者は実験的なタスク完了する前に予備的な情報を提供する[フィルムクリップ、DANVA-顔（顔）、およびDANVA-声を（声）]。 この図の拡大版をご覧になるにはこちらをクリックしてください。
。A使用される刺激の図2例 ）Dで孤立顔刺激の例ANVA-顔タスク。このタスクのすべての刺激は同じ背景を持つ静的な写真である。B）フィルムクリップタスク内の1つのフィルムクリップのスクリーンショット。すべてのフィルムクリップは商業映画やテレビから採取し45の範囲であった- 。長さは103ミリ秒で、この図の拡大版をご覧になるにはこちらをクリックしてください。
グループのメディアを横断図3.応答、。TBIとない人々による、各タスク・タイプの応答。 TBIを持つ参加者は、感情[DANVA-顔の静的な表情を認識するためのコントロールよりも有意に少ない正確でした。 F（1、101）= 6.77; P = 0.005]、およびボーカルの感情表現[DANVA-声。 F（1,100）= 9.64、p = 0.002]。コンテキストに富むフィルムのための感情の認識の違いクリップは有意ではなかった[F（1、118）= 2.12、P = 0.15]。エラーバーは平均の標準誤差（SEM）を示す。 この図の拡大版をご覧になるにはこちらをクリックしてください。
グループのメディアを横断図4.ヴァランス応答、。タスク全体で負の刺激対の正への対応。 TBIを持つ人々は、コントロールと同様に正の感情表現を認識することができましたが、かなり多くの困難負の顔の感情表現[DANVA-顔を認識していました。 F（1、101）= 6.8、P = 0.01]と負のボーカル感情表現[DANVA-声。 F（1100）= 10.85、P = 0.001]。エラーバーは平均の標準誤差（SEM）を示す。 ラーグを表示するには、こちらをクリックしてください。この図のERバージョン。
メディア全体でそれぞれの感情カテゴリ図5.応答は、グループが。この図は、TBIとDANVA、顔用のコントロール、DANVA-声、およびフィルムクリップのタスクを持つ人々のためのターゲットの感情のそれぞれに対する応答を示しています。 TBIを持つ人々は関係なく、刺激型の、ハッピーのためのコントロールと同様に行います。 、悲しい怒っている、と恐ろしいについては、TBIを持つ人々は、DANVA-FacesとDANVA-声タスクのコントロールよりも有意に少ない正確でした。 TBIを持つ人々はまた、かなり多くの困難フィルムクリップのコントロールよりも恐ろしいの識別を持っていた。 この図の拡大版をご覧になるにはこちらをクリックしてください。
.JPG "/>
図タスク、グループのフィルムクリップで中性刺激に対する6.応答。TBIを持つ人々は、はるかに多くの困難を制御し、F（1、118）= 6.68、P = 0.001より中立などの中性フィルムクリップを標識していました。ニュートラルが誤って同定された場合には、TBIを持つ人々はまた、コントロールよりも、代わりにF（2,236）= 4.75、P = 0.009を負valenced応答を提供する可能性が有意に高かった。 この図の拡大版をご覧になるにはこちらをクリックしてください。
| 感情 | テレビ番組/コマーシャルフィルム | シーン | 長さ（秒） |
| ハッピー | スイートホームアラバマ、D＆D映画、2002 | 男が宝石店でプロポーズと彼のガールフレンドを驚かせます。 | |
| 監督：A.テナント | |||
| ハッピー | ウェディング・クラッシャーズ、ニュー・ライン・シネマ、2005 | 若いカップルは、軽薄なゲームをプレイするビーチに座っています。 | 62 |
| 監督：D. Dobkin | |||
| ハッピー | タイタンズを忘れないでください、ジェリー・ブラッカイマー映画、2000 | 高校のフットボールチームが決勝戦に勝利した後、黒の家族は白のコミュニティに受け入れられています。 | 65 |
| 監督：B。ヤキン | |||
| 悲しい | グレイズ・アナトミー恋の解剖学、ABC、2006 | 父は手術に入るとだけ彼の目を点滅させて、彼の家族と通信することが可能です。 | 98 |
| 監督：P.ホートン | |||
| 悲しい | Armageddon、タッチストーンピクチャーズ、1998 | 彼は危険な任務にある間に娘が父親にさよならを言わなければなりません。 | 75 |
| 監督：M・ベイ | |||
| 悲しい | グレイズ・アナトミー恋の解剖学、ABC、2006 | 女性は彼女の婚約者が亡くなった後の失恋です。 | 87 |
| 監督：M.ティンカー | |||
| 怒って | グリーンゲーブルズ、カナダ放送株式会社、1985年のアン | 年上の女性は、彼女の前で子供の物理的な欠陥について率直に語っています。 | 62 |
| 監督：K.サリバン | |||
| カナダ：グリーンゲーブルズプロダクションのアン | |||
| 怒って | 十分、コロンビアピクチャーズ、2002 | 妻が不倫についての彼女の夫に直面し、彼はrを物理的および感情的な優位性を発揮することによりesponds。 | 103 |
| 監督：M. Apted | |||
| アメリカ：コロンビアピクチャーズ | |||
| 怒って | プリティウーマン、タッチストーンピクチャーズ、1990 | コールガールは、高価な店から服を購入しようとすると、店員は彼女を背を向けます。 | 65 |
| 監督：G.マーシャル | |||
| 恐ろしいです | ブラッド・ダイヤモンド、ワーナーブラザーズピクチャーズ、2006 | 多数の車両が民兵のアプローチを運ぶときに父と息子が一緒に歩いています。 | 50 |
| 監督：E.ズウィック | |||
| 恐ろしいです | ダイアナの選択、2929プロダクション、2007 | 彼らが得るために続け銃声を聞いたときに二十代の女の子が高校バスルームに話していますクローザー。 | 79 |
| 監督：V.ペレルマン | |||
| 恐ろしいです | シックスセンス、バリー・メンデルプロダクション、1999 | 少年は彼の眠りから目覚めると彼の母親作る夕食を見つけるために台所に入ります。 | 70 |
| 中性 | 他の姉妹、マンデヴィル映画、1999 | 母と娘は座ってアートブックを議論しています。 | 45 |
| 中性 | ゲーム、ポリグラム娯楽映画、1999 | 一つの紳士は別の紳士にゲームのルールを説明しています。 | 85 |
| 中性 | ノートブック、2004年ニュー・ライン・シネマ | 古い紳士と彼の医師はルーチンチェックアップ中に会話をしています。 | 56 |
| 監督：N.カサヴェテス |
Subscription Required. Please recommend JoVE to your librarian.
Discussion
原稿は、TBIを持つ人々の感情認識能力を評価するために使用される3つのタスクについて説明します。記載された方法の目標は、意味のある状況のコンテキスト内で同時に発生し、これらの手がかりの知覚に、孤立して顔と声の感情的な手がかりの応答精度を比較することでした。日常生活の彼らの近似は感情表現の分離された表現よりも、それらをより生態学的に有効になるので、フィルムクリップは、現在の研究に含めました。脳損傷を持つ人々と、このプロトコルを行う場合、個人の視覚的スキャニングスキルを考慮し、刺激と応答シートが完全に表示されていることを確認することが重要です。これを支援するために、応答シートが各刺激のための1つのラインで構成され、各ラインのための交番カラーコーディングを使用することで作成された（ 例えば 、グレーのライン1 =;ライン2 =白、グレーの3行目=; など 。）。
DANVA2は完全に利用可能ですオンライン。それだけで2秒間示す各顔を持つように事前に設定されているのでしかし、DANVA-顔のオンラインバージョンを使用しませんでした。多くの場合、TBIを持つ人々が経験した処理の問題のスピードを考えると、我々は、このバージョンに発生したエラーは、顔の感情認識の反射よりも、処理上の問題の速度をより示すことができることを懸念していました。 DANVA-顔の私たちのプレゼンテーションのバージョンは、各刺激が5秒に示されている時間が長くなります。
現在の研究で用いた刺激は、TBIを持つ人々の感情認識能力に重要な洞察を提供しました。しかしながら、刺激は、この種の将来の研究に使用するために改善することができる多くの方法があります。分離された顔の感情表現の認識を評価するために使用される刺激はDANVA2のDANVA-顔タスクからのものでした。刺激をDANVAは-Facesの使用する利点は、それらが標準化され、TBI 3,34を持つ人々で以前に使用されていることです。 24項目税込UDEの両方のスピーカーの小グループによる感情の高および低強度の描写参加者は変数式を生成同じ話者にさらされているので。また、DANVA-顔タスクは、頻繁に使用される白黒画像に対する色付きの写真が含まれています。画像はより現代的な着色されているだけでなく、マクドナルドとサンダース15は、彼らが可能性が高い抽象度の低いTBIを持つ人々にしていると主張します。 DANVA-顔のタスクに使用される刺激との主な問題は、感情表現が静的であるということです。前述したように、静止画像は、描かれている人々の感情を解釈するより多くの時間を与える顔が12,13,15を移動しているときに発生する一時的な手がかりを欠いており、脳のような動的なものの同じ領域で処理されていません17- 23。このように、感情認識を評価する場合にのみ、静的な顔の感情表現を使用すると、実際の処理に適切な一般化はできません。また、研究は、我々はそれらを識別することができることが示されていますより正確に画像を移動するよりも写真でotionsので、静止画を使ったテストでは、能力13,35,36を過大評価することができます。したがって、今後の研究では、より正確にTBIを持つ人々は、顔だけで描か感情をどのように解釈するか評価するために、単離された動的な顔の感情の刺激を含める必要があります。これらの刺激は、潜在的に、対象となる感情が描かれたフレームを選択する音を削除し、文字の唯一の頭と首に集中するためにフィルムをトリミングすることにより、フィルムクリップを使用して作成することができました。これは、身振りの合図とボディランゲージを含む追加の文脈手がかりを、排除します。
現在の研究で使用したボーカルの感情表現もDANVA2から採取しました。 DANVA-顔のタスクと同様に、DANVA-声タスクは、ハイとローの両方の強度の24項目が含まれています。 DANVA-声の各項目は、同じ意味論的に中立文（私は今、部屋を出て行くよ、と私は後で戻ってきます）を使用します。繰り返し一文のリスナーが非言語的な感情の手がかりに集中することができ（ すなわち 、声のトーン）と口頭で内容を無視します。これは、各項目15に異なる（意味的に中性）口頭のコンテンツが含まれた以前の研究に使用される刺激とは対照的です。現在の研究の結果とは異なり、マクドナルドとサンダース15は、TBIを持つ人々が孤立した顔の感情表現と比較した場合、孤立したボーカルの感情表現で感情を識別する重大な困難があったことを報告しました。口頭項目ごとに変化し、その研究に使用される声刺激の内容なので、参加者が意味的に中性、したがって、無意味であった言葉の内容を解釈する上で集束された可能性があります。このアサーションは、TBIと（となしの）人々がボーカル感情表現37-39を解釈するために非言語的音響的手がかりに対して口頭でコンテンツを利用する可能性が高いことを示した研究によってサポートされています。今後の研究ではfurt必要があります彼女のTBIを持つ人々が口頭メッセージで伝え意味情報は、声のトーンを搬送感情よりも支配的であるかどうかを判断するために、単離されたボーカルの表現で口頭コンテンツに対する非言語を利用するためにどの程度を探ります。これは、意味のある口頭コンテンツ中性両方の文の限られた数で刺激を作成することによって達成することができます。この文章は、その後合同または不適合非言語ボーカルの合図のいずれかと組み合わせることができます。口頭と非言語的感情内容に一致している文は、感情のより速く、より正確な識別につながる可能性がある40を表明しました 。しかし、支配的なキューは、各チャンネルを通して描か感情に依存することになる場合、キュー参加者は口頭と非言語的コンテンツが不適合である場合を中心に説明すると、1つのチャネルは、タスク全体で支配するかどうか、または不明です。
DANVA2における刺激はPRESによって作成されましたターゲット感情を誘発することを目的とした短いビネットとスピーカーをentingしてから顔や声を使ってその感情を表現するために、これらのスピーカーを指示します。このような方法は誇張認識能力41につながる可能性が誇張されたとステレオタイプの表現につながることが示唆されています。一方、フィルムクリップは、より生態学的に有効な孤立した表現の使用よりもそれらを作る、状況コンテキストで発生した顔と声の表現を含んでいました。意味的に中立ではないが、口頭のコンテンツがどのような方法で文字の感情の状態を指定していないことに注意することが重要です。 TBIを持つ人々とのこのような性質のフィルムクリップの使用は新規です。現在の研究の結果は、追加のコンテキスト情報が大幅に感情認識容易にフィルムクリップに含まれることを示唆しているが、参加者が存在する追加の手がかりの影響を受けていた可能性がある（ 例えば 、体の姿勢）および/ または映画のデザインOクリップはf（ 例えば 、ペーシング、照明、フレーミング）42,43。また、参加者は結果が解釈され、慎重に一般化する必要があるので、バックグラウンド・ミュージックの存在に影響されている可能性があります。感情バックグラウンドミュージックの影響はさらに合同背景音楽の存在が感情認識を促進するかどうかを確認することなく、また、このキューなしでフィルムクリップを比較することによって、今後の研究で調査する必要があります。この情報は必ずしも日常の社会的相互作用に一般化することはないだろうが、それは感情認識障害の治療のために重要な意味を持っている可能性があります。現在の研究では、参加者が感情知覚を容易にするために、フィルムクリップ内の文字の体の姿勢やジェスチャーに頼っていた可能性もあります。また、このような手がかりの有無を操作するフィルムクリップを見つけることがTBIを持つ人々がこれまでに感情を解釈する際の最も利用して頭出しする探索することが重要であろう状況をyday。しかし、程度の差は、これらの外来の各要因を操作コマーシャルフィルムクリップを識別することは重要な課題を提起します。その代わりに、今後の研究では、様々な状況設定は意味のある相互作用に従事して文字を表示内で高品質のフィルムクリップの作成に集中することがあります。これらのクリップは、文脈手がかり、姿勢、ジェスチャー、およびバックグラウンドミュージックの有無のために制御することができます。さらにその後、コンテキスト情報の追加を前述のように、クリップは、動的単離さ表情の認識を評価するために使用することができる単離された声の感情表現の認識は、これらの2つの手がかりを合わせ、そして。これは、TBIを持つ人々が感情を知覚する方法に多くの必要な洞察を提供するであろうし、実際の設定に優れた一般化を可能にするかもしれません。
ここで紹介するような将来の研究のための他の方法論的な考慮事項は、ターゲットの感情の数と応答形式です選ばれました。 、幸せ、悲しい、怒っている、と恐ろしい：現在の研究では、4つの主要な感情が含まれていました。ニュートラルは、フィルムクリップのタスクで評価しました。ターゲットの感情のこの選択は、唯一の正の感情（ すなわち 。、幸せな）それが困難な正対ネガティブな感情の応答精度を比較することが含まれます。また、感情のような限定されたセットは、簡単に、確実に日常の相互作用で使用することができませんでした戦略を彼らの選択を行う際に参加者が消去法に依拠することを可能にします。今後の研究が含まれる感情の数に拡張する必要があり、また、中立描い孤立顔と声の表現を含むべきです。さらに、怒っフィルムクリップがよく、フィルムクリップ自体は不十分選択されていることを示唆している、いずれかのグループによって同定されませんでした。ズパンとバベッジズパン、B.＆バベッジ、フィルムcからDR感情誘発刺激による以前の検証研究で怒っているフィルムクリップの平均識別率唇や物語のテキスト。残りの4つのカテゴリの90％ - JのSoc PSYCに提出原稿は85に比べて唯一の73％でした。フィルムクリップを使用して、以前の研究ではまた怒っているクリップ33,44,45を選択する難しさを報告しています。怒っているの高い同定をもたらすフィルムクリップを選択することがより困難である理由は不明のままです。怒っているが、自分の信念システム46との関連性の点で状況を評価するために、知覚者を必要とする、社会的機能（ 例えば 、権威を主張に対して嫌悪感を表す）の範囲を提供しています、より複雑な感情であるので、それであってもよいです。
また、今後の研究では、特に、中性クリップのために、フィルムクリップの価数と強度が影響を与える参加者の反応を示すかどうかを検討する必要があります。現在の研究は、15フィルムクリップが参加者に示された順序の効果を示さなかったが、いくつかのクリップが大きい感情につながっていることが依然として可能です次のクリップが再生されたときに共感の、キャリーオーバー効果が得られます。私たちは、参加者が共感のための彼らの一般的な能力を評価するためのアンケートを完了していなかったが（ノイマン、ズパン、Malecとハモンド47を参照してください）私たちは、具体的にどの程度に、彼らは文字を強調するか否かを示すために、参加者に依頼し、もしそうなりませんでした。これらの質問は、我々の結果は中性刺激に否定的な反応を提供することが多かったTBIで参加者を示した理由をより深い洞察を提供することができます。
現在の研究は、強制選択の応答形式、感情認識の研究において一般的に使用されるパラダイムを使用していました。複数の感情48の存在を感知するとき、参加者を拘束限られた選択肢は、単一の感情を選択することが可能です。さらに、彼らは感情、彼らが感じるのではなく、代替応答を選択しなかった（ すなわち 、私は知らない）を選択している可能性があります。フリーチェを使用しました（。;単一の単語対の説明の長いストリーム例えば 、単語生成困難）重度の外傷性脳損傷を持つ人々とのceレスポンスフォーマットは、追加および/ または複数の問題の問題につながる可能性があります。したがって、それは最初に次の項目に移動する前に追加される追加の自由選択の単語やコメントを可能にする強制選択フォーマットを採用するのが最善かもしれません。
現在の研究でフィルムクリップを使用することは、TBIを持つ人々によって感情認識を評価する新たなアプローチでした。これは、TBIを持つ人々は、より複雑で、孤立した顔と声の手がかりよりも、より挑戦的なフィルムクリップのマルチモーダルな性質を見つけるだろうという仮説を立てました。しかし、結果は、処理要求を増加させるのではなく、コンテキスト情報を含む多数の感情手がかり、の存在は、処理を促進することを示唆しました。しかし、手がかりの多くは、おそらく存在している日常生活で、感情認識は、pのために重要な問題ですTBIとeople。フィルムクリップは、より生態学的に有効な孤立した感情表現よりもつつ、彼らが日常の社会的相互作用で利用可能な手がかりを十分に代表するものではありません。これは、参加者に対する観察者が利用可能な感情手がかりのより良い統合を可能にするように作用する可能性があります。
Subscription Required. Please recommend JoVE to your librarian.
Materials
| Name | Company | Catalog Number | Comments |
| Diagnostic Analysis of Nonverbal Accuracy-2 | Department of Pychology, Emory University. Atlanta, GA | DANVA-Faces subtest, DANVA-Voices subtest | |
| Computer | Apple iMac Desktop, 27" display | ||
| Statistical Analysis Software | SPSS | University Licensed software for data analysis | |
| Happy Film Clip 1 | Sweet Home Alabama, D&D Films, 2002, Director: A Tennant | A man surprises his girlfriend by proposing in a jewelry store | |
| Happy Film Clip 2 | Wedding Crashers, New Line Cinema, 2005, Director: D. Dobkin | A couple is sitting on the beach and flirting while playing a hand game | |
| Happy Film Clip 3 | Reme-mber the Titans, Jerry Bruckheimer Films, 2000, Director: B. Yakin | An African American football coach and his family are accepted by their community when the school team wins the football championship | |
| Sad Film Clip 1 | Grey's Anatomy, ABC, 2006, Director: P. Horton | A father is only able to communicate with his family using his eyes. | |
| Sad Film Clip 2 | Armageddon, Touchstone Pictures, 1998, Director: M. Bay | A daughter is saying goodbye to her father who is in space on a dangerous mission | |
| Sad Film Clip 3 | Grey's Anatomy, ABC, 2006, Director: M. Tinker | A woman is heartbroken her fiance has died | |
| Angry Film Clip 1 | Anne of Green Gables, Canadian Broadcast Corporation, 1985, Director: K. Sullivan | An older woman speaks openly about a child's physical appearance in front of her | |
| Angry Film Clip 2 | Enough, Columbia Pictures, 2002, Director: M. Apted | A wife confronts her husband about an affair when she smells another woman's perfume on his clothing | |
| Angry Film Clip 3 | Pretty Woman, Touchstone Pictures, 1990, Director: G. Marshall | A call girl attempts to purchase clothing in an expensive boutique and is turned away | |
| Fearful Film Clip 1 | Blood Diamond, Warner Bros Pictures, 2006, Director: E. Zwick | Numerous vehicles carrying militia approach a man and his son while they are out walking | |
| Fearful Film Clip 2 | The Life Before Her Eyes, 2929 Productions, 2007, Directors: V. Perelman | Two teenaged gilrs are talking in the school bathroom when they hear gunshots that continue to get closer | |
| Fearful Film Clip 3 | The Sixth Sense, Barry Mendel Productions, 1999, Director: M. N. Shyamalan | A young boy enters the kitchen in the middle of the night and finds his mother behaving very atypically | |
| Neutral Film Clip 1 | The Other Sister, Mandeville Films, 1999, Director: G. Marshall | A mother and daughter are discussing an art book while sitting in their living room | |
| Neutral Film Clip 2 | The Game, Polygram Filmed Entertainment, 1999, Director: D. Fincher | One gentleman is explaining the rules of a game to another | |
| Neutral Film Clip 3 | The Notebook, New Line Cinema, 2004, Director: N. Cassavetes | An older gentleman and his doctor are conversing during a routine check-up |
References
- Langlois, J., Rutland-Brown, W., Wald, M. The epidemiology and impact of traumatic brain injury: A brief overview. J. Head Trauma Rehabil. 21 (5), 375-378 (2006).
- Babbage, D. R., Yim, J., Zupan, B., Neumann, D., Tomita, M. R., Willer, B. Meta-analysis of facial affect recognition difficulties after traumatic brain injury. Neuropsychology. 25 (3), 277-285 (2011).
- Neumann, D., Zupan, B., Tomita, M., Willer, B. Training emotional processing in persons with brain injury. J. Head Trauma Rehabil. 24, 313-323 (2009).
- Bornhofen, C., McDonald, S. Treating deficits in emotion perception following traumatic brain injury. Neuropsychol Rehabil. 18 (1), 22-44 (2008).
- Zupan, B., Neumann, D., Babbage, D. R., Willer, B. The importance of vocal affect to bimodal processing of emotion: implications for individuals with traumatic brain injury. J Commun Disord. 42 (1), 1-17 (2009).
- Bibby, H., McDonald, S. Theory of mind after traumatic brain injury. Neuropsychologia. 43 (1), 99-114 (2005).
- Ferstl, E. C., Rinck, M., von Cramon, D. Y. Emotional and temporal aspects of situation model processing during text comprehension: an event-related fMRI study. J. Cogn. Neurosci. 17 (5), 724-739 (2005).
- Milders, M., Fuchs, S., Crawford, J. R. Neuropsychological impairments and changes in emotional and social behaviour following severe traumatic brain injury. J. Clin. Exp. Neuropsychol. 25 (2), 157-172 (2003).
- Spikman, J., Milders, M., Visser-Keizer, A., Westerhof-Evers, H., Herben-Dekker, M., van der Naalt, J. Deficits in facial emotion recognition indicate behavioral changes and impaired self-awareness after moderate to severe tramatic brain injury. PloS One. 8 (6), e65581 (2013).
- Zupan, B., Neumann, D. Affect Recognition in Traumatic Brain Injury: Responses to Unimodal and Multimodal Media. J. Head Trauma Rehabil. 29 (4), E1-E12 (2013).
- Radice-Neumann, D., Zupan, B., Babbage, D. R., Willer, B. Overview of impaired facial affect recognition in persons with traumatic brain injury. Brain Inj. 21 (8), 807-816 (2007).
- McDonald, S. Are You Crying or Laughing? Emotion Recognition Deficits After Severe Traumatic Brain Injury. Brain Impair. 6 (01), 56-67 (2005).
- Cunningham, D. W., Wallraven, C. Dynamic information for the recognition of conversational expressions. J. Vis. 9 (13), 1-17 (2009).
- Elfenbein, H. A., Marsh, A. A., Ambady, W. I. N. Emotional Intelligence and the Recognition of Emotion from Facid Expressions. The Wisdom in Feeling: Psychological Processes in Emotional Intelligence. , Guilford Press. New York. 37-59 (2002).
- McDonald, S., Saunders, J. C. Differential impairment in recognition of emotion across different media in people with severe traumatic brain injury. J. Int Neuropsycho. Soc. : JINS. 11 (4), 392-399 (2005).
- Williams, C., Wood, R. L. Impairment in the recognition of emotion across different media following traumatic brain injury. J. Clin. Exp. Neuropsychol. 32 (2), 113-122 (2010).
- Adolphs, R., Tranel, D., Damasio, A. R. Dissociable neural systems for recognizing emotions. Brain Cogn. 52 (1), 61-69 (2003).
- Biele, C., Grabowska, A. Sex differences in perception of emotion intensity in dynamic and static facial expressions. Exp. Brain Res. 171, 1-6 (2006).
- Collignon, O., Girard, S., et al. Audio-visual integration of emotion expression. Brain Res. 1242, 126-135 (2008).
- LaBar, K. S., Crupain, M. J., Voyvodic, J. T., McCarthy, G. Dynamic perception of facial affect and identity in the human brain. Cereb. Cortex. 13 (10), 1023-1033 (2003).
- Mayes, A. K., Pipingas, A., Silberstein, R. B., Johnston, P. Steady state visually evoked potential correlates of static and dynamic emotional face processing. Brain Topogr. 22 (3), 145-157 (2009).
- Sato, W., Yoshikawa, S. Enhanced Experience of Emotional Arousal in Response to Dynamic Facial Expressions. J. Nonverbal Behav. 31 (2), 119-135 (2007).
- Schulz, J., Pilz, K. S. Natural facial motion enhances cortical responses to faces. Exp. Brain Res. 194 (3), 465-475 (2009).
- O'Toole, A., Roark, D., Abdi, H. Recognizing moving faces: A psychological and neural synthesis. Trends Cogn. Sci. 6 (6), 261-266 (2002).
- Dimoska, A., McDonald, S., Pell, M. C., Tate, R. L., James, C. M. Recognizing vocal expressions of emotion in patients with social skills deficits following traumatic brain injury. J. Int. Neuropsyco. Soc.: JINS. 16 (2), 369-382 (2010).
- McDonald, S., Flanagan, S., Rollins, J., Kinch, J. TASIT: A new clinical tool for assessing social perception after traumatic brain injury. J. Head Trauma Rehab. 18 (3), 219-238 (2003).
- Channon, S., Pellijeff, A., Rule, A. Social cognition after head injury: sarcasm and theory of mind. Brain Lang. 93 (2), 123-134 (2005).
- Henry, J. D., Phillips, L. H., Crawford, J. R., Theodorou, G., Summers, F. Cognitive and psychosocial correlates of alexithymia following traumatic brain injury. Neuropsychologia. 44 (1), 62-72 (2006).
- Martìn-Rodrìguez, J. F., Leòn-Carriòn, J. Theory of mind deficits in patients with acquired brain injury: a quantitative review. Neuropsychologia. 48 (5), 1181-1191 (2010).
- McDonald, S., Flanagan, S. Social perception deficits after traumatic brain injury: interaction between emotion recognition, mentalizing ability, and social communication. Neuropsychology. 18 (3), 572-579 (2004).
- Milders, M., Ietswaart, M., Crawford, J. R., Currie, D. Impairments in theory of mind shortly after traumatic brain injury and at 1-year follow-up. Neuropsychology. 20 (4), 400-408 (2006).
- Nowicki, S. The Manual for the Receptive Tests of the Diagnostic Analysis of Nonverbal Accuracy 2 (DANVA2). , (2008).
- Gross, J. J., Levenson, R. W. Emotion Elicitation Using Films. Cogn. Emot. 9 (1), 87-108 (1995).
- Spell, L. A., Frank, E. Recognition of Nonverbal Communication of Affect Following Traumatic Brain Injury. J. Nonverbal Behav. 24 (4), 285-300 (2000).
- Edgar, C., McRorie, M., Sneddon, I. Emotional intelligence, personality and the decoding of non-verbal expressions of emotion. Pers. Ind. Dif. 52, 295-300 (2012).
- Nowicki, S., Mitchell, J. Accuracy in Identifying Affect in Child and Adult Faces and Voices and Social Competence in Preschool Children. Genet. Soc. Gen. Psychol. 124 (1), (1998).
- Astesano, C., Besson, M., Alter, K. Brain potentials during semantic and prosodic processing in French. Cogn. Brain Res. 18, 172-184 (2004).
- Kotz, S. A., Paulmann, S. When emotional prosody and semantics dance cheek to cheek: ERP evidence. Brain Res. 115, 107-118 (2007).
- Paulmann, S., Pell, M. D., Kotz, S. How aging affects the recognition of emotional speech. Brain Lang. 104 (3), 262-269 (2008).
- Pell, M. D., Jaywant, A., Monetta, L., Kotz, S. A. Emotional speech processing: disentangling the effects of prosody and semantic cues. Cogn. Emot. 25 (5), 834-853 (2011).
- Bänziger, T., Scherer, K. R. Using Actor Portrayals to Systematically Study Multimodal Emotion Expression: The GEMEP Corpus. Affective Computing and Intelligent Interaction, LNCS 4738. , 476-487 (2007).
- Busselle, R., Bilandzic, H. Fictionality and Perceived Realism in Experiencing Stories: A Model of Narrative Comprehension and Engagement. Commun. Theory. 18 (2), 255-280 (2008).
- Zagalo, N., Barker, A., Branco, V. Story reaction structures to emotion detection. Proceedings of the 1st ACM Work. Story Represent. Mech. Context - SRMC. 04, 33-38 (2004).
- Hagemann, D., Naumann, E., Maier, S., Becker, G., Lurken, A., Bartussek, D. The Assessment of Affective Reactivity Using Films: Validity, Reliability and Sex Differences. Pers. Ind. Dif. 26, 627-639 (1999).
- Hewig, J., Hagemann, D., Seifert, J., Gollwitzer, M., Naumann, E., Bartussek, D. Brief Report. A revised film set for the induction of basic emotions. Cogn. Emot. 19 (7), 1095-1109 (2005).
- Wranik, T., Scherer, K. R. Why Do I Get Angry? A Componential Appraisal Approach. International Handbook of Anger. , 243-266 (2010).
- Neumann, D., Zupan, B., Malec, J. F., Hammond, F. M. Relationships between alexithymia, affect recognition, and empathy after traumatic brain injury. J. Head Trauma Rehabil. 29 (1), E18-E27 (2013).
- Russell, J. A. Is there universal recognition of emotion from facial expression? A review of the cross-cultural studies. Psychol. Bull. 115 (1), 102-141 (1994).
