方法論記事

コミュニケーションの課題がある場合のジェスチャー生成の調査

1.5K 閲覧数

⸱

DOI：

10.3791/66256

⸱

2024年1月26日

1Department of Speech, Language, and Hearing Sciences, University of Missouri

この記事について

サマリー

ここでは、対話者の可視性を操作して、対人コミュニケーションにおけるジェスチャー生成への影響を調べるプロトコルを紹介します。このプロトコルは、実装されたタスク、調査されるジェスチャ、および通信モダリティに対して柔軟です。これは、第二言語学習者や自閉症スペクトラム障害のある人など、コミュニケーションに課題のある人々にとって理想的です。

要約

話し手が対話者と話すときに共同スピーチの手のジェスチャーを変更する理由を理解することは、これらのジェスチャーが対面および仮想のコンテキストでの対人コミュニケーションにどのように貢献するかについての貴重な洞察を提供します。現在のプロトコルは、対面のコンテキストでスピーカーとその対話者の可視性を連携して操作し、コミュニケーションが困難な場合の可視性がジェスチャーの生成に与える影響を調査します。これらのプロトコルでは、話者は、なじみのない第二言語から単語を教えたり、漫画のビネットの出来事を別の参加者または共犯者である対話者に詳述したりするなどのタスクを完了します。これらのタスクを実行するとき、スピーカーは対話者から見えるか見えないか、スピーカーは参加者に見えるか見えないかです。学習課題という言葉では、話し手と対話者が互いに見えるように、手の形や動きを通じて意味を伝える表象的なジェスチャー、そして互いに見えない話し手と対話者よりもダイクティック(指差す)ジェスチャーを生成します。ナラティブ・リテリング・プロトコルでは、自閉症スペクトラム障害(ASD)の青年は、目に見えない対話者よりも、目に見える対話者と話すときにより多くのジェスチャーを生み出しました。現在のプロトコルの大きな強みは、調査対象のタスク、集団、ジェスチャーの点で柔軟性があることであり、現在のプロトコルはビデオ会議だけでなく、対面のコンテキストでも実装できます。したがって、現在のプロトコルは、コミュニケーションに課題を持つ集団の対人コミュニケーションにおけるジェスチャー生成の役割を解明することにより、ジェスチャー生成の理解を進める可能性を秘めています。

概要

共同発話ジェスチャー(以下、ジェスチャー)は、発話と同時に生じる意味のある手の動きであり、言語の内容を補完する情報を伝えることにより、対人コミュニケーションに貢献します1。最も広く使用されている分類法2,3によると、ジェスチャーは3つのカテゴリに分類できます:表現ジェスチャーは、その形状と動きを介して指示対象を伝えます(たとえば、手を前後に羽ばたかせて飛行を伝えます)。ビートジェスチャーは、単純な点状の動きで強調を伝えます(例:「right now」というフレーズの各単語と連動して利き手をわずかに下に動かす)。そして、指差しを通じてエンティティの存在または不在に注意を引くダイクティックジェスチャー(たとえば、親指を後ろに振って自分の後ろに何かを示す)。表象的ジェスチャーは、さらに2つの追加カテゴリーに分けることができる:具体的な指示対象(例えば、鳥)を伝える象徴的なジェスチャーと、隠喩的な指示対象(例えば、エクスタシー)を伝える隠喩的ジェスチャーである。ジェスチャーとスピーチは同じ概念的内容から生じるため、意味において密接に関連しています4,5。ジェスチャーは、コミュニケーションのための象徴的な視覚媒体として機能することにより、話し言葉の熟練度が限られているなどの個々の要因によるものであれ、6 話し言葉の習熟度が限られているなどの個々の要因によるものであれ、音声の聞き取り困難などの環境要因によるものであれ、6 話し言葉の理解に課題が生じた場合にそれを補うのに役立ちます 9,10.したがって、ジェスチャーは、対面および仮想のコンテキストでの対人コミュニケーションを理解するために不可欠であり、スピーカーとリスナーがマルチモーダルに情報を伝え、理解する方法についての洞察を提供します。

ジェスチャーが対人コミュニケーションにどのように影響するかを測定するために、いくつかの構造化されたインタラクティブタスクが開発されました。これらのタスクには、参加者が自分の個人的な経験を説明することによって質問に答えるインタビューが含まれます11,12;画像の説明、13,14を説明するために静的な画像が参加者に提示される。パズル解決、参加者がコンポーネントを正しく空間的に配置してパズルを解く方法を説明する15,16。参加者が聞き手17,18,19にとってなじみのない場所に道順を示すように指示される方向規定;そして、参加者が一連の出来事を描いた漫画を見て、その後それらを詳述する物語の語り直し20,21,22。上に引用した研究で採用された課題の多くは、空間的な内容と行動を組み込んでおり、ジェスチャーは特に効果的である15,23,24,25を伝えます。上記の研究の課題では、参加者は通常、言語と連動してジェスチャーを生成し、ジェスチャーを介して伝達される情報と、同時に生成された言語との関係が評価されます。あるいは、参加者は、これらのタスクのいずれかを完了するときに、誰かがジェスチャーをしたり(またはジェスチャーをしなかったり)、言語を生成したりしている録音を見ることができ、その後、参加者の理解度が評価されます。これらのタスクはすべて、対面だけでなく仮想的にも実施できるため、幅広い参加者からのデータ収集とモダリティ間の比較が可能になります。

ジェスチャーが対人コミュニケーションに与える影響は、幅広い参加者で実装されています。特に興味深いのは、コミュニケーションに課題を持つ人々で、幼児26、27、28、29、30、第二言語(L2)ユーザー8、31、32、33、自閉症スペクトラム障害(ASD)20、21、22、34、特定の子供を含む。言語障害 35,36,37、失語症12,38、脳損傷39、吃音40,41。この研究により、これらの集団の多くがジェスチャーを利用してコミュニケーションを促進できる一方で、自閉症スペクトラム障害のある人などの一部は、ジェスチャーを活用して効果的にコミュニケーションをとるのが難しい場合があることが明らかになりました。この知見は、これらの集団が観客のデザインと環境の手がかりをどの程度考慮しているかによるものである可能性を示唆しており、ジェスチャーがコミュニケーションに与える影響について、これらの説明が実際的な意味を持つことが浮き彫りになっている。

ジェスチャーが対人コミュニケーションに与える影響についての洞察を提供する主要な機能は、対話者の可視性です。ジェスチャー研究の分野で非常に重要な問題は、参加者が自分の利益のためにジェスチャーをする程度であり、認知操作の身体への負荷の軽減を示すのに対し、対話者の利益は、コミュニケーションのためのジェスチャーの使用を示すものです。この問題は、不透明なパーティション26,42の使用による対面のコンテキスト、および電話のコンテキスト13および仮想コンテキスト43におけるジェスチャーの生成に対する対話者(非)可視性の影響を調べることによって調査された。全体として、この研究の結果は、話し手は自分自身の利益のためにジェスチャーをするが、見えない対話者よりも目に見える対話者とコミュニケーションをとるときにより多くの表象的なジェスチャーを生成するのに対し、ビートジェスチャーの生成は対話者の可視性に関係なく類似していることを示しています。したがって、彼らは、表象的ジェスチャーがさまざまな文脈にわたるコミュニケーションを促進することを示唆しており、話し手が対話者の視点を考慮に入れ、それに応じてジェスチャーの生成を変更することを示唆しています。対話者の可視性の影響を調べた先行研究は、ジェスチャーが対人コミュニケーションに寄与する洞察を提供するのに役立ってきたが、それは典型的に発達中の集団における第一言語としての英語(L1)に焦点を当ててきたため、この知見をコミュニケーションに課題のある集団に拡大できるかどうかは不明である。そのような集団は、目標言語での音声によるコミュニケーションに苦労する可能性のあるL2学習者と、言語的および非言語的コミュニケーションが異常なASDの子供です。さらに、対話者の可視性が仮想コンテキストでのジェスチャー生成に与える影響を調べた研究はほとんどなく、対話者の可視性が参加者に与える影響を参加者の可視性の影響から切り離すことができるため、これらのコンテキストからの調査結果の再現性は現在不明です。最後に、対話者の可視性が特定のタイプのジェスチャーの生成に与える影響に焦点を当てた研究もあるため、他のタイプのジェスチャーの生成が対話者の可視性によって同様に影響を受けるかどうかは不明です。

以下に説明するプロトコルは、対話者の可視性を操作して、困難な状況でのジェスチャーの生成を調査します:ASDの個人によるL2単語学習と物語の再話。L2単語学習プロトコルは、ジェスチャーの観察がL2単語学習に与える影響を調べる研究と、インタラクティブな単語学習パラダイムを介したジェスチャーのコミュニケーションへの貢献を調べる研究を橋渡しするものです。このパラダイムでは、ターゲット言語に不慣れな参加者がターゲット言語で単語を学び、ターゲット言語に不慣れな他の参加者にこれらの単語を教えることで、対話者の可視性がジェスチャー生成に与える影響を、会話の文脈におけるL2習得の最も早い段階で調査することができます。カートゥーン・リテリング・パラダイムは、対話者の可視性が新しい集団であるASDの青年で操作されたときにジェスチャーの生成に違いが観察される、広く使用されている物語のリテリング・タスクを採用しています。ジェスチャーの生成を含む言語発達は思春期までに成熟し、ASDはジェスチャーを含む言語的および非言語的なコミュニケーションの困難さを伴い、対話者のコミュニケーションニーズに対する感度の欠如を伴うため、この集団は興味深いものです。これらのプロトコルを組み合わせることで、対人コミュニケーションが困難な場合に、ジェスチャーの生成がどの程度スピーチに依存しているか、逆にスピーチを補うことができるかについての洞察が得られます。

聞き手の可視性がL1英語話者13,26,42,43によるジェスチャーの生成にどのように影響するかを示す結果に基づいて、参加者は、目に見える対話者よりも目に見える対話者とL2単語を議論するときに、全体的なジェスチャーと表現的なジェスチャーをより多く生成するという仮説が立てられました。ASD20,44 のジェスチャー生成の異常を示す調査結果に基づいて、ASD の青年は、通常発達している (TD) 青年よりも全体的なジェスチャーが少なく、表象的および直観的なジェスチャーも少ないという仮説が立てられました。さらに、ASDが遠近法撮影の困難さを伴うことを示す調査結果に基づいて、ASDの青年によるジェスチャーの生成は、目に見える対話者と見えない対話者の存在下で有意に変わらないという仮説が立てられました。最後に、診断と視認性との間の相互作用が予測され、ASDの青年ではジェスチャーの生成が視認性によって異なるのではなく、TDの青年では異なることが予測されました。

プロトコル

すべての参加者は書面による同意を提供し、すべてのプロトコルは受入機関の治験審査委員会によって承認されました。L2単語学習と漫画の語り直しのプロトコルは、代表的な結果が基づいている研究で実施された21,33。これらのプロトコルは、これまで対面のコンテキストでのみ実施されてきましたが、ここで説明されていない対話者と参加者の可視性を操作する関連プロトコルが現在実施されており、このコンテキストでの再現性についての洞察を提供し、ASDの個人などのコミュニケーションに課題のある集団に拡大する計画があります。

1. 参加者

注:各研究の参加者の特性に必要な制約を尊重しながら、サンプルは可能な限りより大きな母集団を代表するものでなければなりません。

  1. L2単語学習プロトコルの参加者募集
    1. 18歳以上で、視力が正常または正常に矯正され、聴力が正常な方で、英語のL1スピーカーである参加者を募集します。この研究が初期段階のL2単語学習に対するジェスチャーの影響を確実に調べるために、ターゲット言語であるハンガリー語の知識がない参加者を募集します。
  2. 漫画の語り直しプロトコルの参加者募集
    1. ASD の診断を受けた、または通常発症している (TD) 実験課題 (Morett et al.21 では 10-20 歳) を完了できる年齢の参加者を募集します。
      1. 参加者が実験課題を成功裏に完了できるように、英語のL1話者であり、正常または正常に矯正された視力と正常な聴力を持ち、標準化された評価46を通じて研究の前または時に測定されたフルスケールIQが85以上である参加者を募集します。
      2. この研究がジェスチャー生成に対するASDの特定の影響を確実に調べるために、てんかん、髄膜炎、脳炎、糖尿病、小児崩壊性障害、または特に指定されていない広汎性発達障害(PDD-NOS)のないASDの参加者を募集します。
      3. ASD のジェスチャー生成を一般的なジェスチャー生成と比較できるようにするには、併存する精神障害のない TD 参加者や、広汎性発達障害と診断された一親等近親者を募集します。

2. 可視性の操作の概要

  1. L2単語学習プロトコルのように、自発的なジェスチャーの生成と観察の効果を調べる場合は、参加者をペアで募集します。参加者として行動する研究助手と連携して、参加者を個別に募集します。これは、漫画の再話プロトコルのように、自発的なジェスチャーを生成する効果のみが調査される場合です。
  2. 研究に関する情報を記載したインフォームドコンセントフォームを参加者に提供し、ジェスチャー生成に関する研究の焦点を明らかにしないように注意しながら、署名してそれに関する質問に答えます。参加者が署名した後、フォームを収集します。
  3. ペアで募集された参加者の場合、コイントスなどの選択方法を使用して、どの参加者がスピーカーとして機能し、誰が実験タスクでほとんどの会話を行い、どの参加者が対話者として機能し、誰がほとんどのリスニングを行い、実験タスクでスピーカーと対話するかを決定します。研究助手が参加者として個別に募集された参加者の場合は、リギングコイントスなどの固定選択方法を使用して、参加者が常にスピーカーとして機能し、研究アシスタントが常に対話者として機能するようにします。
  4. 実験セッションの半分では、スピーカーと対話者の間に不透明な仕切りを配置して、お互いの顔や手が見えないようにします。
  5. 実験課題で何をするのかを参加者に説明し、それに関する質問に答えてください。参加者のスピーチが音声録音されることを伝え、この目的で使用されるマイクを指摘します。ビデオ録画の認識がジェスチャー制作に及ぼす影響を避けるために、参加者にビデオ録画されることを通知せず、この目的で使用されるビデオカメラが参加者に見えないようにします。
  6. 適切なボタンを押して、ビデオとオーディオの録音を開始します。実験タスクを実装して、スピーカーと参加者の対話者 (存在する場合) から音声とジェスチャーを引き出す。
  7. 参加者内デザインが採用されている場合、不透明な仕切りが最初の反復で使用されていた場合は削除し、最初の反復で使用されなかった場合はスピーカーと対話者の間に配置します。
  8. すべての刺激が尽きるまで、必要に応じて実験課題を繰り返します。
  9. 適切なボタンを押して、ビデオとオーディオの録音を停止します。研究がジェスチャーに焦点を当てていること、およびビデオ録画されたことを参加者に伝え、必要に応じてデータ分析の前にビデオを削除することを提案します。
  10. 参加者からの質問に答え、参加してくれたことに感謝してから解散してください。

3. L2単語学習プロトコル

  1. ビデオとオーディオは、実験タスク中の音声とジェスチャーの生成を後で分析できるように、スピーカーと対話者を録音します。
    1. オーディオ録音のために、スピーカーと対話者の間にテーブルマイクを配置します。スピーカーと対話者の間の片側にビデオカメラを90°の角度で置き、参加者に見えないようにします。
    2. さらに、スピーカーと対話者の両方がビデオカメラの視野内に含まれていること、およびコンピュータ画面がビデオカメラの視野内に見えないことを確認して、分析でL2ワードが提示される状態に対する盲目を維持します。
  2. コンピューターを使用して、ターゲット言語のL2単語をイヤホンを介してスピーカーに聴覚的に提示し、対話者に聞こえないようにして、スピーカーが後で対話者にそれを教えることができるようにします。同時に、ターゲット言語のL1話者がL2単語を話し、その意味を伝える表現ジェスチャーを生成するビデオを画面下部にL2単語のテキストで表示するか、スピーカーにビデオなしで画面の中央にL2単語をテキストとして表示します。
  3. 500 ミリ秒の一時停止の後、L2 単語の L1 翻訳を画面の中央にテキストとしてスピーカーに 2000 ミリ秒提示します。
  4. 説明者に、L2単語とその意味を音声やジェスチャーで対話者に教えるように促します。
  5. 準備ができたら、ボタンを押して先に進むようにスピーカーに指示します。スピーカーがそうした後、別のL2単語を提示します。20個のL2ワードすべてがランダムな順序で表示されるまで、このプロセスを繰り返します。
  6. 実験課題で提示されたL2単語に関する話者と対話者の知識を個別にテストします。各L2単語をテキストとして提示し、L1翻訳を言うか、翻訳を覚えていない場合は単語をスキップするように促します。

4.漫画の再話プロトコル

  1. 参加者のIQが以前に標準化されたIQ評価によって測定されていない場合は、IQが85以上であることを確認するために1つを投与します。
  2. 参加者の音声とジェスチャーの生成を後で分析できるように、ビデオとオーディオを録音します。音声を録音するために、参加者の前にテーブルマイクを置きます。参加者の片側にカメラを90°の角度で置き、カメラが参加者に見えないようにします。
  3. ルーニー・テューンズのアニメ「カナリア・ロウ」の前半を参加者にプレゼンします。この漫画の半分には、猫のシルベスターがトゥイーティーバードを捕まえようとして失敗するいくつかのビネットが含まれています。
  4. 参加者に、漫画の前半の出来事を対話者にできるだけ詳細に話すように指示します。対話者に参加者の再話を聞くように指示し、それが短い場合は参加者にもっと話すように促します。
  5. 手順4.1を繰り返します。および 4.2.カナリアロウのビデオの後半には、猫のシルベスターがトゥイーティーバードを捕まえようとして失敗するいくつかのビネットが含まれています。

5. トランスクリプションとコーディング

注:バイアスを最小限に抑えるために、可能であれば、どの参加者と試験がどの条件に割り当てられたかを知らずに、データを盲目的に転記してコード化します。理想的には、転記者とコーダーはデータ収集に関与しないでください。

  1. 参加者全員の音声を、CHAT47などの標準化されたスキームに従って適切なソフトウェアを使用して手書きで正書法で書き起こし、単語数を生成します。フィラーや修正など、すべての口頭情報を書き起こしますが、一時停止を書き起こさないでください。
  2. すべての参加者ジェスチャを識別してコード化し、各ジェスチャの種類のカウントを生成します。休息から休息へのジェスチャーを特定し、マクニールの分類法 2,3 に基づいて、象徴的、比喩的、ビート、ダイクティックの 4 つのタイプに分類します。一部のジェスチャは、複数のタイプとして分類される場合があることに注意してください。
  3. 表現ジェスチャの数を単語数で割り、ビネットごとに 100 を掛けて、100 語あたりのジェスチャの割合を計算します。
  4. 独立したコーダーコード参加者に、データの25%に対してジェスチャーをしてもらいます。両方のコーダーによってコード化されたデータの一致率を計算し、評価者間の信頼性が十分を確保するために、少なくとも 80% であることを確認します。

結果

L2単語学習
実装： 以下に報告される結果は、上記のプロトコルに従って、52人の健康な参加者(男性21人、女性31人、年齢: M = 20.15、SD = 1.73、範囲= 18-28)から収集されたデータに基づいています。すべての音声とジェスチャーは、ステップ 3.4 で説明したように、話者と対話者の両方からのデータが 1 台のカメラを使用して記録されたため、視界の状態を知らなかったプライマリコーダーによってコード化されました。評価者間の信頼性を確立するために、セカンダリ コーダーは、ランダムに選択された 6 つのペア (k = 389、データの 23.08%) によって生成されたすべてのジェスチャを独立してコード化しました。一次評価者と二次評価者の間の一致は、ジェスチャーの識別で92%、それらを分類することについて90%でした。

解析の概要: 次の分析では、話者と対話者の両方の全体的なジェスチャーの生成と異なるタイプのジェスチャーの生成を可視性に基づいて比較し、L2単語のコミュニケーションへの影響を測定しました。正規性と歪度の不規則性のため、視認性に基づく比較は、正規性と歪度に基づく仮定を持たないノンパラメトリックなマンホイットニーU検定を使用して行われました。より具体的には、Mann-Whitney U検定を使用して、ジェスチャ生成の確率が可視条件よりも可視条件で大きい確率が、ジェスチャ生成が可視条件よりも非可視条件で大きくなる確率と等しいかどうかを判断しました。

所見： Mann-Whitneyの U 検定では、対話者が見える主要な話者は、対話者が見えていない主要な話者よりも多くのジェスチャーを生成することが明らかになりました( U = 53、 p = 0.02)。具体的には、目に見える対話者を持つプライマリスピーカーは、見えない対話者を持つプライマリスピーカーよりも、 より 表現的なジェスチャー(U = 30、 p = 0.001)、および ダイ クティック(U = 52、 p = 0.02)のジェスチャーを生成しました( 図1を参照)。プライマリスピーカーのビートジェスチャーの生成は、視認条件( U = 82、n.s.)間で有意差はありませんでしたが、これらのジェスチャーは、見えない対話者よりも目に見える場所でより多く生成されました。主話者から見える対話者は、主話者から見えない対話者よりも多くのジェスチャーを生成しましたが、この違いは重要性に達することができませんでした、 U = 89、n.s.可視性の関数としての異なるジェスチャータイプ間の比較は、見えない主要な話者よりも目に見える存在下ですべてのタイプのジェスチャーをより多く生成したという事実にもかかわらず、対話者にとって重要ではありませんでした。これらの知見は、主要な話者は、目に見える対話者の存在下で表象的ジェスチャーと直視的ジェスチャーの生成を増加させるが、対話者はそうではないかもしれないという証拠を提供する。

漫画の再話の結果
実装： 以下に報告された結果は、41人の青年参加者から収集されたデータに基づいており、そのうち18人がASDと診断されました(男性15人、女性3人、年齢: M = 15.17、SD = 2.75、範囲= 10.44-19.49)、そのうち23人は典型的に発達していました(男性15人、女性6人、年齢: M = 15.81、SD = 2.42、範囲= 11.52-19.36)。両グループの参加者は、年代順の年齢、性別、および言語IQで一致しました。すべての音声とジェスチャーは、視界の状態と診断を知らない2人のコーダーによってコード化されました。評価者間の信頼性を確立するために、セカンダリーコーダーは、ランダムに選択された10人の参加者(データの24.3%)によって生成されたすべてのジェスチャーを独立してコード化しました。一次評価者と二次評価者の間の一致は、ジェスチャーの識別で98%、それらを分類することについて95.4%でした。

解析の概要: 以下の分析では、全体的なジェスチャーの生成と異なるタイプのジェスチャーの生成を診断と可視性に基づいて比較し、コミュニケーションへの影響を測定しました。具体的には、診断(ASD対TD)と可視性(可視対非可視)の独立した影響と相互作用的な影響の両方を調べるために、分散の二元配置分析が採用されました。

所見： 全体的なジェスチャー制作については、診断の主効果はありませんでした(F < 1)。しかし、診断によるジェスチャータイプの相互作用が見つかりました(F(3,117)=0.74、p=0.05、ηp2=0.07)。具体的には、ASDの青年は比喩的なジェスチャーをあまり生成しませんでした(M = 0.48;SD = 0.63)、t(39) = 1.99、p = 0.05、d = 0.49、およびビートジェスチャー(M = 0.26;SD = 0.60、t(39) = 2.13、p = 0.04、d = 0.67)は、TDの青年(比喩的:M = 1.08;SD = 1.62;ビート:M = 1.14;SD = 1.76)。ASDとTDの青年の間には、象徴的な(ASD:M = 0.79;SD = 0.25;TD:M = 0.77;SD = 0.25;t < 1) または解剖剤 (ASD: M = 0.36;SD = 0.16;TD:M = 0.25;SD = 0.10;T<1) ジェスチャー。ASDとTDの両方の青年は、目に見える聞き手に話しかけるときにより多くのジェスチャーを生成しました(M = 0.97 g / 100;SD = 1.45) は、不可視リスナー (M = 0.36 g/100;SD = 0.83;F(1,39) = 18.18, p < 0.001, ηp2 = 0.32;図 2 を参照してください。しかし、全体的なジェスチャー生成は、対話者可視性インタラクション(F < 1)による診断を示していませんでした。まとめると、これらの結果は、ASDの青年はTDの仲間とは異なるタイプのジェスチャーを生成することを示していますが、ASDの青年は、TDの仲間のような目に見える対話者と話すときに、すべてのタイプのジェスチャーの生成を増加させます。

figure-results-1
図1:L2単語学習課題における主話者と対話者のジェスチャー生成。 可視性条件による100語あたりのプライマリスピーカーと対話者のジェスチャー生成(エラーバーは標準エラーを表します)。 この図の拡大版を表示するには、ここをクリックしてください。

figure-results-2
図2:ASDおよびTD青年期のカートゥーン語り直し課題における可視性によるジェスチャー生成。 ASDおよびTDの青少年による100語あたりの異なるジェスチャータイプの生成は、(A)可視リスナー状態および(B)非表示リスナー条件(エラーバーは標準エラーを表します)で。この図は、Morett et al.21の許可を得て修正されています。 この図の拡大版を表示するには、ここをクリックしてください。

ディスカッション

現在のプロトコルは、話し手と対話者同士の可視性を操作し、ASDの青年によるL2単語学習と物語の再話という困難な状況下でのジェスチャー生成への影響についての洞察を提供します。このプロトコルは、対面または仮想的に実装できるため、参加者と対話者の可視性を連携して、または独立して操作できます。さまざまな実験タスク、ジェスチャー、および集団に対応できるため、コミュニケーションが困難なさまざまな状況で実装できる柔軟性を提供し、これらの状況内でジェスチャーの生成が変化するさまざまな方法を明らかにすることができます。したがって、対話者の可視性を操作することにより、現在のプロトコルは、ジェスチャーがコミュニケーションの課題を持つ集団の対人コミュニケーションにどのように影響するかについての洞察を提供します。

健康な成人のL1話者13、26、42、43で使用される他の同様のプロトコルと同様に、現在のプロトコルの最も重要な側面は、話者と対話者同士の可視性の操作である。現在のプロトコルは、ここで報告された両方の研究で対面で実施されたため21,33、可視性は連動して操作され、話者と対話者が互いに見えるか見えないかのどちらかでした。現在のプロトコルは、ビデオ会議のコンテキストでの実装に容易に適合させることができるため、話者と対話者の可視性を独立して操作することができ、話者と対話者によるジェスチャー生成に対する可視性の影響を解きほぐすことができる43。現在のプロトコルのもう一つの重要な側面は、その対話的な性質であり、これは、ジェスチャーの生成を調べるために使用された以前の構造化された対話タスクと一致する、話し手と対話者の両方を含めることにより、自然主義的な会話の文脈を反映しています11,12,17,18,19,20,22.特に、対話者は、彼らのジェスチャーの生成が興味深いかどうかに応じて、2番目の参加者または研究助手のいずれかになることができます。現在のプロトコルの最後の重要な側面は、ジェスチャーの生成に焦点を当てていることを参加者に知らせず、実験タスクが完了するまでビデオ録画されていることに気づかないようにすることである26,42。参加者は、同様のプロトコル12、20、43を使用したいくつかの研究でビデオ録画を認識していましたが、現在のプロトコルなどのプロトコルでのジェスチャー生成は、参加者が自分のジェスチャーが記録されていることに気づいていない場合、自然主義的な会話設定でのジェスチャー生成に近似する可能性が高くなります。

現在のプロトコルの大きな強みは、タスク、参加者、ジェスチャーの点で柔軟性があることです。物語の語り直しタスクは、対面の文脈における表象的なジェスチャー生成の違いを引き出す効果があるため、しばしば使用されるが、操作は、ここで述べるL2単語学習パラダイム33,48、インタビュー11,12、画像説明13,14、パズル解決15など、ジェスチャー生成を引き出すための他のタスクを組み込むことができる、16、および方向規定17,19,27。対話者の可視性操作は、参加者の親しみやすさから、ここで説明したように、L2学習者や自閉症スペクトラム障害の子供、特定の言語障害、吃音、脳損傷、失語症の子供や大人など、コミュニケーションに課題のある集団で使用できます。対話者の可視性操作により、表象、鼓動、およびダイクティックのジェスチャーの調査が可能になり、対話者の可視性によるそれらの生成の違いを集団間で定量化することができます。最後に、対話者の可視性操作は、もともと対面のコンテキストで使用するために開発されたが、ウェブカメラをオンおよびオフにすることでビデオ会議のコンテキストで実装することができ、ビデオ会議と対面のコンテキストで可視性が操作された場合のジェスチャー生成の直接比較を可能にし49、また、主要な話者と対話者の可視性がジェスチャー生成43に及ぼす影響の独立した調査を可能にする。

対話者の可視性操作は、参加者の親しみやすさと柔軟性により、コミュニケーションに課題のある集団や状況でのジェスチャー生成の理解を進める可能性がありますが、いくつかの制限があります。現在のインスタンス化では、直接実装されているため、募集が地元の便利なサンプルに制限される可能性があります。この制限は、ビデオ会議のコンテキストでの実装によって克服されましたが、これまでのところ、ビデオ会議のコンテキストでコミュニケーションに課題を持つ集団では実装されていないため、これらの集団でのジェスチャーの生成に関する調査結果がこれらのコンテキストでどの程度再現されるかは現在のところ不明です。この制限に対処するために、現在、健康なL1英語話者とのビデオ会議のコンテキストで、漫画の語り直しタスクを使用した操作のバージョンを実装しており、その後、ASDの個人に実装する予定です。可視性の操作は、コミュニケーションに課題を持つ幅広い潜在的な参加者にとってアクセス可能であるにもかかわらず、参加者はタスクを成功裏に完了できなければならず、そのために行われる言語を十分に理解できない参加者にとってはアクセスできないものとなっています。この制限は、タスクの簡略化によってある程度対処できる可能性がありますが、音声生成の要求を減らすと、ジェスチャ生成が減少する可能性があり、対話者の可視性のためにジェスチャ生成の違いを検出するのがより困難になります。

現在のプロトコルは、コミュニケーションに課題を持つ集団に対する対話者の可視性操作の最初の実装を表しています。対話者の可視性は、健康な幼児26のジェスチャー生成への影響を調べるために以前に操作されてきましたが、場合によっては英語のL1でコミュニケーションをとるのに苦労する可能性がありますが、彼らは、L2学習者やASDの青年が経験するコミュニケーションの課題の程度と持続を経験していません。代表的な結果セクション21,33で議論された以前に発表された研究の結果は、現在のプロトコルが対話者の可視性がこれらの集団のジェスチャー生成にどのように影響するかの類似点と相違点を明らかにすることができるという概念の証明として機能し、健康なL1英語を話す幼児よりも大きく、より持続的なコミュニケーションの課題を持つ個人に対して実装できることを実証しています。将来的には、失語症12,38、特定の言語障害35,36,37、吃音40,41など、さらに大きく持続的なコミュニケーションの課題を持つ集団に現在のプロトコルを実装して、対話者の可視性を操作することがジェスチャーの生成に与える影響を調べることは実り多いでしょう。

全体として、現在のプロトコルは、ASDの個人におけるL2単語学習および物語の語り直しにおけるコミュニケーションの課題が存在する場合に、対話者の可視性がジェスチャーの生成に及ぼす影響を調べる手段を提供します。そうすることで、コミュニケーションに課題を持つ個人のジェスチャー生成が対話者のニーズにどの程度反応するかについての洞察を提供し、コミュニケーションに課題を持つ個人がコミュニケーション中に視点取得にどの程度関与しているかを明らかにします。対話者の可視性の操作は、仮想および対面のコンテキストで、さまざまなタスク、集団、およびジェスチャータイプを使用したジェスチャー生成に関する他の重要な理論的問題だけでなく、これを検討する柔軟性を提供し、結果が一般化可能で再現可能である範囲を明らかにし、ジェスチャー生成の個人差が観察される可能性のある状況への洞察を提供します。したがって、対話者の可視性の操作は、対面および仮想のコンテキストでの困難なコミュニケーション状況下でのジェスチャー生成の理解を進める可能性を秘めています。

開示事項

著者は、宣言する競合する金銭的利益を持っていません。

謝辞

L2単語学習プロトコルの開発と検証は、米国国防総省空軍科学研究局が発行した国防科学工学大学院(NDSEG)フェローシップ(32 CFR 168a)によって支援されました。ASDの青年を対象とした漫画の語り直しプロトコルの開発と検証は、国立精神衛生研究所のRuth S. Kirschstein Institutional National Research Service Award(T32)によって支援されました。著者は、データ収集とコーディングの支援を提供してくれた Rachel Fader、Theo Haugen、Andrew Lynn、Ashlie Caputo、Marco Pilotta に感謝します。

材料

この記事で使用された材料の一覧
名前会社カタログ番号コメント
コンピュータAppleZ13124インチ iMac、8コアCPU &GPU、M3チップ
会議 USBマイクトナーB07GVGMW59
ELAN言語アーカイブ音声とジェスチャーの文字起こしに使用されるソフトウェア
ビデオレコーダーVjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16倍デジタルズーム 3インチタッチスクリーンビデオレコーダー、リノートコントロールと三脚付き
ウェシュラー 知能のスケールピアソン158981561Morett et al. (2016) のフルスケール IQ; ge; 80 の検証に使用

参考文献

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

再版と許可

このJoVE記事のテキストまたは図の再利用許可をリクエスト

許可をリクエスト

タグ

関連記事