Name: コミュニケーションの課題がある場合のジェスチャー生成の調査 (動画) | JoVE Journal
Uploaded: 2024-01-26T14:50:00.000+00:00
Duration: 7 min 18 s
Description: 学ぶジェスチャー生成の調査方法。対話者の視認性を操作し、対人コミュニケーションにおけるジェスチャー産出への影響を検討するプロトコルを紹介します。第二言語学習者や自閉症スペクトラム障害のある人々など、コミュニケーションに課題のある集団への応用も可能です。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<meta charset="utf8"></head><body>コミュニケーションの課題下でのジェスチャーを評価するためのプロトコル

<table><tbody><tr><td>コンピュータ</td><td>Apple</td><td>Z131</td><td>24インチ iMac、8コアCPU &GPU、M3チップ</td></tr><tr><td>会議 USBマイク</td><td>トナー</td><td>B07GVGMW59</td><td></td></tr><tr><td>ELAN</td><td>言語アーカイブ</td><td></td><td>音声とジェスチャーの文字起こしに使用されるソフトウェア</td></tr><tr><td>ビデオレコーダー</td><td>Vjianger</td><td>B07YBCMXJJ</td><td>FHD 2.7K 30 FPS 24 MP 16倍デジタルズーム 3インチタッチスクリーンビデオレコーダー、リノートコントロールと三脚付き</td></tr><tr><td>ウェシュラー 知能のスケール</td><td>ピアソン</td><td>158981561</td><td>Morett et al. (2016) のフルスケール IQ; ge; 80 の検証に使用</td></tr></tbody></table>

コミュニケーションの課題がある場合のジェスチャー生成の調査

Examining Gesture Production in the Presence of Communication Challenges

L2単語学習 実装： 以下に報告される結果は、上記のプロトコルに従って、52人の健康な参加者(男性21人、女性31人、年齢: M = 20.15、SD = 1.73、範囲= 18-28)から収集されたデータに基づいています。すべての音声とジェスチャーは、ステップ 3.4 で説明したように、話者と対話者の両方からのデータが 1 台のカメラを使用して記録されたため、視界の状態を知らなかったプライマリコーダーによってコード化されました。評価者間の信頼性を確立するために、セカンダリ コーダーは、ランダムに選択された 6 つのペア (k = 389、データの 23.08%) によって生成されたすべてのジェスチャを独立してコード化しました。一次評価者と二次評価者の間の一致は、ジェスチャーの識別で92%、それらを分類することについて90%でした。
解析の概要: 次の分析では、話者と対話者の両方の全体的なジェスチャーの生成と異なるタイプのジェスチャーの生成を可視性に基づいて比較し、L2単語のコミュニケーションへの影響を測定しました。正規性と歪度の不規則性のため、視認性に基づく比較は、正規性と歪度に基づく仮定を持たないノンパラメトリックなマンホイットニーU検定を使用して行われました。より具体的には、Mann-Whitney U検定を使用して、ジェスチャ生成の確率が可視条件よりも可視条件で大きい確率が、ジェスチャ生成が可視条件よりも非可視条件で大きくなる確率と等しいかどうかを判断しました。
所見： Mann-Whitneyの U 検定では、対話者が見える主要な話者は、対話者が見えていない主要な話者よりも多くのジェスチャーを生成することが明らかになりました( U = 53、 p = 0.02)。具体的には、目に見える対話者を持つプライマリスピーカーは、見えない対話者を持つプライマリスピーカーよりも、 より 表現的なジェスチャー(U = 30、 p = 0.001)、および ダイ クティック(U = 52、 p = 0.02)のジェスチャーを生成しました( 図1を参照)。プライマリスピーカーのビートジェスチャーの生成は、視認条件( U = 82、n.s.)間で有意差はありませんでしたが、これらのジェスチャーは、見えない対話者よりも目に見える場所でより多く生成されました。主話者から見える対話者は、主話者から見えない対話者よりも多くのジェスチャーを生成しましたが、この違いは重要性に達することができませんでした、 U = 89、n.s.可視性の関数としての異なるジェスチャータイプ間の比較は、見えない主要な話者よりも目に見える存在下ですべてのタイプのジェスチャーをより多く生成したという事実にもかかわらず、対話者にとって重要ではありませんでした。これらの知見は、主要な話者は、目に見える対話者の存在下で表象的ジェスチャーと直視的ジェスチャーの生成を増加させるが、対話者はそうではないかもしれないという証拠を提供する。
漫画の再話の結果 実装： 以下に報告された結果は、41人の青年参加者から収集されたデータに基づいており、そのうち18人がASDと診断されました(男性15人、女性3人、年齢: M = 15.17、SD = 2.75、範囲= 10.44-19.49)、そのうち23人は典型的に発達していました(男性15人、女性6人、年齢: M = 15.81、SD = 2.42、範囲= 11.52-19.36)。両グループの参加者は、年代順の年齢、性別、および言語IQで一致しました。すべての音声とジェスチャーは、視界の状態と診断を知らない2人のコーダーによってコード化されました。評価者間の信頼性を確立するために、セカンダリーコーダーは、ランダムに選択された10人の参加者(データの24.3%)によって生成されたすべてのジェスチャーを独立してコード化しました。一次評価者と二次評価者の間の一致は、ジェスチャーの識別で98%、それらを分類することについて95.4%でした。
解析の概要: 以下の分析では、全体的なジェスチャーの生成と異なるタイプのジェスチャーの生成を診断と可視性に基づいて比較し、コミュニケーションへの影響を測定しました。具体的には、診断(ASD対TD)と可視性(可視対非可視)の独立した影響と相互作用的な影響の両方を調べるために、分散の二元配置分析が採用されました。
所見： 全体的なジェスチャー制作については、診断の主効果はありませんでした(F &lt; 1)。しかし、診断によるジェスチャータイプの相互作用が見つかりました(F(3,117)=0.74、p=0.05、ηp2=0.07)。具体的には、ASDの青年は比喩的なジェスチャーをあまり生成しませんでした(M = 0.48;SD = 0.63)、t(39) = 1.99、p = 0.05、d = 0.49、およびビートジェスチャー(M = 0.26;SD = 0.60、t(39) = 2.13、p = 0.04、d = 0.67)は、TDの青年(比喩的:M = 1.08;SD = 1.62;ビート:M = 1.14;SD = 1.76)。ASDとTDの青年の間には、象徴的な(ASD:M = 0.79;SD = 0.25;TD:M = 0.77;SD = 0.25;t &lt; 1) または解剖剤 (ASD: M = 0.36;SD = 0.16;TD:M = 0.25;SD = 0.10;T&lt;1) ジェスチャー。ASDとTDの両方の青年は、目に見える聞き手に話しかけるときにより多くのジェスチャーを生成しました(M = 0.97 g / 100;SD = 1.45) は、不可視リスナー (M = 0.36 g/100;SD = 0.83;F(1,39) = 18.18, p &lt; 0.001, ηp2 = 0.32;図 2 を参照してください。しかし、全体的なジェスチャー生成は、対話者可視性インタラクション(F &lt; 1)による診断を示していませんでした。まとめると、これらの結果は、ASDの青年はTDの仲間とは異なるタイプのジェスチャーを生成することを示していますが、ASDの青年は、TDの仲間のような目に見える対話者と話すときに、すべてのタイプのジェスチャーの生成を増加させます。
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66256/66256fig01.jpg"> 図1:L2単語学習課題における主話者と対話者のジェスチャー生成。 可視性条件による100語あたりのプライマリスピーカーと対話者のジェスチャー生成(エラーバーは標準エラーを表します)。 <a href="https://www.jove.com/files/ftp_upload/66256/66256fig01large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66256/66256fig02.jpg"> 図2:ASDおよびTD青年期のカートゥーン語り直し課題における可視性によるジェスチャー生成。 ASDおよびTDの青少年による100語あたりの異なるジェスチャータイプの生成は、(A)可視リスナー状態および(B)非表示リスナー条件(エラーバーは標準エラーを表します)で。この図は、Morett et al.21の許可を得て修正されています。 <a href="https://www.jove.com/files/ftp_upload/66256/66256fig02large.jpg" target="_blank">この図の拡大版を表示するには、ここをクリックしてください。</a>

Understanding why speakers modify their co-speech hand gestures when speaking to interlocutors provides valuable insight into how these gestures ...

examining-gesture-production-presence-communication

Research

JoVE Journal

Behavior

行動

演説をサポートしている生理学的メカニズムの客観的な評価は、ALSを持つ人の疾患の発症と進行を監視し、臨床試験で治療効果を定量化するために必要とされる。このビデオでは、我々は臨床的集団における音声、モータの性能を定量化するための包括的な、インストルメンテーションベースのプロトコルを提示する。...

筋萎縮性側索硬化症における延髄機能障害の包括的評価（ALS）のためのプロトコル

この研究では、一次運動皮質、神経navigation、手筋の筋電図活動の登録に対する単パルス経頭蓋磁気刺激を用いて、参加者が行動配列を観察している間にコルチコ脊髄興奮性を探求した。...

行動観察中のコルチコ脊髄興奮性変調

身体自意識に関する以前の研究では、自己および他の起源の動きは知覚的に区別できると仮定していましたが、このプロトコルは、意図しないわずかな動きを持つ仮想手であいまいになることを可能にします。これにより、SoAの不在ではなく、SoOや他の生産されたSoAによって形成された経験を観察することができます。...

自己と他の起源との間のあいまいな動きを持つ仮想手:所有権の感覚と「他の生産」機関

自己中心的なカメラを使用して、毎日のルーチン中に手の障害を持つ個人の自然な手の機能をキャプチャするためのプロトコルが提案されています。プロトコルの目的は、記録が自宅での日常生活の活動中に個人の典型的な手の使用の代表であることを確認することです。...

上肢障害を持つ個人の自己中心的なビデオを使用して自宅で代表的な手の使用をキャプチャ

本プロトコルは、機能的近赤外分光法(fNIRS)とビデオベースの観察を組み合わせて、共同描画タスク中のカルテットの対人同期を測定します。...

機能近赤外分光法を用いた共同描画時のグループ同期

この研究では、自信のある韻律シナリオと疑わしい韻律シナリオにおけるイベント関連の可能性の古い/新しい影響を調査するためのトレーニングテストパラダイムを導入しています。データは、Pzおよび他の電極で400〜850ミリ秒の間に強化された遅延正極成分を明らかにしています。このパイプラインでは、音声の韻律を超えた要因と、それらがキューバインディングターゲットの同定に与える影響を探ることができます。...

イベント関連ポテンシャル分析を用いた表現力豊かな音声におけるロバストな音声同一認識のための暗記ベース訓練とテストパラダイム

この論文では、自然な指のジェスチャー中に手筋電図検査(EMG)と視覚的な指の追跡を同時に記録するための包括的なプロトコルを提示しています。視覚データは、指のジェスチャー認識のための正確なEMGベースの計算モデルを開発するためのグラウンドトゥルースとして機能するように設計されています。...

高解像度の表面筋電図とコンピュータービジョンによるダイナミックな指のジェスチャーのキャプチャ

誘発模倣手順は、乳児期および幼児期における想起記憶の発達を調べるために確立されました。この手順は、乳児期および幼児期の想起記憶の性質の強固な基盤を確立するために広く使用されています。...

誘発された模倣パラダイムを使用して乳児期や幼児期にリコールメモリを調べます

マウスの超音波発声は、神経精神障害のマウスモデルにおける発声コミュニケーション障害の遺伝的基盤をモデル化するためのプロキシとして使用されます。本プロトコルは、子マウス(発生全体)および成体マウス(同性相互作用、雄発情雌相互作用)から超音波発声を確実に引き出す3つの実験的状況を説明しています。...

ソーシャル・コミュニケーションを評価するためにマウスの超音波発声を記録

ワーキングメモリは、発言、読書、および書くことを含む様々な認知課題のために、かなりの量の分散を予測する。しかし、子供の作業記憶を評価するツールはほとんどありません。私たちは、学齢期の子供たちの作業記憶のさまざまな要素を包括的に評価する、革新的なコンピュータベースのバッテリを提示します。...

子供の働く記憶を評価する：子供のための総合評価バッテリー - ワーキングメモリ（CABC-WM）

学ぶジェスチャー生成の調査方法。対話者の視認性を操作し、対人コミュニケーションにおけるジェスチャー産出への影響を検討するプロトコルを紹介します。第二言語学習者や自閉症スペクトラム障害のある人々など、コミュニケーションに課題のある集団への応用も可能です。

コミュニケーションの課題がある場合のジェスチャー生成の調査

さらに動画を探す