Name: 의사소통 문제가 있는 경우의 제스처 생성 검사 (동영상) | JoVE Journal
Uploaded: 2024-01-26T14:50:00.000+00:00
Duration: 7 min 18 s
Description: 배우세요 대화 상대 가시성을 조작하여 의사소통 문제가 있는 경우의 제스처 생성을 연구하는 방법을. EEG와 fNIRS를 활용한 신경과학 기법으로 제스처와 언어 처리의 신경 메커니즘을 탐구합니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

<meta charset="utf8"></head><body>의사소통 문제에서의 제스처를 평가하기 위한 프로토콜

<table><tbody><tr><td>컴퓨터</td><td>Apple</td><td>Z131</td><td>24인치 iMac, 8코어 CPU & GPU, M3 칩</td></tr><tr><td>회의 USB 마이크</td><td>Tonor</td><td>B07GVGMW59</td><td></td></tr><tr><td>ELAN</td> 언어 <td>아카이브</td><td></td><td>소프트웨어 음성 및 제스처를 전사하는 데 사용되는</td></tr><tr><td>응용 프로그램 비디오 레코더</td><td>Vjianger B07YBCMXJJ</td><td></td><td>FHD 2.7K 30 FPS 24 MP 16X 디지털 줌 3 인치 터치 스크린 비디오 레코더 (리노트 컨트롤 및 삼각대 포함</td></tr>) <tr><td>Weschler 약식 지능</td><td>Pearson</td><td>158981561</td><td>Morett et al. (2016)에서 전체 척도 IQ &ge; 80을 확인하는 데 사용됩니다.</td></tr></tbody></table>

의사소통 문제가 있는 경우의 제스처 생성 검사

Examining Gesture Production in the Presence of Communication Challenges

L2 단어 학습 이행: 아래에 보고된 결과는 위에 설명된 프로토콜에 따라 52명의 건강한 참가자(남성 21명, 여성 31명, 연령: M = 20.15, SD = 1.73, 범위 = 18-28)에서 수집한 데이터를 기반으로 합니다. 모든 말과 제스처는 3.4 단계에서 설명한대로 화자와 대화 상대의 데이터가 단일 카메라를 사용하여 기록되었기 때문에 가시성 상태에 눈이 멀 수 없었던 기본 코더에 의해 코딩되었습니다. 평가자 간 신뢰성을 확립하기 위해 보조 코더는 무작위로 선택된 6쌍(k = 389, 데이터의 23.08%)에 의해 생성된 모든 제스처를 독립적으로 코딩했습니다. 1차 평가자와 2차 평가자 간의 일치는 제스처를 식별하는 데 92%, 분류하는 데 90%였습니다.
분석 개요: 다음 분석에서는 화자와 대담자의 전반적인 제스처 생성과 다양한 유형의 제스처 생성을 가시성을 기반으로 비교하여 L2 단어의 의사 소통에 미치는 영향을 측정했습니다. 정규성과 왜도의 불규칙성으로 인해 가시성에 기반한 비교는 정규성과 왜도에 기반한 가정이 없는 비모수 Mann-Whitney U-검정을 사용하여 수행되었습니다. 좀 더 구체적으로 말하자면, Mann-Whitney U 검정을 사용하여 보이지 않는 조건보다 보이는 조건에서 제스처 생성이 더 클 확률이 보이지 않는 조건에서 제스처 생성이 눈에 보이는 조건보다 더 큰지 여부를 확인했습니다.
결과: Mann-Whitney U 테스트에 따르면 대화 상대가 보이는 기본 화자는 대화 상대가 보이지 않는 기본 화자보다 더 많은 제스처를 생성하는 것으로 나타났습니다( U = 53, p = .02). 구체적으로, 눈에 보이는 대화 상대가 있는 기본 화자는 보이지 않는 대화 상대가 있는 기본 화자보다 더 대표적( U = 30, p = 0.001) 및 deictic( U = 52, p = 0.02) 제스처를 생성했습니다( 그림 1 참조). 기본 화자의 비트 제스처 생성은 가시성 조건( U = 82, n.s.)에 따라 유의한 차이가 없었지만, 이러한 제스처는 보이지 않는 대화 상대보다 눈에 보이는 대화 상대가 있을 때 더 많이 생성되었습니다. 기본 화자가 볼 수 있는 대화 상대는 기본 화자에게 보이지 않는 대화 상대보다 더 많은 제스처를 생성했지만, 이 차이는 유의성에 도달하지 못했습니다( U = 89, n.s). 가시성의 기능으로서의 다양한 제스처 유형 간의 비교는 보이지 않는 기본 화자보다 눈에 보이는 기본 화자가있는 모든 유형의 제스처를 더 많이 생성했다는 사실에도 불구하고 대화 상대에게 중요성을 도달하지 못했습니다. 이러한 발견은 주요 화자가 눈에 보이는 대화 상대의 존재 하에서 표현 및 deictic 제스처의 생산을 증가시키는 반면, 대화 상대는 그렇지 않을 수 있다는 증거를 제공합니다.
만화 재구성 결과 이행: 아래에 보고된 결과는 41명의 청소년 참가자로부터 수집된 데이터를 기반으로 하며, 그 중 18명은 ASD 진단을 받았고(남성 15명, 여성 3명; 연령: M = 15.17, SD = 2.75, 범위 = 10.44 - 19.49) 그 중 23명은 전형적으로 발달 중이었습니다(남성 15명, 여성 6명; 연령: M = 15.81, SD = 2.42, 범위 = 11.52-19.36). 두 그룹의 참가자는 연대순 연령, 성별 및 언어 IQ에서 일치했습니다. 모든 말과 몸짓은 가시성, 상태 및 진단에 눈이 먼 두 명의 코더에 의해 코딩되었습니다. 평가자 간 신뢰성을 확립하기 위해 보조 코더는 무작위로 선택된 10명의 참가자(데이터의 24.3%)가 생성한 모든 제스처를 독립적으로 코딩했습니다. 1차 평가자와 2차 평가자 간의 일치는 제스처를 식별하는 데 98%, 분류하는 데 95.4%였습니다.
분석 개요: 다음 분석에서는 의사소통에 미치는 영향을 측정하기 위해 진단 및 가시성을 기반으로 전반적인 제스처 생성과 다양한 유형의 제스처 생성을 비교했습니다. 특히, 진단(ASD 대 TD)과 가시성(가시적 대 비가시적)의 독립적이고 상호작용적인 효과를 조사하기 위해 이원 분산 분석이 사용되었습니다.
결과: 전반적인 제스처 생성의 경우, 진단의 주효과는 없었다(F &lt; 1). 그러나 진단에 의한 제스처 유형의 상호 작용을 발견했습니다(F(3,117) = 0.74, p = 0.05, ηp2 = 0.07). 구체적으로, ASD를 앓고 있는 청소년은 은유적 제스처를 더 적게 생성했다(M =0.48; SD = 0.63), t(39) = 1.99, p = 0.05, d = 0.49 및 비트 제스처 (M = 0.26; SD = 0.60, t (39) = 2.13, p = 0.04, d = 0.67)보다 TD 청소년 (은유 : M = 1.08; SD = 1.62; 박자: M = 1.14; SD = 1.76)입니다. 아이코닉(Isaac)의 생산에서 ASD와 TD 청소년 간의 차이는 발견되지 않았다(ASD: M = 0.79; SD = 0.25; TD: 미디엄 = 0.77; SD = 0.25; t &lt; 1) 또는 deictic (ASD : M = 0.36; SD = 0.16; TD: 남 = 0.25; SD = 0.10; t&lt;1) 제스처를 사용합니다. ASD와 TD 청소년 모두 눈에 보이는 청자에게 말할 때 더 많은 제스처를 생성했습니다(M = 0.97g/100; SD = 1.45)보다 보이지 않는 청취자(M = 0.36g/100; SD = 0.83; F (1,39) = 18.18, p &lt; 0.001, ηp2 = 0.32; 그림 2 참조). 그러나 전반적인 제스처 생성은 대화 상대 가시성 상호 작용에 의한 진단을 보여주지 않았습니다(F &lt; 1). 이러한 결과를 종합해 볼 때, ASD를 가진 청소년은 TD 또래와 다른 유형의 제스처를 생성하지만, ASD를 가진 청소년은 TD 또래와 같이 눈에 보이는 대화 상대에게 말할 때 모든 유형의 제스처 생성을 증가시킨다는 것을 나타냅니다.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/66256/66256fig01.jpg"> 그림 1 : L2 단어 학습 작업에서 기본 화자와 대화 상대의 제스처 생성. 가시성 조건에 따라 100단어당 기본 화자 및 대담자의 제스처 생성(오차 막대는 표준 오류를 나타냄). <a href="https://www.jove.com/files/ftp_upload/66256/66256fig01large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/66256/66256fig02.jpg"> 그림 2 : 만화 이야기 작업에서의 가시성에 따른 ASD 및 TD 청소년의 제스처 제작. ASD 및 TD 청소년이 (A) 보이는 청취 조건 및 (B) 보이지 않는 청취 조건에서 100단어당 다른 제스처 유형을 생성합니다(오차 막대는 표준 오류를 나타냄). 이 그림은 Morett et al.21의 허가를 받아 수정되었습니다. <a href="https://www.jove.com/files/ftp_upload/66256/66256fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>

Understanding why speakers modify their co-speech hand gestures when speaking to interlocutors provides valuable insight into how these gestures ...

examining-gesture-production-presence-communication

Research

연구

JoVE Journal

Behavior

행동

음성을 지원하는 생리적 메커니즘의 목적 평가는 ALS와 사람에서 질병 발병과 진행을 모니터하고 임상 실험에서 치료 효과를 계량이 필요합니다. 이 비디오에서는, 우리는 임상 인구의 음성 모터 성능을 quantifying에 대한 포괄적인, 계측 기반 프로토콜을 제시한다.

루게릭병에 안구 장애의 종합 평가 (ALS)에 대한 프로토콜

참가자가 행동 서열을 관찰하는 동안 1 차적인 운동 피질, 신경 탐색 및 손 근육의 전동 활동의 등록을 통해 단맥 경두개 자기 자극, 및 손 근육의 전기 구균 활동의 등록이 이 연구에서 이용되었습니다.

행동 관찰 중 코르티코피날 흥분성 변조

신체 적 자기 의식에 대한 이전 연구는 자기 및 기타 기원의 움직임이 지각적으로 구별 할 수 있다고 가정했지만,이 프로토콜은 의도하지 않은 약간의 움직임으로 가상의 손에 모호할 수 있습니다. 이를 통해 SoA가 없는 것이 아니라 SoO 및 기타 생산된 SoA가 개발한 경험을 관찰할 수 있습니다.

자아와 다른 기원 사이의 모호한 움직임과 가상의 손 : 소유권의 감각과 '다른 생산'기관

프로토콜은 자기 중심의 카메라를 사용하여 일상 생활 중에 손 장애가있는 개인의 자연스러운 손 기능을 캡처하는 것이 좋습니다. 프로토콜의 목표는 집에서 일상 생활의 활동 중에 녹음이 개인의 전형적인 손 사용을 대표하는지 확인하는 것입니다.

팔다리 장애가 있는 개인의 자기 중심 비디오를 사용하여 집에서 대표손 사용 캡처

본 프로토콜은 기능적 근적외선 분광법(fNIRS)과 비디오 기반 관찰을 결합하여 협업 드로잉 작업 중 사중주에서 대인 관계 동기화를 측정합니다.

기능적 근적외선 분광법을 사용한 협업 드로잉 중 그룹 동기화

이 연구는 확신에 차고 의심스런 운율 시나리오에서 이벤트 관련 잠재력의 오래된/새로운 효과를 조사하기 위한 훈련-테스트 패러다임을 소개합니다. 데이터는 Pz 및 기타 전극에서 400-850ms 사이의 향상된 후기 양성 성분을 보여줍니다. 이 파이프라인은 음성 운율 이상의 요인과 신호 바인딩 대상 식별에 미치는 영향을 탐색할 수 있습니다.

이벤트 관련 전위 분석을 사용하여 표현 음성에서 강력한 음성 정체성 인식을 위한 암기 기반 교육 및 테스트 패러다임

이 논문은 자연스러운 손가락 제스처 중에 손 근전도 검사(EMG)와 시각적 손가락 추적을 동시에 기록하기 위한 포괄적인 프로토콜을 제시합니다. 시각적 데이터는 손가락 제스처 인식을 위한 정확한 EMG 기반 계산 모델 개발을 위한 실측 자료 역할을 하도록 설계되었습니다.

고해상도 표면 근전도 및 컴퓨터 비전을 사용한 동적 손가락 제스처 캡처

유도 모방 절차는 유아기와 유아기의 회상 기억 발달을 조사하기 위해 확립되었습니다. 이 절차는 유아기와 유아기의 회상 기억의 본질에 대한 견고한 기반을 확립하는 데 널리 사용되었습니다.

이끌어 모방 패러다임을 사용하여 유년기와 유아에 리콜 메모리 검사

Mouse 초음파 발성은 신경 정신 질환에 대한 마우스 모델에서 음성 의사소통 결핍의 유전적 기반을 모델링하기 위한 프록시로 사용됩니다. 본 프로토콜은 새끼(발달 전반에 걸쳐)와 성체 마우스(동성 상호 작용, 수컷-발정 암컷 상호 작용)에서 초음파 발성을 안정적으로 유도하는 세 가지 실험 컨텍스트를 설명합니다.

마우스 초음파 발성을 녹화 사회 커뮤니케이션을 평가하는

작업 기억은 말하기, 읽기 및 쓰기와 같은 다양한인지 작업에 대해 상당한 양의 차이를 예측합니다. 그러나 어린이의 작업 기억을 평가할 수있는 도구는 거의 없습니다. 우리는 취학 연령 아동의 작업 기억의 여러 구성 요소를 포괄적으로 평가하는 혁신적인 컴퓨터 기반 배터리를 제시합니다.

어린이의 작업 기억 평가 : 어린이를위한 종합 평가 배터리 - 작업 메모리 (CABC-WM)

배우세요 대화 상대 가시성을 조작하여 의사소통 문제가 있는 경우의 제스처 생성을 연구하는 방법을. EEG와 fNIRS를 활용한 신경과학 기법으로 제스처와 언어 처리의 신경 메커니즘을 탐구합니다.

의사소통 문제가 있는 경우의 제스처 생성 검사

더 많은 동영상 탐색