Name: 在存在沟通挑战的情况下检查手势的产生 (视频) | JoVE Journal
Uploaded: 2024-01-26T14:50:00.000+00:00
Duration: 7 min 18 s
Description: 探索手势产生在人际沟通中的作用，通过操控对话者可见性来研究其对沟通挑战人群的影响。本方案适用于第二语言学习者和自闭症谱系障碍者，为神经科学和手势研究提供灵活工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

L2词汇学习方案的开发与验证得到了美国国防部空军科学研究办公室颁发的国家防御科学与工程研究生（NDSEG）奖学金（32 CFR 168a）的支持。针对患有自闭症谱系障碍（ASD）青少年的卡通复述方案的开发与验证得到了美国国家心理健康研究所颁发的露丝·S·柯尔施坦因机构国家研究服务奖（T32）的支持。作者感谢Rachel Fader、Theo Haugen、Andrew Lynn、Ashlie Caputo和Marco Pilotta在数据收集与编码工作中提供的协助。

所有参与者均提供了书面知情同意，且所有实验方案均经主办机构的机构审查委员会批准。代表性结果所依据的研究中实施了L2词汇学习和卡通故事复述方案21,33。尽管迄今为止这些方案仅在线下环境中实施过，但目前正在进行一项相关方案，独立操控对话者与参与者的可见性（本方案未在此处描述），以探讨在此情境下的可重复性，并计划将该研究扩展至存在沟通障碍的人群，例如自闭症谱系障碍（ASD）个体。
1. 参与者
注意：在遵守每项研究对参与者特征的必要限制的同时，样本应尽可能代表更广泛的人群。
<ol>
	<li>第二语言词汇学习实验的参与者招募
	<ol>
		<li>招募年龄在18岁及以上、视力正常或矫正至正常、听力正常且以英语为第一语言（L1）的参与者。为确保本研究能够考察手势对第二语言（L2）词汇初学阶段的影响，应招募无匈牙利语知识的参与者，因匈牙利语为本研究的目标语言。</li>
	</ol>
	</li>
	<li>动画复述实验的参与者招募
	<ol>
		<li>招募年龄足以完成实验任务的参与者（在Morett等人的研究中为10至20岁）21，包括被诊断为自闭症谱系障碍（ASD）的个体以及典型发育（TD）个体。
		<ol>
			<li>为确保参与者能够成功完成实验任务，应招募以英语为第一语言（L1）、视力正常或矫正至正常、听力正常，并且全量表智商（IQ）达到85或以上（通过标准化评估在研究前或研究时测定）的参与者46。</li>
			<li>为确保本研究能够专门考察ASD对手势产出的特定影响，应招募未患癫痫、脑膜炎、脑炎、糖尿病、儿童瓦解性障碍或未另行说明的广泛性发育障碍（PDD-NOS）的ASD参与者。</li>
			<li>为确保ASD个体的手势产出可与典型发育个体进行比较，应招募无共病精神疾病、且无一级亲属被诊断为广泛性发育障碍的TD参与者。</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>
2. 可见性操控概述
<ol>
	<li>若需考察自发手势产生与观察的效果（如第二语言词汇学习实验方案中所述），则成对招募参与者；若仅需考察自发手势产生的效果（如卡通故事复述实验方案中所述），则单独招募参与者，并由一名研究助理作为搭档参与实验。</li>
	<li>向参与者提供包含研究信息的知情同意书，供其签署，并解答其关于研究的任何疑问，注意不得透露本研究聚焦于手势产生的目的。在参与者签署后收回同意书。</li>
	<li>对于成对招募的参与者，采用抛硬币等方式随机决定其中一人作为“说话者”（在实验任务中主要负责讲话），另一人作为“对话者”（在实验任务中主要负责倾听，并偶尔与说话者互动）。对于单独招募并由研究助理作为对话者的参与者，采用固定方式（如预设结果的抛硬币）确保参与者始终担任说话者，研究助理始终担任对话者。</li>
	<li>在一半的实验环节中，在说话者与对话者之间放置不透明隔板，以确保双方无法看到彼此的面部或手部动作。</li>
	<li>向参与者说明其在实验任务中的操作流程，并解答相关问题。告知参与者其言语将被音频记录，并指出所使用的麦克风。为避免视频记录意识对手势产生造成影响，不得告知参与者将进行视频记录，并确保用于视频记录的摄像机对参与者不可见。</li>
	<li>通过按下相应按钮启动视频和音频记录。实施实验任务，以诱发说话者以及（如有）对话者的言语和手势行为。</li>
	<li>若采用被试内设计，则在第一轮使用隔板的情况下将其移除，或在第一轮未使用隔板的情况下将其放置于说话者与对话者之间。</li>
	<li>根据需要重复实验任务，直至所有刺激材料用尽。</li>
	<li>通过按下相应按钮停止视频和音频记录。告知参与者本研究关注手势行为，并说明已进行视频记录，同时可根据参与者的意愿，在数据分析前删除其视频资料。</li>
	<li>回答参与者的任何问题，并在结束实验前对其参与表示感谢。</li>
</ol>
3. 二语词汇学习方案
<ol>
	<li>通过视频和音频记录说话者与对话者的言语和手势，以便后续分析实验任务期间的言语与手势产出情况。
	<ol>
		<li>在说话者与对话者之间放置一个桌面麦克风用于录音。将摄像机置于说话者与对话者一侧，与二者呈90°角，并确保摄像机不会被参与者看到。</li>
		<li>此外，需确保视频摄像机的视野涵盖说话者和对话者，同时避免计算机屏幕出现在摄像机视野中，以保证在后续分析中对L2词汇呈现条件保持盲态。</li>
	</ol>
	</li>
	<li>使用计算机通过耳机向说话者以听觉方式呈现目标语言中的一个L2词汇，确保该词汇对对话者不可听见，从而使说话者能够随后将该词教授给对话者。同时，向说话者呈现以下两种刺激之一：目标语言的L1说话者说出该L2词汇并配合表达词义的表征性手势的视频，屏幕底部显示该L2词汇的文字；或仅在屏幕中央呈现该L2词汇的文字，无视频。</li>
	<li>在500 ms的暂停后，向说话者在屏幕中央呈现该L2词汇的L1翻译文字，持续2000 ms。</li>
	<li>提示解释者通过言语和/或手势将该L2词汇及其含义教授给对话者。</li>
	<li>指示说话者在准备就绪后按下按钮继续。说话者操作后，呈现下一个L2词汇。重复此过程，直至全部20个L2词汇以随机顺序呈现完毕。</li>
	<li>通过将每个L2词汇以文字形式单独呈现，测试说话者和对话者对实验任务中所呈现L2词汇的掌握情况，并提示他们说出对应的L1翻译；若无法回忆翻译，可跳过该词。</li>
</ol>
4. 漫画复述方案
<ol>
	<li>如果尚未通过标准化的智商评估测试测量过参与者的智商，则需进行一次测试，以确保其智商在85或以上。</li>
	<li>对参与者进行视频和音频录制，以便后续分析其言语和手势产出。在参与者前方放置一个桌面麦克风用于录音。将摄像机置于参与者一侧，与之呈90°角，并确保参与者无法看到摄像机。</li>
	<li>向参与者播放《乐一通》动画片《金丝雀小巷》的前半部分。该部分包含多个片段，描绘了猫西尔维斯特多次试图捕捉崔弟鸟但均告失败的情节。</li>
	<li>指导参与者尽可能详细地向对话者复述动画片前半部分的事件内容。指导对话者认真倾听参与者的复述，并在其叙述简略时提示其进一步补充细节。</li>
	<li>对《金丝雀小巷》视频的后半部分重复步骤4.1和4.2，该部分包含更多西尔维斯特猫试图捕捉崔弟鸟但再次失败的片段。</li>
</ol>
5. 转录与编码
注意：为尽量减少偏差，应尽可能在不知晓参与者和试验被分配至何种条件的情况下，对数据进行盲法转录和编码。理想情况下，转录人员和编码人员不应参与数据收集工作。
<ol>
	<li>根据标准化方案（如 CHAT47），使用适当的软件手动对所有参与者言语进行正字法转录，以生成词数统计。转录所有口头信息，例如填充词和自我修正，但不转录停顿。</li>
	<li>识别并编码所有参与者的手势，以统计每种手势类型的数量。根据 McNeill 的分类法2,3，将手势从静止到静止进行界定，并将其分为四类：表征性（iconic）、隐喻性（metaphorical）、节拍性（beat）和指示性（deictic）。注意，某些手势可能属于多种类型。</li>
	<li>通过将表征性手势的数量除以词数，再乘以 100，计算每百词中的手势频率，针对每个片段分别计算。</li>
	<li>由另一位独立编码员对 25% 的数据进行手势编码。计算两位编码员共同编码数据的一致性百分比，并确保其至少达到 80%，以保证足够的评分者间信度。</li>
</ol>

Protocol for Assessing Gestures Under Communication Challenges

作者声明无竞争性财务利益。

本实验方案通过调控说话者与对话者之间的相互可见性，探究在具有挑战性的情境下——即患有自闭症谱系障碍（ASD）的青少年进行第二语言词汇学习和叙述性复述时——这种可见性对手势产出的影响。该方案既可在线下实施，也可通过虚拟方式进行，能够同步或独立地操控参与者与对话者的可见性。该方案适用于多种实验任务、手势类型及受试人群，具有较高的灵活性，可在各种交流困难的情境中实施，并揭示这些情境下手势产出发生改变的多种方式。因此，通过调控对话者的可见性，本方案有助于深入理解手势如何影响存在交流障碍人群的人际沟通过程。
与用于健康成年L1说话者的其他类似方案一样13,26,42,43，本方案最关键的方面是操控说话者与对话者之间的相互可见性。由于本方案在本文报告的两项研究中均为面对面实施21,33，因此可见性的操控是同步进行的，即说话者与对话者之间要么彼此可见，要么彼此不可见。本方案可轻松调整以适用于视频会议情境，从而独立操控说话者与对话者的可见性，进而分离可见性对说话者和对话者手势产出的影响43。本方案另一个关键特征是其对话性质，通过包含说话者和对话者，反映了自然的会话情境，这与以往用于研究手势产出的结构化互动任务一致11,12,17,18,19,20,22。值得注意的是，对话者可以是第二名参与者，也可以是研究助理，具体取决于其手势产出是否为研究关注点。本方案最后一个关键方面是：不向参与者透露本研究聚焦于手势产出，并确保他们在实验任务完成前不知道自己正在被录像26,42。尽管在一些使用类似方案的研究中，参与者知晓录像情况12,20,43，但在本方案中，当参与者未意识到其手势正被记录时，其手势产出更可能接近自然会话情境中的表现。
本方案的一个主要优势在于其在任务类型、参与者和手势方面的灵活性。尽管叙事复述任务因其在面对面情境中有效诱发表征性手势产出的差异而常被采用26,42，但该实验操作也可结合其他任务来诱发手势产出，例如本文所述的第二语言词汇学习范式33,48，以及访谈11,12、图片描述13,14、解谜任务15,16和指路任务17,19,27。由于该操作对参与者友好，因此可用于存在交流障碍的人群，例如本文所述的第二语言学习者和自闭症谱系障碍儿童，以及患有特定性语言障碍、口吃、脑损伤和失语症的儿童与成人。通过操控对话者可见性，可对表征性手势、节律性手势和指示性手势进行考察，从而量化不同人群在不同对话者可见性条件下的手势产出差异。最后，尽管对话者可见性操控最初是为面对面情境设计的，但也可通过开启或关闭网络摄像头的方式在视频会议情境中实施，从而实现对视频会议与面对面情境下手势产出的直接比较49，并可独立考察主要说话人和对话者的可见性对手势产出的影响43。
尽管对话者可见性操控因其对参与者友好且灵活，有望推进对存在沟通障碍的人群及情境中手势产出的理解，但它仍存在一些局限性。在当前的实施形式中，该实验需面对面进行，这可能限制了参与者招募范围，仅限于本地便利样本。这一局限性已通过在视频会议情境中实施该范式得到克服，但迄今为止，尚未在视频会议情境下对存在沟通障碍的人群开展相关研究，因此目前尚不清楚在这些人群中关于手势产出的研究发现是否能在该情境下得到重复验证。&#160;为解决这一局限，我们目前正在健康的第一语言为英语的参与者中，于视频会议情境下实施包含卡通复述任务的操控版本，并计划后续将其应用于自闭症谱系障碍（ASD）个体。尽管可见性操控对大量可能存在沟通障碍的潜在参与者具有可及性，但参与者必须能够成功完成任务，因此对于缺乏足够语言能力以完成任务的个体而言，该方法仍不可行。尽管通过简化任务在一定程度上可能缓解这一局限，但降低言语产出要求可能会同时减少手势产出，从而因对话者可见性而导致手势产出差异更难被检测到。
目前的实验方案代表了首次在存在沟通障碍的人群中实施对话者可见性操控。尽管此前已有研究通过操控对话者可见性来考察其对健康学龄前儿童手势产出的影响26，这些儿童在某些情况下可能难以用其英语母语进行有效交流，但他们所面临的沟通困难在程度和持续性上均不及第二语言初学者或患有自闭症谱系障碍（ASD）的青少年。如代表性结果部分所讨论的先前发表研究的发现所示21,33，本实验方案能够揭示对话者可见性对这些人群手势产出影响的异同，证明该方案可应用于比健康英语母语学龄前儿童存在更严重且更持久沟通障碍的个体。未来，将本方案应用于沟通障碍更为严重和持久的人群（例如失语症患者12,38、特定性语言障碍患者35,36,37或口吃者40,41）将具有重要意义，以进一步探究操控对话者可见性对其手势产出的影响。
总体而言，当前的实验方案提供了一种研究交流障碍个体在第二语言词汇学习和叙述复述过程中，对话者可见性对手势产出影响的方法。通过这种方式，该方案揭示了存在交流障碍个体的手势产出在多大程度上会响应对话者的需求，反映了这些个体在交流过程中进行观点采择的程度。通过操控对话者的可见性，研究者能够灵活地探讨这一问题，以及在虚拟和面对面情境下，针对不同任务、不同人群和不同类型手势所产生的其他重要理论问题，从而揭示研究结果的可推广性和可重复性，并有助于识别可能观察到手势产出个体差异的具体情境。因此，操控对话者可见性有望推动人们对在具有挑战性的交流情境下，无论是面对面还是虚拟环境中手势产出机制的理解。

伴随言语的手势（下文简称“手势”）——即与言语同时产生的、具有意义的手部动作——通过传递补充口语内容的信息，在人际交流中发挥重要作用1。根据目前最广泛使用的分类体系2,3，手势可分为三类：表征性手势，通过其形态和运动方式表达所指对象（例如，双手来回扇动以表示“飞翔”）；节拍手势，通过简单的点状动作表达强调（例如，在说出“&#34;right now&#34;”这一短语时，主用手逐词轻微向下移动）；以及指示性手势，通过指向动作引起对某实体存在或缺失的注意（例如，将拇指向后摆动以指示自身后方的物体）。表征性手势可进一步分为两类：具象手势，用于表达具体所指对象（例如，一只鸟）；隐喻手势，用于表达抽象隐喻所指对象（例如，狂喜）。由于手势与言语源自相同的概念内容，二者在意义上密切相关4,5。作为一种具象化的视觉交流媒介，当口语理解出现困难时，手势有助于弥补理解上的不足6，无论这种困难源于个体因素（如对所用语言掌握程度有限7,8），还是环境因素（如听觉上难以听清言语内容9,10）。因此，手势在理解面对面及虚拟情境下的人际交流中具有不可或缺的作用，有助于揭示说话者与听者如何以多模态方式传递与理解信息。
已开发出多种结构化的互动任务，用于测量手势如何影响人际交流。这些任务包括访谈，即参与者通过描述个人经历来回答问题11,12；图像描述，即向参与者呈现静态图像并要求其进行描述13,14；解谜任务，即参与者通过正确进行空间组件定向来描述如何解决一个谜题15,16；指路任务，即参与者被要求为听者不熟悉的地点提供路线指引17,18,19；以及叙事复述，即参与者观看描绘一系列事件的动画，随后将其复述出来20,21,22。上述研究中采用的许多任务均包含空间内容和动作，而手势在传达此类信息方面尤为有效15,23,24,25。在上述研究任务中，参与者通常在语言表达的同时产生手势，研究会评估通过手势传达的信息及其与同步语言产出之间的关系。另一种方式是，参与者观看某人在完成其中一项任务时伴有手势（或无手势）的语言表达录像，随后评估其理解程度。所有这些任务既可通过虚拟方式进行，也可面对面实施，从而便于从广泛的参与者中收集数据，并实现不同交流模式间的比较。
手势对人际交流的影响已在多种参与者中得到研究。尤其受到关注的是存在交流障碍的人群，包括幼儿26,27,28,29,30、第二语言（L2）使用者8,31,32,33、自闭症谱系障碍（ASD）个体20,21,22,34、特定性语言障碍个体35,36,37、失语症患者12,38、脑损伤个体39以及口吃个体40,41。这些研究表明，尽管上述许多人群能够利用手势促进交流，但部分人群（如自闭症谱系障碍个体）在有效运用手势进行交流方面可能存在困难。研究结果提示，这可能与这些人群在多大程度上考虑听众需求和环境线索有关，凸显了这些解释对于理解手势在交流中作用的实际意义。
揭示手势对人际交流影响的一个关键特征是对话者的可见性。在手势研究领域，一个极为重要的问题是：参与者做出手势主要是为了自身利益，即通过身体动作分担认知操作，还是为了对话者的利益，即利用手势进行交流。这一问题已通过在面对面情境中使用不透明隔板26,42、电话情境13以及虚拟情境43下考察对话者（不可）见性对手势产出的影响而得到研究。总体而言，这些研究结果表明，尽管说话者会出于自身利益而做出手势，但在与可见对话者交流时，其产出的表征性手势多于与不可见对话者交流时，而节律性手势的产出则在不同可见性条件下相似。因此，这些结果提示，表征性手势在多种情境下有助于交流，说明说话者会考虑对话者的视角，并相应调整其手势产出。尽管以往关于对话者可见性影响的研究在揭示手势对人际交流的贡献方面发挥了重要作用，但这些研究主要集中于正常发育人群中以英语作为第一语言（L1）的情况，因此尚不清楚这些发现是否可推广至存在交流障碍的人群。其中两类人群分别是第二语言（L2）学习者，他们在目标语言中可能难以通过言语进行交流；以及自闭症谱系障碍（ASD）儿童，其言语和非言语交流均存在异常。此外，目前很少有研究考察对话者可见性在虚拟情境下对手势产出的影响，而此类情境能够将对话者对参与者的可见性效应与参与者对对话者的可见性效应分离开来，因此目前尚不清楚在这些情境中所得结果是否具有可重复性。最后，部分研究聚焦于对话者可见性对特定类型手势产出的影响，因此尚不清楚其他类型手势的产出是否同样受到对话者可见性的影响。
以下所述的实验方案通过操控对话双方的可见性，来研究在具有挑战性的情境下手势产生的特点：第二语言词汇学习以及自闭症谱系障碍（ASD）个体的叙事复述。第二语言词汇学习方案将以往关于观察手势对第二语言词汇学习影响的研究，与通过互动式词汇学习范式探讨手势在交流中作用的研究结合起来。在此范式中，不熟悉目标语言的参与者首先学习该语言中的词汇，随后将这些词汇教授给其他同样不熟悉该语言的参与者，从而能够在对话情境中考察对话者可见性对第二语言习得早期阶段手势产生的影响。卡通故事复述范式采用了一种广泛使用的叙事复述任务，并在一个新的人群——患有自闭症谱系障碍的青少年中——考察操控对话者可见性时手势产生差异的情况。选择这一人群的原因在于，包括手势产生在内的语言能力在青春期已趋于成熟，而自闭症谱系障碍通常伴随言语和非言语交流困难，包括手势使用异常，以及对对话者交流需求缺乏敏感性。这些实验方案共同揭示了当人际交流面临挑战时，手势产生在多大程度上依赖于言语，以及反过来能否对手语表达的不足进行补偿。
根据已有研究发现，听者的可见性会影响以英语为母语者的手势产出13,26,42,43，因此推测，当参与者在与可见对话者讨论第二语言词汇时，其总体手势以及表征性手势的产出数量会多于与不可见对话者交流时。基于另一些研究发现，自闭症谱系障碍（ASD）个体在手势产出方面存在异常&#160;20,44，因此推测，与典型发育（TD）青少年相比，ASD青少年的总体手势、表征性手势以及指示性手势的产出数量均更少。此外，根据研究显示ASD个体在观点采择方面存在困难45，因此推测，ASD青少年在与可见和不可见对话者交流时，其手势产出不会表现出显著差异。最后，预测诊断类型与可见性之间存在交互作用，即ASD青少年的手势产出在对话者可见与否的情况下无显著差异，而TD青少年则会因对话者可见性不同而表现出差异。

<table><tbody><tr><td>计算机</td><td>苹果</td><td>Z131</td><td>24&quot; iMac，8核CPU &amp;和 GPU，M3 芯片</td></tr><tr><td>会议用USB麦克风</td><td>吨</td><td>B07GVGMW59</td><td></td></tr><tr><td>ELAN</td><td>语言档案库</td><td></td><td>用于转录语音和手势的软件应用程序</td></tr><tr><td>视频记录仪</td><td>Vjianger</td><td>B07YBCMXJJ</td><td>FHD 2.7K 30 FPS 24 MP 16倍数码变焦 3&quot; 带遥控器和三脚架的触摸屏录像机</td></tr><tr><td>韦氏简式智力量表</td><td>皮尔逊</td><td>158981561</td><td>用于验证全量程 IQ &amp;ge; 80，见 Morett 等（2016）</td></tr></tbody></table>

考察交流障碍情境下的手势产生

Examining Gesture Production in the Presence of Communication Challenges

理解说话者在与对话者交流时为何调整其伴随言语的手势，有助于深入认识这些手势在面对面及虚拟情境下人际沟通中的作用。本研究方案通过在面对面情境中同步操控说话者及其对话者的可见性，考察当交流存在困难时，可见性对手势产出的影响。在这些方案中，说话者需完成一些任务，例如向另一位参与者或实验同谋者教授一种不熟悉第二语言中的词汇，或复述卡通短片中的事件。执行这些任务时，说话者的可见性状态（对对话者可见或不可见）以及对话者对说话者的可见性状态（可见或不可见）均被系统操控。在词汇学习任务中，相互可见的说话者与对话者比相互不可见的配对产生了更多的表征性手势（通过手形和动作传递意义）以及指示性（指向）手势。在叙事复述方案中，自闭症谱系障碍（ASD）青少年在与可见对话者交谈时比与不可见对话者交谈时产生了更多的手势。当前方案的一大优势在于其在所考察任务、人群和手势类型方面的灵活性，且该方案既可用于面对面情境，也可应用于视频会议情境。因此，该方案有望通过阐明手势在具有沟通障碍人群中人际交流中的作用，推动对手势产出机制的深入理解。

第二语言词汇学习 
实施方法：下述结果基于按照上述方案收集的52名健康参与者（21名男性，31名女性；年龄：M = 20.15，标准差 = 1.73，范围 = 18–28岁）的数据。所有言语和手势均由主要编码员进行编码，由于使用单个摄像机同时记录说话者和对话者的数据（如步骤3.4所述），编码员无法对可见性条件设盲。为建立评分者间信度，第二名编码员独立对6组随机选取的配对所产生的所有手势进行编码（k = 389，占数据总量的23.08%）。主要编码员与第二名编码员在手势识别上的一致性为92%，在手势分类上的一致性为90%。
分析概述： 在以下分析中，通过可见性来比较说话者和对话者的整体手势产出以及不同类型手势的产出，以评估其对第二语言词汇交流的影响。由于数据分布的非正态性和偏态性，基于可见性的比较采用非参数的曼-惠特尼U检验进行，该方法不依赖于正态性和偏态性的假设。具体而言，使用曼-惠特尼U检验来判断在可见条件下手势产出高于非可见条件的概率是否等于在非可见条件下手势产出高于可见条件的概率。
研究结果： Mann-Whitney U 检验显示，对话对象可见的主说话人比对话对象不可见的主说话人产生了更多的手势，U = 53，p = .02。具体而言，与对话对象不可见的主说话人相比，对话对象可见的主说话人产生了更多的表征性手势（U = 30，p = 0.001）和指示性手势（U = 52，p = 0.02）（见图1）。主说话人产生的节律性手势在不同可见性条件下无显著差异，U = 82，n.s.，尽管他们在对话对象可见时产生的此类手势略多。虽然对主说话人可见的对话对象也比不可见的对话对象产生了更多的手势，但该差异未达到显著性水平，U = 89，n.s.。尽管对话对象在主说话人可见时产生的各类手势均多于主说话人不可见时，但其不同手势类型在可见性条件下的各项比较均未达到显著性水平。这些结果表明，主说话人在对话对象可见的情况下会增加表征性和指示性手势的产生，而其对话对象则可能不会表现出类似趋势。
卡通复述结果 
实施方法：以下报告的结果基于对41名青少年参与者收集的数据，其中18名被诊断为自闭症谱系障碍（ASD）（15名男性，3名女性；年龄：M = 15.17，SD = 2.75，范围 = 10.44 - 19.49），23名为典型发育个体（15名男性，6名女性；年龄：M = 15.81，SD = 2.42，范围 = 11.52 - 19.36）。两组参与者在实足年龄、性别和言语智商方面均进行了匹配。所有言语和手势均由两名对可见性条件和诊断信息设盲的编码员进行编码。为建立评分者间信度，第二名编码员独立编码了10名随机选取的参与者（占数据总量的24.3%）所产生的全部手势。主编码员与次编码员在识别手势上的一致性为98%，在手势分类上的一致性为95.4%。
分析概述： 在以下分析中，根据诊断结果和可见性比较了总体手势产生以及不同类型手势的产生情况，以评估它们对交流的影响。具体而言，采用双因素方差分析来检验诊断（ASD 与 TD）和可见性（可见与不可见）的独立效应及交互效应。
结果： 在总体手势产生方面，诊断因素无主效应（F &lt; 1). 然而，我们发现手势类型与诊断之间存在交互作用（F(3,117) = 0.74, p = 0.05，ηp2 = 0.07)。具体而言，患有自闭症谱系障碍（ASD）的青少年产生的隐喻性手势较少（M = 0.48; SD = 0.63), t(39) = 1.99, p = 0.05, d = 0.49 且节律性手势（M = 0.26; SD = 0.60, t(39) = 2.13, p = 0.04, d = 0.67）高于TD青少年（隐喻： M = 1.08; SD = 1.62；节律： M = 1.14; SD = 1.76）。在象征性手势的产生方面，ASD 与 TD 青少年之间未发现差异（ASD： M = 0.79; SD = 0.25；TD： M = 0.77; SD = 0.25; t &lt; 1）或指示性（ASD： M = 0.36; SD = 0.16；TD： M = 0.25; SD = 0.10; t&lt;1）手势。ASD 和 TD 青少年在与可见的听者交谈时，产生的手势更多（M = 0.97 克/100 SD = 1.45）高于一个不可见的听者（M = 0.36 g/100 SD = 0.83; F(1,39) = 18.18, p &lt; 0.001, ηp2 = 0.32；参见 图2）。然而，整体手势产出并未显示出诊断与对话者可见性之间的交互作用（F &lt; 1）综上所述，这些结果表明，与典型发育（TD）同龄人相比，孤独症谱系障碍（ASD）青少年产生的手势类型有所不同，但当与可见对话者交谈时，ASD青少年会像TD青少年一样增加所有类型手势的使用频率。
<img alt="手势频率比较柱状图，主讲者与对话者在可见与不可见情境下的对比。" class="xfigimg" src="/files/ftp_upload/66256/66256fig01.jpg" data-altupdatedat="1788304762000" data-alt="图 1"> 
图 1：第二语言词汇学习任务中主讲者与对话者的手势产出。 不同可见性条件下，主讲者与对话者每百词手势产出数量（误差线表示标准误）。<a href="https://www.jove.com/files/ftp_upload/66256/66256fig01large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="ASD和TD的姿势分析柱状图，比较姿势类型：表征性、隐喻性、节拍性和指示性。" class="xfigimg" src="/files/ftp_upload/66256/66256fig02.jpg" data-altupdatedat="1788304762000" data-alt="图2"> 
图2：ASD与TD青少年在卡通复述任务中，根据听者可见性所表现出的姿势产出情况。 ASD与TD青少年在（A）听者可见条件和（B）听者不可见条件下每百词产出的不同类型姿势（误差线表示标准误）。本图经Morett等21许可修改。 <a href="https://www.jove.com/files/ftp_upload/66256/66256fig02large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>

本文介绍了一种通过调控对话双方可见性来研究其对人际交流中手势产生影响的实验方案。该方案可灵活适用于不同的任务设计、手势类型及交流模式，尤其适用于存在交流障碍的人群，如第二语言学习者和自闭症谱系障碍个体。

理解说话者在与对话者交流时为何会调整其伴随言语的手势，可为这些手势的作用机制提供重要见解……

我的研究探讨了身体通过手势和手语影响交流的认知与神经机制。我工作的重点之一是手势与言语之间的关系在典型与非典型的语言发展及加工过程中有何差异。体内神经科学技术，如脑电图（EEG）、功能磁共振成像（fMRI）和功能近红外光谱成像（fNIRS），在揭示手势和手语的神经机制方面发挥了关键作用。此外，眼动追踪技术有助于了解手势和手语的实时加工过程。我的研究首次表明，观察表达音高轮廓的手势有助于英语等非声调语言的使用者学习词汇声调以及汉语普通话等声调语言。目前，我正利用脑电图（EEG）和功能性近红外光谱成像（fNIRS）来探究这一效应的神经特征。本方案提供了一种在存在交流障碍的情况下研究手势产生的方法。我已成功将其用于面对面情境下第二语言学习者及自闭症谱系障碍个体的手势产生研究，并计划将该方法拓展至其他人群及虚拟环境中。我的研究结果揭示了观察与执行手势如何促进语言的习得与加工过程。此外，它们还有助于揭示语言异常的潜在生物标志物以及治疗效果的评估指标。

examining-gesture-production-presence-communication

Research

科研

JoVE Journal

Behavior

行为

在存在沟通挑战的情况下检查手势的产生

需要对支持言语的生理机制进行客观评估，以监测肌萎缩侧索硬化症（ALS）患者的疾病发生和进展，并在临床试验中量化治疗效果。在本视频中，我们介绍了一种基于仪器的全面方案，用于量化临床人群中的言语运动表现。...

肌萎缩侧索硬化症（ALS）中延髓功能障碍的全面评估方案

本研究采用单脉冲经颅磁刺激刺激初级运动皮层，结合神经导航以及手部肌肉肌电活动的记录，探索受试者观察动作序列时的皮质脊髓兴奋性。...

动作观察期间皮质脊髓兴奋性的调节

尽管以往关于身体自我意识的研究假设，源自自身的运动与源自他人的运动在感知上是可区分的，但本方案通过虚拟手产生无意识的轻微运动，使两者的来源变得模糊。这使我们能够观察由自身感（SoO）和他人产生的能动感（SoA）共同形成的心理体验，而非仅仅观察能动感的缺失。...

虚拟手在自我与他人来源之间的模糊运动：拥有感与“他人产生”的能动感

提出了一种使用第一人称视角相机在日常活动中捕捉手部功能障碍个体自然手部功能的方案。该方案的目的是确保所记录的内容能够真实反映个体在家中进行日常生活活动时典型的手部使用情况。...

使用第一人称视角视频在上肢功能障碍个体中捕捉家庭环境下的代表性手部使用情况

本实验方案结合功能性近红外光谱成像（fNIRS）与基于视频的观察，用于测量四人小组在协作绘图任务中的人际同步性。...

使用功能性近红外光谱技术研究协作绘画过程中的群体同步性

该研究引入了一种训练-测试范式，用于探究在确信与怀疑语调情境下事件相关电位的新/旧效应。数据显示，在Pz及其他电极处，400-850...

基于记忆的训练与测试范式结合事件相关电位分析用于表达性言语中稳健的语音身份识别

本文提出了一种在自然手指手势过程中同步记录手部肌电图（EMG）和视觉手指追踪的全面实验方案。视觉数据旨在为基于肌电图的手指手势识别计算模型的开发提供准确的真值基准。...

利用高分辨率表面肌电图与计算机视觉捕捉动态手指手势

诱发模仿程序被建立用于研究婴儿期和幼儿期回忆记忆的发展。该程序已被广泛用于确立婴儿期和幼儿期回忆记忆特征的坚实基础。...

使用诱发模仿范式检测婴儿期和幼儿期的回忆记忆

小鼠的超声波发声被用作研究神经精神疾病小鼠模型中发声交流障碍遗传基础的替代指标。本实验方案描述了三种能够可靠诱发幼鼠（贯穿发育过程）和成年小鼠（同性别互动、雄性与发情雌性互动）产生超声波发声的实验情境。...

记录小鼠超声波发声以评估社交交流

工作记忆对多种认知任务的表现具有显著的预测作用，包括说话、阅读和写作。然而，目前可用于评估儿童工作记忆的工具较为有限。本文介绍一种创新的基于计算机的测评工具，可全面评估学龄儿童工作记忆的不同组分。...

评估儿童工作记忆：儿童综合评估量表—工作记忆分量表（CABC-WM）

探索手势产生在人际沟通中的作用，通过操控对话者可见性来研究其对沟通挑战人群的影响。本方案适用于第二语言学习者和自闭症谱系障碍者，为神经科学和手势研究提供灵活工具。

考察交流障碍情境下的手势产生

探索更多视频