考察交流障碍情境下的手势产生

摘要

本文介绍了一种通过调控对话双方可见性来研究其对人际交流中手势产生影响的实验方案。该方案可灵活适用于不同的任务设计、手势类型及交流模式，尤其适用于存在交流障碍的人群，如第二语言学习者和自闭症谱系障碍个体。

摘要

理解说话者在与对话者交流时为何调整其伴随言语的手势，有助于深入认识这些手势在面对面及虚拟情境下人际沟通中的作用。本研究方案通过在面对面情境中同步操控说话者及其对话者的可见性，考察当交流存在困难时，可见性对手势产出的影响。在这些方案中，说话者需完成一些任务，例如向另一位参与者或实验同谋者教授一种不熟悉第二语言中的词汇，或复述卡通短片中的事件。执行这些任务时，说话者的可见性状态（对对话者可见或不可见）以及对话者对说话者的可见性状态（可见或不可见）均被系统操控。在词汇学习任务中，相互可见的说话者与对话者比相互不可见的配对产生了更多的表征性手势（通过手形和动作传递意义）以及指示性（指向）手势。在叙事复述方案中，自闭症谱系障碍（ASD）青少年在与可见对话者交谈时比与不可见对话者交谈时产生了更多的手势。当前方案的一大优势在于其在所考察任务、人群和手势类型方面的灵活性，且该方案既可用于面对面情境，也可应用于视频会议情境。因此，该方案有望通过阐明手势在具有沟通障碍人群中人际交流中的作用，推动对手势产出机制的深入理解。

引言

伴随言语的手势（下文简称“手势”）——即与言语同时产生的、具有意义的手部动作——通过传递补充口语内容的信息，在人际交流中发挥重要作用¹。根据目前最广泛使用的分类体系^2,3，手势可分为三类：表征性手势，通过其形态和运动方式表达所指对象（例如，双手来回扇动以表示“飞翔”）；节拍手势，通过简单的点状动作表达强调（例如，在说出“"right now"”这一短语时，主用手逐词轻微向下移动）；以及指示性手势，通过指向动作引起对某实体存在或缺失的注意（例如，将拇指向后摆动以指示自身后方的物体）。表征性手势可进一步分为两类：具象手势，用于表达具体所指对象（例如，一只鸟）；隐喻手势，用于表达抽象隐喻所指对象（例如，狂喜）。由于手势与言语源自相同的概念内容，二者在意义上密切相关^4,5。作为一种具象化的视觉交流媒介，当口语理解出现困难时，手势有助于弥补理解上的不足⁶，无论这种困难源于个体因素（如对所用语言掌握程度有限^7,8），还是环境因素（如听觉上难以听清言语内容^9,10）。因此，手势在理解面对面及虚拟情境下的人际交流中具有不可或缺的作用，有助于揭示说话者与听者如何以多模态方式传递与理解信息。

已开发出多种结构化的互动任务，用于测量手势如何影响人际交流。这些任务包括访谈，即参与者通过描述个人经历来回答问题^11,12；图像描述，即向参与者呈现静态图像并要求其进行描述^13,14；解谜任务，即参与者通过正确进行空间组件定向来描述如何解决一个谜题^15,16；指路任务，即参与者被要求为听者不熟悉的地点提供路线指引^17,18,19；以及叙事复述，即参与者观看描绘一系列事件的动画，随后将其复述出来^20,21,22。上述研究中采用的许多任务均包含空间内容和动作，而手势在传达此类信息方面尤为有效^15,23,24,25。在上述研究任务中，参与者通常在语言表达的同时产生手势，研究会评估通过手势传达的信息及其与同步语言产出之间的关系。另一种方式是，参与者观看某人在完成其中一项任务时伴有手势（或无手势）的语言表达录像，随后评估其理解程度。所有这些任务既可通过虚拟方式进行，也可面对面实施，从而便于从广泛的参与者中收集数据，并实现不同交流模式间的比较。

手势对人际交流的影响已在多种参与者中得到研究。尤其受到关注的是存在交流障碍的人群，包括幼儿^{26,27,28,29,30}、第二语言（L2）使用者^8,31,32,33、自闭症谱系障碍（ASD）个体^20,21,22,34、特定性语言障碍个体^35,36,37、失语症患者^12,38、脑损伤个体³⁹以及口吃个体^40,41。这些研究表明，尽管上述许多人群能够利用手势促进交流，但部分人群（如自闭症谱系障碍个体）在有效运用手势进行交流方面可能存在困难。研究结果提示，这可能与这些人群在多大程度上考虑听众需求和环境线索有关，凸显了这些解释对于理解手势在交流中作用的实际意义。

揭示手势对人际交流影响的一个关键特征是对话者的可见性。在手势研究领域，一个极为重要的问题是：参与者做出手势主要是为了自身利益，即通过身体动作分担认知操作，还是为了对话者的利益，即利用手势进行交流。这一问题已通过在面对面情境中使用不透明隔板^26,42、电话情境¹³以及虚拟情境⁴³下考察对话者（不可）见性对手势产出的影响而得到研究。总体而言，这些研究结果表明，尽管说话者会出于自身利益而做出手势，但在与可见对话者交流时，其产出的表征性手势多于与不可见对话者交流时，而节律性手势的产出则在不同可见性条件下相似。因此，这些结果提示，表征性手势在多种情境下有助于交流，说明说话者会考虑对话者的视角，并相应调整其手势产出。尽管以往关于对话者可见性影响的研究在揭示手势对人际交流的贡献方面发挥了重要作用，但这些研究主要集中于正常发育人群中以英语作为第一语言（L1）的情况，因此尚不清楚这些发现是否可推广至存在交流障碍的人群。其中两类人群分别是第二语言（L2）学习者，他们在目标语言中可能难以通过言语进行交流；以及自闭症谱系障碍（ASD）儿童，其言语和非言语交流均存在异常。此外，目前很少有研究考察对话者可见性在虚拟情境下对手势产出的影响，而此类情境能够将对话者对参与者的可见性效应与参与者对对话者的可见性效应分离开来，因此目前尚不清楚在这些情境中所得结果是否具有可重复性。最后，部分研究聚焦于对话者可见性对特定类型手势产出的影响，因此尚不清楚其他类型手势的产出是否同样受到对话者可见性的影响。

以下所述的实验方案通过操控对话双方的可见性，来研究在具有挑战性的情境下手势产生的特点：第二语言词汇学习以及自闭症谱系障碍（ASD）个体的叙事复述。第二语言词汇学习方案将以往关于观察手势对第二语言词汇学习影响的研究，与通过互动式词汇学习范式探讨手势在交流中作用的研究结合起来。在此范式中，不熟悉目标语言的参与者首先学习该语言中的词汇，随后将这些词汇教授给其他同样不熟悉该语言的参与者，从而能够在对话情境中考察对话者可见性对第二语言习得早期阶段手势产生的影响。卡通故事复述范式采用了一种广泛使用的叙事复述任务，并在一个新的人群——患有自闭症谱系障碍的青少年中——考察操控对话者可见性时手势产生差异的情况。选择这一人群的原因在于，包括手势产生在内的语言能力在青春期已趋于成熟，而自闭症谱系障碍通常伴随言语和非言语交流困难，包括手势使用异常，以及对对话者交流需求缺乏敏感性。这些实验方案共同揭示了当人际交流面临挑战时，手势产生在多大程度上依赖于言语，以及反过来能否对手语表达的不足进行补偿。

根据已有研究发现，听者的可见性会影响以英语为母语者的手势产出^13,26,42,43，因此推测，当参与者在与可见对话者讨论第二语言词汇时，其总体手势以及表征性手势的产出数量会多于与不可见对话者交流时。基于另一些研究发现，自闭症谱系障碍（ASD）个体在手势产出方面存在异常 ^20,44，因此推测，与典型发育（TD）青少年相比，ASD青少年的总体手势、表征性手势以及指示性手势的产出数量均更少。此外，根据研究显示ASD个体在观点采择方面存在困难⁴⁵，因此推测，ASD青少年在与可见和不可见对话者交流时，其手势产出不会表现出显著差异。最后，预测诊断类型与可见性之间存在交互作用，即ASD青少年的手势产出在对话者可见与否的情况下无显著差异，而TD青少年则会因对话者可见性不同而表现出差异。

方案

所有参与者均提供了书面知情同意，且所有实验方案均经主办机构的机构审查委员会批准。代表性结果所依据的研究中实施了L2词汇学习和卡通故事复述方案^21,33。尽管迄今为止这些方案仅在线下环境中实施过，但目前正在进行一项相关方案，独立操控对话者与参与者的可见性（本方案未在此处描述），以探讨在此情境下的可重复性，并计划将该研究扩展至存在沟通障碍的人群，例如自闭症谱系障碍（ASD）个体。

1. 参与者

注意：在遵守每项研究对参与者特征的必要限制的同时，样本应尽可能代表更广泛的人群。

1. 第二语言词汇学习实验的参与者招募
   1. 招募年龄在18岁及以上、视力正常或矫正至正常、听力正常且以英语为第一语言（L1）的参与者。为确保本研究能够考察手势对第二语言（L2）词汇初学阶段的影响，应招募无匈牙利语知识的参与者，因匈牙利语为本研究的目标语言。
2. 动画复述实验的参与者招募
   1. 招募年龄足以完成实验任务的参与者（在Morett等人的研究中为10至20岁）²¹，包括被诊断为自闭症谱系障碍（ASD）的个体以及典型发育（TD）个体。
      1. 为确保参与者能够成功完成实验任务，应招募以英语为第一语言（L1）、视力正常或矫正至正常、听力正常，并且全量表智商（IQ）达到85或以上（通过标准化评估在研究前或研究时测定）的参与者⁴⁶。
      2. 为确保本研究能够专门考察ASD对手势产出的特定影响，应招募未患癫痫、脑膜炎、脑炎、糖尿病、儿童瓦解性障碍或未另行说明的广泛性发育障碍（PDD-NOS）的ASD参与者。
      3. 为确保ASD个体的手势产出可与典型发育个体进行比较，应招募无共病精神疾病、且无一级亲属被诊断为广泛性发育障碍的TD参与者。

2. 可见性操控概述

1. 若需考察自发手势产生与观察的效果（如第二语言词汇学习实验方案中所述），则成对招募参与者；若仅需考察自发手势产生的效果（如卡通故事复述实验方案中所述），则单独招募参与者，并由一名研究助理作为搭档参与实验。
2. 向参与者提供包含研究信息的知情同意书，供其签署，并解答其关于研究的任何疑问，注意不得透露本研究聚焦于手势产生的目的。在参与者签署后收回同意书。
3. 对于成对招募的参与者，采用抛硬币等方式随机决定其中一人作为“说话者”（在实验任务中主要负责讲话），另一人作为“对话者”（在实验任务中主要负责倾听，并偶尔与说话者互动）。对于单独招募并由研究助理作为对话者的参与者，采用固定方式（如预设结果的抛硬币）确保参与者始终担任说话者，研究助理始终担任对话者。
4. 在一半的实验环节中，在说话者与对话者之间放置不透明隔板，以确保双方无法看到彼此的面部或手部动作。
5. 向参与者说明其在实验任务中的操作流程，并解答相关问题。告知参与者其言语将被音频记录，并指出所使用的麦克风。为避免视频记录意识对手势产生造成影响，不得告知参与者将进行视频记录，并确保用于视频记录的摄像机对参与者不可见。
6. 通过按下相应按钮启动视频和音频记录。实施实验任务，以诱发说话者以及（如有）对话者的言语和手势行为。
7. 若采用被试内设计，则在第一轮使用隔板的情况下将其移除，或在第一轮未使用隔板的情况下将其放置于说话者与对话者之间。
8. 根据需要重复实验任务，直至所有刺激材料用尽。
9. 通过按下相应按钮停止视频和音频记录。告知参与者本研究关注手势行为，并说明已进行视频记录，同时可根据参与者的意愿，在数据分析前删除其视频资料。
10. 回答参与者的任何问题，并在结束实验前对其参与表示感谢。

3. 二语词汇学习方案

1. 通过视频和音频记录说话者与对话者的言语和手势，以便后续分析实验任务期间的言语与手势产出情况。
   1. 在说话者与对话者之间放置一个桌面麦克风用于录音。将摄像机置于说话者与对话者一侧，与二者呈90°角，并确保摄像机不会被参与者看到。
   2. 此外，需确保视频摄像机的视野涵盖说话者和对话者，同时避免计算机屏幕出现在摄像机视野中，以保证在后续分析中对L2词汇呈现条件保持盲态。
2. 使用计算机通过耳机向说话者以听觉方式呈现目标语言中的一个L2词汇，确保该词汇对对话者不可听见，从而使说话者能够随后将该词教授给对话者。同时，向说话者呈现以下两种刺激之一：目标语言的L1说话者说出该L2词汇并配合表达词义的表征性手势的视频，屏幕底部显示该L2词汇的文字；或仅在屏幕中央呈现该L2词汇的文字，无视频。
3. 在500 ms的暂停后，向说话者在屏幕中央呈现该L2词汇的L1翻译文字，持续2000 ms。
4. 提示解释者通过言语和/或手势将该L2词汇及其含义教授给对话者。
5. 指示说话者在准备就绪后按下按钮继续。说话者操作后，呈现下一个L2词汇。重复此过程，直至全部20个L2词汇以随机顺序呈现完毕。
6. 通过将每个L2词汇以文字形式单独呈现，测试说话者和对话者对实验任务中所呈现L2词汇的掌握情况，并提示他们说出对应的L1翻译；若无法回忆翻译，可跳过该词。

4. 漫画复述方案

1. 如果尚未通过标准化的智商评估测试测量过参与者的智商，则需进行一次测试，以确保其智商在85或以上。
2. 对参与者进行视频和音频录制，以便后续分析其言语和手势产出。在参与者前方放置一个桌面麦克风用于录音。将摄像机置于参与者一侧，与之呈90°角，并确保参与者无法看到摄像机。
3. 向参与者播放《乐一通》动画片《金丝雀小巷》的前半部分。该部分包含多个片段，描绘了猫西尔维斯特多次试图捕捉崔弟鸟但均告失败的情节。
4. 指导参与者尽可能详细地向对话者复述动画片前半部分的事件内容。指导对话者认真倾听参与者的复述，并在其叙述简略时提示其进一步补充细节。
5. 对《金丝雀小巷》视频的后半部分重复步骤4.1和4.2，该部分包含更多西尔维斯特猫试图捕捉崔弟鸟但再次失败的片段。

5. 转录与编码

注意：为尽量减少偏差，应尽可能在不知晓参与者和试验被分配至何种条件的情况下，对数据进行盲法转录和编码。理想情况下，转录人员和编码人员不应参与数据收集工作。

1. 根据标准化方案（如 CHAT⁴⁷），使用适当的软件手动对所有参与者言语进行正字法转录，以生成词数统计。转录所有口头信息，例如填充词和自我修正，但不转录停顿。
2. 识别并编码所有参与者的手势，以统计每种手势类型的数量。根据 McNeill 的分类法^2,3，将手势从静止到静止进行界定，并将其分为四类：表征性（iconic）、隐喻性（metaphorical）、节拍性（beat）和指示性（deictic）。注意，某些手势可能属于多种类型。
3. 通过将表征性手势的数量除以词数，再乘以 100，计算每百词中的手势频率，针对每个片段分别计算。
4. 由另一位独立编码员对 25% 的数据进行手势编码。计算两位编码员共同编码数据的一致性百分比，并确保其至少达到 80%，以保证足够的评分者间信度。

结果

第二语言词汇学习
实施方法：下述结果基于按照上述方案收集的52名健康参与者（21名男性，31名女性；年龄：M = 20.15，标准差 = 1.73，范围 = 18–28岁）的数据。所有言语和手势均由主要编码员进行编码，由于使用单个摄像机同时记录说话者和对话者的数据（如步骤3.4所述），编码员无法对可见性条件设盲。为建立评分者间信度，第二名编码员独立对6组随机选取的配对所产生的所有手势进行编码（k = 389，占数据总量的23.08%）。主要编码员与第二名编码员在手势识别上的一致性为92%，在手势分类上的一致性为90%。

分析概述： 在以下分析中，通过可见性来比较说话者和对话者的整体手势产出以及不同类型手势的产出，以评估其对第二语言词汇交流的影响。由于数据分布的非正态性和偏态性，基于可见性的比较采用非参数的曼-惠特尼U检验进行，该方法不依赖于正态性和偏态性的假设。具体而言，使用曼-惠特尼U检验来判断在可见条件下手势产出高于非可见条件的概率是...

讨论

本实验方案通过调控说话者与对话者之间的相互可见性，探究在具有挑战性的情境下——即患有自闭症谱系障碍（ASD）的青少年进行第二语言词汇学习和叙述性复述时——这种可见性对手势产出的影响。该方案既可在线下实施，也可通过虚拟方式进行，能够同步或独立地操控参与者与对话者的可见性。该方案适用于多种实验任务、手势类型及受试人群，具有较高的灵活性，可在各种交流困难的情境中实施，并揭示这些情境下手势产出发生改变的多种方式。因此，通过调控对话者的可见性，本方案有助于深入理解手势如何影响存在交流障碍人群的人际沟通过程。

与用于健康成年L1说话者的其他类似方案一样^13,26,42,43，本方案最关键的方面是操控说话者与对话者之间的相互可见性。由于本方案在本文报告的两项研究中均为面对面实施^21,<...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
计算机	苹果	Z131	24" iMac，8核CPU &和 GPU，M3 芯片
会议用USB麦克风	吨	B07GVGMW59
ELAN	语言档案库		用于转录语音和手势的软件应用程序
视频记录仪	Vjianger	B07YBCMXJJ	FHD 2.7K 30 FPS 24 MP 16倍数码变焦 3" 带遥控器和三脚架的触摸屏录像机
韦氏简式智力量表	皮尔逊	158981561	用于验证全量程 IQ ≥ 80，见 Morett 等（2016）