本文介绍了一种通过调控对话双方可见性来研究其对人际交流中手势产生影响的实验方案。该方案可灵活适用于不同的任务设计、手势类型及交流模式,尤其适用于存在交流障碍的人群,如第二语言学习者和自闭症谱系障碍个体。
本文介绍了一种通过调控对话双方可见性来研究其对人际交流中手势产生影响的实验方案。该方案可灵活适用于不同的任务设计、手势类型及交流模式,尤其适用于存在交流障碍的人群,如第二语言学习者和自闭症谱系障碍个体。
理解说话者在与对话者交流时为何调整其伴随言语的手势,有助于深入认识这些手势在面对面及虚拟情境下人际沟通中的作用。本研究方案通过在面对面情境中同步操控说话者及其对话者的可见性,考察当交流存在困难时,可见性对手势产出的影响。在这些方案中,说话者需完成一些任务,例如向另一位参与者或实验同谋者教授一种不熟悉第二语言中的词汇,或复述卡通短片中的事件。执行这些任务时,说话者的可见性状态(对对话者可见或不可见)以及对话者对说话者的可见性状态(可见或不可见)均被系统操控。在词汇学习任务中,相互可见的说话者与对话者比相互不可见的配对产生了更多的表征性手势(通过手形和动作传递意义)以及指示性(指向)手势。在叙事复述方案中,自闭症谱系障碍(ASD)青少年在与可见对话者交谈时比与不可见对话者交谈时产生了更多的手势。当前方案的一大优势在于其在所考察任务、人群和手势类型方面的灵活性,且该方案既可用于面对面情境,也可应用于视频会议情境。因此,该方案有望通过阐明手势在具有沟通障碍人群中人际交流中的作用,推动对手势产出机制的深入理解。
伴随言语的手势(下文简称“手势”)——即与言语同时产生的、具有意义的手部动作——通过传递补充口语内容的信息,在人际交流中发挥重要作用1。根据目前最广泛使用的分类体系2,3,手势可分为三类:表征性手势,通过其形态和运动方式表达所指对象(例如,双手来回扇动以表示“飞翔”);节拍手势,通过简单的点状动作表达强调(例如,在说出“"right now"”这一短语时,主用手逐词轻微向下移动);以及指示性手势,通过指向动作引起对某实体存在或缺失的注意(例如,将拇指向后摆动以指示自身后方的物体)。表征性手势可进一步分为两类:具象手势,用于表达具体所指对象(例如,一只鸟);隐喻手势,用于表达抽象隐喻所指对象(例如,狂喜)。由于手势与言语源自相同的概念内容,二者在意义上密切相关4,5。作为一种具象化的视觉交流媒介,当口语理解出现困难时,手势有助于弥补理解上的不足6,无论这种困难源于个体因素(如对所用语言掌握程度有限7,8),还是环境因素(如听觉上难以听清言语内容9,10)。因此,手势在理解面对面及虚拟情境下的人际交流中具有不可或缺的作用,有助于揭示说话者与听者如何以多模态方式传递与理解信息。
已开发出多种结构化的互动任务,用于测量手势如何影响人际交流。这些任务包括访谈,即参与者通过描述个人经历来回答问题11,12;图像描述,即向参与者呈现静态图像并要求其进行描述13,14;解谜任务,即参与者通过正确进行空间组件定向来描述如何解决一个谜题15,16;指路任务,即参与者被要求为听者不熟悉的地点提供路线指引17,18,19;以及叙事复述,即参与者观看描绘一系列事件的动画,随后将其复述出来20,21,22。上述研究中采用的许多任务均包含空间内容和动作,而手势在传达此类信息方面尤为有效15,23,24,25。在上述研究任务中,参与者通常在语言表达的同时产生手势,研究会评估通过手势传达的信息及其与同步语言产出之间的关系。另一种方式是,参与者观看某人在完成其中一项任务时伴有手势(或无手势)的语言表达录像,随后评估其理解程度。所有这些任务既可通过虚拟方式进行,也可面对面实施,从而便于从广泛的参与者中收集数据,并实现不同交流模式间的比较。
手势对人际交流的影响已在多种参与者中得到研究。尤其受到关注的是存在交流障碍的人群,包括幼儿26,27,28,29,30、第二语言(L2)使用者8,31,32,33、自闭症谱系障碍(ASD)个体20,21,22,34、特定性语言障碍个体35,36,37、失语症患者12,38、脑损伤个体39以及口吃个体40,41。这些研究表明,尽管上述许多人群能够利用手势促进交流,但部分人群(如自闭症谱系障碍个体)在有效运用手势进行交流方面可能存在困难。研究结果提示,这可能与这些人群在多大程度上考虑听众需求和环境线索有关,凸显了这些解释对于理解手势在交流中作用的实际意义。
揭示手势对人际交流影响的一个关键特征是对话者的可见性。在手势研究领域,一个极为重要的问题是:参与者做出手势主要是为了自身利益,即通过身体动作分担认知操作,还是为了对话者的利益,即利用手势进行交流。这一问题已通过在面对面情境中使用不透明隔板26,42、电话情境13以及虚拟情境43下考察对话者(不可)见性对手势产出的影响而得到研究。总体而言,这些研究结果表明,尽管说话者会出于自身利益而做出手势,但在与可见对话者交流时,其产出的表征性手势多于与不可见对话者交流时,而节律性手势的产出则在不同可见性条件下相似。因此,这些结果提示,表征性手势在多种情境下有助于交流,说明说话者会考虑对话者的视角,并相应调整其手势产出。尽管以往关于对话者可见性影响的研究在揭示手势对人际交流的贡献方面发挥了重要作用,但这些研究主要集中于正常发育人群中以英语作为第一语言(L1)的情况,因此尚不清楚这些发现是否可推广至存在交流障碍的人群。其中两类人群分别是第二语言(L2)学习者,他们在目标语言中可能难以通过言语进行交流;以及自闭症谱系障碍(ASD)儿童,其言语和非言语交流均存在异常。此外,目前很少有研究考察对话者可见性在虚拟情境下对手势产出的影响,而此类情境能够将对话者对参与者的可见性效应与参与者对对话者的可见性效应分离开来,因此目前尚不清楚在这些情境中所得结果是否具有可重复性。最后,部分研究聚焦于对话者可见性对特定类型手势产出的影响,因此尚不清楚其他类型手势的产出是否同样受到对话者可见性的影响。
以下所述的实验方案通过操控对话双方的可见性,来研究在具有挑战性的情境下手势产生的特点:第二语言词汇学习以及自闭症谱系障碍(ASD)个体的叙事复述。第二语言词汇学习方案将以往关于观察手势对第二语言词汇学习影响的研究,与通过互动式词汇学习范式探讨手势在交流中作用的研究结合起来。在此范式中,不熟悉目标语言的参与者首先学习该语言中的词汇,随后将这些词汇教授给其他同样不熟悉该语言的参与者,从而能够在对话情境中考察对话者可见性对第二语言习得早期阶段手势产生的影响。卡通故事复述范式采用了一种广泛使用的叙事复述任务,并在一个新的人群——患有自闭症谱系障碍的青少年中——考察操控对话者可见性时手势产生差异的情况。选择这一人群的原因在于,包括手势产生在内的语言能力在青春期已趋于成熟,而自闭症谱系障碍通常伴随言语和非言语交流困难,包括手势使用异常,以及对对话者交流需求缺乏敏感性。这些实验方案共同揭示了当人际交流面临挑战时,手势产生在多大程度上依赖于言语,以及反过来能否对手语表达的不足进行补偿。
根据已有研究发现,听者的可见性会影响以英语为母语者的手势产出13,26,42,43,因此推测,当参与者在与可见对话者讨论第二语言词汇时,其总体手势以及表征性手势的产出数量会多于与不可见对话者交流时。基于另一些研究发现,自闭症谱系障碍(ASD)个体在手势产出方面存在异常 20,44,因此推测,与典型发育(TD)青少年相比,ASD青少年的总体手势、表征性手势以及指示性手势的产出数量均更少。此外,根据研究显示ASD个体在观点采择方面存在困难45,因此推测,ASD青少年在与可见和不可见对话者交流时,其手势产出不会表现出显著差异。最后,预测诊断类型与可见性之间存在交互作用,即ASD青少年的手势产出在对话者可见与否的情况下无显著差异,而TD青少年则会因对话者可见性不同而表现出差异。
所有参与者均提供了书面知情同意,且所有实验方案均经主办机构的机构审查委员会批准。代表性结果所依据的研究中实施了L2词汇学习和卡通故事复述方案21,33。尽管迄今为止这些方案仅在线下环境中实施过,但目前正在进行一项相关方案,独立操控对话者与参与者的可见性(本方案未在此处描述),以探讨在此情境下的可重复性,并计划将该研究扩展至存在沟通障碍的人群,例如自闭症谱系障碍(ASD)个体。
1. 参与者
注意:在遵守每项研究对参与者特征的必要限制的同时,样本应尽可能代表更广泛的人群。
2. 可见性操控概述
3. 二语词汇学习方案
4. 漫画复述方案
5. 转录与编码
注意:为尽量减少偏差,应尽可能在不知晓参与者和试验被分配至何种条件的情况下,对数据进行盲法转录和编码。理想情况下,转录人员和编码人员不应参与数据收集工作。
第二语言词汇学习
实施方法:下述结果基于按照上述方案收集的52名健康参与者(21名男性,31名女性;年龄:M = 20.15,标准差 = 1.73,范围 = 18–28岁)的数据。所有言语和手势均由主要编码员进行编码,由于使用单个摄像机同时记录说话者和对话者的数据(如步骤3.4所述),编码员无法对可见性条件设盲。为建立评分者间信度,第二名编码员独立对6组随机选取的配对所产生的所有手势进行编码(k = 389,占数据总量的23.08%)。主要编码员与第二名编码员在手势识别上的一致性为92%,在手势分类上的一致性为90%。
分析概述: 在以下分析中,通过可见性来比较说话者和对话者的整体手势产出以及不同类型手势的产出,以评估其对第二语言词汇交流的影响。由于数据分布的非正态性和偏态性,基于可见性的比较采用非参数的曼-惠特尼U检验进行,该方法不依赖于正态性和偏态性的假设。具体而言,使用曼-惠特尼U检验来判断在可见条件下手势产出高于非可见条件的概率是否等于在非可见条件下手势产出高于可见条件的概率。
研究结果: Mann-Whitney U 检验显示,对话对象可见的主说话人比对话对象不可见的主说话人产生了更多的手势,U = 53,p = .02。具体而言,与对话对象不可见的主说话人相比,对话对象可见的主说话人产生了更多的表征性手势(U = 30,p = 0.001)和指示性手势(U = 52,p = 0.02)(见图1)。主说话人产生的节律性手势在不同可见性条件下无显著差异,U = 82,n.s.,尽管他们在对话对象可见时产生的此类手势略多。虽然对主说话人可见的对话对象也比不可见的对话对象产生了更多的手势,但该差异未达到显著性水平,U = 89,n.s.。尽管对话对象在主说话人可见时产生的各类手势均多于主说话人不可见时,但其不同手势类型在可见性条件下的各项比较均未达到显著性水平。这些结果表明,主说话人在对话对象可见的情况下会增加表征性和指示性手势的产生,而其对话对象则可能不会表现出类似趋势。
卡通复述结果
实施方法:以下报告的结果基于对41名青少年参与者收集的数据,其中18名被诊断为自闭症谱系障碍(ASD)(15名男性,3名女性;年龄:M = 15.17,SD = 2.75,范围 = 10.44 - 19.49),23名为典型发育个体(15名男性,6名女性;年龄:M = 15.81,SD = 2.42,范围 = 11.52 - 19.36)。两组参与者在实足年龄、性别和言语智商方面均进行了匹配。所有言语和手势均由两名对可见性条件和诊断信息设盲的编码员进行编码。为建立评分者间信度,第二名编码员独立编码了10名随机选取的参与者(占数据总量的24.3%)所产生的全部手势。主编码员与次编码员在识别手势上的一致性为98%,在手势分类上的一致性为95.4%。
分析概述: 在以下分析中,根据诊断结果和可见性比较了总体手势产生以及不同类型手势的产生情况,以评估它们对交流的影响。具体而言,采用双因素方差分析来检验诊断(ASD 与 TD)和可见性(可见与不可见)的独立效应及交互效应。
结果: 在总体手势产生方面,诊断因素无主效应(F < 1). 然而,我们发现手势类型与诊断之间存在交互作用(F(3,117) = 0.74, p = 0.05,ηp2 = 0.07)。具体而言,患有自闭症谱系障碍(ASD)的青少年产生的隐喻性手势较少(M = 0.48; SD = 0.63), t(39) = 1.99, p = 0.05, d = 0.49 且节律性手势(M = 0.26; SD = 0.60, t(39) = 2.13, p = 0.04, d = 0.67)高于TD青少年(隐喻: M = 1.08; SD = 1.62;节律: M = 1.14; SD = 1.76)。在象征性手势的产生方面,ASD 与 TD 青少年之间未发现差异(ASD: M = 0.79; SD = 0.25;TD: M = 0.77; SD = 0.25; t < 1)或指示性(ASD: M = 0.36; SD = 0.16;TD: M = 0.25; SD = 0.10; t<1)手势。ASD 和 TD 青少年在与可见的听者交谈时,产生的手势更多(M = 0.97 克/100 SD = 1.45)高于一个不可见的听者(M = 0.36 g/100 SD = 0.83; F(1,39) = 18.18, p < 0.001, ηp2 = 0.32;参见 图2)。然而,整体手势产出并未显示出诊断与对话者可见性之间的交互作用(F < 1)综上所述,这些结果表明,与典型发育(TD)同龄人相比,孤独症谱系障碍(ASD)青少年产生的手势类型有所不同,但当与可见对话者交谈时,ASD青少年会像TD青少年一样增加所有类型手势的使用频率。

图 1:第二语言词汇学习任务中主讲者与对话者的手势产出。 不同可见性条件下,主讲者与对话者每百词手势产出数量(误差线表示标准误)。请点击此处查看该图的放大版本。

图2:ASD与TD青少年在卡通复述任务中,根据听者可见性所表现出的姿势产出情况。 ASD与TD青少年在(A)听者可见条件和(B)听者不可见条件下每百词产出的不同类型姿势(误差线表示标准误)。本图经Morett等21许可修改。 请点击此处查看此图的放大版本。
本实验方案通过调控说话者与对话者之间的相互可见性,探究在具有挑战性的情境下——即患有自闭症谱系障碍(ASD)的青少年进行第二语言词汇学习和叙述性复述时——这种可见性对手势产出的影响。该方案既可在线下实施,也可通过虚拟方式进行,能够同步或独立地操控参与者与对话者的可见性。该方案适用于多种实验任务、手势类型及受试人群,具有较高的灵活性,可在各种交流困难的情境中实施,并揭示这些情境下手势产出发生改变的多种方式。因此,通过调控对话者的可见性,本方案有助于深入理解手势如何影响存在交流障碍人群的人际沟通过程。
与用于健康成年L1说话者的其他类似方案一样13,26,42,43,本方案最关键的方面是操控说话者与对话者之间的相互可见性。由于本方案在本文报告的两项研究中均为面对面实施21,33,因此可见性的操控是同步进行的,即说话者与对话者之间要么彼此可见,要么彼此不可见。本方案可轻松调整以适用于视频会议情境,从而独立操控说话者与对话者的可见性,进而分离可见性对说话者和对话者手势产出的影响43。本方案另一个关键特征是其对话性质,通过包含说话者和对话者,反映了自然的会话情境,这与以往用于研究手势产出的结构化互动任务一致11,12,17,18,19,20,22。值得注意的是,对话者可以是第二名参与者,也可以是研究助理,具体取决于其手势产出是否为研究关注点。本方案最后一个关键方面是:不向参与者透露本研究聚焦于手势产出,并确保他们在实验任务完成前不知道自己正在被录像26,42。尽管在一些使用类似方案的研究中,参与者知晓录像情况12,20,43,但在本方案中,当参与者未意识到其手势正被记录时,其手势产出更可能接近自然会话情境中的表现。
本方案的一个主要优势在于其在任务类型、参与者和手势方面的灵活性。尽管叙事复述任务因其在面对面情境中有效诱发表征性手势产出的差异而常被采用26,42,但该实验操作也可结合其他任务来诱发手势产出,例如本文所述的第二语言词汇学习范式33,48,以及访谈11,12、图片描述13,14、解谜任务15,16和指路任务17,19,27。由于该操作对参与者友好,因此可用于存在交流障碍的人群,例如本文所述的第二语言学习者和自闭症谱系障碍儿童,以及患有特定性语言障碍、口吃、脑损伤和失语症的儿童与成人。通过操控对话者可见性,可对表征性手势、节律性手势和指示性手势进行考察,从而量化不同人群在不同对话者可见性条件下的手势产出差异。最后,尽管对话者可见性操控最初是为面对面情境设计的,但也可通过开启或关闭网络摄像头的方式在视频会议情境中实施,从而实现对视频会议与面对面情境下手势产出的直接比较49,并可独立考察主要说话人和对话者的可见性对手势产出的影响43。
尽管对话者可见性操控因其对参与者友好且灵活,有望推进对存在沟通障碍的人群及情境中手势产出的理解,但它仍存在一些局限性。在当前的实施形式中,该实验需面对面进行,这可能限制了参与者招募范围,仅限于本地便利样本。这一局限性已通过在视频会议情境中实施该范式得到克服,但迄今为止,尚未在视频会议情境下对存在沟通障碍的人群开展相关研究,因此目前尚不清楚在这些人群中关于手势产出的研究发现是否能在该情境下得到重复验证。 为解决这一局限,我们目前正在健康的第一语言为英语的参与者中,于视频会议情境下实施包含卡通复述任务的操控版本,并计划后续将其应用于自闭症谱系障碍(ASD)个体。尽管可见性操控对大量可能存在沟通障碍的潜在参与者具有可及性,但参与者必须能够成功完成任务,因此对于缺乏足够语言能力以完成任务的个体而言,该方法仍不可行。尽管通过简化任务在一定程度上可能缓解这一局限,但降低言语产出要求可能会同时减少手势产出,从而因对话者可见性而导致手势产出差异更难被检测到。
目前的实验方案代表了首次在存在沟通障碍的人群中实施对话者可见性操控。尽管此前已有研究通过操控对话者可见性来考察其对健康学龄前儿童手势产出的影响26,这些儿童在某些情况下可能难以用其英语母语进行有效交流,但他们所面临的沟通困难在程度和持续性上均不及第二语言初学者或患有自闭症谱系障碍(ASD)的青少年。如代表性结果部分所讨论的先前发表研究的发现所示21,33,本实验方案能够揭示对话者可见性对这些人群手势产出影响的异同,证明该方案可应用于比健康英语母语学龄前儿童存在更严重且更持久沟通障碍的个体。未来,将本方案应用于沟通障碍更为严重和持久的人群(例如失语症患者12,38、特定性语言障碍患者35,36,37或口吃者40,41)将具有重要意义,以进一步探究操控对话者可见性对其手势产出的影响。
总体而言,当前的实验方案提供了一种研究交流障碍个体在第二语言词汇学习和叙述复述过程中,对话者可见性对手势产出影响的方法。通过这种方式,该方案揭示了存在交流障碍个体的手势产出在多大程度上会响应对话者的需求,反映了这些个体在交流过程中进行观点采择的程度。通过操控对话者的可见性,研究者能够灵活地探讨这一问题,以及在虚拟和面对面情境下,针对不同任务、不同人群和不同类型手势所产生的其他重要理论问题,从而揭示研究结果的可推广性和可重复性,并有助于识别可能观察到手势产出个体差异的具体情境。因此,操控对话者可见性有望推动人们对在具有挑战性的交流情境下,无论是面对面还是虚拟环境中手势产出机制的理解。
作者声明无竞争性财务利益。
L2词汇学习方案的开发与验证得到了美国国防部空军科学研究办公室颁发的国家防御科学与工程研究生(NDSEG)奖学金(32 CFR 168a)的支持。针对患有自闭症谱系障碍(ASD)青少年的卡通复述方案的开发与验证得到了美国国家心理健康研究所颁发的露丝·S·柯尔施坦因机构国家研究服务奖(T32)的支持。作者感谢Rachel Fader、Theo Haugen、Andrew Lynn、Ashlie Caputo和Marco Pilotta在数据收集与编码工作中提供的协助。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 计算机 | 苹果 | Z131 | 24" iMac,8核CPU &和 GPU,M3 芯片 |
| 会议用USB麦克风 | 吨 | B07GVGMW59 | |
| ELAN | 语言档案库 | 用于转录语音和手势的软件应用程序 | |
| 视频记录仪 | Vjianger | B07YBCMXJJ | FHD 2.7K 30 FPS 24 MP 16倍数码变焦 3" 带遥控器和三脚架的触摸屏录像机 |
| 韦氏简式智力量表 | 皮尔逊 | 158981561 | 用于验证全量程 IQ ≥ 80,见 Morett 等(2016) |
申请许可以重复使用本 JoVE 文章的文本或图表
申请许可