方法文章

考察交流障碍情境下的手势产生

1.5K 次观看

DOI:

10.3791/66256

2024年1月26日

本文内容

摘要

本文介绍了一种通过调控对话双方可见性来研究其对人际交流中手势产生影响的实验方案。该方案可灵活适用于不同的任务设计、手势类型及交流模式,尤其适用于存在交流障碍的人群,如第二语言学习者和自闭症谱系障碍个体。

摘要

理解说话者在与对话者交流时为何调整其伴随言语的手势,有助于深入认识这些手势在面对面及虚拟情境下人际沟通中的作用。本研究方案通过在面对面情境中同步操控说话者及其对话者的可见性,考察当交流存在困难时,可见性对手势产出的影响。在这些方案中,说话者需完成一些任务,例如向另一位参与者或实验同谋者教授一种不熟悉第二语言中的词汇,或复述卡通短片中的事件。执行这些任务时,说话者的可见性状态(对对话者可见或不可见)以及对话者对说话者的可见性状态(可见或不可见)均被系统操控。在词汇学习任务中,相互可见的说话者与对话者比相互不可见的配对产生了更多的表征性手势(通过手形和动作传递意义)以及指示性(指向)手势。在叙事复述方案中,自闭症谱系障碍(ASD)青少年在与可见对话者交谈时比与不可见对话者交谈时产生了更多的手势。当前方案的一大优势在于其在所考察任务、人群和手势类型方面的灵活性,且该方案既可用于面对面情境,也可应用于视频会议情境。因此,该方案有望通过阐明手势在具有沟通障碍人群中人际交流中的作用,推动对手势产出机制的深入理解。

引言

伴随言语的手势(下文简称“手势”)——即与言语同时产生的、具有意义的手部动作——通过传递补充口语内容的信息,在人际交流中发挥重要作用1。根据目前最广泛使用的分类体系2,3,手势可分为三类:表征性手势,通过其形态和运动方式表达所指对象(例如,双手来回扇动以表示“飞翔”);节拍手势,通过简单的点状动作表达强调(例如,在说出“"right now"”这一短语时,主用手逐词轻微向下移动);以及指示性手势,通过指向动作引起对某实体存在或缺失的注意(例如,将拇指向后摆动以指示自身后方的物体)。表征性手势可进一步分为两类:具象手势,用于表达具体所指对象(例如,一只鸟);隐喻手势,用于表达抽象隐喻所指对象(例如,狂喜)。由于手势与言语源自相同的概念内容,二者在意义上密切相关4,5。作为一种具象化的视觉交流媒介,当口语理解出现困难时,手势有助于弥补理解上的不足6,无论这种困难源于个体因素(如对所用语言掌握程度有限7,8),还是环境因素(如听觉上难以听清言语内容9,10)。因此,手势在理解面对面及虚拟情境下的人际交流中具有不可或缺的作用,有助于揭示说话者与听者如何以多模态方式传递与理解信息。

已开发出多种结构化的互动任务,用于测量手势如何影响人际交流。这些任务包括访谈,即参与者通过描述个人经历来回答问题11,12;图像描述,即向参与者呈现静态图像并要求其进行描述13,14;解谜任务,即参与者通过正确进行空间组件定向来描述如何解决一个谜题15,16;指路任务,即参与者被要求为听者不熟悉的地点提供路线指引17,18,19;以及叙事复述,即参与者观看描绘一系列事件的动画,随后将其复述出来20,21,22。上述研究中采用的许多任务均包含空间内容和动作,而手势在传达此类信息方面尤为有效15,23,24,25。在上述研究任务中,参与者通常在语言表达的同时产生手势,研究会评估通过手势传达的信息及其与同步语言产出之间的关系。另一种方式是,参与者观看某人在完成其中一项任务时伴有手势(或无手势)的语言表达录像,随后评估其理解程度。所有这些任务既可通过虚拟方式进行,也可面对面实施,从而便于从广泛的参与者中收集数据,并实现不同交流模式间的比较。

手势对人际交流的影响已在多种参与者中得到研究。尤其受到关注的是存在交流障碍的人群,包括幼儿26,27,28,29,30、第二语言(L2)使用者8,31,32,33、自闭症谱系障碍(ASD)个体20,21,22,34、特定性语言障碍个体35,36,37、失语症患者12,38、脑损伤个体39以及口吃个体40,41。这些研究表明,尽管上述许多人群能够利用手势促进交流,但部分人群(如自闭症谱系障碍个体)在有效运用手势进行交流方面可能存在困难。研究结果提示,这可能与这些人群在多大程度上考虑听众需求和环境线索有关,凸显了这些解释对于理解手势在交流中作用的实际意义。

揭示手势对人际交流影响的一个关键特征是对话者的可见性。在手势研究领域,一个极为重要的问题是:参与者做出手势主要是为了自身利益,即通过身体动作分担认知操作,还是为了对话者的利益,即利用手势进行交流。这一问题已通过在面对面情境中使用不透明隔板26,42、电话情境13以及虚拟情境43下考察对话者(不可)见性对手势产出的影响而得到研究。总体而言,这些研究结果表明,尽管说话者会出于自身利益而做出手势,但在与可见对话者交流时,其产出的表征性手势多于与不可见对话者交流时,而节律性手势的产出则在不同可见性条件下相似。因此,这些结果提示,表征性手势在多种情境下有助于交流,说明说话者会考虑对话者的视角,并相应调整其手势产出。尽管以往关于对话者可见性影响的研究在揭示手势对人际交流的贡献方面发挥了重要作用,但这些研究主要集中于正常发育人群中以英语作为第一语言(L1)的情况,因此尚不清楚这些发现是否可推广至存在交流障碍的人群。其中两类人群分别是第二语言(L2)学习者,他们在目标语言中可能难以通过言语进行交流;以及自闭症谱系障碍(ASD)儿童,其言语和非言语交流均存在异常。此外,目前很少有研究考察对话者可见性在虚拟情境下对手势产出的影响,而此类情境能够将对话者对参与者的可见性效应与参与者对对话者的可见性效应分离开来,因此目前尚不清楚在这些情境中所得结果是否具有可重复性。最后,部分研究聚焦于对话者可见性对特定类型手势产出的影响,因此尚不清楚其他类型手势的产出是否同样受到对话者可见性的影响。

以下所述的实验方案通过操控对话双方的可见性,来研究在具有挑战性的情境下手势产生的特点:第二语言词汇学习以及自闭症谱系障碍(ASD)个体的叙事复述。第二语言词汇学习方案将以往关于观察手势对第二语言词汇学习影响的研究,与通过互动式词汇学习范式探讨手势在交流中作用的研究结合起来。在此范式中,不熟悉目标语言的参与者首先学习该语言中的词汇,随后将这些词汇教授给其他同样不熟悉该语言的参与者,从而能够在对话情境中考察对话者可见性对第二语言习得早期阶段手势产生的影响。卡通故事复述范式采用了一种广泛使用的叙事复述任务,并在一个新的人群——患有自闭症谱系障碍的青少年中——考察操控对话者可见性时手势产生差异的情况。选择这一人群的原因在于,包括手势产生在内的语言能力在青春期已趋于成熟,而自闭症谱系障碍通常伴随言语和非言语交流困难,包括手势使用异常,以及对对话者交流需求缺乏敏感性。这些实验方案共同揭示了当人际交流面临挑战时,手势产生在多大程度上依赖于言语,以及反过来能否对手语表达的不足进行补偿。

根据已有研究发现,听者的可见性会影响以英语为母语者的手势产出13,26,42,43,因此推测,当参与者在与可见对话者讨论第二语言词汇时,其总体手势以及表征性手势的产出数量会多于与不可见对话者交流时。基于另一些研究发现,自闭症谱系障碍(ASD)个体在手势产出方面存在异常 20,44,因此推测,与典型发育(TD)青少年相比,ASD青少年的总体手势、表征性手势以及指示性手势的产出数量均更少。此外,根据研究显示ASD个体在观点采择方面存在困难45,因此推测,ASD青少年在与可见和不可见对话者交流时,其手势产出不会表现出显著差异。最后,预测诊断类型与可见性之间存在交互作用,即ASD青少年的手势产出在对话者可见与否的情况下无显著差异,而TD青少年则会因对话者可见性不同而表现出差异。

方案

所有参与者均提供了书面知情同意,且所有实验方案均经主办机构的机构审查委员会批准。代表性结果所依据的研究中实施了L2词汇学习和卡通故事复述方案21,33。尽管迄今为止这些方案仅在线下环境中实施过,但目前正在进行一项相关方案,独立操控对话者与参与者的可见性(本方案未在此处描述),以探讨在此情境下的可重复性,并计划将该研究扩展至存在沟通障碍的人群,例如自闭症谱系障碍(ASD)个体。

1. 参与者

注意:在遵守每项研究对参与者特征的必要限制的同时,样本应尽可能代表更广泛的人群。

  1. 第二语言词汇学习实验的参与者招募
    1. 招募年龄在18岁及以上、视力正常或矫正至正常、听力正常且以英语为第一语言(L1)的参与者。为确保本研究能够考察手势对第二语言(L2)词汇初学阶段的影响,应招募无匈牙利语知识的参与者,因匈牙利语为本研究的目标语言。
  2. 动画复述实验的参与者招募
    1. 招募年龄足以完成实验任务的参与者(在Morett等人的研究中为10至20岁)21,包括被诊断为自闭症谱系障碍(ASD)的个体以及典型发育(TD)个体。
      1. 为确保参与者能够成功完成实验任务,应招募以英语为第一语言(L1)、视力正常或矫正至正常、听力正常,并且全量表智商(IQ)达到85或以上(通过标准化评估在研究前或研究时测定)的参与者46
      2. 为确保本研究能够专门考察ASD对手势产出的特定影响,应招募未患癫痫、脑膜炎、脑炎、糖尿病、儿童瓦解性障碍或未另行说明的广泛性发育障碍(PDD-NOS)的ASD参与者。
      3. 为确保ASD个体的手势产出可与典型发育个体进行比较,应招募无共病精神疾病、且无一级亲属被诊断为广泛性发育障碍的TD参与者。

2. 可见性操控概述

  1. 若需考察自发手势产生与观察的效果(如第二语言词汇学习实验方案中所述),则成对招募参与者;若仅需考察自发手势产生的效果(如卡通故事复述实验方案中所述),则单独招募参与者,并由一名研究助理作为搭档参与实验。
  2. 向参与者提供包含研究信息的知情同意书,供其签署,并解答其关于研究的任何疑问,注意不得透露本研究聚焦于手势产生的目的。在参与者签署后收回同意书。
  3. 对于成对招募的参与者,采用抛硬币等方式随机决定其中一人作为“说话者”(在实验任务中主要负责讲话),另一人作为“对话者”(在实验任务中主要负责倾听,并偶尔与说话者互动)。对于单独招募并由研究助理作为对话者的参与者,采用固定方式(如预设结果的抛硬币)确保参与者始终担任说话者,研究助理始终担任对话者。
  4. 在一半的实验环节中,在说话者与对话者之间放置不透明隔板,以确保双方无法看到彼此的面部或手部动作。
  5. 向参与者说明其在实验任务中的操作流程,并解答相关问题。告知参与者其言语将被音频记录,并指出所使用的麦克风。为避免视频记录意识对手势产生造成影响,不得告知参与者将进行视频记录,并确保用于视频记录的摄像机对参与者不可见。
  6. 通过按下相应按钮启动视频和音频记录。实施实验任务,以诱发说话者以及(如有)对话者的言语和手势行为。
  7. 若采用被试内设计,则在第一轮使用隔板的情况下将其移除,或在第一轮未使用隔板的情况下将其放置于说话者与对话者之间。
  8. 根据需要重复实验任务,直至所有刺激材料用尽。
  9. 通过按下相应按钮停止视频和音频记录。告知参与者本研究关注手势行为,并说明已进行视频记录,同时可根据参与者的意愿,在数据分析前删除其视频资料。
  10. 回答参与者的任何问题,并在结束实验前对其参与表示感谢。

3. 二语词汇学习方案

  1. 通过视频和音频记录说话者与对话者的言语和手势,以便后续分析实验任务期间的言语与手势产出情况。
    1. 在说话者与对话者之间放置一个桌面麦克风用于录音。将摄像机置于说话者与对话者一侧,与二者呈90°角,并确保摄像机不会被参与者看到。
    2. 此外,需确保视频摄像机的视野涵盖说话者和对话者,同时避免计算机屏幕出现在摄像机视野中,以保证在后续分析中对L2词汇呈现条件保持盲态。
  2. 使用计算机通过耳机向说话者以听觉方式呈现目标语言中的一个L2词汇,确保该词汇对对话者不可听见,从而使说话者能够随后将该词教授给对话者。同时,向说话者呈现以下两种刺激之一:目标语言的L1说话者说出该L2词汇并配合表达词义的表征性手势的视频,屏幕底部显示该L2词汇的文字;或仅在屏幕中央呈现该L2词汇的文字,无视频。
  3. 在500 ms的暂停后,向说话者在屏幕中央呈现该L2词汇的L1翻译文字,持续2000 ms。
  4. 提示解释者通过言语和/或手势将该L2词汇及其含义教授给对话者。
  5. 指示说话者在准备就绪后按下按钮继续。说话者操作后,呈现下一个L2词汇。重复此过程,直至全部20个L2词汇以随机顺序呈现完毕。
  6. 通过将每个L2词汇以文字形式单独呈现,测试说话者和对话者对实验任务中所呈现L2词汇的掌握情况,并提示他们说出对应的L1翻译;若无法回忆翻译,可跳过该词。

4. 漫画复述方案

  1. 如果尚未通过标准化的智商评估测试测量过参与者的智商,则需进行一次测试,以确保其智商在85或以上。
  2. 对参与者进行视频和音频录制,以便后续分析其言语和手势产出。在参与者前方放置一个桌面麦克风用于录音。将摄像机置于参与者一侧,与之呈90°角,并确保参与者无法看到摄像机。
  3. 向参与者播放《乐一通》动画片《金丝雀小巷》的前半部分。该部分包含多个片段,描绘了猫西尔维斯特多次试图捕捉崔弟鸟但均告失败的情节。
  4. 指导参与者尽可能详细地向对话者复述动画片前半部分的事件内容。指导对话者认真倾听参与者的复述,并在其叙述简略时提示其进一步补充细节。
  5. 对《金丝雀小巷》视频的后半部分重复步骤4.1和4.2,该部分包含更多西尔维斯特猫试图捕捉崔弟鸟但再次失败的片段。

5. 转录与编码

注意:为尽量减少偏差,应尽可能在不知晓参与者和试验被分配至何种条件的情况下,对数据进行盲法转录和编码。理想情况下,转录人员和编码人员不应参与数据收集工作。

  1. 根据标准化方案(如 CHAT47),使用适当的软件手动对所有参与者言语进行正字法转录,以生成词数统计。转录所有口头信息,例如填充词和自我修正,但不转录停顿。
  2. 识别并编码所有参与者的手势,以统计每种手势类型的数量。根据 McNeill 的分类法2,3,将手势从静止到静止进行界定,并将其分为四类:表征性(iconic)、隐喻性(metaphorical)、节拍性(beat)和指示性(deictic)。注意,某些手势可能属于多种类型。
  3. 通过将表征性手势的数量除以词数,再乘以 100,计算每百词中的手势频率,针对每个片段分别计算。
  4. 由另一位独立编码员对 25% 的数据进行手势编码。计算两位编码员共同编码数据的一致性百分比,并确保其至少达到 80%,以保证足够的评分者间信度。

结果

第二语言词汇学习
实施方法:下述结果基于按照上述方案收集的52名健康参与者(21名男性,31名女性;年龄:M = 20.15,标准差 = 1.73,范围 = 18–28岁)的数据。所有言语和手势均由主要编码员进行编码,由于使用单个摄像机同时记录说话者和对话者的数据(如步骤3.4所述),编码员无法对可见性条件设盲。为建立评分者间信度,第二名编码员独立对6组随机选取的配对所产生的所有手势进行编码(k = 389,占数据总量的23.08%)。主要编码员与第二名编码员在手势识别上的一致性为92%,在手势分类上的一致性为90%。

分析概述: 在以下分析中,通过可见性来比较说话者和对话者的整体手势产出以及不同类型手势的产出,以评估其对第二语言词汇交流的影响。由于数据分布的非正态性和偏态性,基于可见性的比较采用非参数的曼-惠特尼U检验进行,该方法不依赖于正态性和偏态性的假设。具体而言,使用曼-惠特尼U检验来判断在可见条件下手势产出高于非可见条件的概率是否等于在非可见条件下手势产出高于可见条件的概率。

研究结果: Mann-Whitney U 检验显示,对话对象可见的主说话人比对话对象不可见的主说话人产生了更多的手势,U = 53,p = .02。具体而言,与对话对象不可见的主说话人相比,对话对象可见的主说话人产生了更多的表征性手势(U = 30,p = 0.001)和指示性手势(U = 52,p = 0.02)(见图1)。主说话人产生的节律性手势在不同可见性条件下无显著差异,U = 82,n.s.,尽管他们在对话对象可见时产生的此类手势略多。虽然对主说话人可见的对话对象也比不可见的对话对象产生了更多的手势,但该差异未达到显著性水平,U = 89,n.s.。尽管对话对象在主说话人可见时产生的各类手势均多于主说话人不可见时,但其不同手势类型在可见性条件下的各项比较均未达到显著性水平。这些结果表明,主说话人在对话对象可见的情况下会增加表征性和指示性手势的产生,而其对话对象则可能不会表现出类似趋势。

卡通复述结果
实施方法:以下报告的结果基于对41名青少年参与者收集的数据,其中18名被诊断为自闭症谱系障碍(ASD)(15名男性,3名女性;年龄:M = 15.17,SD = 2.75,范围 = 10.44 - 19.49),23名为典型发育个体(15名男性,6名女性;年龄:M = 15.81,SD = 2.42,范围 = 11.52 - 19.36)。两组参与者在实足年龄、性别和言语智商方面均进行了匹配。所有言语和手势均由两名对可见性条件和诊断信息设盲的编码员进行编码。为建立评分者间信度,第二名编码员独立编码了10名随机选取的参与者(占数据总量的24.3%)所产生的全部手势。主编码员与次编码员在识别手势上的一致性为98%,在手势分类上的一致性为95.4%。

分析概述: 在以下分析中,根据诊断结果和可见性比较了总体手势产生以及不同类型手势的产生情况,以评估它们对交流的影响。具体而言,采用双因素方差分析来检验诊断(ASD 与 TD)和可见性(可见与不可见)的独立效应及交互效应。

结果: 在总体手势产生方面,诊断因素无主效应(F < 1). 然而,我们发现手势类型与诊断之间存在交互作用(F(3,117) = 0.74, p = 0.05,ηp2 = 0.07)。具体而言,患有自闭症谱系障碍(ASD)的青少年产生的隐喻性手势较少(M = 0.48; SD = 0.63), t(39) = 1.99, p = 0.05, d = 0.49 且节律性手势(M = 0.26; SD = 0.60, t(39) = 2.13, p = 0.04, d = 0.67)高于TD青少年(隐喻: M = 1.08; SD = 1.62;节律: M = 1.14; SD = 1.76)。在象征性手势的产生方面,ASD 与 TD 青少年之间未发现差异(ASD: M = 0.79; SD = 0.25;TD: M = 0.77; SD = 0.25; t < 1)或指示性(ASD: M = 0.36; SD = 0.16;TD: M = 0.25; SD = 0.10; t<1)手势。ASD 和 TD 青少年在与可见的听者交谈时,产生的手势更多(M = 0.97 克/100 SD = 1.45)高于一个不可见的听者(M = 0.36 g/100 SD = 0.83; F(1,39) = 18.18, p < 0.001, ηp2 = 0.32;参见 图2)。然而,整体手势产出并未显示出诊断与对话者可见性之间的交互作用(F < 1)综上所述,这些结果表明,与典型发育(TD)同龄人相比,孤独症谱系障碍(ASD)青少年产生的手势类型有所不同,但当与可见对话者交谈时,ASD青少年会像TD青少年一样增加所有类型手势的使用频率。

手势频率比较柱状图,主讲者与对话者在可见与不可见情境下的对比。
图 1:第二语言词汇学习任务中主讲者与对话者的手势产出。 不同可见性条件下,主讲者与对话者每百词手势产出数量(误差线表示标准误)。请点击此处查看该图的放大版本。

ASD和TD的姿势分析柱状图,比较姿势类型:表征性、隐喻性、节拍性和指示性。
图2:ASD与TD青少年在卡通复述任务中,根据听者可见性所表现出的姿势产出情况。 ASD与TD青少年在(A)听者可见条件和(B)听者不可见条件下每百词产出的不同类型姿势(误差线表示标准误)。本图经Morett等21许可修改。 请点击此处查看此图的放大版本。

讨论

本实验方案通过调控说话者与对话者之间的相互可见性,探究在具有挑战性的情境下——即患有自闭症谱系障碍(ASD)的青少年进行第二语言词汇学习和叙述性复述时——这种可见性对手势产出的影响。该方案既可在线下实施,也可通过虚拟方式进行,能够同步或独立地操控参与者与对话者的可见性。该方案适用于多种实验任务、手势类型及受试人群,具有较高的灵活性,可在各种交流困难的情境中实施,并揭示这些情境下手势产出发生改变的多种方式。因此,通过调控对话者的可见性,本方案有助于深入理解手势如何影响存在交流障碍人群的人际沟通过程。

与用于健康成年L1说话者的其他类似方案一样13,26,42,43,本方案最关键的方面是操控说话者与对话者之间的相互可见性。由于本方案在本文报告的两项研究中均为面对面实施21,33,因此可见性的操控是同步进行的,即说话者与对话者之间要么彼此可见,要么彼此不可见。本方案可轻松调整以适用于视频会议情境,从而独立操控说话者与对话者的可见性,进而分离可见性对说话者和对话者手势产出的影响43。本方案另一个关键特征是其对话性质,通过包含说话者和对话者,反映了自然的会话情境,这与以往用于研究手势产出的结构化互动任务一致11,12,17,18,19,20,22。值得注意的是,对话者可以是第二名参与者,也可以是研究助理,具体取决于其手势产出是否为研究关注点。本方案最后一个关键方面是:不向参与者透露本研究聚焦于手势产出,并确保他们在实验任务完成前不知道自己正在被录像26,42。尽管在一些使用类似方案的研究中,参与者知晓录像情况12,20,43,但在本方案中,当参与者未意识到其手势正被记录时,其手势产出更可能接近自然会话情境中的表现。

本方案的一个主要优势在于其在任务类型、参与者和手势方面的灵活性。尽管叙事复述任务因其在面对面情境中有效诱发表征性手势产出的差异而常被采用26,42,但该实验操作也可结合其他任务来诱发手势产出,例如本文所述的第二语言词汇学习范式33,48,以及访谈11,12、图片描述13,14、解谜任务15,16和指路任务17,19,27。由于该操作对参与者友好,因此可用于存在交流障碍的人群,例如本文所述的第二语言学习者和自闭症谱系障碍儿童,以及患有特定性语言障碍、口吃、脑损伤和失语症的儿童与成人。通过操控对话者可见性,可对表征性手势、节律性手势和指示性手势进行考察,从而量化不同人群在不同对话者可见性条件下的手势产出差异。最后,尽管对话者可见性操控最初是为面对面情境设计的,但也可通过开启或关闭网络摄像头的方式在视频会议情境中实施,从而实现对视频会议与面对面情境下手势产出的直接比较49,并可独立考察主要说话人和对话者的可见性对手势产出的影响43

尽管对话者可见性操控因其对参与者友好且灵活,有望推进对存在沟通障碍的人群及情境中手势产出的理解,但它仍存在一些局限性。在当前的实施形式中,该实验需面对面进行,这可能限制了参与者招募范围,仅限于本地便利样本。这一局限性已通过在视频会议情境中实施该范式得到克服,但迄今为止,尚未在视频会议情境下对存在沟通障碍的人群开展相关研究,因此目前尚不清楚在这些人群中关于手势产出的研究发现是否能在该情境下得到重复验证。 为解决这一局限,我们目前正在健康的第一语言为英语的参与者中,于视频会议情境下实施包含卡通复述任务的操控版本,并计划后续将其应用于自闭症谱系障碍(ASD)个体。尽管可见性操控对大量可能存在沟通障碍的潜在参与者具有可及性,但参与者必须能够成功完成任务,因此对于缺乏足够语言能力以完成任务的个体而言,该方法仍不可行。尽管通过简化任务在一定程度上可能缓解这一局限,但降低言语产出要求可能会同时减少手势产出,从而因对话者可见性而导致手势产出差异更难被检测到。

目前的实验方案代表了首次在存在沟通障碍的人群中实施对话者可见性操控。尽管此前已有研究通过操控对话者可见性来考察其对健康学龄前儿童手势产出的影响26,这些儿童在某些情况下可能难以用其英语母语进行有效交流,但他们所面临的沟通困难在程度和持续性上均不及第二语言初学者或患有自闭症谱系障碍(ASD)的青少年。如代表性结果部分所讨论的先前发表研究的发现所示21,33,本实验方案能够揭示对话者可见性对这些人群手势产出影响的异同,证明该方案可应用于比健康英语母语学龄前儿童存在更严重且更持久沟通障碍的个体。未来,将本方案应用于沟通障碍更为严重和持久的人群(例如失语症患者12,38、特定性语言障碍患者35,36,37或口吃者40,41)将具有重要意义,以进一步探究操控对话者可见性对其手势产出的影响。

总体而言,当前的实验方案提供了一种研究交流障碍个体在第二语言词汇学习和叙述复述过程中,对话者可见性对手势产出影响的方法。通过这种方式,该方案揭示了存在交流障碍个体的手势产出在多大程度上会响应对话者的需求,反映了这些个体在交流过程中进行观点采择的程度。通过操控对话者的可见性,研究者能够灵活地探讨这一问题,以及在虚拟和面对面情境下,针对不同任务、不同人群和不同类型手势所产生的其他重要理论问题,从而揭示研究结果的可推广性和可重复性,并有助于识别可能观察到手势产出个体差异的具体情境。因此,操控对话者可见性有望推动人们对在具有挑战性的交流情境下,无论是面对面还是虚拟环境中手势产出机制的理解。

披露

作者声明无竞争性财务利益。

致谢

L2词汇学习方案的开发与验证得到了美国国防部空军科学研究办公室颁发的国家防御科学与工程研究生(NDSEG)奖学金(32 CFR 168a)的支持。针对患有自闭症谱系障碍(ASD)青少年的卡通复述方案的开发与验证得到了美国国家心理健康研究所颁发的露丝·S·柯尔施坦因机构国家研究服务奖(T32)的支持。作者感谢Rachel Fader、Theo Haugen、Andrew Lynn、Ashlie Caputo和Marco Pilotta在数据收集与编码工作中提供的协助。

材料

本文使用的材料清单
姓名公司目录编号评论
计算机苹果Z13124" iMac,8核CPU &和 GPU,M3 芯片
会议用USB麦克风B07GVGMW59
ELAN语言档案库用于转录语音和手势的软件应用程序
视频记录仪VjiangerB07YBCMXJJFHD 2.7K 30 FPS 24 MP 16倍数码变焦 3" 带遥控器和三脚架的触摸屏录像机
韦氏简式智力量表皮尔逊158981561用于验证全量程 IQ ≥ 80,见 Morett 等(2016)

参考文献

  1. Hostetter, A. B. When do gestures communicate? A meta-analysis. Psychological Bulletin. 137, 297(2011).
  2. McNeill, D. Hand and Mind. , The University of Chicago Press. Chicago, IL. (1992).
  3. McNeill, D. Gesture and thought. , The University of Chicago Press. Chicago, IL. (2005).
  4. Alibali, M. W., Kita, S., Young, A. J. Gesture and the process of speech production: We think, therefore we gesture. Language and Cognitive Processes. 15, 593-613 (2000).
  5. McNeill, D. So you think gestures are nonverbal. Psychological Review. 92 (3), 350-371 (1985).
  6. Dargue, N., Sweller, N., Jones, M. P. When our hands help us understand: A meta-analysis into the effects of gesture on comprehension. Psychological Bulletin. 145 (8), 765(2019).
  7. Dahl, T. I., Ludvigsen, S. How I see what you're saying: The role of gestures in native and foreign language listening comprehension. The Modern Language Journal. 98 (3), 813-833 (2014).
  8. Sueyoshi, A., Hardison, D. M. The role of gestures and facial cues in second language listening comprehension. Language Learning. 55 (4), 661-699 (2005).
  9. Drijvers, L., Özyürek, A. Visual context enhanced: The joint contribution of iconic gestures and visible speech to degraded speech comprehension. Journal of Speech, Language, and Hearing Research. 60 (1), 212-222 (2017).
  10. Obermeier, C., Dolk, T., Gunter, T. C. The benefit of gestures during communication: Evidence from hearing and hearing-impaired individuals. Cortex. 48 (7), 857-870 (2012).
  11. Feyereisen, P., Havard, I. Mental imagery and production of hand gestures while speaking in younger and older adults. Journal of Nonverbal Behavior. 23, 153-171 (1999).
  12. Sekine, K., Rose, M. L., Foster, A. M., Attard, M. C., Lanyon, L. E. Gesture production patterns in aphasic discourse: In-depth description and preliminary predictions. Aphasiology. 27 (9), 1031-1049 (2013).
  13. Bavelas, J. B., Gerwing, J., Sutton, C., Prevost, D. Gesturing on the telephone: independent effects of dialogue and visibility. Journal of Memory and Language. 58 (2), 495-520 (2008).
  14. Melinger, A., Levelt, W. J. Gesture and the communicative intention of the speaker. Gesture. 4 (2), 119-141 (2004).
  15. Emmorey, K., Casey, S. Gesture, Thought and Spatial Language. , Springer. Dordrecht. (2001).
  16. Hilverman, C., Brown-Schmidt, S., Duff, M. C. Gesture height reflects common ground status even in patients with amnesia. Brain and Language. 190, 31-37 (2019).
  17. Austin, E. E., Sweller, N., Van Bergen, P. Pointing the way forward: Gesture and adults' recall of route direction information. Journal of Experimental Psychology: Applied. 24 (4), 490(2018).
  18. Austin, E. E., Sweller, N. Presentation and production: The role of gesture in spatial communication. Journal of Experimental Child Psychology. 122, 92-103 (2014).
  19. Sassenberg, U., Van Der Meer, E. Do we really gesture more when it is more difficult. Cognitive Science. 34 (4), 643-664 (2010).
  20. de Marchena, A., Eigsti, I. M. Conversational gestures in autism spectrum disorders: asynchrony but not decreased frequency. Autism Research. 3 (6), 311-322 (2010).
  21. Morett, L. M., O'Hearn, K., Luna, B., Ghuman, A. S. Altered gesture and speech production in ASD detract from in-person communicative quality. Journal of Autism and Developmental Disorders. 46 (3), 998-1012 (2016).
  22. Silverman, L. B., Eigsti, I. -M., Bennetto, L. I tawt i taw a puddy tat: Gestures in canary row narrations by high-functioning youth with autism spectrum disorder. Autism Research. 10 (8), 1353-1363 (2017).
  23. Alibali, M. W. Gesture in spatial cognition: Expressing, communicating, and thinking about spatial information. Spatial Cognition and Computation. 5 (4), 307-331 (2005).
  24. Hostetter, A. B., Alibali, M. W. Visible embodiment: gestures as simulated action. Psychonomic Bulletin & Review. 15 (3), 495-514 (2008).
  25. Hostetter, A. B., Alibali, M. W. Language, gesture, action! A test of the gesture as simulated action framework. Journal of Memory and Language. 63 (2), 245-257 (2010).
  26. Alibali, M. W., Don, L. S. Children's gestures are meant to be seen. Gesture. 1 (2), 113-127 (2001).
  27. Austin, E. E., Sweller, N. Getting to the elephants: Gesture and preschoolers' comprehension of route direction information. Journal of Experimental Child Psychology. 163, 1-14 (2017).
  28. Crais, E. R., Watson, L. R., Baranek, G. T. Use of gesture development in profiling children's prelinguistic communication skills. American Journal of Speech-Language Pathology. 18 (1), 95-108 (2009).
  29. Dargue, N., Sweller, N. Donald Duck's garden: the effects of observing iconic reinforcing and contradictory gestures on narrative comprehension. Journal of Experimental Child Psychology. 175, 96-107 (2018).
  30. Dargue, N., Sweller, N. Learning stories through gesture: Gesture's effects on child and adult narrative comprehension. Educational Psychology Review. 32, 249-276 (2020).
  31. Emir Özder, L., Özer, D., Göksun, T. Gesture use in L1-Turkish and L2-English: Evidence from emotional narrative retellings. Quarterly Journal of Experimental Psychology. 76 (8), 1797-1816 (2023).
  32. Lin, Y. -L. Gestures as scaffolding for L2 narrative recall: The role of gesture type, task complexity, and working memory. Language Teaching Research. , (2021).
  33. Morett, L. M. When hands speak louder than words: The role of gesture in the communication, encoding, and recall of words in a novel second language. The Modern Language Journal. 98 (3), 834-853 (2014).
  34. Huang, Y., Wong, M. K. -Y., Lam, W. -Y., Cheng, C. -H., So, W. -C. Gestures in storytelling by preschool Chinese-speaking children with and without autism. Frontiers in Psychology. 11, 573212(2020).
  35. Botting, N., Riches, N., Gaynor, M., Morgan, G. Gesture production and comprehension in children with specific language impairment. British Journal of Developmental Psychology. 28 (1), 51-69 (2010).
  36. Evans, J. L., Alibali, M. W., McNeil, N. M. Divergence of verbal expression and embodied knowledge: Evidence from speech and gesture in children with specific language impairment. Language and Cognitive Processes. 16 (2-3), 309-331 (2001).
  37. Mainela-Arnold, E., Alibali, M. W., Hostetter, A. B., Evans, J. L. Gesture-speech integration in children with specific language impairment. International Journal of Language & Communication Disorders. 49 (6), 761-770 (2014).
  38. de Beer, C., et al. How much information do people with aphasia convey via gesture. American Journal of Speech-Language Pathology. 26 (2), 483-497 (2017).
  39. Demir, ÖE., Fisher, J. A., Goldin-Meadow, S., Levine, S. C. Narrative processing in typically developing children and children with early unilateral brain injury: seeing gesture matters. Developmental Psychology. 50 (3), 815(2014).
  40. Maessen, B., Rombouts, E., Maes, B., Zink, I. The relation between gestures and stuttering in individuals with Down syndrome. Journal of Applied Research in Intellectual Disabilities. 35 (3), 761-776 (2022).
  41. Mayberry, R. I., Jaques, J. Gesture Production During Stuttered Speech: Insights into the Nature of Gesture-Speech Integration. Language and Gesture. Language Culture and Cognition. , Cambridge University Press. Cambridge. (2000).
  42. Alibali, M. W., Heath, D. C., Myers, H. J. Effects of visibility between speaker and listener on gesture production: some gestures are meant to be seen. Journal of Memory and Language. 44 (2), 169-188 (2001).
  43. Mol, L., Krahmer, E., Maes, A., Swerts, M. Seeing and being seen: The effects on gesture production. Journal of Computer-Mediated Communication. 17 (1), 77-100 (2011).
  44. So, W. -C., Wong, M. K. -Y., Lui, M., Yip, V. The development of co-speech gesture and its semantic integration with speech in 6- to 12-year-old children with autism spectrum disorders. Autism. 19 (8), 956-968 (2015).
  45. Colozzo, P., Morris, H., Mirenda, P. Narrative production in children with autism spectrum disorder and specific language impairment. Canadian Journal of Speech-Language Pathology & Audiology. 39, 316-332 (2015).
  46. Wechsler, D. Wechsler Abbreviated Scale of Intelligence. , Psychological Corporation. (1999).
  47. Macwhinney, B. The CHILDES project part 1: The CHAT transcription format. , (2009).
  48. Morett, L. M. In hand and in mind: Effects of gesture production and viewing on second language word learning. Applied Psycholinguistics. 39 (2), 355-381 (2018).
  49. Mol, L., Krahmer, E., Maes, A., Swerts, M. The communicative import of gestures: Evidence from a comparative analysis of human-human and human-machine interactions. Gesture. 9 (1), 97-126 (2009).

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章