在带有振动触觉反馈的物体传递过程中施加视觉-触觉不一致刺激

摘要

我们提出了一种在物体转移任务中施加视觉-触觉不匹配刺激的实验方案。具体而言，在执行手部被遮挡的方块转移过程中，通过虚拟呈现的方式随机显示方块虚假掉落的情景。该方案还描述了在执行运动任务的同时添加振动触觉反馈的方法。

摘要

涉及触觉反馈受损的不协调感觉信号的应用很少被研究，特别是当存在振动触觉反馈（VTF）时。本实验方案旨在测试VTF对不协调视觉-触觉刺激反应的影响。触觉反馈通过抓握一个方块并将其移动过隔板获得；视觉反馈则是通过动作捕捉系统获取的该移动方块的实时虚拟呈现。协调反馈是指对方块运动的可靠呈现，使受试者感觉方块被成功抓握，并看到它沿手的运动路径同步移动。而不协调反馈则表现为方块的运动路径偏离实际路径，使其看似从手中掉落，而实际上仍被受试者握持，从而与触觉反馈相矛盾。20名受试者（年龄30.2 ± 16.3岁）在手部被遮挡的条件下重复进行16次方块转移任务，每种条件（有VTF和无VTF）各重复16次，共32次方块转移。在每种条件下的16次重复中，不协调刺激随机出现两次。每次实验后，要求每位受试者评估在有和无VTF条件下完成任务的困难程度。在有无VTF的情况下，协调与不协调视觉-触觉信号所记录的手部运动路径长度和转移持续时间均无统计学显著差异。受试者主观感知到的使用VTF完成任务的困难程度与使用VTF时方块运动路径长度的标准化值呈显著正相关（r = 0.675，p = 0.002）。该实验装置可用于量化VTF在涉及不协调视觉-触觉刺激的运动功能中的增强或削弱作用。其潜在应用包括假肢设计、智能运动服装或任何整合了VTF的其他服饰。

引言

错觉是对我们感官局限性的利用，此时我们会错误地感知与客观现实相偏离的信息。我们的感知推断基于以往解读感觉数据的经验，以及大脑在感觉输入不明确的情况下对现实最可靠估计的计算¹。

错觉研究中的一个子类别涉及不一致感觉信号的结合。由不一致感觉信号引发的错觉源于大脑持续进行的多感觉整合。尽管关于视觉-听觉信号不一致的研究众多，但其他感觉组合的不一致现象报道较少。这种报道数量上的差异可能归因于设计包含视觉-听觉不一致实验装置的相对简便性。然而，有关其他感觉模态组合的研究同样具有重要意义。例如，已有研究利用视觉与触觉刺激在空间频率上相匹配的系统，探讨了视觉-触觉信号不一致对视觉敏感性的影响²，其中触觉与视觉的朝向相同（一致）或正交（不一致）。在另一项研究中，采用一种带有发光面板的视-触跨模态整合刺激装置，研究了视觉-触觉运动刺激不一致对视觉运动方向感知的影响；该装置可呈现视觉刺激，同时通过触觉刺激器以任意运动方向、速度和皮肤压入深度施加触觉运动刺激³。有研究提出，我们大脑内部同时表征任务的统计分布和自身的感觉不确定性，并以符合性能最优化的贝叶斯过程方式将二者结合起来⁴。

虚拟现实技术使得欺骗受试者的视觉反馈变得轻而易举。已有若干研究利用多感官虚拟现实来制造视觉与体感信息之间的不匹配。例如，最近有研究利用虚拟现实使个体产生对儿童身体的拥有感，同时可选择性地激活类似儿童的语音失真效果⁵。在另一个例子中，个体在自主运动时所看到的行走距离被人为延长，因而与身体本体感觉所感知的实际移动距离不一致⁶。类似地，研究人员还设计了用于骑行活动的虚拟现实实验装置⁷。然而，上述所有文献均未在提供不一致信号的同时，进一步对某一感官施加干扰。本研究选择对触觉施加此类干扰。

我们的触觉感觉系统能够直接提供物体是否被 grasp 的证据。因此，我们预期当直接视觉反馈受到扭曲或无法获得时，触觉感觉系统在物体操作任务中的作用将更加突出。然而，如果触觉感觉通道也受到干扰，会发生什么情况呢？这可能是使用振动触觉反馈（VTF）进行感觉增强时的一种可能结果，因为它会吸引个体的注意力⁸。目前，不同模态的增强反馈被用作一种外部工具，旨在增强我们内部的感觉反馈，并在运动学习、体育训练以及康复环境中提高表现⁹。

对视觉-触觉不匹配刺激的研究可能增进我们对感觉输入感知机制的理解。特别是，在涉及视觉-触觉不匹配刺激的运动功能中，量化视觉触觉反馈（VTF）的增强或减弱效应，将有助于未来的假肢设计、智能运动服装或任何其他整合了VTF功能的服饰开发。由于截肢者在残肢远端缺失触觉刺激，他们日常使用嵌入假肢中的VTF来传递抓握等信息时，可能会影响其对视觉反馈的感知方式。深入理解在此类条件下感知的作用机制，将有助于工程技术人员优化VTF模式，以降低其对VTF使用者产生的负面影响。

我们的目标是测试振动触觉反馈（VTF）对不一致视听触觉刺激反应的影响。在本实验设置中，触觉反馈通过抓取一个方块并将其移过隔板来获得；视觉反馈则是通过动作捕捉系统获取的方块和隔板运动的实时虚拟呈现。由于受试者无法看到实际的手部运动，因此唯一的视觉反馈是该虚拟反馈。一致的反馈是指对方块运动的可靠呈现，使受试者感觉方块已被抓握，并看到它沿着手的运动路径同步移动。而不一致的反馈则表现为方块的运动路径偏离实际运动路径，使得方块看似从手中掉落，而实际上仍被受试者握持，从而与触觉反馈相矛盾。我们检验了三个假设：在使用虚拟视觉反馈将物体从一个位置移动到另一个位置时，（i）当呈现不一致的视听触觉刺激时，物体转移运动的路径长度和持续时间将增加；（ii）当不一致的视听触觉刺激呈现且在移动手臂上激活振动触觉反馈（VTF）时，这种变化将进一步增加；（iii）激活VTF时受试者感知到的任务执行难度等级与物体转移运动的路径长度和持续时间之间存在正相关关系。第一个假设源于前述文献，这些文献报告了各种形式的不一致反馈会影响我们的行为反应。第二个假设与先前发现的VTF会吸引个体注意力的结果相关。对于第三个假设，我们推测那些受VTF干扰更大的受试者会更依赖虚拟视觉反馈而非自身的触觉感知。

方案

以下方案遵循大学人体研究伦理委员会的指导原则。有关商用产品的参考，请参见材料表。

注意：在获得大学伦理委员会批准后，招募了20名健康个体（7名男性和13名女性，平均年龄及标准差[SD]为30.2 ± 16.3岁）。每位受试者在试验前阅读并签署了知情同意书。纳入标准为年龄18岁及以上的右利手个体。排除标准为存在任何影响上肢的神经或骨科功能障碍，或未经矫正的视力障碍。所有受试者此前均未接触过视觉-触觉反馈不一致的情况。

1. 试验前准备

1. 使用方盒与方块测试中的木盒¹⁰。木盒的尺寸为 53.7 cm × 26.9 cm × 8.5 cm，其中央设有一个高 15.2 cm 的隔板。在隔板两侧均放置一层软海绵。在远离屏幕的一侧，于四个角以及隔板两端共放置六个被动反光标记点（图 1a）。
2. 使用 3D 打印机制造一个尺寸为 2.5 cm × 2.5 cm × 2.5 cm 的立方体，并将其固定在一个尺寸为 4.5 cm × 4.5 cm × 1 cm 的底座上。打印前，将底座的每个角切割，使每个角保留一个 1 cm × 1 cm 的正方形区域（图 1a）。在底座的四个角上安装被动反光标记点。
3. 在一张桌子前方约 1.5 m 处放置一个大型屏幕，使受试者站在桌子后方时距离屏幕约 2 m。将木盒放置在桌面上，距离靠近屏幕一侧的桌边 10 cm。
4. 使用一个六摄像头的动作捕捉系统，以 100 Hz 的频率运行，并配备插件以实时可视化隔板和方块的运动（图 1）。根据制造商的指导说明校准动作捕捉系统，使系统能够将木盒中的方块和隔板识别为刚体。
   注意：为维持视觉错觉效果，必须正确校准动作捕捉系统，并使用牢固附着在方块和隔板上的小型标记点。

2. 将振动触觉反馈系统放置于受试者身上

注意：本文所述的VTF系统此前已有发表^11,12,13,14。

1. 指导受试者取下手表、手链和戒指。将 VTF 系统控制器固定在受试者前臂上（图2，左图）。
2. 在拇指和食指掌侧的薄海绵层上安装两个细而柔韧的力传感器（图2，右图）。
3. 将一个袖带放置在受试者上臂皮肤上（图2，左图），并使用固定装置舒适地扣紧袖带。袖带内包含三个振动触觉致动器，这些致动器通过开源电子原型平台以233 Hz的频率激活，其激活强度与力传感器感知到的力呈线性关系。力传感器和振动触觉致动器通过屏蔽电线连接至开源电子原型平台。

3. VTF 激活

1. 按下按钮以启动连接到控制器的电池（图2，左图）。
2. 要求受试者轻轻按压力传感器的带测手指（即拇指和食指）。注意，受试者会报告袖带下方区域有振动感。
3. 指导受试者用两个带测手指尽可能轻地抓握方块，训练10分钟。要求受试者多次将方块提起、移动并放回桌面，尽量减少施加在方块上的力。鼓励受试者努力降低施加的力，即使在抓握过程中方块掉落也应继续尝试。

4. 受试者的体位摆放与准备

1. 指导受试者站在靠近桌子的位置（距离桌子不超过10 cm），桌上放置有盒子和隔板。
2. 在受试者一侧的桌边、盒子上方放置一个隔板，使受试者无法看到盒子，但能清晰看到其前方的屏幕（图1a）。隔板应采用坚硬且无反光的材料（推荐使用木材），固定在四条可调节高度的支腿上，以适应不同身高的受试者。
3. 指导受试者将耳机戴在头上。
4. 将方块放置在盒子右侧隔间中央，并引导受试者的手触摸到该方块。

5. 开始试验

注意：该试验需重复进行两次，一次使用VTF，一次不使用VTF（建议采用交叉设计以确认无学习效应）。若需在不使用VTF的情况下进行试验，可关闭连接至控制器的电池电源（图2）。

1. 启动控制动作捕捉系统摄像头的软件。
2. 视觉反馈软件的控制面板中（图1b），选择是否使用VTF，输入受试者编号，点击 运行, 连接, 开放 和 开始.
3. 指导受试者使用装有测力传感器的器械化手，将方块移动16次，同时观察屏幕上虚拟方块的运动情况（图1b每次转移后，将方块移回隔板另一侧的起始位置。
4. 受试者完成16次重复后，点击 停止.
5. 要求受试者根据以下标准，对在有和无VTF的情况下各进行两次共16次方块转移任务的执行难度进行评分：‘0’（完全不难）、‘1’（略有难度）、‘2’（中等难度）、‘3’（很难）、‘4’（极难）。

6. 事后分析

1. 利用方块的三维坐标数据计算其运动路径及转移时间。手动标记每次转移的起始和结束时间，即方块到达盒子右侧边缘高度时为起始时间（onset），随后到达左侧边缘高度时为结束时间（offset）。根据以下公式计算每次转移的路径长度：
   (1)
   其中 和 分别表示方块在两个连续时间点的三维坐标。
2. 针对有 VTF 和无 VTF 两种条件，分别对视觉-触觉信号不一致的两次转移和视觉-触觉信号一致的14次转移，计算其路径长度和转移时间的平均值。
3. 以视觉-触觉信号一致条件下的路径长度和转移时间为基准，对视觉-触觉信号不一致条件下的路径长度和转移时间进行归一化处理。分别对有 VTF 和无 VTF 两种条件独立进行归一化。
4. 进行被试内重复测量双因素方差分析（ANOVA），两个因素分别为 VTF（有和无）和不一致的视觉-触觉反馈（有和无）。
5. 若按照第6.4小节的说明分析结果后未发现统计学差异，则采用双因素贝叶斯重复测量方差分析¹⁵。
6. 使用斯皮尔曼相关性检验，分析在启用 VTF 时执行任务的主观难度评分与运动路径及持续时间的归一化值之间的相关性。
7. 设定统计显著性水平为 p < .05。

结果

我们采用所述技术来检验以下三个假设：当使用虚拟视觉反馈将物体从一个位置移动到另一个位置时：（i）当呈现不一致的视觉-触觉刺激时，物体转移运动的路径和持续时间将增加；（ii）当呈现不一致的视觉-触觉刺激且在移动手臂上激活VTF时，这种变化将进一步增加；（iii）在VTF激活条件下完成任务的主观困难程度与物体转移运动的路径和持续时间之间将存在正相关关系。

结果支持第三个假设。使用和不使用视觉触觉反馈（VTF）执行任务的报告难度水平如图3所示。根据斯皮尔曼相关性检验，使用VTF执行任务的主观难度等级（从“0”=完全不困难，到“4”=极其困难）与使用VTF时方块的归一化路径长度显著相关（r = 0.675，p = 0.002；图4）。换句话说，对于那些在使用VTF时认为任务更困难的受试者，其在不一致的视觉-触觉信号存在情况下的归一化路径长度更长。使用VTF执行任务的主观难度等级与未使用VTF时方块的归一化路径长度之间无显著相关性（r = 0.132，p = 0.589）。...

讨论

本研究提出了一种量化在存在视觉-触觉刺激不一致的情况下添加视觉触觉反馈（VTF）对物体传递运动学影响的实验方案。据我们所知，这是目前唯一可用于测试VTF对不一致视觉-触觉刺激反应影响的实验方法。在物体传递过程中应用不一致视觉-触觉刺激并结合VTF的关键步骤包括：将VTF系统连接至受试者、启动VTF、准备动作捕捉系统和运动任务，以及激活视觉反馈。实验过程中必须确保受试者无法察觉可能存在的误导性反馈。为此，实验中在盒子底部铺设了柔软的海绵层，并让受试者佩戴耳机，以消除方块掉落并撞击木盒时产生的听觉反馈。此外，16次传递中仅随机选择两次传递呈现不一致的反馈，且程序设定为当方块下降至隔板高度以下2 cm时，模拟其在起始隔间内掉落的情景，此时手部处于悬空状态。两次随机的误导性视觉信号在程序中被设定为既不发生在前两次或后两次方块传递中，且两者之间至少间隔一次非误导性传递。

本方案的一个优势在于，误导性的视觉反馈仅在16次转移试验中随机出现几次。这可以防止受试者对虚拟呈现产生不信任。由于本试验中提供给受试者的两种信号之间的冲突程度较高，因此该方案通过呈现合理数量的方块掉落情况，旨在提高误导性视觉...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
3D 打印机	Makerbot		https://www.makerbot.com/
方盒与方块测试	Sammons Preston		https://www.performancehealth.com/箱块测试
Flexiforce 传感器（1 磅）	Tekscan 公司		https://www.tekscan.com/force-sensors
JASP	JASP 团队		https://jasp-stats.org/
Labview	国家仪器公司		http://www.ni.com/zh-cn/shop/labview/labview-details.html
微型 Arduino	Arduino LLC		https://store.arduino.cc/arduino-micro
运动捕捉系统	Qualisys		https://www.qualisys.com
无轴振动电机	Pololu		https://www.pololu.com/product/1638
SPSS	IBM		https://www.ibm.com/analytics/spss-statistics-software