本文介绍了一种用于表征对具有感知功能的虚拟或机器人假手控制过程中所产生的代理感的实验方案。通过心理物理学问卷来获取代理感的显性体验，同时采用时间间隔估计（即有意绑定效应）对代理感进行隐性测量。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
本研究描述了一种方法学框架，可用于明确和隐性地表征在感知性虚拟或机器人假手的神经-机器接口（NMI）控制过程中所形成的代理感（sense of agency）。代理感的形成对于区分我们肢体所执行的动作是否属于自身至关重要。通过努力将先进的上肢假肢纳入这些相同的感知机制中，我们可以开始将人工肢体更紧密地整合到用户现有的肢体控制认知框架内。这对于促进用户对假肢的接受度、使用意愿以及有效控制具有重要意义。在本实验方案中，受试者通过既有的神经-机器接口控制虚拟假手，并接收本体感觉反馈。受试者完成一系列虚拟抓握任务，同时系统性地对本体感觉反馈和虚拟手部运动引入扰动。本研究采用两种独立的代理感测量方法：成熟的心理物理学问卷（用于捕捉代理感的显性体验）和时间间隔估计任务（用于捕捉代理感的隐性体验，即“意图绑定”现象）。该方案的结果（问卷评分和时间间隔估计值）可用于量化代理感形成的程度。
引言
随着假肢机器人技术日益先进，相关的感官反馈变得愈发重要。感官反馈影响着人类如何感知、与机器互动，甚至将机器整合到自身的身体图式中。近年来的神经机器接口（NMI）技术现已能够为假肢使用者提供直观的控制能力，并实现与触觉相关的感知体验1,2,3,4,5,6,7 和本体感觉（运动觉）8,9 在缺失的肢体中。当此类感觉信息与操作过程中观察假肢所提供的视觉信息相结合时，我们便获得了关键要素，这些要素有助于区分自我与非自我与-其他。利用这种接入方式可能有助于让假肢使用者更进一步地将人工肢体作为身体的一部分来操控，而不仅仅将其视为一种工具。
身体感知和具身感源于能动性（对肢体动作的自主控制体验）和归属感（感觉肢体是身体的一部分）的建立10,11。归属感主要通过触觉与视觉信息的整合而产生12。能动性则源于意图、运动觉（本体感觉）、视觉信息以及预测性认知模型的整合11。在执行自主动作过程中，当该动作所产生的感觉结果与执行者的意图及其内部模型的预测相一致时，便形成了能动性13。能动性与归属感是相互独立且不同的概念。肢体归属感的概念在假肢研究文献中已被广泛探讨14。当触觉反馈在空间和时间上恰当时，NMI 参与者会产生肢体归属感，这一现象可通过问卷量表明确测量，或通过残肢温度变化、时间顺序判断等指标间接反映15。然而，在 NMI 背景下探索能动性的机会相对较少16。近期针对 NMI 参与者的研究表明，能动性可以被有意识地促进，并且独立于归属感的体验8。
代理感在假肢机器人的操作中尤为重要，因为它是通过因果体验——即控制假肢或引发某种动作的感觉——实现对人工肢体物理行为进行认知控制的纽带17机器人假肢是先进的计算机化设备，使用者必须与其协同合作才能有效完成任务。一些假肢已整合了自主功能，例如抓握-滑移检测与纠正；然而，由于在用户控制之外运行的功能若未得到恰当实施可能令人感到困扰，这类系统目前应用仍较为有限8,18这在人类与自主机器协作的应用中构成了一个根本性挑战。即，人们通常更信任自己独立完成的行为，而非与计算机或机器协作所产生的行为，而这种信任程度直接影响操作者使用自主功能的可能性。19,20作为人类，我们天生信任自己和身体能够执行意图中的行为；当这种信任实现时，我们便建立起一种内在的能动感。有趣的是，在人机协同操作中，这种能动感的形成会受到影响。在人与人之间的协作任务中，可能会在运动过程中形成一种共享的能动感。21然而，文献表明，在人机协作过程中，共享能动性受到限制。22,23这些挑战反映在假体上肢的使用中，且机器人装置的弃用率仍然较高，有23%至39%的使用者停止使用24事实上，许多假肢使用者仍然更倾向于使用体动式系统25这些系统将计算机化机器从控制回路中移除，使用户的身体运动与假肢运动更紧密地耦合在一起 通过 线缆。这进一步强调了认知整合在使用先进假肢装置中的重要性。我们建议，神经肌肉接口（NMI）系统可提供多种必要的感觉和运动组件，有助于使人工肢体更接近建立协作性的代理感，从而促进用户对这些计算机化设备的接受及其真正的整合。
可通过多种方式测量能动性。最简单的测量方法是使用心理物理学问卷或量表，直接询问参与者将某一事件归因于谁或什么。17,26,27. 这依赖于个体对现有感知的 "自我" 通过要求参与者进行自我归因的推断性判断（即，以明确判断是否 "我" 或另一个实体应对某个行为或事件负责）。内隐测量方法能够揭示在运动行为和感觉事件过程中发生的背景认知过程。这种关于主体性的观点试图测量个体并未明确感知到的内容。通常通过让参与者描述自我产生与外部产生行为之间的感知差异来实现，例如让参与者报告其感知到的自我产生事件与外部产生事件之间的时间间隔。17,28在执行自我生成的动作过程中，主体性会隐含地表现为动作与其感觉结果之间的时间感知压缩，这种现象被称为意向性绑定。28当个体报告其感知到的某一行为与其结果之间的时间间隔时，感知到的时间持续越短，其能动感就越强烈。29,30有趣的是，已有研究表明，内隐与外显测量方式可能并不直接相关，因为它们很可能表征的是不同的感知机制17 这些因素共同影响着代理感的形成。因此，要更全面地理解假肢使用过程中的代理感形成机制，可能需要采用显式与隐式测量方法相结合的实验方案。
本研究描述了一种方法学框架，可用于明确和隐式地表征在通过神经肌肉接口（NMI）控制有感知功能的虚拟或机器人假手过程中所产生的代理感。文中重点介绍了两种在执行感觉运动物体抓取任务期间测量代理感的技术：采用成熟的心理物理学问卷来捕捉代理感的显性体验，同时利用时间间隔估计（即意向性绑定）来对代理感进行隐式测量。
本方案的目的是评估在提供生理相关主动运动控制和本体感觉反馈的神经机器接口（NMI）情境下，个体的代理感（sense of agency）。这些技术可推广应用于虚拟或实体的假肢NMI系统。本方案对受试人群的限制较少，例如，受试者的上肢活动能力不能双侧均受影响（必须保留一条功能正常的肢体），且需具备进行基于时间判断的认知能力以及准确描述自身感受的能力。
访问受限。请登录或开始试用以查看此内容。
方案
本方案已获得克利夫兰诊所人类研究伦理委员会的批准，并遵循其指导方针。
1. 神经肌肉接口的硬件与软件
- 建立每位参与者的神经肌肉接口（NMI）控制与反馈系统，使得当他们尝试执行某一动作时，能够看到并感受到虚拟假肢完成该动作。
- 通过参与者的神经肌肉接口（NMI）产生手部本体感觉感知，并让参与者使用其健全的手部模仿其所感知到的运动，从而捕捉感知运动的运动学特征。
注意：已有研究展示了表征本体感觉感知运动学的技术8，可使用数据手套或光学动作捕捉系统实现。 - 使用虚拟手部/假肢模拟系统重现该感知运动的运动学特征。
- 设置硬件设备，用于采集参与者神经肌肉接口（NMI）发出的意向性手部运动控制信号。
- 将该控制信号映射至虚拟假肢的动作中。
- 创建一个主控程序，用于实时协调神经肌肉接口（NMI）控制信号的采集、虚拟假肢的运动以及本体感觉神经肌肉接口反馈的生成。
- 通过参与者的神经肌肉接口（NMI）产生手部本体感觉感知，并让参与者使用其健全的手部模仿其所感知到的运动，从而捕捉感知运动的运动学特征。
2. 实验设置
- 让受试者就座，并将显示器水平放置（即，仰面朝上，背部落于他们前方的桌面上。
- 在显示器上显示虚拟假体，并调整其大小和位置，使其与患者缺失肢体的位置相吻合。
- 渲染对象（例如在虚拟环境中使用漂浮的球体作为手部开合位置的停止点（运动的终点）。
- 设置主控程序，使得当虚拟手指接触到虚拟停止点时，经过可调节的时间延迟（300、500、700 或 1,000 ms）后播放提示音。
3. 实验条件
- 构建主控程序的输入文件，指定每次试验的设置参数，包括听觉音调延迟、是否开启/关闭 NMI 反馈、虚拟手运动的速度和方向，以及指令与虚拟手运动之间的延迟。
- 创建两种对照条件：基线条件和被动条件。
- 对于基线条件，配置虚拟手的运动学参数和控制方式，使其与 NMI 本体感觉感知相匹配。
注：基线条件代表运动意图、运动学和本体感觉反馈之间的理想一致性。 - 编程设置被动条件，由研究人员触发虚拟手运动（即移除用户的主动控制），同时仍向受试者提供 NMI 本体感觉感知。
注：被动条件用于模拟理论上的最差自主感状态（i.e.，在无控制权[无意图]情况下的运动，类似于身体被被动移动）。
- 对于基线条件，配置虚拟手的运动学参数和控制方式，使其与 NMI 本体感觉感知相匹配。
- 编程设置额外的实验条件，以分离运动意图、本体感觉以及与虚拟假肢显示运动学之间的时间不匹配对自主感的各自贡献。可考虑使用以下五种条件：
- 反向运动：NMI 本体感觉反馈提示手部闭合，而手部可视化图像显示张开。
- 过快：手部可视化闭合速度比 NMI 本体感觉反馈提示的更快。
- 过慢：手部可视化闭合速度比 NMI 本体感觉反馈提示的更慢。
- 启动延迟：手部可视化闭合比 NMI 本体感觉反馈提示晚 1 秒。
- 无反馈：手部可视化闭合时不提供任何 NMI 本体感觉反馈。
- 创建两种对照条件：基线条件和被动条件。
4. 实验的实施
- 指导参与者将手从张开位置移动至闭合位置，过程中不要停顿，并报告他们所估计的从虚拟手指接触到虚拟限位点到听到声音提示之间的时间延迟。
注意：参与者可采用任何介于 0 到 1 秒之间且最符合其理解的时间表示方式（例如毫秒、秒的分数、0 - 10 量表 - 通过按下主控程序上的开始按钮启动每次试验，该操作将使虚拟手移动至起始位置，提示试验开始。随后提示参与者驱动虚拟手移向虚拟停止点，系统将在随机延迟（300、500 或 700 ms）后播放提示音。
- 记录参与者口头报告的时间延迟间隔估计值。
- 将试验划分为实验区组。
- 以两次练习环节开始，并在最终分析中排除这两次练习的数据。
- 在第一次练习环节中，让参与者驱动手部到达运动终点，并在虚拟手指触及虚拟停止点后1,000毫秒播放听觉音调，重复10次。
- 参与者无需报告本次练习环节的估计时间间隔。
注意：此步骤对于帮助参与者感知单个一秒的持续时间至关重要。
- 参与者无需报告本次练习环节的估计时间间隔。
- 在第二次练习环节中，再次让参与者驱动手部到达运动终点。随机化呈现听觉音调，使300、500和700 ms的延迟间隔每种至少各出现5次。
- 要求参与者报告估计的延迟时间间隔。
- 在这些练习试验或实验阶段的后续试验中，不要向参与者透露他们对延迟间隔的估计值与实际延迟的接近程度。
注意：此步骤非常重要，因为参与者可能缺乏在毫秒级时间尺度上进行时间判断的经验，且未经练习的受试者可能不熟悉测试程序。
- 在第一次练习环节中，让参与者驱动手部到达运动终点，并在虚拟手指触及虚拟停止点后1,000毫秒播放听觉音调，重复10次。
- 进入每个条件下15次试验的实验阶段。以随机顺序呈现各条件，并在每个条件结束后发放问卷。
- 指导参与者反思最近的一组试验，并完成包含八个陈述的能动性问卷（其中包括四个用于量化能动性显性体验的问题和四个控制问题［示例见原文］）。 补充文件])8,26.
- 将问卷陈述随机排序，以生成至少五种不同的问题顺序，并随机分配给参与者。
- 指导参与者反思最近的一组试验，并完成包含八个陈述的能动性问卷（其中包括四个用于量化能动性显性体验的问题和四个控制问题［示例见原文］）。 补充文件])8,26.
- 以15次被动条件试验结束实验阶段，并在完成这些试验后发放问卷。
注意：为避免干扰已建立的自主感，应在每个实验区块结束时进行被动试验。
- 以两次练习环节开始，并在最终分析中排除这两次练习的数据。
- 以不同随机顺序完成四个实验区组的实验条件。
- 在测试过程中，应为参与者提供多次休息机会。休息时间没有最短或最长限制，但需确保参与者在继续测试前未出现身体或精神上的疲劳。
访问受限。请登录或开始试用以查看此内容。
结果
实验方案由三名截肢参与者操作一种具有感知功能的虚拟假肢来实施 通过 其国家计量院8 (图1）。该设置使用参与者可控制的虚拟手，通过 MuJoCo HAPTIX 物理引擎沿预编程的运动学曲线运动31虚拟手呈现在参与者前方的水平显示器上，位置与其缺失的肢体在空间上一致。NMI 参与者此前接受过手术神经重连程序（靶向再神经化），并结合标准的假肢肌电（EMG）控制策略，以实现对虚拟手的直观控制。32因此，参与者只需“想象”张开和闭合他们缺失的手，即可驱动虚拟手。通过对参与者经手术重新布线的肌肉施加策略性振动，诱发了手部运动的错觉感知，从而为运动觉感官反馈提供了平台。8通过定制软件，将肌电手控信号和虚拟假肢图像与振动反馈装置的输出信号相整合。当受试者启动显示的虚拟手运动时，振动会诱发其缺失的手产生相应且匹配的复杂抓握...
访问受限。请登录或开始试用以查看此内容。
讨论
本文提出了一种方法学框架，用于表征在操作具感假肢过程中产生的代理体验 通过 NMIs。在此背景下，能动性尤为重要，因为它将物理动作与塑造感知的背景认知过程联系起来。通过参与者使用的假肢和NMI，我们能够直接获取建立能动性感知的多个关键要素：意图、运动输出和运动感觉。对于先进假肢肢体控制而言，本研究提供的工具利用这种直接访问能力，有助于揭示这些要素如何促进用户对假肢动作的控制感及其认知整合。
所强调的技术具有灵活性，只要满足实时感知相关控制和本体感觉反馈的标准，便可与任何神经肌肉接口（NMI）研究或临床假肢系统结合使用。许多神经肌肉接口的固有优势在于，能够利用截肢后仍保留的神经通路实现直观控制。这使得可以测量那些原本伴随完整肢体运动而产生的残余生理活动，并进一步将这些活动解码并映射到相应的虚拟或假肢肢体运动上。因此，只要记录的神经活动及其配套的数字接口能够产生可靠的输出信号，并可适当地映射至虚拟手部动作，大多数神经肌肉接口技术均应满足感知相关控制的要求。实验设置还需要一个系统，使研究人员能够根据所显示的虚拟手部运动学参数，在实时条件下主动诱发本体感觉。这一要求至关重...
访问受限。请登录或开始试用以查看此内容。
披露
作者无任何利益冲突需要披露。
致谢
作者感谢 Madeline Newcomb 在图像生成方面的贡献。本工作由美国纳税人资助，资金来自美国国立卫生研究院（NIH）院长办公室共同基金转化性 R01 研究奖（资助号 #1R01NS081710-01）以及美国国防高级研究计划局（合同号 N66001-15-C-4015，隶属于生物技术办公室项目负责人 D. Weber 的管理）。
访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| LabVIEW 2015，Service Pack 1，版本 15.0.1f2 64 位 | National Instruments, Austin, TX, USA | 完整版或专业版 | 我们使用 LabVIEW 编写了自定义软件，用于协调虚拟假肢控制与本体感觉反馈，同时呈现实验条件并记录数据。 |
| 8 槽 USB CompactDAQ 机箱 | National Instruments, Austin, TX, USA | cDAQ-9178 | |
| ±60 V，800 kS/s，12 位，8 通道 C 系列电压输入模块 | National Instruments, Austin, TX, USA | NI-9221 | |
| 每通道 100 kS/s 同步采样，±10 V，4 通道 C 系列电压输出模块 | National Instruments, Austin, TX, USA | NI-9263 | |
| 定制可穿戴本体感觉刺激器 | HDT Global, Solon, OH, USA | N/A | 该项目为定制产品。只要受试者能够实时感受到手部运动的本体感觉反馈，其他提供本体感觉反馈的方法也可接受。 |
| MuJoCo 物理引擎，HAPTIX 版本 | Roboti LLC, Redmond, WA, USA | mjhaptix150 | 更新版本的 MuJoCo 也应可接受。我们使用了 MPL 抓握模型。 |
| Myobock 电极，由 Otto Bock EnergyPack 在 MyoBoy 电池插座中供电 | Ottobock, Duderstadt, Germany | 电极：13E200=60 电池：757B21 电池插座：757Z191=2 | 任何能够提供放大、滤波和整流的肌电（EMG）或神经控制信号的装置均可使用。 |
参考文献
- Kuiken, T. A., Marasco, P. D., Lock, B. A., Harden, R. N., Dewald, J. P. A. Redirection of cutaneous sensation from the hand to the chest skin of human amputees with targeted reinnervation. Proceedings of the National Academy of Sciences. 104 (50), 20061-20066 (2007).
- Hebert, J. S., et al. Novel targeted sensory reinnervation technique to restore functional hand sensation after transhumeral amputation. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 22 (4), 765-773 (2014).
- Tan, D. W., et al. A neural interface provides long-term stable natural touch perception. Science Translational Medicine. 257 (6), (2014).
- Oddo, C. M., et al. Intraneural stimulation elicits discrimination of textural features by artificial fingertip in intact and amputee humans. eLife. 5 (MARCH2016), (2016).
- Raspopovic, S., et al. Bioengineering: Restoring natural sensory feedback in real-time bidirectional hand prostheses. Science Translational Medicine. 6 (222), (2014).
- Flesher, S. N., et al. Intracortical microstimulation of human somatosensory cortex. Science Translational Medicine. 8 (361), (2016).
- Tabot, G. A., et al. Restoring the sense of touch with a prosthetic hand through a brain interface. Proceedings of the National Academy of Sciences. 110 (45), 18279-18284 (2013).
- Marasco, P. D., et al. Illusory movement perception improves motor control for prosthetic hands. Science Translational Medicine. 10 (432), (2018).
- Horch, K., Meek, S., Taylor, T. G., Hutchinson, D. T. Object discrimination with an artificial hand using electrical stimulation of peripheral tactile and proprioceptive pathways with intrafascicular electrodes. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 19 (5), 483-489 (2011).
- Braun, N., et al. The senses of agency and ownership: A review. Frontiers in Psychology. 9 (APR), (2018).
- Van Den Bos, E., Jeannerod, M. Sense of body and sense of action both contribute to self-recognition. Cognition. 85 (2), 177-187 (2002).
- Botvinick, M., Cohen, J. Rubber hands "feel" touch that eyes see. Nature. 391 (6669), 756(1998).
- Gallagher, S. Philosophical conceptions of the self: Implications for cognitive science. Trends in Cognitive Sciences. 4 (1), 14-21 (2000).
- Niedernhuber, M., Barone, D. G., Lenggenhager, B. Prostheses as extensions of the body: Progress and challenges. Neuroscience & Biobehavioral Reviews. 92, 1-6 (2018).
- Marasco, P. D., Kim, K., Colgate, J. E., Peshkin, M. A., Kuiken, T. A. Robotic touch shifts perception of embodiment to a prosthesis in targeted reinnervation amputees. Brain. 134 (3), 747-758 (2011).
- Rognini, G., Blanke, O. Cognetics: Robotic Interfaces for the Conscious Mind. Trends in Cognitive Sciences. 20 (3), 162-164 (2016).
- Dewey, J. A., Knoblich, G. Do implicit and explicit measures of the sense of agency measure the same thing. PLoS ONE. 9 (10), (2014).
- Edwards, A. L. Adaptive and Autonomous Switching: Shared Control of Powered Prosthetic Arms Using Reinforcement Learning. , University of Alberta. Master's thesis (2016).
- Desai, M., Stubbs, K., Steinfeld, A., Yanco, H. Creating trustworthy robots: Lessons and inspirations from automated systems. Adaptive and Emergent Behaviour and Complex Systems - Proceedings of the 23rd Convention of the Society for the Study of Artificial Intelligence and Simulation of Behaviour, AISB 2009. , 49-56 (2009).
- Lee, J. D., See, K. A. Trust in automation: designing for appropriate reliance. Human Factors. 46 (1), 50-80 (2004).
- Moore, J. W. What is the sense of agency and why does it matter? Frontiers in Psychology. 7 (AUG), 1-9 (2016).
- Obhi, S. S., Hall, P. Sense of agency in joint action: Influence of human and computer co-actors. Experimental Brain Research. 211 (3-4), 663-670 (2011).
- Sahaï, A., Pacherie, E., Grynszpan, O., Berberian, B. Co-representation of human-generated actions vs. machine-generated actions: Impact on our sense of we-Agency? 2017 26th IEEE International Symposium on Robot and Human Interactive Communication (RO-MAN). , Lisbon, Portugal. August 28 - September 1, 2017 (2017).
- Biddiss, E., Chau, T. Upper limb prosthesis use and abandonment: A survey of the last 25 years. Prosthetics and Orthotics International. 31 (3), 236-257 (2007).
- Atkins, D. J., Heard, D. C. Y., Donovan, W. H. Epidemiologic overview of individuals with upper-limb loss and their reported research priorities. Journal of Prosthetics and Orthotics. 8 (1), 2-11 (1996).
- Kalckert, A., Ehrsson, H. H. Moving a Rubber Hand that Feels Like Your Own: A Dissociation of Ownership and Agency. Frontiers in Human Neuroscience. 6 (March), 1-14 (2012).
- Caspar, E. A., Cleeremans, A., Haggard, P. The relationship between human agency and embodiment. Consciousness and Cognition. 33, 226-236 (2015).
- Haggard, P., Clark, S., Kalogeras, J. Voluntary action and conscious awareness. Nature Neuroscience. 5 (4), 382-385 (2002).
- Engbert, K., Wohlschläger, A., Haggard, P. Who is causing what? The sense of agency is relational and efferent-triggered. Cognition. 107 (2), 693-704 (2008).
- Moore, J. W., Wegner, D. M., Haggard, P. Modulating the sense of agency with external cues. Consciousness and Cognition. 18 (4), 1056-1064 (2009).
- Kumar, V., Todorov, E. MuJoCo HAPTIX: A virtual reality system for hand manipulation. 2015 IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids). , Seoul, South Korea. November 3 - 5, 2015 (2015).
- Kuiken, T. A., et al. Targeted reinnervation for enhanced prosthetic arm function in a woman with a proximal amputation: a case study. Lancet. 369 (9559), 371-380 (2007).
访问受限。请登录或开始试用以查看此内容。
重印与许可
标签
