方法文章

MPI CyberMotion 模拟器:一种新型运动模拟器的实现及其在三维多感官路径整合研究中的应用

14.1K 次观看

DOI:

10.3791/3436

2012年5月10日

本文内容

摘要

本文描述了一种有效的方法,用于深入了解人类在三维空间中进行导航的方式。该方法利用了一种能够以传统模拟器无法实现的方式移动观察者的运动模拟器。实验结果证实,在水平面内的运动被低估,而垂直方向的运动则被高估。

摘要

路径整合是一种将随时间累积的自身运动信息进行整合,以估算当前相对于起始位置所在方位的过程1。人类可以仅依赖视觉2-3、听觉4或惯性线索5完成路径整合。然而,当多种线索同时存在时,惯性线索——特别是动觉线索——似乎占据主导地位6-7。在缺乏视觉的情况下,人类倾向于高估较短的距离(<5 m)和较小的转向角度(<30°),但会低估较长的距离和较大的转向角度5。因此,大脑似乎并不能准确表征在物理空间中的运动过程。

关于水平面内的路径整合已有大量研究,但对垂直方向运动的了解却很少(参见3,其中仅通过视觉研究虚拟运动)。造成这一现象的原因之一是,传统的运动模拟器运动范围较小,主要局限于水平面。本文利用一种具有较大运动范围的运动模拟器8-9,评估水平面与垂直面之间的路径整合是否相似。同时,也评估了惯性线索和视觉线索在路径导航中的相对贡献。

16名观察者直坐在安装于改进型库卡人形机器人臂法兰盘上的座椅中。通过提供视觉(光流、有限寿命的星场)、前庭-本体感觉(闭眼状态下的被动自身运动)或视觉与前庭-本体感觉运动线索来操控感觉信息。在水平面、矢状面和冠状面中的运动轨迹由两段组成(第一段:0.4 m,第二段:1 m;峰值加速度±0.24 m/s2)。两段轨迹之间的夹角为45°或90°。观察者通过移动屏幕上虚拟人物叠加的箭头,指向其起始位置。

观察者在水平面运动时更倾向于低估角度大小,而在垂直面运动时则没有这种倾向。在冠状面中,观察者更倾向于高估角度大小,而在矢状面中则未表现出此类偏差。最后,当仅依赖前庭-本体感觉信息作答时,观察者的反应速度较慢。因此,仅基于前庭-本体感觉信息的人体路径整合所需时间比存在视觉信息时更长。指向行为的一致性表明,在水平面和垂直面中分别低估和高估所经过的角度,提示大脑对空间中自我运动的神经表征具有非对称性,这可能与人类日常运动主要发生在水平面有关。

方案

1. KUKA Roboter GmbH

  1. MPI CyberMotion 模拟器由一个六关节串联机器人组成,采用 3-2-1 配置(图 1)。该系统基于商用 KUKA Robocoaster(一种改进型 KR-500 工业机器人,有效载荷为 500 kg)。此前已有文献描述实现灵活且安全实验设置所需的物理改造和软件控制结构,包括运动模拟器的速度和加速度限制,以及系统的延迟和传递函数9。本文下方将定义对此前设置的修改。

工业机器人示意图,六轴运动,机械臂活动范围,机械工程。
图1. 当前MPI CyberMotion模拟器工作空间的图示。

  1. MPI CyberMotion 模拟器能够实现结合侧向运动与旋转的复杂运动轨迹。轴 1、4 和 6 可连续旋转。4 对硬件限位挡块在两个方向上限制轴 2、3 和 5 的运动。线性运动的最大范围在很大程度上取决于运动起始位置。当前 MPI CyberMotion 模拟器的硬件限位挡块如图所示 表1.
    范围 [度]最大速度 [deg/s]
    轴 1连续的69
    轴 2-128 至 -4857
    轴 3-45 至 +9269
    轴 4连续的76
    轴 5-58 至 +5876
    Axis 6连续的120

表1. MPI CyberMotion 模拟器当前的技术规格。

  1. 在对MPI CyberMotion模拟器进行任何实验之前,每个实验性运动轨迹都需在KUKA模拟PC(办公用PC)上经历一个测试阶段。“办公用PC”是KUKA公司销售的一种特殊产品,可模拟真实机械臂,其操作系统和控制界面布局与真实机械臂完全相同。图示为MPI CyberMotion模拟器开环配置控制系统的示意图。 图2.

MPI-KUKA 控制系统示意图,包含轴控制软件、机器人轨迹、关节位置流。
图 2. MPI CyberMotion 模拟器开环控制系统示意图。点击此处查看大图

  1. 控制结构的详细信息可参见此处9。简而言之,对于本实验所采用的开环配置,通过逆运动学将笛卡尔坐标系中的输入轨迹转换为关节空间角度,从而预先编程生成轨迹(图2)。
  2. MPI控制系统读取这些期望的关节角度增量,并将其发送至KUKA控制系统,以通过电机电流实现轴的运动。关节解析器的数值被传送至KUKA控制系统,后者以12 ms的内部频率确定当前的关节角度位置,进而触发MPI控制系统从文件中读取下一个关节角度增量,同时将当前的关节角度位置写入磁盘。MPI与KUKA控制系统之间的通信通过以太网连接,采用KUKA-RSI协议进行。
  3. 一个配备五点式安全带系统(Schroth)的赛车座椅(RECARO Pole Position)被安装在一个包含脚踏板的底盘上,该底盘固定于机械臂的法兰盘上(图3a)。此外,也可将受试者安置于封闭式座舱内进行实验(图3b)。

实验室中进行运动与控制测试时,使用模拟器的人机交互设置。
图 3. MPI CyberMotion 模拟器设置。a) 当前实验的配置,配备 LCD 显示屏。b) 需要封闭舱体并使用前投式立体显示的实验配置。c) 前投式单目显示。d) 头戴式显示器。

  1. 由于实验在黑暗中进行,红外相机可实现从控制室进行视觉监测。

2. 可视化

  1. 使用 MPI CyberMotion 模拟器可实现多种可视化配置,包括 LCD 显示、立体或单眼前投影以及头戴式显示器(图 3)。在当前实验中,视觉自运动线索由放置在受试者前方 50 cm 处的 LCD 显示屏提供(图 3a),受试者在其余环境中处于黑暗条件下进行测试。
  2. 视觉刺激由 Virtools 4.1 软件生成,包含一个具有随机分布且生命周期有限的点场。以受试者视点为中心,向前、向右、向左、向上和向下各延伸八个虚拟单位的空间(即尺寸为 16 × 16 × 8 个虚拟单位)内填充了 200,000 个直径为 0.02 个虚拟单位的白色圆形粒子,背景为黑色。这些点在整个空间内随机分布(空间内呈均匀概率分布)。虚拟单位中的运动经过缩放,与实际物理运动一一对应(1 个虚拟单位 = 1 个物理米)。
  3. 每个粒子显示两秒后消失,并立即在空间内的随机位置重新出现。因此,每秒钟有一半的点会改变其位置。向受试者显示的点位于距离 0.085 至 4 个虚拟单位之间的范围内(对应的视觉角度:13° 和 0.3°)。
  4. 通过以太网连接使用 UDP 协议接收来自 MPI 控制计算机的运动轨迹,实现点场内的运动与实际物理运动的同步。当穿过点场时,所有运动过程中点的平均数量保持恒定。该显示未提供绝对尺寸标度,但由于点是固定大小的球体,会根据其相对于观察者的距离呈现大小变化,从而提供光流和运动视差信息。

3. 实验设计

  1. 16名参与者(除一位作者(MB-C)外,其余均未接触过本实验)佩戴带有麦克风的主动降噪耳机,以便与实验者进行双向通信。耳机中持续播放额外的背景噪音,以进一步掩盖机器人产生的噪声。
  2. 参与者使用一个定制的操纵杆,其上装有响应按钮,数据通过以太网连接并采用UDP协议传输。
  3. 两个运动阶段之间的角度为45°或90°。水平面、矢状面和冠状面内的运动分别包括:前-右(FR)或右-前(RF)、下-前(DF)或前-下(FD)、下-右(DR)或右-下(RD)运动(图4a)。

平移轨迹、感觉信息、指向任务示意图;前庭输入与视觉输入分析。
图 4. 实验流程。a) 实验中所用轨迹的示意图。b) 每种测试轨迹类型所提供的感觉信息。c) 指向任务,用于指示参与者认为其运动起始位置的来源。点击此处查看大图

  1. 通过提供视觉(光流、有限寿命的星场)、前庭-本体感觉(闭眼状态下的被动自我运动)或视觉与前庭-本体感觉运动线索来操控感觉信息(图4b)。
  2. 运动轨迹由两个线段组成(第1段:0.4 m,第2段:1 m;峰值加速度±0.24 m/s2图4b)。轨迹仅包含平移运动,不涉及受试者的任何旋转。为减少每次试验前运动可能带来的干扰,并确保前庭系统从稳态开始测试,每次轨迹执行前均设有15秒的暂停期。
  3. 观察者通过移动屏幕上叠加在虚拟形象上的箭头,指向其起始位置(图4c)。箭头的运动被限制在轨迹平面内,并由操纵杆控制。虚拟形象从冠状面、矢状面和水平面三个视角呈现。观察者可任选一个或多个视角进行判断。箭头的初始朝向在各次试验中随机化。
  4. 由于指向任务要求参与者在心理上将指向视角从自我中心转换为外部参照系表征,因此在练习和正式实验前,研究人员向参与者提供了如何参照虚拟形象返回起点的指导。参与者被告知,指向时应假设该虚拟形象即为其自身身体。随后,参与者被要求使用外部参照系测量技术,指向相对于自身的物理目标。例如,参与者需指向位于其大腿上、自身与屏幕中间位置的操纵杆,这要求他们将箭头相对于虚拟形象向前并向下指向。所有参与者均能顺利完成这些任务,未表现出困惑。
  5. 每种实验条件重复3次,并以随机顺序呈现。 Signed error(有符号误差)和反应时间作为因变量,分别进行3(平面)×2(角度)×3(感觉模态)的重复测量方差分析。一名极端异常值参与者的反应时间数据被从分析中剔除。

4. 代表性结果

符号误差结果在不同模态和角度之间进行了合并,因为这些因素未发现显著的主效应。图5a显示了运动平面的显著主效应(F(2,30) = 7.0,p = 0.003),其中观察者在水平面内运动时低估了角度大小(平均数据小于0°),平均低估为-8.9°(标准误1.8);在额状面内运动时,观察者平均倾向于高估角度大小(5.3°,标准误2.6),而在矢状面内则未表现出此类偏差(-0.7°,标准误3.7)。尽管角度和模态的主效应不显著,但角度与平面之间存在显著交互作用(F(2,30) = 11.1,p < 0.001),表现为在额状面内,通过45°运动时的高估程度(7.9°,标准误2.6)大于通过90°运动时(2.8°,标准误2.7),而其他平面未出现此类差异。此外,模态与角度之间也存在显著交互作用(F(2,30) = 4.7,p = 0.017),表现为仅基于前庭信息进行90°运动时的低估程度(-4.3°,标准误2.1)显著大于仅视觉条件(-2.0°,标准误2.4)以及视觉与前庭信息结合条件(2.3°,标准误2.2),而在45°运动时未出现此类差异。符号误差未发现显著的被试间效应(F(1,15) = 0.7,p = 0.432)。图5b展示了反应时间结果。模态具有显著主效应(F(2,28) = 22.6,p < 0.001),观察者在仅依据前庭-本体感觉信息作答时反应最慢(11.0 s,标准误1.0),相较于视觉条件(9.3 s,标准误0.8)和联合条件(9.0 s,标准误0.8)。平面也存在显著主效应(F(2,28) = 7.5,p = 0.002),观察者在水平面内运动时反应最慢(10.4 s,标准误1.0),相较于矢状面(9.4 s,标准误0.8)和额状面(9.4 s,标准误0.9)。运动节段角度的主效应及其交互作用均不显著。反应时间存在显著的被试间效应(F(1,14) = 129.1,p < 0.001)。

比较前庭、视觉及联合条件下带符号误差与反应时间的图表。
图5. 结果。a) 不同测试平面在各感觉模式下合并的带符号误差。b) 不同运动平面在各测试感觉模式下合并的反应时间。误差条表示 ±1 s.e.m。

讨论

路径整合已被充分证实是一种用于判断观察者起始位置的方法,但该方法容易低估个体所经过的角度5。我们的结果显示,这种低估现象仅发生在水平面的平移运动中。而在垂直平面内,参与者更倾向于高估所经过的角度,或几乎不存在偏差。这些结果可能解释了为何在地形行进过程中对高度变化的估计往往被夸大10,以及为何在建筑物不同楼层之间的空间导航能力较差11。这些发现也可能与前庭系统中球囊与椭圆囊感受器比例存在的已知不对称性(约0.58)有关12。仅依赖前庭-本体感觉信息时反应时间较慢,相较于存在视觉信息的情况,表明仅依靠惯性线索判断自身起始位置可能存在额外的延迟,这可能与近期研究发现的前庭感知速度较其他感觉更慢的现象相关13-16。总体而言,我们的结果提示,在垂直方向运动时,个体可能采用了不同的策略来判断起始位置,这可能与人类日常运动主要发生在水平面有关。此外,尽管连续的平移运动较为罕见,但它们最常出现在误差最小的矢状面,例如当我们步行接近并进入自动扶梯时。尽管实验后的访谈未反映出不同平面间存在策略差异,未来的研究仍应进一步探索这一可能性。我们计划利用MPI CyberMotion Simulator开展进一步实验,通过引入更多自由度的轨迹、更长的路径、身体相对于重力的不同朝向,以及更大的视野范围,深入探究三维空间中的路径整合表现。

致谢

MPI 博士后津贴资助 MB-C 和 TM;韩国国家研究基金会(R31-2008-000-10008-0)资助 HHB。感谢 Karl Beykirch、Michael Kerger 和 Joachim Tesch 提供的技术支持与科学讨论。

参考文献

  1. Loomis, J. M., Klatzky, R. L., Golledge, R. G. Navigating without vision: Basic and applied research. Optometry and Vision Science. 78, 282-289 (2001).
  2. Vidal, M., Amorim, M. A., Berthoz, A. Navigating in a virtual three-dimensional maze: how do egocentric and allocentric reference frames interact. Cognitive Brain Research. 19, 244-258 (2004).
  3. Vidal, M., Amorim, M. A., McIntyre, J., Berthoz, A. The perception of visually presented yaw and pitch turns: Assessing the contribution of motion, static, and cognitive cues. Perception & Psychophysics. 68, 1338-1350 (2006).
  4. Loomis, J. M., Klatzky, R. K., Philbeck, J. W., Golledge, R. Assessing auditory distance perception using perceptually directed action. Perception & Psychophysics. 60, 966-980 (1998).
  5. Loomis, J. M., Klatzky, R. L., Golledge, R. G., Cicinelli, J. G., Pellegrino, J. W., Fry, P. A. Nonvisual navigation by blind and sighted: Assessment of path integration ability. Journal of Experimental Psychology General. 122, 73-91 (1993).
  6. Bakker, N. H., Werkhoven, P. J., Passenier, P. O. The effects of proprioceptive and visual feedback on geographical orientation in virtual environments. Presence. 8, 36-53 (1999).
  7. Kearns, M. J., Warren, W. H., Duchon, A. P., Tarr, M. J. Path integration from optic flow and body senses in a homing task. Perception. 31, 349-374 (2002).
  8. Study of a novel motion platform for flight simulators using an anthropomorphic robot. Pollini, L., Innocenti, M., Petrone, A. Proceedings of the AIAA Modeling and Simulation Technologies Conference and Exhibit, Keystone, Colorado AIAA, , 2006-6360 (2006).
  9. Teufel, H. J., Nusseck, H. -G., Beykirch, K. A., Butler, J. S., Kerger, M., Bulthoff, H. H. MPI motion simulator: development and analysis of a novel motion simulator. Proceedings of the AIAA Modeling and Simulation Technologies Conference and Exhibit, Hilton Head, South Carolina AIAA, , 2007-6476 (2007).
  10. Gärling, T., Böök, A., Lindberg, E., Arce, C. Is elevation encoded in cognitive maps. Journal of Environmental Psychology. 10, 341-351 (1990).
  11. Montello, D. R., Pick, H. L. J. Integrating knowledge of vertically aligned large-scale spaces. Environment and Behaviour. 25, 457-483 (1993).
  12. Correia, M. J., Hixson, W. C., Niven, J. I. On predictive equations for subjective judgments of vertical and horizon in a force field. Acta oto-laryngologica Supplementum. 230, 3(1968).
  13. Barnett-Cowan, M., Harris, L. R. Perceived timing of vestibular stimulation relative to touch, light and sound. Experimental Brain Research. 198, 221-231 (2009).
  14. Barnett-Cowan, M., Harris, L. R. Temporal processing of active and passive head movement. Experimental Brain Research. 214, 27-35 (2011).
  15. Sanders, M. C., Chang, N. N., Hiss, M. M., Uchanski, R. M., Hullar, T. E. Temporal binding of auditory and rotational stimuli. Experimental Brain Research. 210, 539-547 (2011).
  16. Barnett-Cowan, M., Raeder, S. M., Bulthoff, H. H. Persistent perceptual delay for head movement onset relative to auditory stimuli of different duration and rise times. Experimental Brain Research. , Forthcoming (2012).

重印与许可

标签