需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

WheelCon：一种基于轮式控制器的游戏平台，用于研究人类感觉运动控制

4.5K 次观看

⸱

DOI：

10.3791/61092

⸱

2020年8月15日

 ,  ,  ,  ,  ,  ,  ,  , 
1Department of Biomedical Engineering, Southern University of Science and Technology, 2Division of Engineering and Applied Science, California Institute of Technology, 3Neuroscience Center, Huntington Medical Research Institutes

本文内容

摘要

WheelCon 是一个新颖的、免费且开源的平台，用于设计视频游戏，以非侵入方式模拟在陡峭、曲折且颠簸的山地车道上骑行山地自行车的过程。该平台包含了人类感觉运动控制中的各项要素（如延迟、量化、噪声、干扰以及多重反馈回路），并允许研究人员研究感觉运动控制中的分层结构。

摘要

反馈控制理论已被广泛用于对人体感觉运动控制进行理论建模。然而，能够操控多个反馈回路中关键组成部分的实验平台尚缺乏发展。本文介绍 WheelCon，一个旨在解决此类不足的开源平台。WheelCon 仅需一台计算机、一个标准显示器以及一个带有力反馈电机的低成本游戏方向盘，即可安全地模拟典型的感觉运动任务——骑山地自行车沿陡峭、曲折且颠簸的路径下行。该平台具有高度灵活性，如所提供的演示所示，研究人员可调节分层反馈回路中的干扰、延迟和量化（数据速率），包括高层的高级规划层和低层的延迟反射层。本文将展示 WheelCon 的图形用户界面（GUI）、现有演示程序的输入与输出，以及如何设计新游戏。此外，我们还提出了基本的反馈模型，并展示了来自演示游戏的实验结果，这些结果与模型预测高度一致。WheelCon 平台可在 https://github.com/Doyle-Lab/WheelCon 下载。总之，该平台具有成本低、使用简便、编程灵活等特点，适用于高效的感觉运动神经科学研究与控制工程教育。

引言

人类感觉运动控制系统具有极强的鲁棒性1，尽管其感知过程具有分布性、变异性、稀疏性、量化性、噪声干扰以及延迟等特点2,3,4；中枢神经系统中的信息处理速度较慢5,6,7；且肌肉执行过程存在疲劳和饱和现象8。已有许多计算理论模型被提出，用于解释复杂的人类感觉运动控制过程4,9,10,11,12,13,14，该过程在人类的运动实现与反应中表现为一种权衡机制15,16。例如，反馈控制理论可预测最优控制策略12，贝叶斯理论用于建模感觉运动学习过程17,18,19，而信息论则阐释了感觉运动控制的基础机制20,21。与大量理论模型的发展相比，能够调控多个反馈回路中关键组成部分的实验平台却发展不足。部分原因在于，设计一个能够连接并验证感觉运动控制多方面特性的平台，需要涵盖从运动控制理论、信号处理与人机交互，到计算机图形学和编程等多个领域的专业知识。研究人员通常自行开发定制化的硬件/软件系统，以表征人类感觉运动控制的表现，但这限制了不同研究团队之间数据集的比较、对照与整合。开发一种易于使用且经过验证的系统，有望拓展对感觉运动控制的定量表征能力。

本文介绍了 WheelCon 平台，这是一种新颖的、免费且开源的平台，可用于设计虚拟环境中的视频游戏，以非侵入方式模拟菲茨定律（Fitts’ Law）伸手任务以及山地自行车任务——后者包含沿陡峭、曲折且颠簸的路径下行。菲茨定律伸手任务用于量化速度与准确性之间的权衡关系，即到达距离为 、宽度为 的目标所需的时间按比例变化22,23。"山地自行车任务" 是追踪与补偿性跟踪任务的结合，这两者是人类感觉运动性能研究中的两个经典组成部分，尤其适用于反馈回路的研究。

WheelCon 包含了每种理论中高度需求的基本组件：延迟、量化、噪声、干扰以及多重反馈回路。它是研究人类感觉运动控制中以下多样化问题的潜在工具：

• 人类感觉运动系统如何应对神经信号传递中的延迟和量化问题，这一问题从根本上受到大脑有限资源（如空间和代谢成本）的制约24,25；
• 人类大脑皮层中的神经相关性如何参与感觉运动控制26；
• 人类如何应对感觉运动控制中不可预测的外部干扰27；
• 人类感觉运动系统中分层结构的控制回路如何组织并整合16,28,29；
• 延迟和量化对人类视觉反馈30及反射反馈31在感觉运动控制中的影响；
• 在存在延迟和量化条件下，感觉运动学习的最优策略与控制策略16,17,24,29。

WheelCon 可与方向盘集成，能够模拟影响这些问题中各变量的游戏条件，例如信号延迟、量化、噪声和干扰，同时记录动态控制策略和系统误差。它还允许研究人员研究感觉运动控制中的分层架构。以骑山地自行车为例，该任务涉及两个控制层：高层计划和低层反射。对于可见的干扰（例如路面情况），我们会在干扰到达前进行规划；而对于事先未知的干扰（例如小的颠簸），控制则依赖于延迟的反射。反馈控制理论提出，有效的分层架构能够将高层的目标、计划和决策与底层的感知、反射和动作相结合24。WheelCon 提供了实验工具，可分别在计划层和反射层引入不同的干扰，以测试此类分层架构（图 1）。

我们提供一个价格低廉、易于使用且编程灵活的平台——WheelCon，该平台弥合了神经科学领域理论研究与实验研究之间的鸿沟。具体而言，该平台可用于研究延迟、量化、干扰以及潜在的速度-准确性权衡等问题。控制环路中可操控的变量如表1所示。此外，WheelCon 还可用于研究人类感觉运动控制中跨不同控制层级的决策过程与多路复用能力。更重要的是，WheelCon 兼容非侵入性神经记录技术（如脑电图（EEG）），可用于测量感觉运动控制过程中的神经响应32,33,34,35，同时也兼容非侵入性脑刺激技术（如经颅电刺激（tES）和经颅磁刺激（TMS）），可用于调控神经活动36,37。

访问受限。请登录或开始试用以查看此内容。

方案

该方案的开发与应用已获得加州理工学院机构审查委员会（IRB）和南方科技大学机构审查委员会（IRB）的批准。受试者在进行任何操作前均签署了知情同意书。

1. 系统准备与设置

  1. 推荐的基本硬件配置为 2 GHz 双核处理器和 4 GB 系统内存。
  2. 在 Unity 平台下构建游戏平台，并使用 C# 编程语言。游戏平台开发需要 Logitech 游戏方向盘驱动程序和 Logitech Steering Wheel SDK。
  3. 游戏平台的可执行文件仅支持 Windows 10 操作系统（OS）。因此，在运行 Windows 10 的计算机上，下载并安装相应的方向盘驱动程序。然后下载压缩版 WheelCon 软件（https://github.com/Doyle-Lab/WheelCon/archive/master.zip），并将文件解压至本地硬盘。
  4. 将赛车方向盘牢固地安装在坐姿高度的显示器前方，然后将方向盘的 USB 线缆连接至计算机，并将电源适配器插入电源插座。
  5. 启动驱动程序图形用户界面（GUI）以测试输入读数和力反馈是否正常。重要的是，在测试期间需保持驱动程序 GUI 在后台持续运行。
  6. 要启动程序，请双击 '\WheelCon-master\Executable & Output Files' 目录中的 WheelCon.exe 文件。
  7. 在配置界面中，选择显示器设置，然后点击 Play!（图 2a）。主菜单将出现。请确保显示尺寸和位置符合规定。
    注意：定义光标速度的“方向盘灵敏度”值范围为 0 到 1，默认值为 0.5。如果方向盘提供的运动范围不适用于特定任务参数，可调整此值。例如，针对老年人群可降低灵敏度。但在不同任务之间进行比较时，必须在整个测试电池及各组之间保持该值恒定。

2. 任务实施

  1. 菲茨定律伸手游戏
    注意：菲茨定律伸手游戏模拟了伸手过程。受试者需要转动轮盘，将垂直线移入目标区域（图2d）。
    1. 让受试者舒适地坐在轮盘后方。如有必要，调整轮盘的高度。
    2. 在主菜单中，点击 菲茨定律任务（图2b），并在文本框中输入输出文件的名称，以标明受试者编号和任务信息。
    3. 点击 选择文件，在“\WheelCon-master\ Demo Input Files\”目录中选择 Fitt's Law.txt，然后点击 开始游戏。
    4. 指导受试者通过转动轮盘移动绿色垂直线，使其进入灰色区域。此任务旨在帮助受试者熟悉轮盘的操作方式，以及不同任务中使用的颜色约定。
  2. 山地自行车任务
    注意：山地自行车任务是追踪与补偿性跟踪任务的结合。它模拟了骑山地自行车沿陡峭、曲折且颠簸的小路下行的过程。受试者可以看到小路，并通过转动轮盘进行跟踪，同时电机可对轮盘施加扭矩，以模拟路途中不可见的颠簸（图2e）。
    1. 游戏1：测试视觉延迟的影响
      注意：在此游戏中，将操控前瞻窗口的长度（提前预警与延迟）。
      1. 在主菜单中，点击 山地自行车任务（图2c），并在文本框中输入输出文件的名称，以标明受试者编号和任务信息。
      2. 点击 选择文件，在“\WheelCon-master\ Demo Input Files\”目录中选择 Vision_Delay.txt，然后点击 开始游戏。
      3. 指导受试者通过转动轮盘移动绿色垂直线，以跟踪与紫色水平线相交的灰色小路部分。
    2. 游戏2：测试动作延迟的影响
      注意：在此游戏中，轮盘运动与动作输出之间引入了不同长度的延迟。
      1. 在主菜单中，点击 山地自行车任务，并在文本框中输入输出文件的名称，以标明受试者编号和任务信息。
      2. 点击 选择文件，在“\WheelCon-master\ Demo Input Files\”目录中选择 Action_Delay.txt，然后点击 开始游戏。
      3. 指导受试者通过转动轮盘移动绿色垂直线，以跟踪与紫色水平线相交的灰色小路部分。
    3. 游戏3：测试视觉量化的影响
      注意：在此游戏中，视觉输入被量化以限制数据速率。
      1. 在主菜单中，点击 山地自行车任务，并在文本框中输入输出文件的名称，以标明受试者编号和任务信息。
      2. 点击 选择文件，在“\WheelCon-master\ Demo Input Files\”目录中选择 Vision Quantization.txt，然后点击 开始游戏。
      3. 指导受试者通过转动轮盘移动绿色垂直线，以跟踪与紫色水平线相交的灰色小路部分。
    4. 游戏4：测试动作量化的影响
      注意：在此游戏中，动作输出被量化以限制数据速率。
      1. 在主菜单中，点击 山地自行车任务，并在文本框中输入输出文件的名称，以标明受试者编号和任务信息。
      2. 点击 选择文件，在“\WheelCon-master\ Demo Input Files\”目录中选择 Action Quantization.txt，然后点击 开始游戏。
      3. 指导受试者通过转动轮盘移动绿色垂直线，以跟踪与紫色水平线相交的灰色小路部分。
    5. 游戏5：测试颠簸与路径扰动的影响
      注意：该任务包含三种情景：
      a) "Bumps"：在轮盘受到模拟山地骑行中撞击颠簸所产生的扭矩干扰的情况下，跟踪一条恒定路径；
      b) "Trail"：跟踪一条随机转弯但无颠簸的移动路径；
      c) "Trail with Bumps"：跟踪一条同时具有随机转弯和颠簸的移动路径。
      1. 在主菜单中，点击 山地自行车任务，并在文本框中输入输出文件的名称，以标明受试者编号和任务信息。
      2. 点击 选择文件，在“\WheelCon-master\ Demo Input Files\”目录中选择 Bump & Trail.txt，然后点击 开始游戏。
      3. 指导受试者通过转动轮盘移动绿色垂直线，以跟踪与紫色水平线相交的灰色小路部分。

3. 数据输出

  1. 在“\WheelCon-master\Executable & Output Files\MountainBikeData\”目录中找到TXT输出文件，然后使用Matlab打开“\WheelCon-master\Source Code\”目录中的“WheelCon Data Analysis Code.m”文件。
  2. 在MATLAB脚本中根据输出文件的路径设置folder和file_names变量，然后运行该脚本（Ctrl + Enter），输出变量将以列向量形式保存至工作区。误差和控制策略将在每个采样时刻被导出。详细说明见表2。

4. 输入文件的构建

  1. 在“\WheelCon-master\Source Code\”目录中打开“WheelCon Mntn Bike Trail Design Code.m”文件。
  2. 取消注释（Ctrl + T）所需游戏参数的部分，然后运行脚本（Ctrl + Enter）。输入文件将以 .txt 格式保存在“\WheelCon-master\Source Code\”目录中。输入文件中的每一列对应一个控制变量。控制变量列表请参见表1。

访问受限。请登录或开始试用以查看此内容。

结果

建模反馈控制

我们展示了如图1所示的简化反馈控制模型。系统动力学由以下公式给出：

动态系统方程，x(t+1)=x(t)+u(t)+w(t)+r(t)，公式说明。

其中，x(t) 表示时刻 t 的误差，r(t) 表示轨迹扰动，w(t) 表示凸起扰动，u(t) 表示控制作用。

模拟轨迹干扰中的动作...

访问受限。请登录或开始试用以查看此内容。

讨论

本文介绍了一种免费的开源游戏平台 WheelCon，用于研究延迟、量化、干扰以及分层反馈回路在人体感觉运动控制中的影响。我们展示了该平台的硬件、软件及图形用户界面。已实现包含延迟和量化的单个感觉运动控制回路的设置，可用于测量延迟、量化和干扰对感觉运动控制的影响。实验结果与反馈控制理论的预测高度一致。

这些方案提供了一种非侵入性方法，用于操控外部延迟，并限制视觉输入和动作输出的数据速率，进而分析感觉运动控制性能。在该方案中，我们要求受试者在平台预设的多种任务场景下进行游戏。通过这些任务，我们验证了延迟的线性效应（图3 和 图4）以及量化处理的非线性效应（图5）。这些效应揭示了在人类感觉运动控制中，基于速度-准确性权衡的优化机制。该方案还使我们能够研究人类感觉运动系统中分层的反馈回路，包括一个高层的高级规划层和一个低层的延迟反射层（图6）。

...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明不存在利益冲突。

致谢

我们感谢王 Zhengyang 先生对脚本的修改、视频拍摄与剪辑，以及叶 Ziyuan 先生对视频的剪辑。本研究获得了 CIT 基金的支持 & 国家科学基金会（资助 JCD） 博斯韦尔研究员项目（资助编号：QL）和高水平大学建设经费（编号：G02386301，G02386401）、广东省自然科学基金联合基金（编号：2019A1515111038）。 

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
游戏方向盘Logitech
Windows 10 操作系统Microsoft

参考文献

  1. Franklin, D. W., Wolpert, D. M. Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011).
  2. Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
  3. Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
  4. Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
  5. Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
  6. Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
  7. Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
  8. Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
  9. Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R. Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018).
  10. Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
  11. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  12. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  13. Wolpert, D. M., Flanagan, J. R. Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016).
  14. Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
  15. Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713(2019).
  16. Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
  17. Körding, K. P., Wolpert, D. M. Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004).
  18. Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8(2018).
  19. Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
  20. Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
  21. Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
  22. Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
  23. Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
  24. Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
  25. Nakahira, Y., Liu, Q., Sejnowski, T. J., Doyle, J. C. Fitts' Law for speed-accuracy trade-off describes a diversity-enabled sweet spot in sensorimotor control. arXiv. , Available from: http://arxiv.org/abs/1906.00905 (2019).
  26. Jafari, M. Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames. , Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019).
  27. Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
  28. Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
  29. Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
  30. Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
  31. Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763(2013).
  32. Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
  33. Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
  34. Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
  35. Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
  36. Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
  37. Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
  38. Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
  39. Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82(2020).
  40. McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
  41. Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
  42. Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
  43. Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
  44. Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).

访问受限。请登录或开始试用以查看此内容。

重印与许可

标签

WheelCon 平台游戏方向盘反馈控制理论山地自行车模拟扰动调控延迟量化数据率控制实验结果
WheelCon：一种基于轮式控制器的游戏平台，用于研究人类感觉运动控制
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。