Summary
WheelCon 是一个新颖、免费和开源的平台,用于设计视频游戏,无创地模拟山地自行车沿着陡峭、曲折、崎岖的小径骑行。它包含人类传感器运动控制(延迟、量化、噪声、干扰和多个反馈回路)中的组件,并允许研究人员研究传感器运动控制中的分层结构。
Abstract
反馈控制理论已被广泛应用为人类传感器运动控制建模。然而,能够操纵多个反馈回路重要组件的实验平台缺乏开发。本文描述了 WheelCon,一个旨在解决此类不足问题的开源平台。WheelCon 仅使用一台电脑、标准显示屏和配备有力反馈电机的廉价游戏方向盘,安全地模拟了骑山地自行车沿着陡峭、曲折、崎岖的小径骑行的规范传感器运动任务。该平台提供了灵活性,如所提供的演示中所演示,因此研究人员可以操作分层反馈回路中的干扰、延迟和量化(数据速率),包括高级高级计划层和低级延迟反射层。在这篇小论文中,我们演示了 WheelCon 的图形用户界面 (GUI),现有演示的输入和输出,以及如何设计新游戏。此外,我们提出了演示游戏的基本反馈模型和实验结果,这些结果与模型的预测非常吻合。WheelCon 平台可立即下载https://github.com/Doyle-Lab/WheelCon。简言之,该平台的特点是便宜、易于使用、灵活编程,可进行有效的传感器运动神经科学研究与控制工程教育。
Introduction
人传运动控制系统非常坚固1,虽然传感是分布式的,可变的,稀疏的,量化的,噪声和延迟的2,3,4;,3,4中枢神经系统的计算速度5慢5、6、7;,6,7和肌肉驱动疲劳和饱和8。提出了许多计算理论模型来解释复杂的人类传感器,运动控制过程,4、9、10、11、12、13、14,9这是一个在人类到达和响应,12,1310,11415、16,中权衡利向的过程。14例如,反馈控制理论预测最佳控制策略12,贝叶斯理论模型传感器运动学习17,18,19和信息理论传感器运动基础17,18,1920,21。20,21与丰富的理论模型相比,能够操纵多个反馈回路重要成分的实验平台缺乏开发。部分原因在于,设计一个平台来桥接和测试传感器运动控制的这些方面需要各种各样的专业知识,从电机控制理论、信号处理和交互,一直延伸到计算机图形和编程。研究人员经常开发自己的定制硬件/软件系统来描述人类传感器运动控制性能,这会限制跨研究组比较/对比和集成数据集的能力。开发一个易于使用和验证的系统可以扩大传感器运动控制的定量特性。
本文介绍了 WheelCon 平台,这是一个新颖、免费和开源的平台,用于为虚拟环境设计视频游戏,无创地模拟了 Fitts 定律到达游戏和山地自行车任务,并完成了陡峭、曲折和颠簸的轨迹。Fitts 的到达任务定律量化了速度和精度之间的权衡,其中达到距离尺度上宽度目标所需的时间为22,23,23。"山地自行车任务"是追求和补偿性跟踪任务的结合,是人类传感器运动性能研究的两个经典组成部分,特别是在研究反馈回路方面。
WheelCon 包含每个理论中提出的高要求的基本组件:延迟、量化、噪声、干扰和多个反馈回路。它是研究人类感官运动控制中的以下不同问题的潜在工具:
• 人类传感器运动系统如何处理神经信号的延迟和量化,这从根本上受到大脑24、25,中有限资源(如空间和代谢成本)的限制;
• 人类皮层的神经相关性与传感器运动控制如何26;
• 人类如何处理传感器运动控制中不可预知的外部干扰27;
• 分层控制回路如何分层和集成在人类传感器运动系统16、28、29,28,中;
• 人类视觉反馈30的延迟和量化的结果,反射 反馈31 在传感器运动控制中产生的结果;
• 延迟和量化下传感器运动学习的最佳策略和策略 16、17、24、29 。16,17,24,29
WheelCon 与方向盘集成,可以模拟在这些问题中操作变量的游戏条件,例如信令延迟、量化、噪声和干扰,同时记录动态控制策略和系统错误。它还允许研究人员研究传感器运动控制中的分层架构。在骑山地自行车的示例中,此任务涉及两个控制层:高层计划和低层反射。对于可见的干扰(即小径),我们会在干扰到达之前进行规划。对于事先未知的干扰(即小颠簸),控制依赖于延迟反射。反馈控制理论认为,有效的分层架构可以整合上层的目标、计划、决策与下层的传感、反射和动作24。WheelCon 提供实验工具,分别用于测试这种分层架构(图1),从而在平面图和反射层中分别诱导明显干扰。
我们提供一个廉价,易于使用和灵活的编程平台,WheelCon,弥合了理论和实验神经学研究之间的差距。具体说来,它可用于检查延迟、量化、干扰、潜在的速度精度权衡的影响。可以在控制循环中操作的变量显示在表1 中。它还可用于研究人类传感器运动控制中不同控制层的决策和多路复用能力。此外,WheelCon与非侵入性神经记录(如脑电图(EEG))兼容,用于测量,传感器运动控制32、33、34、35,33,34期间的神经反应,以及非侵入性脑刺激技术(如颅电刺激(tES)和颅磁刺激(TMS),以操纵神经35活动36、37。36,37
Subscription Required. Please recommend JoVE to your librarian.
Protocol
该议定书的开发和应用得到了加州理工学院机构审查委员会(IRB)和南方科技大学 IRB 的批准。主体在执行任何程序之前提供了知情同意。
1. 系统准备和设置
- 推荐的基本硬件是 2 GHz 双核处理器和 4 GB 的系统内存。
- 在 Unity 平台下构建游戏平台,同时使用 C# 编程语言。游戏平台开发需要罗技游戏轮驱动器和罗技方向盘 SDK。
- 游戏平台可执行文件仅支持 Windows 10 操作系统 (OS)。因此,在运行 Windows 10 的电脑上,下载并安装相应的赛车轮驱动程序。然后下载压缩的 WheelCon 软件 (https://github.com/Doyle-Lab/WheelCon/archive/master.zip),然后将文件提取到本地硬盘驱动器。
- 将赛车轮牢固地安装在显示器前的坐姿上,然后将车轮的 USB 电缆连接到 PC,将电源适配器连接到插座。
- 启动驱动程序 GUI 以测试正确的输入读出和强制反馈。重要的是,在测试期间保持驱动程序 GUI 在后台运行。
- 要启动该程序,请双击"[轮式主机]可执行和输出文件"目录中的WheelCon.exe。
- 在配置屏幕上,选择监视器的设置,然后单击"播放"!(图 2a)。将显示主菜单。确保显示大小和位置是指定的。
注:"车轮灵敏度"值定义光标速度,范围从 0 到 1,默认值为 0.5。如果赛车轮提供的运动范围不适合特定任务参数,请调整此值。例如,降低对人口老龄化的敏感性。但是,为了比较任务,有必要为电池和跨组保持此值不变。
2. 任务实施
- 菲茨定律达到游戏
注:Fitts 的法子到达游戏模拟到达过程。主体需要转动车轮以将垂直线放置到所需的区域(图 2d)。- 将主体舒适地放在车轮后面。如有必要,调整车轮高度。
- 在主菜单上,单击 Fitts 的"法律 任务"(图 2b),并在文本框中输入输出文件的名称,指示主题标识和任务信息。
- 单击"选择文件",在"[轮式主文件]演示输入文件"目录中选择 Fitt 定律.txt,然后单击"开始游戏"。
- 指示主体移动带轮子的绿色垂直线,以将它放在灰色区域中。此任务用于熟悉操纵车轮的主题,以及用于不同任务的颜色约定。
- 山地自行车任务
注:山地自行车任务是追求和补偿跟踪任务的组合。它模拟骑山地自行车沿着陡峭,扭曲和颠簸的小径。主体可以看到轨迹并转动车轮来跟踪它,而电机可以扭矩车轮来模拟试验中的隐形颠簸(图2e).-
游戏 1:测试视觉延迟的效果
注意:在这个游戏中,前向窗口的长度(高级警告与延迟)纵。- 在主菜单上, 单击山地自行车任务 (图 2c),并键入输出文件的名称,指示文本框中的主题标识和任务信息。
- 单击"选择文件",在Vision_Delay[轮主]演示输入文件"目录中选择"选择文件",然后单击"开始游戏"。
- 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
-
游戏 2:测试动作延迟的效果
注:在这个游戏里,在车轮运动和动作输出之间添加各种长度的延迟。- 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
- 单击"选择文件",在Action_Delay[轮主]演示输入文件"目录中选择"开始游戏"。
- 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
-
游戏3:测试视觉量化的效果
注:在这个游戏中,视觉输入被量化,以限制数据速率。- 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
- 单击"选择文件",在"[轮式主机]演示输入文件"目录中选择视觉量化.txt,然后单击"开始游戏"。
- 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
-
游戏4:测试动作量化的效果
注:在这个游戏里,动作输出被量化以限制数据速率。- 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
- 单击"选择文件",在"[轮式主机]演示输入文件"目录中选择"操作量化.txt",然后单击"开始游戏"。
- 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
-
游戏5:测试颠簸和跟踪干扰的影响
注意:此任务由三种情况组成:
a) "凹凸",跟踪一个恒定的跟踪主体,尽管扭矩干扰的车轮,模仿撞撞时骑山地自行车;
b) "跟踪",跟踪移动轨迹,随机转弯,但没有颠簸;
c) "带凹凸的轨迹",用随机转弯和颠簸跟踪移动轨迹。- 在主菜单上,单击山地自行车 任务并 键入输出文件的名称,指示文本框中的主题标识和任务信息。
- 单击"选择文件",在"[轮回主]演示输入文件"目录中选择凹凸和跟踪.txt,然后单击"开始游戏"。
- 指示主体将绿色垂直线与车轮一起移动,以跟踪与紫色水平线相交的灰色轨迹部分。
-
游戏 1:测试视觉延迟的效果
3. 数据输出
- 在"[轮主]可执行和输出文件[山自行车数据]"目录中找到 TXT 输出文件,然后在"[轮主"和源代码"目录中使用 Matlab'WheelCon 数据分析代码.m 打开。
- 在 MATLAB 脚本中folder根据输出文件目录指定文件夹和 file_names变量,然后运行脚本 (Ctrl + Enter),输出变量将保存为工作区的列矢量。错误和控制策略将导出每个采样时间。有关详细说明,请参阅表 2。
4. 输入文件开发
- 在"[轮主[源代码]"目录中打开"WheelCon Mntn 自行车道设计代码.m"。
- 取消注释 (Ctrl + T) 所需游戏参数的部分并运行脚本 (Ctrl + Enter)。输入文件将保存在 .txt 格式的"[WheelCon-master]源代码"目录中。输入文件中的每一列都是一个控件变量。有关控制变量列表,请参阅表1。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
建模反馈控制
我们显示了图 1 所示的简化 反馈控制模型。系统动态由以下方法提供:
其中 x(t) 是时间 t 的误差, r(t) 是跟踪扰动 w(t), 是颠簸扰动, u(t) 是控制动作。
跟踪扰动中的建模动作延迟
当有延迟 T 在 行动,和跟踪扰动 r( t )时,我们根据
游戏从零初始条件开始: x(0) = 0。控制器 = 使用状态、干扰和控制输入的历史的完整信息生成控制命令 u(t) 。在这里,净延迟T由人传感器运动反馈的内部延迟和外部添加的延迟组成。控制命令以延迟 T = 0 执行。风险感知设置中的传感器运动控制可激励 L1 最佳控制的使用,因此,目标是验证以下稳健的控制问题
此问题提供了简单而直观的解决方案。最佳成本由
这种最佳成本是通过最坏情况控制策略u(t = T) = r (t) 实现的,它产生t
轨迹扰动中的建模动作量化
当控制循环中的数据速率 R 限制时,控制操作由具有通信约束的以下反馈循环生成,
其中 为控制器, 是数据速率 R = 1 的量化器, 即 S 是有限基数 2 R集。干扰 r(t) 是无穷大规范约束的,不丧失一般性 。最坏情况状态偏差按以下边界
最小控制工作量由
误差度量
为了量化性能,我们测量了无穷大标准误差 ,均值绝对误差(MAE)和根均方误差(RMSE)。无穷大规范定义为绝对误差的最大值,其中
平均绝对误差计算如下
根均方误差计算如下
游戏 1:视觉高级警告或延迟
游戏 1 评估前望窗口的长度(高级警告/延迟)如何影响传感器运动控制性能,而不会受到其他干扰。
游戏 1 持续 360 秒,由一个连续的"Trail"组成,每 30 秒减少一次向前看量。游戏以 1 s 的高级警告开始,然后减至 0.75 s,然后减至 0.5 s。从那里,游戏将前看量降低 0.1 s,直到达到 -0.4 s 的最小值。正延迟或负高级警告意味着只有玩家后面的踪迹可见。
图 3a-3b中分别描述了随着游戏的进行,玩家的错误动力学演变为 1 s 的高级警告和 0.4 s 延迟。 Figure 3两个绘图仅显示 30 秒间隔中每个间隔的 20 秒的中间,而忽略了玩家适应新前向窗口的效果。块中错误在 1 s 高级警告设置中看起来稳定,而在 0.4s 延迟设置中,错误在进度期间会倒置。为了更详细地量化该效果,我们评估 L1-/L2-/L=- 与延迟级别对应的每 20 s 组的错误动力学规范。在图中汇总这些计算图给出了图 3c,它演示了在高级警告达到 0.5 s,然后以大约线性的方式增加之前,玩家的错误规范不会发生变化。
游戏 2:操作输出中的延迟
与游戏 1 的外部视觉延迟不同,游戏 2 向操作输出添加了特定的内部延迟;换句话说, 当前的控制策略 u(t) 适用于 u(t _ T行为), 其中 T行为 是行动的外部延迟.游戏 2 持续 180 s. 调整 T行为 每 30 s, T行为 从 0 s 开始, 增量 0.1 s, 直到它达到 0.4 s 。
延迟操作的影响如图 4 所示。与视觉延迟类似,误差随延迟线性增加而增加,与Eq(3)理论的预测非常一样。
游戏 3 和游戏 4:视觉输入和动作输出中的量化
游戏3和游戏4分别研究量化在视觉输入和动作输出中的影响。每场比赛都 210 s 长,量化每 30 s 变化一次,数据速率从 1 位到 7 位。例如,当 Rvis 在 游戏 3 中为 1 时,所需位置(游戏 GUI 中的灰色线)在屏幕的中左或中右显示。当 Rvis = n 时,所需位置可以在屏幕上的 2n 个可能的位置显示。对于游戏 4,当 R行为 = 1 时,玩家以一个速度向左或右行驶。当 R行为 为 n 时,玩家可以以 2n-1 的速度引导车轮向左或右转 。
量化(有限数据速率)在视觉和行动中的影响如图5 所示。与Eq(6)理论的预测一致,当R在5左右时,传感器运动控制性能随着数据速率的提高而提高,达到了最佳的控制性能。
游戏5:凹凸和跟踪干扰
游戏5旨在测试颠簸和跟踪扰动对人传感器运动控制的影响。游戏 5 包括三种方案:
a) "凹凸",跟踪一个恒定的跟踪主体,尽管扭矩干扰的车轮,模仿撞撞时骑山地自行车;
b) "跟踪",跟踪移动轨迹,随机转弯,但没有颠簸;
c) "带凹凸的轨迹",用随机转弯和颠簸跟踪移动轨迹。
每个方案按顺序持续 60 s(凹凸、轨迹、带凹凸的轨迹),每个方案之前有 5 s 的休息时间。此外,隔离阶段中的干扰和轨迹在组合的"带凹凸的轨迹"阶段中重复,以便可以在单独的任务和玩家必须多路复用的任务之间绘制适当的性能比较。在整个游戏中,视觉输入中存在 1 s 的高级警告,操作输出没有延迟,视觉和动作的数据速率为 10 位。
作为干扰,我们使用随机的二进制信号,其振幅是方向盘电机可以施加的最大可能扭矩。每 100 ms,扭矩在最大正极和负数之间切换(车轮为 100 或 -100)。类似的随机二进制开关控制跟踪导数。更具体地说,轨迹以恒定速度移动,但随机切换其方向,以便始终保持在屏幕范围内,玩家可以舒适地看到。我们调整了屏幕上的轨迹速度,使所需的方向盘转动速率约为 75°/s。 图 6 显示了游戏期间每个场景的 5 个误差动态快照。
注:由于这用于研究具有延迟和数据速率限制的传感器运动控制性能,因此我们仅在受试者接受任务训练后对数据进行分析,并且其性能变得稳定。学习效果已从数据中排除。此外,反馈控制模型没有考虑学习。
图1:具有主体的实验平台和带电机的游戏轮的基本框图。
每个框都是一个通信或计算的组件,具有潜在的延迟和量化,包括在 G 中的游戏中。提前警告 T 也实现在具有视觉的计算机屏幕上。 请单击此处查看此图的较大版本。
图 2:WheelCon 的用户图形界面。
(a) 主菜单;(b) "适合的法律任务"菜单;(c) 山地自行车任务菜单;(d) 适合法律任务的视频游戏界面;(e) 山地自行车任务的视频游戏界面。 请单击此处查看此图的较大版本。
图 3:在山地自行车任务期间增加视觉输入的延迟。
(a-b)系统动态与会话的时间与 1 s 高级警告 (a) 和 0.4 s 延迟 (b.黑线和蓝线分别是跟踪位置和玩家位置。红线是错误动态。(c) 错误随着延迟的增加而增加。负延迟表示高级警告。 请单击此处查看此图的较大版本。
图4:外部延迟操作对性能的影响。
L= 错误 规范,MAE 和 RMSE 随着延迟的增加而增加。 请单击此处查看此图的较大版本。
图5:视觉输入(a)和行动输出(b)的量化。
L= 错误、MAE 和 RMSE 分别显示在蓝色、黑色和红线中。 请单击此处查看此图的较大版本。
图6:颠簸和轨迹扰动对人体感官运动控制的影响。
(a) 颠簸扰动引起的误差动力学;(b) 轨迹扰动引起的误差动力学;(c) 颠簸和轨迹扰动引起的误差动力学;(d) 凹凸(蓝色)、轨迹(红色)、有凸起的轨迹(绿色)中的叠加误差。紫色空和橙色填充的茎图分别指示颠簸扰动和轨迹扰动的时间和方向。请注意,车轮力和轨迹速率都是方形波,茎指示这些方波的开关位置(即力和速率的导数)。 请单击此处查看此图的较大版本。
符号 | 变量 | 单位 | 约束 |
w(t) | 凹凸扰动 | n 牛顿 | 0 = w(t) = 100 |
r(t) | 小径扰动 | 100 像素 | 0 = r(t) = 100; |
r(t) = w(t) | |||
T相对于 | 视觉提前警告/延迟 | 第二 | -1 = T相对于 < 1 |
T行为 | 操作延迟 | 第二 | 0 = T相对于 < | |
Rvis | 视觉输入中的外部数据速率 | 位 | 1 = R相对于 = 10 |
R行为 | 车轮输出中的外部数据速率 | 位 | 1 = R行为 = 10 |
Q相对于 | 视觉输入上的外部量化器 | 1 | Q相对于 = 2R对 |
Q行为 | 车轮输出的外部量化器 | 1 | Q行为 = 2R对 |
表 1:可操作的控制循环中的变量。
符号 | 变量 | 单位 | |
t | 时间 | 第二 | |
x(t) | 误差动力学,由玩家位置与所需位置之间的距离测量 | 100 像素 | |
u(t) | 控制策略,由方向盘的偏离角度测量 | 程度 |
表2:动态系统中的状态变量和输入信号。
平台 | 开源? | 下载链接 | 功能 |
2D 虚拟环境 (2DVE) | 不 | 1.中风后手臂康复的抓举动作; | |
埃特 · 迈克 | 不 | 1.用于对自动、运动和感觉运动手部损伤的评估 | |
OpenSim | 是的 | https://opensim.stanford.edu/ | 1. 研究神经肌肉协调; 2. 允许用户开发肌肉骨骼结构模型,并创建运动的动态模拟。 |
普内格洛夫 | 不 | 1.To脑瘫儿童手指个性化训练与评价 | |
虚拟操作 | 是的 | http://virtualenaction.gforge.inria.fr/ | 1. 用于系统神经科学模拟; 2. 验证大脑的功能模型; 3.To实验复杂的生存行为 |
VR 精神 | 不 | 1.To提高社交场景的预测能力。 2. 儿科病人的康复强化训练 |
|
车轮康 | 是的 | https://github.com/Doyle-Lab/WheelCon | 1. 验证人体感官运动控制中的拟合定律; 2.To研究传感器运动控制中的分层体系结构。 |
表3:一些现有传感器运动平台的列表。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
本文提出了一个免费的开源游戏平台,WheelCon,用于研究延迟、量化、扰动和分层反馈回路在人体传感器运动控制中的影响。我们已经展示了硬件、软件和 GUI。实现了单传感器运动控制回路的延迟和量化设置,从而可以测量传感器运动控制中延迟、量化和扰动的影响。实验结果与反馈控制理论的预测吻合。
这些协议提供了一种无创地操纵外部延迟和限制视觉输入和动作输出中的数据速率的方法,并分析传感器运动控制性能。在协议中,我们要求参与者在平台中预定义的几个任务方案下玩游戏。通过这些任务,我们验证了延迟的线性效应(图3和图4)和量化的非线性效应(图5)。这些效应意味着在人类传感器运动控制中速度-精度权衡的优化。该协议还使我们能够研究人类传感器运动系统中的分层反馈回路,具有高级高级计划层和低级延迟反射层(图6)。
在该协议中,必须提前培训(但不是超车)参与者;否则,学习效果或参与者的疲劳将影响模型的预测。参与者之间的传感器运动能力的变异是不可避免的,因此协议中的一些参数(即车轮灵敏度和颠簸扭矩)需要根据参与者的年龄、强度和运动技能进行调整。必须跨组匹配这些参数。在这里,我们建议用户为老年人和年轻人群体选择适当的灵敏度,以便进行比较。
该方法的一个局限性是此处介绍的模型没有考虑学习过程。需要注意的是,我们只在受试者经过良好训练后分析数据,并且他们的表现变得稳定,以避免学习效果。
尼古拉斯·德诺耶等人开发了一个用于系统神经科学模拟38的平台(虚拟行动)。虚拟操作可用于验证大脑的功能模型。此外,还开发了一些恢复平台,用于执行,39、40、41、42、43,40,41,42等传感器运动任务。Scott L. Delp等人开发了一个开源软件(OpenSim),用于创建和分析康复科学中运动的动态模拟43。玛丽卡·德迈尔斯等人提出了中风41后手臂康复的2D虚拟环境。兹比涅夫斯卡·莫尼卡等人设计了一个机器人设备,用于评估手部运动损伤42。詹姆斯·麦考尔等人为患有半瘫的脑瘫40儿童提供了一个手指康复的平台。Niccolé Butti等人为39岁儿科患者开发一个基于VR的平台,内容是关于社会预测改进和康复强化培训。表 3列出了这些平台与此处介绍的平台之间的比较。
对于未来的研究方向,该平台与非侵入性神经记录技术(EEG)兼容,用于测量传感器运动控制期间的神经反应。研究传感器运动控制与EEG空间频率信号的映射关系,可以揭示传感器运动控制的大脑机理。理解人体传感器运动系统是一个重要的研究课题。此外,本研究的主要理论是基于学习后的最佳控制。在研究中,训练停止时间是武断和实证选择的。因此,评估参与者是打了硬性无症状还是高原44,是一个重要的问题。未来的研究可以研究使用轮式运动学习的传感器运动学习研究,以进一步测试无症状/帕图特及其可能的解释与传感器运动学习理论。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
提交人透露,他们没有利益冲突。
Acknowledgments
我们感谢王正阳先生对视频的剧本、拍摄和编辑进行改造,感谢叶子元先生编辑了视频。这项研究得到了CIT捐赠和国家科学基金会(给JCD)、博斯韦尔研究金(至QL)和高级大学基金(No.G02386301,G02386401,广东省自然科学基金联合基金(2019A1515111038号)。
Materials
Name | Company | Catalog Number | Comments |
Gaming Wheel | Logitech | ||
Windows 10 OS | Microsoft |
References
- Franklin, D. W., Wolpert, D. M.
Computational Mechanisms of Sensorimotor Control. Neuron. 72 (3), 425-442 (2011). - Bays, P. M., Wolpert, D. M. Computational principles of sensorimotor control that minimize uncertainty and variability. The Journal of Physiology. 578 (2), 387-396 (2007).
- Desmurget, M., Grafton, S. Forward modeling allows feedback control for fast reaching movements. Trends in Cognitive Sciences. 4 (11), 423-431 (2000).
- Sanger, T. D., Merzenich, M. M. Computational Model of the Role of Sensory Disorganization in Focal Task-Specific Dystonia. Journal of Neurophysiology. 84 (5), 2458-2464 (2000).
- Mohler, H., Okada, T. Benzodiazepine receptor: demonstration in the central nervous system. Science. 198 (4319), 849-851 (1977).
- Muller, L., Chavane, F., Reynolds, J., Sejnowski, T. J. Cortical travelling waves: mechanisms and computational principles. Nature Reviews Neuroscience. 19 (5), 255-268 (2018).
- Zhang, H., Watrous, A. J., Patel, A., Jacobs, J. Theta and Alpha Oscillations Are Traveling Waves in the Human Neocortex. Neuron. 98 (6), 1269-1281 (2018).
- Blinks, J. R., Rüdel, R., Taylor, S. R. Calcium transients in isolated amphibian skeletal muscle fibres: detection with aequorin. The Journal of Physiology. 277 (1), 291-323 (1978).
- Gallivan, J. P., Chapman, C. S., Wolpert, D. M., Flanagan, J. R.
Decision-making in sensorimotor control. Nature Reviews Neuroscience. 19 (9), 519-534 (2018). - Sanger, T. D. Basic and Translational Neuroscience of Childhood-Onset Dystonia: A Control-Theory Perspective. Annual Review of Neuroscience. 41 (1), 41-59 (2018).
- Todorov, E.
Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004). - Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Wolpert, D. M., Flanagan, J. R.
Computations underlying sensorimotor learning. Current Opinion in Neurobiology. 37, 7-11 (2016). - Kiper, P., et al. Computational models and motor learning paradigms: Could they provide insights for neuroplasticity after stroke? An overview. Journal of the Neurological Sciences. 369, 141-148 (2016).
- Cluff, T., Crevecoeur, F., Scott, S. H. Tradeoffs in optimal control capture patterns of human sensorimotor control and adaptation. bioRxiv. , 730713 (2019).
- Nakahira, Y., Liu, Q., Bernat, N., Sejnowski, T., Doyle, J. Theoretical foundations for layered architectures and speed-accuracy tradeoffs in sensorimotor control. 2019 American Control Conference (ACC). , 809-814 (2019).
- Körding, K. P., Wolpert, D. M.
Bayesian integration in sensorimotor learning. Nature. 427 (6971), 244-247 (2004). - Chambers, C., Sokhey, T., Gaebler-Spira, D., Kording, K. P. The development of Bayesian integration in sensorimotor estimation. Journal of Vision. 18 (12), 8 (2018).
- Karmali, F., Whitman, G. T., Lewis, R. F. Bayesian optimal adaptation explains age-related human sensorimotor changes. Journal of Neurophysiology. 119 (2), 509-520 (2017).
- Gori, J., Rioul, O. Information-Theoretic Analysis of the Speed-Accuracy Tradeoff with Feedback. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). , 3452-3457 (2018).
- Trendafilov, D., Polani, D. Information-theoretic Sensorimotor Foundations of Fitts' Law. Extended Abstracts of the 2019 CHI Conference on Human Factors in Computing Systems. , 1-6 (2019).
- Fitts, P. M., Peterson, J. R. Information capacity of discrete motor responses. Journal of Experimental Psychology. 67 (2), 103-112 (1964).
- Fitts, P. M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology. 47 (6), 381-391 (1954).
- Nakahira, Y., Matni, N., Doyle, J. C. Hard limits on robust control over delayed and quantized communication channels with applications to sensorimotor control. 2015 54th IEEE Conference on Decision and Control (CDC). , 7522-7529 (2015).
- Nakahira, Y., Liu, Q., Sejnowski, T. J., Doyle, J. C. Fitts' Law for speed-accuracy trade-off describes a diversity-enabled sweet spot in sensorimotor control. arXiv. , Available from: http://arxiv.org/abs/1906.00905 (2019).
- Jafari, M. Neural Correlates of Sensorimotor Control in Human Cortex: State Estimates and Reference Frames. , Available from: https://resolver.caltech.edu/CaltechTHESIS:05302019-163325527 (2019).
- Miall, R. C., Wolpert, D. M. Forward Models for Physiological Motor Control. Neural Networks. 9 (8), 1265-1279 (1996).
- Battaglia-Mayer, A., Caminiti, R., Lacquaniti, F., Zago, M. Multiple Levels of Representation of Reaching in the Parieto-frontal Network. Cerebral Cortex. 13 (10), 1009-1022 (2003).
- Scott, S. H. Optimal feedback control and the neural basis of volitional motor control. Nature Reviews Neuroscience. 5 (7), 532-545 (2004).
- Saunders, J. A., Knill, D. C. Humans use continuous visual feedback from the hand to control fast reaching movements. Experimental Brain Research. 152 (3), 341-352 (2003).
- Insperger, T., Milton, J., Stépán, G. Acceleration feedback improves balancing against reflex delay. Journal of The Royal Society Interface. 10 (79), 20120763 (2013).
- Birbaumer, N. Breaking the silence: Brain-computer interfaces (BCI) for communication and motor control. Psychophysiology. 43 (6), 517-532 (2006).
- Liu, Q., Farahibozorg, S., Porcaro, C., Wenderoth, N., Mantini, D. Detecting large-scale networks in the human brain using high-density electroencephalography. Human Brain Mapping. 38 (9), 4631-4643 (2017).
- Nicolelis, M. A. L. Brain-machine interfaces to restore motor function and probe neural circuits. Nature Reviews Neuroscience. 4 (5), 417-422 (2003).
- Nordin, A. D., Hairston, W. D., Ferris, D. P. Faster Gait Speeds Reduce Alpha and Beta EEG Spectral Power From Human Sensorimotor Cortex. IEEE Transactions on Biomedical Engineering. 67 (3), 842-853 (2020).
- Hallett, M. Transcranial magnetic stimulation and the human brain. Nature. 406 (6792), 147-150 (2000).
- Madhavan, S., Weber, K. A., Stinear, J. W. Non-invasive brain stimulation enhances fine motor control of the hemiparetic ankle: implications for rehabilitation. Experimental Brain Research. 209 (1), 9-17 (2011).
- Denoyelle, N., Pouget, F., Viéville, T., Alexandre, F. VirtualEnaction: A Platform for Systemic Neuroscience Simulation. , (2014).
- Butti, N., et al. Virtual Reality Social Prediction Improvement and Rehabilitation Intensive Training (VR-SPIRIT) for paediatric patients with congenital cerebellar diseases: study protocol of a randomised controlled trial. Trials. 21 (1), 82 (2020).
- McCall, J. V., Ludovice, M. C., Blaylock, J. A., Kamper, D. G. A Platform for Rehabilitation of Finger Individuation in Children with Hemiplegic Cerebral Palsy. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 343-348 (2019).
- Demers, M., Levin, M. F. Kinematic Validity of Reaching in a 2D Virtual Environment for Arm Rehabilitation After Stroke. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 28 (3), 679-686 (2020).
- Zbytniewska, M., et al. Design and Characterization of a Robotic Device for the Assessment of Hand Proprioceptive, Motor, and Sensorimotor Impairments. 2019 IEEE 16th International Conference on Rehabilitation Robotics (ICORR). , 441-446 (2019).
- Delp, S. L., et al. OpenSim: Open-Source Software to Create and Analyze Dynamic Simulations of Movement. IEEE Transactions on Biomedical Engineering. 54 (11), 1940-1950 (2007).
- Gray, W. D. Plateaus and Asymptotes: Spurious and Real Limits in Human Performance. Current Directions in Psychological Science. 26 (1), 59-67 (2017).