Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
Click here for the English version

Behavior

使用闭环接口实时代理控制重新参数化的外围信号

Published: May 8, 2021 doi: 10.3791/61943

Summary

我们提出协议和分析方法,以建立共适应接口,在闭环中流式传输、参数化、分析和修改人体和心脏信号。此设置接口信号来自人的外围和中枢神经系统,具有外部感官输入,以帮助跟踪生物物理变化。

Abstract

开发感官替代和感官增强方法的领域旨在利用来自中枢神经系统 (CNS) 的信号控制外部目标。然而,更新由运动中交互式机构自行生成的外部信号的协议较少。在 dyadic 交换期间,将一种运动剂的身体-心脑生物律术相结合的方法很匮乏,以引导另一种运动剂的生物律法。实现这一壮举的部分挑战是使用具有不同物理单元的多式联运生物信号、不同的时间尺度和可变采样频率的设置的复杂性。

近年来,可穿戴生物传感器的出现,可以非侵入性地同时利用多个信号,除了改善大脑和/或身体机接口外,还为相互作用的 dyad 的外围信号重新参数化和更新开辟了可能性。在这里,我们介绍一个共适应接口,使用生物传感器更新活泼的躯体运动输出(包括运动学和心率):参数化随机生物信号,声化此输出,并以重新参数化的形式作为维苏/音频动感再加法输入。我们使用两种类型的相互作用来说明这些方法,一种涉及两个人,另一种涉及人类及其头像近乎实时的交互。我们讨论新方法,在可能的新方法的背景下,衡量外部输入对内部体感官-运动控制的影响。

Introduction

自然闭环控制器
感官运动信息在大脑和身体之间不断流动,产生组织良好、协调良好的行为。这种行为可以研究,同时专注于个人的行动单独,如在独白风格(图1A),或在复杂的动态行动,在两个代理在dyad共享,如在对话风格(图1B)。然而,第三个选择是在人机闭环接口(图1C)的上下文中,通过代理控制器评估这种复杂的交互。这种界面可以跟踪dyad中每个代理所促成的瞬间运动波动,以及它们同步相互作用中自我产生的凝聚力类型,从而帮助以理想的方式引导dyad的节奏。

Figure 1
图1:不同形式的控制。 (A)自我大脑控制的界面依赖于人的大脑和人自身身体之间的闭环关系,这种关系可以以"独白"风格自我调节和自我互动。此模式尝试控制自生成的运动,或者它也可能旨在控制外部设备。(B) "对话"风格控制是针对两个相互互动的舞者,通过身体的束咒和转弯来控制彼此的动作。(C) dyad 的"第三方"对话控制由计算机界面进行调解,该界面利用两个舞者的生物信号,对生物信号进行参数化,并以音频和/或视觉作为感官指导的形式以重新参数化的形式反馈给舞者。此处介绍的例子中的重新参数化是使用音频或视觉反馈实现的,通过其中一个舞者的实时动感运动输出来影响另一个:或两个舞者,轮流在一些交替的模式。请单击此处查看此图的较大版本。

这种方法的总体目标是表明,有可能利用、参数化和重新参数化运动中身体生物恒湿活动的瞬间波动,因为两个制剂进行可能涉及两个人或一个人及其自我移动头像的dyadic交换。

在过去的1、2、3中对大脑如何控制行动和预测其感觉后果的调查产生了许多理论研究,并产生了各种神经运动控制模型4、5、6、7、8。在这个多学科领域,有一项研究涉及开发闭环脑机或脑-计算机接口。这些类型的设置提供了利用和调整 CNS 信号以控制外部设备的方法,例如机械臂 9、10、11、外骨骼12、计算机屏幕上的光标13(除其他外)。所有这些外部设备共享它们没有自己的智能的属性。相反,大脑试图控制它们确实有,大脑面临的部分问题是学习如何预测它在这些设备中产生的运动的后果(例如光标的运动,机械臂的运动等),同时产生其他支持性运动,以动感再造的形式促进整体感官运动反馈。通常,这些界面的首要目标是帮助大脑背后的人绕过损伤或紊乱,恢复他/她有意的想法转化为外在装置的自愿控制的身体行为。然而,不太常见的是界面的发展,试图引导身体在运动中的运动。

最初对脑机界面的大部分研究都集中在中枢神经系统(CNS)对身体部位的控制上,这些部位可以完成目标导向动作9、14、15、16、17。然而,还有其他情况,即使用来自外围神经系统 (PNS) 活动的信号,包括自体神经系统 (ANS) 的信号,其信息足以影响和引导外部代理的信号,包括另一个人类或头像,甚至相互作用的人类(如图 1C)。与机械臂或光标不同,本例中的另一个代理具有由大脑驱动的智能(在人与人运动或另一个代理的头像中,在相互作用的人类 dyad 的情况下)。

一种与dyadic交换形成共适应闭环接口的环境的设置可能可用于干预神经系统的紊乱,根据这些疾病,大脑无法自愿地控制自己的身体,尽管没有在物理上切断CNS和PNS之间的桥梁。这可能是由于嘈杂的外周信号,通过反馈回路,以帮助大脑不断监测和调整自己的自生生物律可能已被中断的情况。这种情况出现在帕金森病患者18,19,或自闭症谱系障碍的参与者与多余的噪音在他们的运动输出。事实上,在这两种情况下,我们已量化了从20、21、22和心脏23的预定动作速度中产生的返回动能信号中的噪声与信号比。在这种情况下,试图掌握外部信号的大脑控制,同时试图控制身体的运动,可能会导致从重新进入(再发音)的信息流的自我反应信号,大脑从连续(活泼的)运动流在外围接收。事实上,这种自生成的通风电机流中出现的瞬间波动包含着重要的信息,有助于预测有目的的行动的感官后果当此反馈被噪音损坏时,很难预测地更新控制信号,并使用物理行为桥接故意计划。

如果我们将这种反馈循环扩展到其他代理,并通过第三方(图 1C)控制人和代理的互动,我们可能有机会在近乎实时的情况下指导对方的性能。这将为我们提供概念的证明,即我们需要扩展共适应脑体或脑机界面的概念,以治疗神经系统的紊乱,这些疾病导致精神意图对身体意志的实现不佳。

有目的的行动有后果,其特点正是运动随机签名,是上下文依赖,并能够推断出心理意图的水平与高度肯定25,26。因此,一种利用 dyadic 交换来交换以前以人为中心的方法来处理大脑机器或大脑计算机接口的新方法的一个优点是,我们可以增强控制信号,将主要在人意识之下、在不同意图水平下发生的身体和心脏生物节律包括在内。这样,我们抑制了在适应脑光标控制过程中意识控制往往唤起的反应性干扰。我们可以通过对可以访问的各种信号进行参数化来增加预测过程的确定性。沿着这些路线,先前的工作是使用大脑和身体信号同时存在于27、28、29:但是,由大脑身体信号捕获的dyadic相互作用的工作仍然很少。此外,现成的文献尚未界定在充分认识下进行的蓄意行动部分与因故意行动而自发发生的过渡性动议之间的区别。在这里,我们在戏剧交流的背景下做出这种区分,并提供新的方法来研究这种二分法32,同时提供舞蹈空间中编排(故意)即兴(自发)动作的例子。

由于感官-电机集成和转换过程中的传导和传输延迟有必要建立这样的预测代码,学会以高度的确定性预测即将到来的感官输入。为此,重要的是能够描述在不断更新的动感再造流中从信号中产生的噪声与信号比率的演变。然后,我们需要制定协议,系统地测量电机变异性的变化。变化性在传出的通风电机流34的瞬间波动中是固有的。由于这些信号是非静止的,对上下文变化35,36敏感,因此可以对任务上下文的更改所发生的变化进行参数化。为了最大限度地减少来自有意识的 CNS 控制产生的反应信号的干扰,并唤起通风 PNS 电机流中的可量化变化,我们在此引入了一个代理闭环接口,通过招募主要在人的自我意识下发生变化的外围信号间接改变感官反馈。然后,我们展示如何系统地测量感官操作后发生的变化,使用可视化代理闭环接口间接唤起两个代理的过程的随机分析。

引入代理闭环控制器
外围信号中存在的感官-电机变异性构成了丰富的信息来源,可以指导神经系统的性能,同时在不同的上下文学习、适应和泛化。这些信号部分地成为 CNS 试图自愿控制行动的副产品,但并非控制器的直接目标。由于人与他人自然相互作用,外围信号可以被利用、标准化和重新参数化:这意味着,它们的变化可以参数化和系统地转移,因为一个改变的发泡电机流,不断重新进入系统作为动能重新调用。在这样的设置中,我们可以可视化随机变化,高精度地捕捉丰富的信号,否则将丢失给更传统的技术所表现的盛大平均值类型。

为了在新的统计平台下实现变化的特征,我们在这里引入了协议、标准化的数据类型和分析,允许外部感官输入(听觉和视觉)与内部自生成的电机信号集成,而此人则自然地与另一个人或与人的头像版本进行交互。从这个意义上说,因为我们的目标是控制外围信号(而不是修改CNS信号直接控制外部设备或介质),我们创造了一个代理闭环接口(图2)。我们的目标是描述 PNS 的随机信号的变化,因为它们会影响 CNS 中的变化。

Figure 2
图2:使用闭环多模态接口对两个舞者(舞蹈莎莎)进行代理控制,与(B)通过利用周围神经系统信号并将其重新参数化为声音和/或视觉输入来控制的互动人工人头像dyad。(C) 使用新的标准化数据类型(微运动峰值、彩信)的声化概念,源自生物恒湿信号振幅/定时转换为振动,然后转换为声音的瞬时波动。从物理学中,我们借用了调叉输出声波作为可测量振动产生的压缩和稀有事实的概念。声波的示意图表示压力随着时间的调整而与声化的峰值浓度平行调节。物理信号的示例,以接受从彩信到振动和声化的拟议管道。我们使用心率信号作为接口的输入。这需要信号振幅的波动,每 4 秒运动一次与运动开始对齐,并生成代表振动的彩信列车。彩信的尖峰列车从 [0,1] 标准化。尖峰的颜色根据色条,表示信号的强度。然后,我们使用 Max 对这些振动进行声子化。此声化信号可用于在 A 中播放,或在 B 中更改与头像的交互。此外,在 B 中,在通过 ROI 时,可以将声音嵌入环境中并使用身体位置在感兴趣的区域(ROI) 播放声音,或调节音频功能,作为与 RoI 的距离、锚定在另一身体部位的主体部分的速度或加速度的函数。请单击此处查看此图的较大版本。

PNS信号可以利用可穿戴传感技术进行非侵入性利用,该技术共同记录来自神经系统不同功能层的多模式透水流,从自主到自愿32。然后,我们可以几乎实时测量此类流的变化,并选择那些更改可增强信号与噪声比的流。然后,这种发泡的电机信号可以通过其他形式的感官引导(如听觉、视觉等)来增强。因为 PNS 信号是完全意识的替罪羊,因此它们更容易操作,没有太大的阻力 38。因此,我们使用它们来帮助引导人的表现,以可能减轻对人类系统的压力的方式。

构建界面
我们介绍由闭环共适应多式联运接口调解的代理控制的设计。此接口引导实时多感官反馈。 图3 显示一般设计。

闭环接口的特点是5个主要步骤。第一步是从多个可穿戴仪器收集多模态数据。第二步是通过MoBI集团39开发的实验室流层(LSL,https://github.com/sccn/labstreaminglayer)平台同步多模式流。第三步是将 LSL 数据结构流式传输到 Python、MATLAB 或其他编程语言界面,以集成信号,并实时对生理特征(与我们的实验设置相关)进行参数化。 第四步是重新参数化从研究的身体信号的连续流中提取的选定特征,并使用选择的感官模式(如视觉、听觉、动感等)增强它,以声音或视觉效果的形式播放,以增强、替换或增强患者神经系统中有问题的感官模式。最后,第五步是重新评估系统实时生成的信号的随机特征,选择在预测即将发生的动作的感官后果时,将身体波动的随机变化带到高度确定性(噪声最小化)的制度。 此循环在整个实验期间持续播放,重点是选定的信号,同时存储完整的性能供后续分析(如图 3的示意图所示,见 40、41、42、43、44、45、46、47,例如后分析)。

Figure 3
图3:多模态外围驱动的闭环接口概念的架构。 收集各种身体信号 - 运动数据,心脏和大脑活动(第1步)。LSL 用于同步共同注册和流式传输来自各种设备的数据到接口(第 2 步)。Python/MATLAB/C# 代码用于使用标准化的数据类型和通用比例连续参数化信号波动,从而能够选择最足以抑制系统不确定性的感官制导源(第 3 步)。通过选定的通道实时增强信号传输,然后允许重新参数化重新进入感官信号,以集成在连续电机流中,并增强丢失或损坏的输入流(感官替换步骤 4)。连续重新评估关闭循环(第 5 步),我们将所有数据保存以供将来进行其他分析。请单击此处查看此图的较大版本。

以下部分介绍了如何构建闭环接口的通用协议( 如图 3所述),并描述了两个实验接口(详述在补充材料中呈现)的代表性结果,涉及两个舞者之间的物理 dyadic 交互(真正的闭环系统)和人和头像之间的虚拟 dyadic 交互(人工闭环系统)。

Protocol

研究根据赫尔辛基宣言得到罗格斯机构研究委员会(IRB)的批准。

1. 参与者

  1. 界定要研究的人口,并邀请他们参与研究。当前接口可用于不同人群。此协议和此处用于提供概念证明的示例不限于特定组。
  2. 根据《赫尔辛基宣言》,获得IRB核准议定书的书面知情同意。
  3. 请参与者或监护人在实验开始前签署表格。

2. 设置闭环接口

  1. 运动设备设置-PNS
    1. 帮助参与者小心地穿着与运动捕捉系统相伴的 LED 运动捕捉服装(身体和头部, 图 3、第 1 步和第 5 步)。服装的 LED 标记将由系统的摄像头跟踪,以估计移动身体在太空中的位置。
    2. 将系统的无线 LED 控制器(也称为 LED 驱动单元)与服装的 LED 电缆连接,将其插入适当的端口。打开设备并将其设置在流式处理模式上。
    3. 打开运动捕获系统的服务器。
    4. 打开网络浏览器、访问服务器地址和登录(公司购买产品时必须提供登录信息)。
    5. 根据需要校准系统(例如,如果这是第一次使用设备,则校准系统,否则移动到步骤 2.1.17)。
    6. 打开运动捕获系统的校准工具,选择 校准向导
    7. 确保界面左上侧文本字段中的服务器编号输入正确,然后单击 "继续"。
    8. 将魔杖连接到 LED 控制器的第一个端口,然后打开控制器并单击 "继续"。魔杖连接后,其 LED 标记将打开并显示在显示屏上,在相机视图中显示。
    9. 将魔杖放在摄像机视场的中心,确认摄像机可以录制,然后单击 "继续"。
    10. 通过保持魔杖垂直和绘制圆柱体,将魔杖移动到整个空间。确保每次至少由 3 台摄像机捕获该运动,并在每个摄像机的视图场上注册,使其成为绿色。为所有摄像机都这样做。
    11. 一旦每个摄像机的视场已完全注册(全部为绿色),请单击 "继续 ",等待执行校准计算。
      注:校准完成后,将在显示屏上看到相机位置和 LED 标记,因为它们物理位置放置在房间中。此时,用户可能会因为已完成而恢复校准,或继续对齐系统。
    12. 垂直握住魔杖,将带 LED 的一侧靠近地面魔杖的末端,必须设置 3D 空间的起源(点 (0,0,0))。
    13. 将魔杖保持稳定,直到注册。注册后,屏幕闪烁绿色。界面上将显示显示空间上参考帧的起源点,下一个对齐轴 x 轴将突出显示为绿色。
    14. 移动魔杖,在 x 轴点保持相同的方向(垂直),并保持其稳定,直到注册。
    15. 为z轴重复。注册 z 轴点后,校准完成。
    16. 单击 "完成" 以退出校准。
    17. 打开运动捕获系统的界面,然后单击 "连接", 开始从 LED 标记流式传输数据。连接建立后,标记的位置将显示在界面的虚拟世界中。
    18. 创建虚拟骨架(自动估计从服装的 LED 标记中收集的位置数据(如 图 8步骤 2所示)。
    19. 右键单击窗口右侧的 骷髅 ,然后选择 新骨架
    20. 选择 标记映射 ,然后选择正确的文件(由公司根据使用的界面版本提供)。然后,单击 "确定"。
    21. 要求参与者在 T 型姿势上保持稳定(双臂张开的直立姿势)。
    22. 右键单击骨架, 选择生成骨架,无需培训
    23. 如果所有步骤都正确执行,将生成骨架。要求参与者移动并检查虚拟骨架对参与者动作的准确程度。
    24. 要将骨架数据流式传输到 LSL,请从主菜单中选择 "设置 "和 "选项 "。
    25. 打开 猫头鹰模拟器 ,然后单击"开始" 实时流式处理
  2. EEG 设备设置 - CNS
    1. 帮助同一参与者佩戴 EEG 头盖。
    2. 将凝胶电极(与 EEG 头盖一起使用的传统凝胶电极)放在头盖上,将 2 个粘性电极(像贴纸一样工作的电极)放在右耳的背面,用于 CMS 和 DRL 传感器。
    3. 根据需要,用高导电凝胶填充电极,以提高传感器和头皮之间的导电性。
    4. 连接凝胶质极上的电极电缆和两个粘性电极。
    5. 将无线监视器贴在头盖背面,并插入电极电缆。
    6. 打开显示器。
    7. 打开 EEG 系统的接口。
    8. 选择 使用 Wi-Fi 设备 ,然后单击 "扫描"设备
    9. 选择 NE Wi-Fi使用此设备
    10. 单击头图标,选择允许记录所有 32 个传感器的协议,然后单击 "加载"。
    11. 确保每个通道的流式传输数据显示在界面上。
  3. 心电图设备设置-ANS
    1. 按照 2.2 中提供的确切步骤,但使用通道 O1 连接心率 (HR) 扩展。
    2. 使用粘性电极将扩展的另一端右侧粘在左肋骨下方。
  4. 为运动数据的同步记录和流式处理 LSL 做好准备。
    1. 通过双击相应的图标运行运动捕获系统的 LSL 应用程序。将应用程序定位在 LSL 文件夹的以下路径上,LSL=实验室流层-主+应用程序+相空间。
    2. 在界面上,设置正确的服务器地址。
    3. 然后,选择 文件 加载配置
    4. 选择正确的配置文件(它必须由公司根据所使用的产品版本提供)
    5. 单击 "链接"。如果没有出现错误,则不会显示任何错误消息。
  5. 为 EEG 和 ECG 数据的同步录制和流式处理 LSL 做好准备。此设备无需额外步骤。
  6. LSL 的设置
    1. 通过双击位于 LSL 的实验室流层主+应用程序+LSL 文件夹的实验室记录路径的文件来运行 LabRecorder 应用程序。
    2. 单击 "更新"。如果所有指令都正确执行,则将在面板"流记录"上看到运动捕获和 EEG 系统的所有数据类型。
    3. 选择 存储位置 面板上的数据目录和名称。
    4. 单击 "开始"。运动捕获和 EEG 系统的数据收集将同步开始。
    5. 在录制结束时,单击 "停止"。如果录制成功,数据将位于之前选择的目录上。打开文件以确认它们包含记录的信息。
  7. 对人类系统的实时分析和监测。
    1. 执行接收、处理和增强流式传输数据的 MATLAB、Python 或其他代码。可在此处找到与以下部分中描述的代表示例相对应的示例代码:https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
  8. 增强感官反馈的生成
    1. 使用适当的设备(例如扬声器、监视器等)生成感官输出。

3. 实验程序

  1. 按照设置定义的实验程序(如果有的话)。
    注:闭环接口的设计旨在直观地探索和学习。因此,大多数情况下不需要指示。

Representative Results

有各种界面可以根据前一节中提出的协议构建,并可用于不同的人群,用于多种目的。补充材料的"呈现的闭环接口的变化"部分描述了一些可能的变化。

在本节中,我们演示了遵循上一节中描述的协议的 2 个示例闭环接口的代表性结果。这些研究的设置、实验过程和参与者在补充文件的"示例1:真实 Dyadic 交互的音频闭环接口"和"示例 2:人工 Dyadic 交互的视听闭环接口"部分进行了深入的解释。

真实 Dyadic 交互的音频闭环接口的结果
在研究"真实 dyadic 交互的音频闭环界面"(详述于补充材料的"实例 1:真实 Dyadic 交互的音频闭环接口"部分),我们使用了代理控制界面,如 图 4所示,该界面使用女舞者的心脏信号来改变舞蹈音乐。实时执行信号处理以提取心跳时间,并将此信息流式传输到 Max 系统以更改已执行歌曲的速度。这样,我们播放了这首歌回来,改变了生物物理信号。这个过程导致运动和心跳信号的进一步改变。

Figure 4
4:基于音频的闭环接口。 1. ECG-HR 可穿戴设备监控 salsa 舞者在执行日常活动期间的活动,并在 500Hz. 2 将信号馈送至界面。我们的界面实时分析心电图数据。在每帧中,它过滤原始数据,提取 QRS 复合体的 R 峰值:并将峰值检测流式传输到最大值3。第三方接口将音频的速度与心率的速度混合在一起。4. 修改后的歌曲播放给舞者。 请单击此处查看此图的较大版本。

两位萨尔萨舞者与界面互动,表演了精心排练的常规舞蹈和自发的即兴舞蹈。舞蹈演员们不得不表演这首歌的原版一次,一个版本混合了歌曲的原始节奏与实时心跳流。我们指的是后来的版本,它被执行两次作为改变1和2的歌曲。

在下面的分析中,我们使用了记录的心脏和音频信号。提取的两个信号的峰值来估计彩信列车(见补充文件中的"微动尖峰"部分),该节保留了 图 5中显示的高频波动。

Figure 5
5:音频闭环系统彩信列车的估算。 ECG 时间系列用于提取获得 R 峰值(均值移动数据)的整体(估计)平均振幅的 RR 峰值和振幅偏差。然后通过方程 1(参见补充文件,部分"微运动尖峰")实现标准化,用于获取彩信列车。类似的方法用于处理音频波形,并根据人的实时性能播放歌曲。 请单击此处查看此图的较大版本。

彩信列车的特点是连续随机过程,以连续伽玛系列的概率分布为代表。MLE 认为这种连续的分布系列最适合两个数据集(见补充材料补充图 2的"伽玛分布"部分的解释)。这种随机过程用于跟踪人类神经系统生物信号自生成的生物律的随机特征的变化。

从经验估计的形状和尺度伽玛参数,我们获得伽马时刻,平均,方差,偏斜和库尔特西斯(见补充材料的"随机分析"部分分析的细节)。然后,我们绘制估计的PDF。 图6 只关注心脏信号和音乐,但这些方法与 41中运动学信号产生的其他生物律法相似。

心脏和音乐信号的PDF显示在图6A-B中,我们强调这两种情况的数据集之间的差异,故意的常规和自发的即兴表演。对于每个情况,我们强调歌曲的时间变化引起的随机签名的变化。最初,他们跟着原唱跳舞。然后,当心跳实时改变节奏时,这个信号的声化波动导致舞者跟随歌曲的时间变化。

这些表示更改 1 和更改 2。伽玛参数描述了这些系统变化。然后,使用经验估计的形状和比例参数,我们获得了心跳和歌曲的四个相应的伽玛时刻。这些显示在 图 6C 中,用于心脏(顶部)和歌曲(底部)信号。

Figure 6
图6:利用音频闭环系统从代理控制下的性能诱导经验估计的伽玛PDF及其四个伽玛时刻的随机轨迹发生系统变化。(A) 来自每个数据类型(ECG 顶部和音频文件底部)的 MMS 列车的 PDF,用于每个舞蹈上下文、自发即兴表演和精心安排的例行公事。图例是表示会话开始时基线条件的即兴或(即兴原始) ;Imp Alt1 表示更改过程中的即兴表演 1;即兴Alt2表示在更改2期间即兴表演。(B) 同样,对于故意排练的例行公事,路由或指常规原件:路由Alt1表示常规更改1;路由 Alt2 表示常规更改 2。(C)中的面板显示伽玛时刻的系统变化,因为歌曲和心脏的音频信号同时实时地同时发生。请单击此处查看此图的较大版本。

这些面板(PDF 和伽玛时刻图)可以欣赏签名的转移,从而证明所呈现的方法可以捕获心脏对代理控制器实时生成的歌曲的更改的适应。当歌曲改变节奏时,心脏痉挛性签名和痉挛性签名的过渡方向是一致的(这也是我们在研究形状和比例参数的 41 个发现)。同样,随着心脏签名的转移,歌曲的签名也会改变。此镜像效果 - 一个影响另一个,当一个不断向一个方向移动,其他方向也一样 - 遵循此代理控制器界面的闭环性质。结果强调了这种设置的效用,并证明了我们可以在 dyadic 交换的背景下系统地改变人的自主生物律法。

歌曲和身体信号的随机签名平行移动,表明整个系统(参与者和界面)可以使用外围信号进行共同适应。这个过程在人的意识之下顺利地发生,为人们远程系统地将人的生物信号与选择的外部感官反馈对应提供了概念证明。总之,我们可以指导在这个连续随机过程中随机签名的转移。这些方法能够捕捉变化及其速度沿随机轨迹,我们能够建立在近实时。

为了确定轮班中的统计意义,我们使用非参数化 ANOVA、克鲁斯卡尔-瓦利斯测试,然后进行事后测试后的多次比较。我们将心脏数据的彩信签名比较为六种情况。图7显示了彩信心脏数据和相应的克鲁斯卡尔-瓦利斯表的多比较。多比较情节表明,原始常规舞蹈的基线条件(Rout)之间有显著差异。或)和原始即兴舞蹈的基线条件(即即)。同样重要的是要注意,第一个改变,路线。Alt1 和 Imp. Alt1,转移到具有可比手段的分布,这同样适用于第二次更改,而伽玛时刻空间上的方差、偏斜和变形转移(图6C)。

Figure 7
图7:非参数化克鲁斯卡尔-瓦利斯和多重比较后特设测试的结果。 非参数化 ANOVA(克鲁斯卡尔-瓦利斯测试)的结果应用于心脏数据的 MMS 上,以比较这六种情况。该图演示了 6 个案例的多重比较,表明"Rout" 之间的显著差异。或"和"Imp.或"条件。该表显示了克鲁斯卡尔·瓦利斯测试的结果。 请单击此处查看此图的较大版本。

人工 Dyadic 交互的视听闭环接口结果
在研究"人工 dyadic 交互的视听闭环界面"(详述于补充材料"示例 2:人工 dyadic 交互的视听闭环界面"部分),6 名参与者与界面进行交互,该界面以图 8为示例,从而创建了其镜像化身,呈现了人自己的运动。界面在交互过程中将位置依赖的声音嵌入到人周围的区域内。参与者对研究的目的很天真。他们不得不在房间里走来走去,想办法控制代理控制器定义的 ROI(感兴趣的区域)经过时会意外出现的声音。

Figure 8
8:视听界面的视觉表示。 1. 利用运动捕获系统获取外围运动数据。2. 系统收集传感器的位置(例如 LED 的位置),以估计骨骼上的骨骼位置。3. 然后,骨骼位置使用我们自己的前向运动学模型在我们的 MATLAB 开发接口中对齐。4. 对齐的位置用于将骨架信息映射到我们的 3D 渲染化身。5. 将流式传输的数据映射到头像是实时的,从而产生观看人镜像的感觉。 请单击此处查看此图的较大版本。

图9演示条件 1 的视听界面的结果(有关更多条件的 补充文件 ),其中臀部位置激活歌曲时,前者位于 ROI。此图显示了 6 种不同控制参与者(C1 到 C6)的臀部速度数据的 PDF 和 Gamma 签名(参见补充材料的"数据类型和分析"部分),当时他们在 ROI 音量内外。这里介绍的结果突出了个别参与者适应率的个性化差异。这些都由随机签名的移动以及 ROI 卷内外出现的单个结果表示。例如,我们可以注意到,PDF 适合从 C3 和 C4 臀部的速度振幅中提取的 MMS 的频率直方图,在体积内时更对称(更高形状值)和噪音(较低比例值)。相比之下,其余参与者表现出相反的模式。

从经验上讲,我们发现右下角的签名是运动员和舞蹈演员的签名,他们表演着高超的动作。签名位于左上部区域,来自神经系统与病理学的数据集,如那些诊断自闭症谱系障碍多动症22,32和聋人参与者21。在沿着随机轨迹改变模式的背景下,我们获取形状和比例的中值,以定义右下象限 (RLQ) 和左上象限 (LUQ),通过随着时间的推移积累这些信息来跟踪信号与噪声比的整体质量。这考虑动态地更新中值,将这些象限定义为人共同将其内部生成的生物律调适应由代理外部控制但依赖于人内部的生物律。

Figure 9
图9:使用视听闭环系统进行交互期间,经验估计伽玛PDF和伽玛特征的身体生物律 。使用从每个参与者的臀部速度(C1 - C6)中提取的彩信列车,我们使用 MLE 以 95% 的置信间隔安装最佳 PDF。每个参与者由不同的符号表示,而条件则由不同的颜色表示。当卷(在)中与卷外(出)不同时,伽玛 PDF 系列。除了伽玛经验估计的PDF外,伽玛参数平面上每个人的估计伽玛形状和比例参数也显示出来。 请单击此处查看此图的较大版本。

表1 显示从原始(速度)和彩信数据中获取的 p 值,比较当人的身体部位在 ROI 。在投资回报率之外。表上描述的结果是使用非参数化 ANOVA Kruskal-Wallis 测试估算的。

克鲁斯卡尔瓦利斯测试 速度数据 彩信
C1 0 1.34 e-05
C2 0 4.72E-15
C3 0 8.59E-34
C4 2.70E-21 3.16E-04
C5 0 1.11E-09
C6 0 5.95E-05

表1:非参数化阿诺瓦-克鲁斯卡尔-瓦利斯测试的输出。 Kruskal Wallis 测试的结果比较了 Rol 内部和外部的 MMS 记录和速度数据。我们将测试分别应用于每个参与者的数据(C1 - C6)。

补充文件。请单击此处下载这些文件。

Discussion

本文通过闭环共适应、交互式、多模式接口引入代理控制的概念,在 dyadic 交换环境中,利用、参数化和重新参数化人的外围信号。我们旨在描述人生物律律波动中的随机变化,并使变化参数化。此外,我们旨在系统地引导其生物造血的随机特征在近实时内达到定点的噪声到信号系统水平。

我们提出了构建满足 5 个核心元素的闭环接口的通用协议:1) 使用各种仪器和技术收集来自 CNS、PNS 和 ANS 的多个身体数据:2) 数据的同步记录和流式处理:3) 对所选信号进行实时分析:4) 使用提取身体信号的生理特征创建感官增强(音频、视觉等):和5)人类系统的连续跟踪和并行感官增强关闭人类与系统相互作用的循环。

通用协议应用于两个示例接口。第一个调查了两个人体特工之间的双重交换,第二个调查了人类和化身特工之间的dyadic交换。这两种类型的 dyads 用于提供概念证明,即外围信号可以实时系统地更改,并且这些随机变化可以精确跟踪。一个 dyad 由两个参与者进行物理交互组成,另一个参与者以 3D 渲染化身的形式与虚拟代理进行交互,该虚拟代理赋予了人的动作和这些实时动作的更改变体。这种改变是由听觉和/或视觉感官输入在增强的感觉设置驱动的交互式操作引起的。在真正的 dyad 和人工 dyad 中,我们演示了远程移动外周信号的可行性,包括身体生物律和心跳中的自主信号。

我们提出了新的实验方案,以探测这种变化的发热电机变异性,因为动感信号流正在纵和重新参数化在接近实时。这种重新进入的信息(动感再造48)被证明是有价值的,以实时改变系统性能。它们包含有关动作感官后果的信息,我们可以使用此处介绍的方法精确跟踪这些信息。

我们还展示了数据类型和统计方法,以标准化我们的分析。我们提供了多种可视化工具,以演示在不同上下文中自然演变的生理活动的实时变化,通过经验指导的统计推论,有助于解释自生成和自控神经系统信号。重要的是,代理控制器所唤起的更改是顺利的,但可量化的,因此支持了外围活动在不止一种方式中是有用的这一概念。虽然我们可以使用市售的无线可穿戴传感器实现这些方法,但我们可以系统地诱导性能变化,这些变化可以在生物物理节奏中捕获,而无需强调系统。重要的是将我们的方法转化为临床领域,并将其用作测试床,以开发新的干预模型(例如,在自闭症 49中使用增强现实时)。在此类模型中,我们将能够跟踪和量化人自然行为的感官后果,因为感官输入被精确操纵,输出在近乎实时的时间内进行参数化和重新参数化。

我们提供此协议作为一般模型,利用人类神经系统自产生的各种生物恒湿活动,并利用无线可穿戴设备进行非侵入性利用。虽然我们在本文中使用了一组生物传感器来注册电子EG、心电图和运动学,但记录、同步和分析信号的方法是通用的。因此,接口可以集成其他技术。此外,协议可以修改,包括其他自然主义的行动和环境,延伸到医疗领域。因为我们的目标是自然行为,我们开发的设置可用于俏皮的设置(例如,涉及儿童和家长。

神经系统的一些疾病可以受益于这种俏皮的控制问题的方法。在我们在这里展示的两种类型的 dyadic 交互中,参与者可以瞄准有意识地控制音乐,而代理控制器则使用外围输出无意识地操纵和系统地转移其签名。因为科学家花了数年时间对伽马参数平面和相应的伽马时刻空间进行测绘,跨越不同年龄组(新生儿至78岁),年龄在19岁、50岁、51岁、52、53岁和以下(自闭症, 帕金森病,中风,昏迷状态和耳聋),对于不同程度的控制(自愿,自动,自发,非自愿和自主)25,47,54,他们有经验测量的标准,表示在伽玛空间的痉挛性特征应该是一个良好的预测控制。先前的研究也显示,我们知道参数在哪里,在自发随机噪音的存在来自人类神经系统的自生成节奏7,19,55,56。因此,在将生物恒湿电机噪声降至最低的优化模式中,我们可以以驱动信号为目标,从而达到伽玛空间的目标区域,其中每个人 PDF 家族的形状和分散特征有利于高信号与噪声比率和预测值。从这个意义上说,我们不会丢失总数据,而是有效地利用它推动系统在特定情况下达到理想的噪音水平。

在临床或培训环境中,Dyadic 相互作用无处不在。它们可能发生在培训师和受训者之间:医生和病人;临床治疗师和病人;它们也可能发生在涉及转化科学的研究环境中,并让研究人员和参与者参与进来。当前协议的优点之一是,虽然它们专为 dyads 设计,但它们也是个性化的。因此,根据人的运动范围、感官处理时间范围,以及考虑信号振幅在人神经系统功能层次结构中的范围,可以根据人的最佳能力和倾向来调整共适应互。随着随机轨迹的出现和及时演变,也有可能确定签名的机会率,并利用该时间系列预测几个即将到来的事件以及可能的感官后果。

最后,闭环接口甚至可以在艺术界使用。他们可以为表演艺术家提供新的途径,以产生计算驱动的现代舞蹈形式,技术舞蹈和新的可视化和身体表达的声化形式。在这种情况下,舞者的身体可以变成一个感官驱动的仪器,通过声化和可视化的自生成的生物恒生活动灵活探索不同的感官模式,如先前在这方面的工作40,41,43,46。这样的表演可以增强舞蹈演员在舞台上的角色,让观众体验到超越可见动作的微妙身体信号。

这项技术的几个方面需要进一步开发和测试,以优化其在实时设置中的使用。同步流需要高速 CPU/GPU 电源和内存容量,以便在预测正在进行的电机命令的感官后果时真正利用获得时间和领先一步的概念。设备的采样率应具有可比性,以便能够真正对齐信号,进行适当的感官融合,并探索通过神经系统的不同渠道传输信息。这些是此新界面中存在的一些限制。

总之,这项工作提供了一个新的概念,以改善我们的身体系统的控制,同时采用潜意识的手段,尽管如此,允许系统地标准化的结果测量随机变化。

Disclosures

方法包括:

•US20190333629A1"神经系统疾病诊断和治疗方法"

•EP3229684B1"相关运动生理学建议"

•US20190261909A1"确定主题中自愿量的系统和方法"

US202110989122"测量生理相关运动的系统和方法"

Acknowledgments

我们感谢那些自愿花时间帮助开展这项研究的学生:Kan Anant 和相空间公司为我们提供了描述设置所需的图像和视频:和神经电子允许我们使用来自渠道的材料 www.youtube.com/c/neuroelectrics/ 和他们的手册。最后,我们感谢罗格斯认知科学中心的托马斯·帕帕托马斯教授在手稿提交阶段给予的专业支持,南希·卢里·马克斯家庭基金会职业发展奖,以及格隆德利斯基金会对VK的奖励。

贡献
概念化、VK和电子BT:方法论,EBT:软件、VK、EBT、SK:验证、VK和SK:正式分析,VK:调查,VK,电子BT,SK:资源、EBT;数据策划,VK:写作——初稿准备,EBT:写作:审查和编辑,VK,SK.可视化、VK和视网:监督,欧洲自全面禁试条约;项目管理,EBT:资助收购, Ebt 所有作者都阅读并同意了手稿的出版版本。

Materials

Name Company Catalog Number Comments
Enobio 32 Enobio Hardware for EEG data collection
Enobio ECG Extention Enobio Hardware for ECG data collection
LabStreamingLayer (LSL) Synchronization and streaming of data
Matlab Mathwork Analysis and processing of data
Max Cycling'74 Sonification of bodily information
NIC.2 Enobio Software for EEG and ECG data collection
PhaseSpace Impulse PhaseSpace Hardware for collection of the kinematic data (position, speed, acceleration)
Python3 Python Analysis and processing of data
Recap PhaseSpace Software for collection of the kinematic data (position, speed, acceleration)

DOWNLOAD MATERIALS LIST

References

  1. Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
  2. Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
  3. Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
  4. Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
  5. Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
  6. Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
  7. Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
  8. Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
  9. Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42 (2003).
  10. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  11. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  12. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
  13. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  14. Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
  15. Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
  16. Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001 (2016).
  17. Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
  18. Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757 (2013).
  19. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  20. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8 (2016).
  21. Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823 (2014).
  22. Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32 (2013).
  23. Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
  24. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  25. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  26. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  27. Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
  28. Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
  29. Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121 (2014).
  30. Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
  31. Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
  32. Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
  33. Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
  34. Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10 (2013).
  35. Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50 (2013).
  36. Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
  37. Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
  38. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  39. Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444 (2014).
  40. Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
  41. Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
  42. Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
  43. Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
  44. Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
  45. Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
  46. Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
  47. Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9 (2016).
  48. Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
  49. Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46 (2013).
  50. Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
  51. Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8 (2016).
  52. Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
  53. Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22 (2016).
  54. Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
  55. Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34 (2013).
  56. Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422 (2016).

Tags

行为,第 171 期,闭环接口,共适应接互式接口,感官增强,感官替代,听觉反馈,身体信号声化,心率,运动学,随机分析,前向运动图,运动链,头像。
使用闭环接口实时代理控制重新参数化的外围信号
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Kalampratsidou, V., Kemper, S.,More

Kalampratsidou, V., Kemper, S., Torres, E. B. Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface. J. Vis. Exp. (171), e61943, doi:10.3791/61943 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter