我们介绍了构建闭环式共适应界面的实验方案与分析方法,该界面可实时流式传输、参数化、分析并调节人体及心脏信号。该系统将来自个体周围神经系统和中枢神经系统的信号与外部感觉输入相连接,以帮助追踪生物物理变化。
我们介绍了构建闭环式共适应界面的实验方案与分析方法,该界面可实时流式传输、参数化、分析并调节人体及心脏信号。该系统将来自个体周围神经系统和中枢神经系统的信号与外部感觉输入相连接,以帮助追踪生物物理变化。
感觉替代与感觉增强领域的研究旨在利用中枢神经系统(CNS)的信号来控制外部目标。然而,较少有研究方案能够更新由运动中的交互主体自身产生的外部信号。目前尚缺乏有效的方法,将一个运动个体的身体-心脏-大脑生物节律用于引导另一个运动个体在双人互动过程中的相应节律。实现这一目标的部分挑战在于实验装置的复杂性,即需要整合具有不同物理单位、不同时间尺度和可变采样频率的多模态生物信号。
近年来,可穿戴生物传感器的发展使其能够以非侵入方式同步采集多种信号,这为重新参数化和更新交互个体对的外周信号提供了可能,同时也促进了脑机和/或体机接口的改进。本文介绍了一种共适应性接口,该接口利用生物传感器更新传出的躯体运动输出(包括运动学参数和心率),对随机生物信号进行参数化,将输出结果转化为声音信号,并以重新参数化的形式作为视觉/听觉-动觉再传入输入反馈回去。我们通过两种类型的交互方式来说明这些方法:一种涉及两个人之间的互动,另一种涉及一个人与其虚拟化身在接近实时条件下的互动。我们讨论了这些新方法在探索外部输入对内部躯体-感觉-运动控制影响方面的潜在新途径中的意义。
自然闭环控制器
感觉运动信息在大脑与身体之间持续流动,从而产生有序且协调的行为。这类行为可以在仅关注个体动作的情况下进行研究,即采用独白式方法(图1A);也可以在两个参与者组成的二元关系中研究其复杂的动态互动,即采用对话式方法(图1B)。然而,还存在第三种选择,即通过代理控制器,在人机闭环接口的背景下评估此类复杂交互(图1C)。此类接口能够追踪二元关系中每个参与者的实时动作波动,以及由他们同步互动自发形成的凝聚性类型,从而有助于以期望的方式调节二元关系的节律。

图1:不同形式的对照。 (A) 脑自控接口依赖于人脑与自身身体之间的闭环关系,能够在“独白”模式下实现自我调节和自我交互。该模式可尝试控制自发产生的运动,也可用于控制外部设备。B引入“对话”式控制,使两名舞者通过相互作用以及身体同步和轮流主导,实现对彼此动作的控制。C通过计算机界面实现对双人互动的“第三方”对话控制,该界面同时采集两名舞者的生物信号,对其进行参数化处理,并以重新参数化的形式通过听觉和/或视觉作为感官引导反馈给舞者。本文所展示示例中的重新参数化是通过音频或视觉反馈实现的,同时结合其中一名舞者的实时动觉运动输出以影响另一名舞者;或两名舞者按照某种交替模式轮流进行影响。 请点击此处以查看此图的放大版本。
本方法的总体目标是证明,当两个个体进行二元交互时——无论是两个人之间,还是一个人与其自主运动的虚拟化身之间——都有可能捕捉、参数化并重新参数化身体运动中生物节律活动的每一时刻波动。
关于大脑如何控制行为并预测其感觉后果的研究在过去引发了大量理论探讨1,2,3,并提出了多种神经运动控制模型4,5,6,7,8。这一跨学科领域中的一个研究方向涉及闭环脑-机接口或脑-计算机接口的开发。这类系统提供了利用和调整中枢神经系统(CNS)信号以控制外部设备的方法,例如机械臂9,10,11、外骨骼12、计算机屏幕上的光标13等。这些外部设备的共同特点是本身不具备自主智能,而试图控制它们的大脑则具有智能;大脑面临的问题之一是学习如何预测其所引发的设备运动后果(例如光标的移动、机械臂的运动等),同时生成其他辅助性动作,以通过本体感觉再反馈的形式构成整体的感觉运动反馈。这些接口的总体目标通常是帮助大脑背后的个体绕过损伤或疾病,重新将其意图性思维转化为对外部设备的自主控制行为。然而,尝试引导运动中身体运动的接口发展则相对较少。
关于脑机接口的许多原始研究主要集中在中枢神经系统(CNS)对能够完成目标导向动作的身体部位的控制9,14,15,16,17。然而,也存在其他情况,利用来自周围神经系统(PNS)活动的信号(包括自主神经系统(ANS)的信号)已足以提供有效信息,用以影响和引导外部代理体(包括另一个人、虚拟形象,或相互作用的人类个体,如图1C所示)的信号。与机械臂或光标不同,本例中的另一个代理体具有由大脑驱动的智能(在虚拟形象的情形中,该智能源自个体的动作;在人类互动对偶的情形中,则为另一互动个体的智能)。
构建一个能够形成具有二元交换功能的共适应闭环接口环境的系统,可能有助于干预神经系统疾病,这类疾病中尽管中枢神经系统(CNS)与周围神经系统(PNS)之间的生理连接并未物理中断,但大脑无法自主随意地控制身体的运动。这种情况可能源于外周信号噪声过多,导致用于帮助大脑持续监测并调节自身生成的生物节律的反馈回路受到干扰。此类情形可见于帕金森病患者18,19,或运动输出中存在过度噪声的自闭症谱系障碍参与者。事实上,在这两种情况下,我们已量化到从其预期运动速度所提取的返回本体感觉信号20,21,22以及来自心脏的信号23中存在较高的信噪比。在此类情况下,试图掌握对外部信号的大脑控制,同时尝试控制身体运动时,可能导致大脑从外周持续发出的传出(运动)信号流中接收到一种来自返回(再传入)信息流的自我反应性信号。事实上,此类自发产生的传出运动信号流中所包含的逐时波动,蕴含着有助于预测有目的动作感觉后果的重要信息24。当此类反馈被噪声干扰时,便难以可靠地更新控制信号,也无法将意图性计划与实际动作有效连接。
如果我们将这种反馈回路扩展到另一个智能体,并通过第三方来调控人与智能体之间的交互(图1C),我们或许有机会近乎实时地引导彼此的行为表现。这将为我们提供所需的概念验证,从而进一步拓展共适应性脑-体或脑-机接口的理念,用于治疗因神经系统疾病导致从心理意图难以实现有效身体动作的障碍。
有目的的行为会产生相应后果,这些后果可通过依赖于情境的运动随机特征进行精确表征,从而以高置信度推断出心理意图的程度25,26因此,相较于以往以个体为中心的脑机接口或脑-计算机接口方法,利用二元交互交换的新方法的一个优势在于,我们能够增强控制信号,以纳入那些在不同意图水平下主要发生在个体意识之外的身体及心脏生物节律。通过这种方式,我们能够抑制在适应脑控光标过程中,意识控制容易引发的反应性干扰17通过参数化我们能够获取的各种信号,可以进一步提高预测过程的准确性。在这方面,已有研究将脑信号与身体信号结合使用。27,28,29;但涉及通过脑-身体信号捕捉的二元互动的研究仍然较少。此外,现有文献尚未明确区分在完全意识下有意识执行的动作片段与作为有意识动作结果而自发出现的过渡性动作。30,31在此,我们将在二元交换的背景下阐明这一区别,并提出研究这种二分法的新方法32,同时提供编排(刻意)动作的示例 与 舞蹈空间中的即兴动作。
由于感觉-运动整合与转换过程中的转导和传递延迟33,必须建立此类预测性编码机制,以高置信度学习并预判即将到来的感觉输入。为此,有必要能够表征源自持续更新的本体感觉再传入信号流中噪声-信号比的演变过程。接着,我们需要建立相应的实验方案,以系统性地测量运动变异性(motor variability)的变化。运动变异性本质上存在于传出的传出性运动信号流逐时波动之中34。由于这些信号具有非平稳性,并且对情境变化敏感35,36,因此有可能通过任务情境的改变来参数化其发生的变化。为了最小化来自意识性中枢神经系统(CNS)控制所产生的反应性信号的干扰,并诱发外周神经系统(PNS)传出运动信号流中可量化的改变,本文引入一种代理闭环接口,该接口通过调动个体自我意识水平以下的外周信号,间接改变感觉反馈。随后,我们展示了如何利用适用于可视化该代理闭环接口在双方个体中间接引发过程的随机分析方法,系统性地测量感觉操控所引发的变化。
引入一种代理闭环控制器
外周信号中存在的感觉运动变异性在不同情境下为神经系统的学习、适应和泛化过程提供了丰富的信息来源,可用于指导神经系统的功能表现37。这些信号部分源于中枢神经系统(CNS)在有意识地控制动作时所产生的副产物,但并非控制器的直接目标。当个体自然地与他人互动时,这些外周信号可以被获取、标准化并重新参数化,这意味着其变化可以通过改变传出的运动信号流进行参数化建模和系统性调节,而该运动信号流会作为本体感觉再传入持续反馈至系统中。在此类条件下,我们能够可视化这些随机性变化,以高精度捕捉到一种丰富信号,而这种信号通常会在传统技术所采用的大规模平均处理中丢失。
为了在新的统计平台下实现对变化的表征,本文介绍了相关方案、标准化的数据类型以及分析方法,这些方法能够整合外部感觉输入(听觉和视觉)与机体自身产生的运动信号,同时允许个体在与另一个人或该人的虚拟化身自然交互时进行操作。从这一意义上讲,由于我们的目标是调控外周信号(而非修改中枢神经系统信号以直接控制外部设备或媒介),我们将此称为代理闭环接口(图2)。我们的目标是表征周围神经系统(PNS)随机信号的变化,以及这些变化对中枢神经系统(CNS)信号的影响。

图 2:利用闭环多模态界面实现对二元互动的代理控制。(A)通过计算机共适应界面间接控制两名舞者(跳萨尔萨舞);与之对比的是(B)一个由外周神经系统信号驱动并通过将信号重新参数化为声音和/或视觉输入所控制的交互式人工人-虚拟化身二元系统。(C)利用一种新型标准化数据类型(微运动尖峰,MMS)实现声音化(sonification)的概念,该数据源自生物节律信号振幅/时序的逐时刻波动,经转换后成为振动,再进一步转换为声音。从物理学中,我们借鉴了音叉输出声波所产生的压缩与稀疏现象,这些现象可测量为振动。声音波形示意图以随时间变化的压力调制形式呈现,与用于声音化的尖峰浓度并列展示。展示一个物理信号如何通过从MMS到振动再到声音化的提议流程。我们使用心率信号作为界面的输入,提取信号振幅波动,并将其与每4秒运动起始时刻对齐,构建代表振动的MMS序列。MMS产生的尖峰序列被标准化为[0,1]区间。尖峰的颜色根据色标表示信号强度。随后我们使用Max软件对这些振动进行声音化。该声音化信号可用于在A中回放,或在B中改变与虚拟化身的互动。此外,在B中还可以将声音嵌入环境中,并利用身体位置在感兴趣区域(RoI)回放声音,或根据到RoI的距离、身体部位相对于另一身体部位的速度或加速度,在经过RoI时调制音频特征。请点击此处查看该图的放大版本。
周围神经系统(PNS)信号可通过可穿戴传感技术以非侵入方式获取,这些技术可同步记录来自神经系统不同功能层的多模态传出信号流,范围涵盖自主神经到随意神经活动32。随后,我们可在接近实时的条件下测量这些信号流的变化,并筛选出能够增强信噪比的信号。该传出运动信号还可结合其他形式的感觉引导(例如听觉、视觉等)加以增强。由于PNS信号脱离完全意识的控制,因此更易于操控且不易引发明显抵抗38。基于此,我们利用这些信号以更少生理应激的方式辅助引导个体的行为表现。
构建接口
我们介绍了由闭环共适应多模态接口介导的代理控制设计。该接口可调控实时多感官反馈。图3展示了总体设计。
闭环接口的特征包括5个主要步骤。第1步是 多模态数据采集 来自多个可穿戴设备。第2步是 多模态流的同步 通过 MoBI 团队开发的 LabStreamingLayer(LSL,https://github.com/sccn/labstreaminglayer)平台 39第三步是将LSL数据结构流式传输到Python、MATLAB或其他编程语言接口 整合信号并以经验方法对生理特征进行参数化 (与我们的实验设置相关) 实时第4步是对从所研究的生理信号连续流中提取的选定特征进行重新参数化。 利用一种感觉模态来增强它 首选方式(如视觉、听觉、动觉等)将其以声音或视觉形式回放,以增强、替代或改善个体神经系统中存在问题的感觉模式。最后,第五步是 重新评估 系统实时生成信号的随机特征,以选择哪种感觉模态可将身体波动的随机变化引导至对即将发生动作的感觉后果具有高确定性(噪声最小化)的状态。 此循环持续播放 在整个实验过程中,重点关注所选信号,同时保存完整的性能数据以供后续分析(如示意图所示) 图3 并观察40,41,42,43,44,45,46,47 例如 事后 分析。

图3:多模态外周驱动闭环接口概念的架构。 采集多种生理信号——运动学数据、心脏和脑活动(步骤1)。使用LSL同步共同注册来自不同设备的数据并将其流式传输至接口(步骤2)。采用Python/MATLAB/C#代码,利用标准化的数据类型和通用量表持续对信号波动进行参数化,从而选择最适合作用于降低系统不确定性的感觉引导来源(步骤3)。通过选定通道实现信号传输的实时增强后,可对再输入的感觉信号进行重新参数化,将其整合到连续的运动流中,以增强丢失或受损的输入信号流(感觉替代,步骤4)。持续的再评估使回路闭合(步骤5),同时保存所有数据以供后续进一步分析。请点击此处查看此图的放大版本。
以下部分介绍了构建闭环接口的通用方案(如图3所示),并描述了两个实验接口的代表性结果(详见补充材料),这两个接口分别涉及两名舞者之间的物理性双人互动(真实闭环系统)以及一个人与虚拟化身之间的虚拟双人互动(人工闭环系统)。
本研究经罗格斯大学机构审查委员会(IRB)批准,符合《赫尔辛基宣言》的规定。
1. 参与者
2. 闭环接口的设置
3. 实验步骤
根据前一节所述协议,可以构建多种接口,并将其应用于不同人群以实现多种目的。补充材料中的“所展示的闭环接口的变体”部分描述了一些可能的变异形式。
在本节中,我们展示两个遵循前文所述方案的样本闭环接口的代表性结果。这些研究的实验装置、实验流程和参与者信息在补充文件的“示例1:真实二元互动的音频闭环接口”和“示例2:人工二元互动的音视频闭环接口”部分中有详细说明。
真实二元互动中音频闭环接口的结果
在“真实二元互动的音频闭环接口”研究中(详见补充材料的“示例1:真实二元互动的音频闭环接口”部分),我们使用了一个代理控制接口,如图4所示,该接口利用女性舞者的心跳信号来改变所播放的音乐。我们实时进行信号处理,提取心跳的时间信息,并将该信息流式传输至Max系统,以调节播放歌曲的速度。通过这种方式,我们根据生物物理信号对歌曲进行了实时调整播放。这一过程进一步引发了舞蹈动作和心跳信号的持续变化。

图4:基于音频的闭环接口。1. 一种ECG-HR可穿戴设备在萨尔萨舞者进行舞蹈动作时监测其生理活动,并以500 Hz的频率将信号传输至接口。2. 我们的接口实时分析ECG数据。在每一帧中,对原始数据进行滤波,提取QRS波群的R波峰值,并将峰值检测结果流式传输至MAX软件。3. 第三方接口将音频播放速度与心率变化速度进行融合。4. 调整后的音乐重新播放给舞者。 请点击此处查看该图的放大版本。
两名萨尔萨舞者与该界面进行交互,分别表演了一段经过精心排练的编舞以及一段即兴发挥的舞蹈。舞者需表演一次歌曲的原始版本,以及一次将歌曲原始节奏与实时心跳数据流相融合的版本。我们将舞者重复表演两次的后者版本称为歌曲的修改版本1和修改版本2。
在下述分析中,我们使用了记录的心音和音频信号。提取这两个信号的峰值以估计微动尖峰序列(参见补充文件中的“微动尖峰”部分),该序列保留了高频波动,如图5所示。

图 5:音频闭环系统中 MMS 脉冲序列的估计。 使用 ECG 时间序列提取 RR 峰值,以及从所获得 R 峰总体(估计)平均幅度的偏移量(均值偏移数据)。随后通过公式 1(见补充文件“微运动脉冲”部分)进行归一化处理,以获得 MMS 脉冲序列。采用类似方法处理音频波形,并根据个体的实时表现回放音乐。请点击此处查看该图的放大版本。
MMS 火车被明确定义为一种连续的随机过程,可用连续的伽马概率分布族很好地表示。最大似然估计(MLE)认为该连续分布族对两组数据均具有最佳拟合效果(详见补充材料中“伽马分布”部分及补充图 2)。此类随机过程被用于追踪由人体神经系统产生的生物信号自生成的生物节律在随机特征上的变化。
根据经验估计的 Gamma 分布形状参数和尺度参数,我们得到 Gamma 分布的各阶矩,包括均值、方差、偏度和峰度(详见补充材料中“随机分析”部分的分析细节)。然后绘制估计的概率密度函数(PDF)。图6 仅聚焦于心率信号与音乐,但相同的方法也可应用于由文献41中提出的运动学信号生成的其他生物节律。
心脏信号与音乐信号的PDF如图6A-B所示,其中我们强调了在刻意常规与即兴自发两种条件下数据集之间的差异。针对每种条件,我们突出显示了由歌曲时间变化所引起的随机性特征的变化。最初,舞者跟随原曲起舞;随后,随着心跳实时改变节奏,该信号中声音化后的心跳波动会引导舞者跟随歌曲的时间变化进行舞蹈。
这些分别记为改变1和改变2。这些系统性偏移由Gamma参数描述。随后,利用经验估计的形状参数和尺度参数,我们获得了心跳和歌曲对应的四个Gamma矩。这些结果展示在 图6C 用于心脏(上)和声音(下)信号。

图6:通过音频闭环系统在代理控制下诱导经验估计的伽马概率密度函数(PDF)及其四阶伽马矩的随机轨迹发生系统性变化。(A) 每种数据类型(ECG 位于上方,音频文件位于下方)在不同舞蹈情境下的 MMS 序列所生成的概率密度函数(PDF),包括即兴发挥和刻意编排的动作序列。图例中,Imp Or(即兴原始)表示会话开始时的基线条件;Imp Alt1 表示第一次变化期间的即兴发挥;Imp Alt2 表示第二次变化期间的即兴发挥。(B) 同理,对于刻意排练的动作序列,Rout Or 表示原始动作序列;Rout Alt1 表示第一次动作调整;Rout Alt2 表示第二次动作调整。(C) 中的各子图展示了伽马矩的系统性偏移,此时来自乐曲的音频信号与来自心率的信号同步并实时发生变化。请点击此处查看该图的高清版本。
在这些面板(PDF 和 Gamma 矩图)中可以观察到特征信号的偏移,从而证明所提出的方法能够捕捉心脏对代理控制器实时生成歌曲变化所产生的适应性响应。随着歌曲节奏发生改变,心脏的随机特征也随之变化,且随机特征的过渡在方向上具有一致性(这一点在我们研究形状和尺度参数的文献41中也有发现)。同样地,当心脏的特征发生偏移时,歌曲的特征也随之变化。这种镜像效应——一方影响另一方,且一方持续向某一方向偏移时,另一方也同步发生偏移——体现了该代理控制器接口的闭环特性。实验结果强调了此实验装置的实用性,并验证了概念可行性,即我们可以在二元交互的背景下系统性地调节个体的自主神经生物节律。
歌曲和身体信号随机特征的平行变化表明,利用外周信号可以实现整个系统(参与者与界面)的共同适应。这一过程在个体无意识状态下平滑发生,为通过远程、系统性方式根据所选外部感官反馈调节个体生物信号的概念验证提供了证据。总之,我们能够引导这一连续随机过程中随机特征的变化。这些方法能够捕捉随机轨迹上的变化及其变化速率,而这些轨迹是我们能够在近实时条件下构建的。
为了确定变化的统计学显著性,我们采用非参数方差分析——Kruskal-Wallis 检验,并随后进行多重比较的事后检验。我们对六种条件下心脏数据的 MMS 特征进行比较。图7展示了 MMS 心脏数据的多重比较结果及相应的 Kruskal-Wallis 检验表。多重比较图显示,原始规定舞蹈(Rout. Or)的基线条件与原始即兴舞蹈(Imp. Or)的基线条件之间存在显著差异。还需注意的是,第一次改编条件(Rout. Alt1 和 Imp. Alt1)的分布趋近于具有相似均值的分布,第二次改编条件也呈现相同趋势,而方差、偏度和峰度则在 Gamma 矩空间中发生位移(图6C)。

图 7:非参数 Kruskal-Wallis 检验与事后多重比较检验的结果。 对心脏数据的 MMS 应用非参数方差分析(Kruskal-Wallis 检验),以比较六种实验条件。该图展示了六种情况之间的多重比较结果,表明“Rout. Or”与“Imp. Or”条件之间存在显著差异。表格列出了 Kruskal-Wallis 检验的结果。请点击此处查看此图的高清版本。
人工二元交互中视听闭环接口的结果
在“人工二元交互的视听闭环接口”研究中(详见补充材料中的“示例2:人工二元交互的视听闭环接口”部分),6名参与者使用了如图8所示的接口,该接口生成一个镜像化身以实时呈现参与者自身的动作。在交互过程中,接口会在参与者周围区域嵌入与位置相关的声音。参与者对研究目的不知情,需在房间内走动,并尝试发现如何通过经过由代理控制器定义的兴趣区域(RoI)来触发并控制声音的意外出现。

图 8:视听界面的可视化表示。 1. 使用动作捕捉系统采集外周运动学数据。2. 该系统采集传感器位置(在本例中为 LED)以估算骨骼在骨骼上的位置。3. 利用我们自主开发的正向运动学模型,在 MATLAB 开发的界面中对骨骼位置进行对齐。4. 将对齐后的位置用于将骨骼信息映射到我们渲染的 3D 虚拟形象上。5. 流数据到虚拟形象的映射是实时进行的,从而产生观察者看到自身镜像的视觉感受。请点击此处查看此图的放大版本。
图9 展示了条件1的视听界面结果(更多条件请参见补充文件),其中当髋部位置位于感兴趣区域(RoI)内时,会触发音乐播放。该图显示了6名不同对照参与者(C1至C6)在RoI内和RoI外时髋部速度数据的概率密度函数(PDF)和伽马分布特征(详见补充材料中“数据类型与分析”部分)。此处呈现的结果突显了不同个体在适应速率上的个性化差异,这些差异通过随机特征的偏移以及在RoI内外表现出的个体化结果得以体现。例如,我们可以观察到,当C3和C4在RoI内时,基于其髋部速度幅度计算得到的MMS频率直方图的PDF拟合更为对称(形状参数更高)且噪声更少(尺度参数更低)。相比之下,其余参与者则表现出相反的模式。
根据经验,我们发现位于右下角的特征来自运动员和舞者,他们执行的是高度熟练的动作。而位于左上区域的特征则来源于患有神经系统病理状况的数据集,例如被诊断为自闭症谱系障碍、注意缺陷多动障碍(ADHD)22,32 的个体,以及去传入性受试者21的数据。在随机轨迹上模式不断转换的背景下,我们获取形状和尺度的中位数值,用以定义右下象限(RLQ)和左上象限(LUQ),并通过随时间累积的信息来追踪信噪比的整体质量。该方法动态更新这些象限的中位数值,反映了个体在将自身内部生成的生物节律与外部代理所控制(但依赖于个体内部节律)的节律进行共适应过程中的变化。

图9:使用视听闭环系统进行交互时,身体生物节律的经验估计伽马概率密度函数(PDF)与伽马特征。 基于从每位参与者(C1 - C6)髋部运动速度提取的MMS序列,我们采用最大似然估计法(MLE)拟合最优概率密度函数(PDF),并给出95%置信区间。每位参与者用不同的符号表示,不同条件则用不同颜色表示。在空间内(in)的伽马概率密度函数族与在空间外(out)的情况存在差异。除经验估计的伽马概率密度函数外,每位参与者的伽马分布形状参数和尺度参数也在伽马参数平面上进行了展示。请点击此处查看该图的放大版本。
表1 显示从原始(速度)数据和MMS数据中获得的p值,用于比较人体部位位于RoI内时不同条件下的结果 与. �感兴区外。表格中所示结果采用非参数ANOVA Kruskal-Wallis检验进行估算。
| 克鲁斯卡尔-沃利斯检验 | 速度数据 | MMS |
| C1 | 0 | 1.34 e-05 |
| C2 | 0 | 4.72E-15 |
| C3 | 0 | 8.59E-34 |
| C4 | 2.70E-21 | 3.16E-04 |
| C5 | 0 | 1.11E-09 |
| C6 | 0 | 5.95E-05 |
表1:非参数方差分析—Kruskal-Wallis 检验结果。 Kruskal-Wallis 检验对MMS和速度数据在Rol区域内与区域外记录结果的比较分析。我们对每位参与者(C1 - C6)的数据分别进行该检验。
补充文件。 请点击此处下载这些文件。
本文介绍了通过闭环共适应、交互式多模态界面实现代理控制的概念,该界面在二元交互背景下捕捉、参数化并重新参数化个体的外周信号。我们的目标是表征个体生物节律波动中的随机性变化,并对这些变化进行参数化。此外,我们旨在近实时地系统性引导其生物节律的随机性特征,使其趋向预设的信噪比状态水平。
我们提出了一种构建闭环接口的通用方案,该方案满足以下五个核心要素:1)利用多种仪器和技术采集来自中枢神经系统(CNS)、周围神经系统(PNS)和自主神经系统(ANS)的多种生理数据;2)对数据进行同步记录与实时传输;3)对选定信号进行实时分析;4)利用从生理信号中提取的生理特征生成感官增强(如听觉、视觉等);5)持续追踪人体系统,并同步提供感官增强,从而实现人与系统之间交互的闭环。
该通用方案应用于两个示例界面。第一个示例研究两个人类个体之间的二元交互,第二个示例研究一个人类与一个虚拟化身代理之间的交互。这两种类型的二元组合被用于验证概念,即外周信号可以实时系统性地改变,并且这些随机变化能够被精确追踪。其中一组二元组合由两个实际进行物理交互的参与者构成,而另一组则涉及一名参与者与一个三维渲染的虚拟化身进行交互,该化身具有参与者的动作特征,并对其真实时间动作进行特定修改。这些修改由增强感知环境中的听觉和/或视觉感官输入所驱动的交互式操作引发。在真实二元组合和人工二元组合中,我们均证明了远程调节外周信号的可行性,包括身体节律和来自心跳的自主神经信号。
我们提出了新的实验方案,用于探究在运动输出变异性方面的变化,同时对本体感觉信号流进行近实时的操控和重新参数化。这种反馈信息(本体感觉再传入48)被证明在实时调节系统性能方面具有重要价值。它们包含了关于动作所引起的感官后果的信息,而这些信息可通过本文所介绍的方法进行精确追踪。
我们还展示了适用于标准化分析的数据类型和统计方法。我们提供了多种可视化工具,用于展示在不同情境下自然演变的生理活动的实时变化,并结合经验指导的统计推断,有助于解释自生成和自调控的神经系统信号。重要的是,由代理控制器引发的变化既平滑又可量化,从而支持了外周活动具有多种用途的观点。尽管我们可以使用市面上可获得的无线可穿戴传感器来实施这些方法,但我们能够系统地诱导出可在生物物理节律中捕捉到的性能变化,同时不会 对系统造成压力。将这些方法转化为临床应用至关重要,并可将其作为试验平台,用于开发新的干预模型(例如,在自闭症中使用增强现实技术49)。在这些模型中,我们将能够追踪并量化个体自然行为所导致的感觉后果,因为感觉输入被精确操控,而输出则在接近实时的条件下被参数化和重新参数化。
我们提供该方案作为通用模型,用于利用人体神经系统自生成的多种生物节律活动,并通过无线可穿戴设备以非侵入方式加以采集。尽管本文使用了一组生物传感器来记录脑电图(EEG)、心电图(ECG)和运动学数据,但信号的记录、同步与分析方法具有普适性。因此,该接口可整合其他技术。此外,该方案还可修改以纳入其他自然行为和场景,延伸至医学领域。由于我们旨在研究自然行为,所开发的实验装置也可用于游戏化环境(例如涉及儿童与家长的互动场景)。
神经系统的多种功能障碍均可从这种富有游戏性的控制方法中获益。在我们展示的这两类二元互动中,参与者可有意识地尝试控制音乐,而代理控制器则利用外周输出无意识地操纵并系统性地改变其特征信号。由于科学家们已通过多年实证研究,绘制出不同年龄组(从新生儿到78岁)19,50,51,52,53 和不同病理状态(自闭症、帕金森病、中风、昏迷状态及去传入状态)下 Gamma 参数平面及其对应的 Gamma 矩空间图谱,并针对不同控制水平(自主、自动、自发、非自主和自主性控制)25,47,54 进行了系统分析,因此已通过实验测得判断在 Gamma 空间中何种区域的随机信号特征可实现良好预测控制的经验标准。先前的研究还表明,我们已知在人体神经系统自产生节律所引发的自发随机噪声存在时,相关参数所处的位置7,19,55,56。基于最小化生物节律性运动噪声的优化框架,我们因而可致力于以特定方式驱动信号,使其进入 Gamma 空间中目标区域——在这些区域,每位个体概率密度函数(PDF)族的形态与离散特征有利于实现高信噪比和高预测价值。从这一意义上讲,我们并未丢失宏观数据,而是有效地利用这些数据,将系统驱动至特定情境下理想的噪声水平。
二元互动在临床或培训环境中普遍存在。它们可能发生在培训师与受训者之间、医生与患者之间、临床治疗师与患者之间,也可能出现在涉及转化科学研究的研究环境中,连接研究者与参与者。本方案的一个优势在于,尽管其设计针对二元组合,但同时也具有个性化特点。因此,可以根据个体的运动范围、感觉信息处理时间范围,以及神经系统功能层级中信号振幅的变化范围,将其共适应性互动调整至个体最佳能力与倾向状态。随着随机轨迹随时间的出现与演化,还可以确定特征信号出现的概率速率,并利用该时间序列预测即将发生的多种事件及其可能伴随的感觉后果。
最后,闭环接口甚至可以在艺术领域得到应用。它们可以为表演艺术家提供新的途径,以生成由计算机驱动的现代舞蹈、科技舞蹈,以及身体表达的新型可视化与声音化形式。在这些情境中,舞者的身体可转化为一种由感官驱动的乐器,通过自生成生物节律活动的声音化与可视化,灵活探索不同的感官模式,该理念已在本领域的前期研究中得到展示40,41,43,46。此类表演可增强舞者在舞台上的作用,使观众能够体验到超越可见动作的细微身体信号。
该技术的多个方面仍需进一步开发和测试,以优化其在实时环境中的应用。同步流媒体传输需要高速的CPU/GPU处理能力和内存容量,才能真正实现节省时间、提前预测正在进行的运动指令所导致的感觉后果这一理念。设备的采样率应具有可比性,以便能够准确对齐信号、实现适当的感觉融合,并探究信息在神经系统不同通路中的传递情况。这些是当前这一新型接口所面临的一些局限性。
总体而言,这项工作提出了一种新概念,即在采用潜意识手段的同时,改进对我们身体系统的控制,并允许对随机变化进行系统性、标准化的结果测量。
涵盖的方法:
•US20190333629A1 “神经系统疾病诊断与治疗的方法”
•EP3229684B1 “用于测量生理学相关运动的方法”
•US20190261909A1 “用于确定受试者意愿程度的系统和方法”
•US202110989122 “一种用于测量生理相关运动的系统和方法”
感谢参与本研究并自愿提供时间的学生们;感谢Kan Anant和PhaseSpace公司为我们提供了描述实验设置所需的图像和视频;感谢Neuroelectronics允许我们使用其频道www.youtube.com/c/neuroelectrics/及其手册中的资料。最后,感谢罗格斯大学认知科学中心的Thomas Papathomas教授在本论文投稿阶段提供的专业支持,感谢Nancy Lurie Marks家族基金会职业发展奖对EBT的资助,以及Gerondelis基金会对VK的资助。
作者贡献
概念化,VK 和 EBT;方法学,EBT;软件,VK、EBT、SK;验证,VK 和 SK;形式分析,VK;调查,VK、EBT、SK;资源,EBT;数据管理,VK;撰写——初稿编写,EBT;撰写——审阅与修改,VK、SK;可视化,VK 和 EBT;监督,EBT;项目管理,EBT;资金获取,EBT。所有作者均已阅读并同意手稿的发表版本。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Enobio 32 | Enobio | 用于脑电数据采集的硬件 | |
| Enobio ECG 扩展模块 | Enobio | 用于心电数据采集的硬件 | |
| LabStreamingLayer (LSL) | 数据同步与实时流传输 | ||
| Matlab | Mathwork | 数据分析与处理 | |
| Max | Cycling'74 | 身体信息的声音化 | |
| NIC.2 | Enobio | 用于脑电与心电数据采集的软件 | |
| PhaseSpace Impulse | PhaseSpace | 用于运动学数据(位置、速度、加速度)采集的硬件 | |
| Python3 | Python | 数据分析与处理 | |
| Recap | PhaseSpace | 用于运动学数据(位置、速度、加速度)采集的软件 |