使用闭环接口实时代理控制重新参数化的外周信号

该界面的总体目标是研究多信号增强对提升身体感知能力的影响。通过设计一个通用的闭环界面，可在不同的实验装置上结合不同的可穿戴技术使用，并适用于不同人群。在本研究中，我们展示了一种通用界面，用于采样各类接口、其应用方式及其对人体系统的影响。

设计的第一步是使用多种可穿戴技术，以记录来自神经系统不同层面的信号。第二步是利用Lab Streaming Layer实现信号的同步记录和实时流传输。在第一步中，通过使用我们所选编程语言编写的代码来提取流数据，并对选定的信号进行实时分析和特征提取。

因此，在第四步中，参与者将体验到从自身生理信号中提取特征的感觉增强，例如将心率以音乐节奏进行听觉映射，或对身体运动进行视觉化呈现。最后，通过实时持续增强身体信息，我们实现了界面与参与者之间动态交互的闭环。关于大脑如何控制身体的研究推动了脑机接口的设计。

利用神经系统信号来控制外部设备，例如外骨骼或机械臂。本文介绍了闭环接口，该接口利用神经系统信号，并通过感觉模块对其进行增强，以帮助参与者获得对自身身体的控制。我们设计的一些关键特性包括：第一，同步记录来自不同技术的数据，以研究神经系统的各个层面；第二，对数据进行实时流式传输和分析，以实现即时增强。在两项示例研究中，我们都使用了听觉反馈，但在音频闭环接口中，萨尔萨舞者会根据由心跳节律实时调控的音乐节奏作出反应。

为了实现这一目标，我们使用音乐编程语言 Max 来控制音频文件的播放速度。传感器捕捉舞者的心跳，并通过 Python 脚本生成经过滤波的心电 R 波峰值。这些峰值数据随后通过开放声音控制协议实时传输至 Max。

首先，我们协助参与者穿上基于LED的运动捕捉服装，并将无线LED控制器连接到服装上。服务器开启后，打开一个网页浏览器，输入服务器设备的IP地址并登录。如果此步骤成功，配置管理器将自动打开。

然后打开动作捕捉系统的界面并单击连接，以开始从LED标记点流式传输数据。连接建立后，标记点的位置将显示在界面的虚拟世界中。

在窗口右侧的骨骼上单击右键，选择新建骨骼以选择标记点映射。然后再次在骨骼上单击右键，选择生成骨骼。确保受试者呈T字姿势站立。

如果所有步骤均正确执行，骨架数据将被生成。要将骨架数据流传输至LSL，请从主菜单中选择设置和选项。打开OWL模拟器，并确保已点击开始实时流传输。

接下来，协助同一位受试者佩戴脑电图（EEG）头帽。将高导电凝胶注入电极，并安放电极导线。然后将导线连接至无线监测仪并打开电源。

打开脑电图（EEG）系统界面，选择使用无线设备。选中设备后，点击“使用此设备”，然后点击头部图标。选择允许记录全部32个传感器的协议，然后点击加载。

确保流数据适配并全部显示在界面上。为采集心脏活动数据，请使用一个EEG通道连接EEG延长线，并用粘性电极将延长线的另一端贴在受试者左侧肋骨下方。

在LSL文件夹中找到动作捕捉系统的LSL应用程序，通过双击相应图标运行。在界面中设置正确的服务器地址，然后点击连接。对于脑电图（EEG）和心电图（ECG）数据流，无需额外操作。

接下来，我们找到位于LSL文件夹中的实验室记录器应用程序。通过双击该应用程序来运行。如果动作捕捉系统和脑电图系统的并非所有数据类型都显示在流记录面板上，请点击“更新”。

在存储位置面板中选择目录和名称，然后单击“开始”以启动数据采集。运行接收、处理并增强流数据的 MATLAB、Python 或其他代码。LSL 支持在多种编程平台中进行数据流传输。

他们使用论文中所述的代表性示例所对应的目标。请访问我们的 GitHub 链接。目前市场上存在多种可产生感官输出的技术。

一些常见的示例包括：扬声器、照明设备、显示器，以及其他较少见的设备，如触觉反馈装置、振动器、味觉和嗅觉交互接口。在音频闭环接口中，我们实现了对心率的数字增强。利用音乐编程语言 Max，我们能够控制音频文件的播放速度。

打印到控制台的经滤波心脏R波峰值将从Python脚本传输至Max。在Max中测量峰间时间间隔，并将其转换为每分钟心跳次数。数据经过缩放处理，以生成从零（最慢可能的播放速度）到最大播放速度之间的范围。

在此连续尺度上，1 表示正常播放速度，0.5 表示半速播放，2 表示两倍速播放。通用界面的设计可应用于不同人群。其协议及此处用于验证概念的示例并不局限于特定群体。

此外，闭环接口的设计旨在便于直观探索和学习，因此在实验过程中无需提供操作说明。在一项关于真实双人互动中音频闭环接口的研究中，两名萨尔萨舞者通过一个利用女性舞者心率来改变歌曲播放速度的接口进行互动。

舞者们表演了一段经过充分排练的舞蹈和一段即兴舞蹈。在每种条件下，他们先表演一次歌曲的原始版本，然后表演其心律变化版本两次。根据收集到的数据，我们估算了提取出的微运动尖峰的伽马随机特征。

在此我们观察心脏数据与音乐数据的估计概率密度函数。这些精美的图示展示了在第一种条件下，以原始形式跳舞时来自作为自主器官的心脏的数据集合；而在第二和第三种条件下，则展示了随着经过修改的音乐跳舞时心脏的数据集合。

左侧图像对应自发舞蹈的三次录音，而右侧图像对应刻意舞蹈的三次录音。在下方的图像中，我们可以观察到相应播放的音频集合。此处，这些集合的方向相反。

在研究人工二元交互中的音视频闭环接口时，六名参与者与一个生成其动态镜像化身的接口进行互动。此外，该接口还嵌入了与髋部位置相关的声音。参与者对研究目的并不知情；他们需要在房间内行走，并自行探索如何控制声音——当他们经过特定兴趣区域时，声音会出乎意料地出现。

图示展示了60名健康对照参与者（C1至C6）在兴趣区域内和区域外时髋部速度数据的概率密度函数及其相应的伽马特征。结果突显了参与者在区域内与区域外行为表现的个体化差异。经验表明，位于伽马平面右下角的特征来自执行高技能动作的运动员和舞者，而位于左上区域的特征则来源于具有神经系统病理状态的数据集。

因此，我们可以注意到，当处于空间范围内时，对照组三号和四号的髋部运动速度特征显示出更为健康的运动模式，而其余参与者则呈现出相反的模式。该方法可用于深入理解舞者动作与声音之间的关系。

它还可用于探索由实时身体信息驱动的音乐创作新方法，将音乐创作转化为一种身体信号增强的体验。闭环接口的开发与研究可为多种神经系统疾病带来益处，同时也可应用于游戏、动作训练和体育领域。