Name: 使用闭环接口实时代理控制重新参数化的外围信号 (视频) | JoVE Journal
Uploaded: 2021-05-08T14:30:00.000+00:00
Duration: 11 min 54 s
Description: 了解闭环接口技术如何通过实时信号增强提升身体感知能力。本研究利用可穿戴设备采集神经系统信号，结合Lab Streaming Layer实现同步数据流处理，为神经科学和人机交互领域提供通用实验框架。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

感谢参与本研究并自愿提供时间的学生们；感谢Kan Anant和PhaseSpace公司为我们提供了描述实验设置所需的图像和视频；感谢Neuroelectronics允许我们使用其频道www.youtube.com/c/neuroelectrics/及其手册中的资料。最后，感谢罗格斯大学认知科学中心的Thomas Papathomas教授在本论文投稿阶段提供的专业支持，感谢Nancy Lurie Marks家族基金会职业发展奖对EBT的资助，以及Gerondelis基金会对VK的资助。
作者贡献 
概念化，VK 和 EBT；方法学，EBT；软件，VK、EBT、SK；验证，VK 和 SK；形式分析，VK；调查，VK、EBT、SK；资源，EBT；数据管理，VK；撰写——初稿编写，EBT；撰写——审阅与修改，VK、SK；可视化，VK 和 EBT；监督，EBT；项目管理，EBT；资金获取，EBT。所有作者均已阅读并同意手稿的发表版本。

本研究经罗格斯大学机构审查委员会（IRB）批准，符合《赫尔辛基宣言》的规定。
1. 参与者
<ol>
	<li>确定研究人群并邀请其参与研究。当前界面可用于不同人群。本方案及此处用于验证概念的示例不限于特定群体。</li>
	<li>根据赫尔辛基宣言的要求，获取经机构审查委员会（IRB）批准的书面知情同意书。</li>
	<li>要求参与者或其监护人在实验开始前签署同意书。</li>
</ol>
2. 闭环接口的设置
<ol>
	<li>运动捕捉设备设置—PNS
	<ol>
		<li>协助受试者小心穿上基于LED的运动捕捉服装（包括身体和头部，如图3中的步骤1和5所示），该服装需与所使用的运动捕捉系统配套。系统中的摄像头将追踪服装上的LED标记点，以估算身体在空间中的位置。</li>
		<li>通过将无线LED控制器（也称为LED驱动单元）插入服装对应的端口，将其与服装上的LED电缆连接。打开设备&#160;并设置为流媒体模式。</li>
		<li>开启运动捕捉系统的服务器。</li>
		<li>打开网页浏览器，访问服务器地址并登录（登录信息需由公司在购买产品后提供）。</li>
		<li>根据需要校准系统（例如，如果是首次使用设备，则进行校准；否则跳至步骤2.1.17）。</li>
		<li>打开运动捕捉系统的校准工具，并选择校准向导。</li>
		<li>确保界面左上角文本框中输入的服务器编号正确，然后点击继续。</li>
		<li>将校准棒连接到LED控制器的第一个端口，打开控制器，然后点击继续。一旦校准棒连接成功，其LED标记点将被点亮，并在摄像头视图的显示界面上出现。</li>
		<li>将校准棒置于摄像头视野中心，确认其能被摄像头记录，然后点击继续。</li>
		<li>保持校准棒垂直，通过在空间中移动并画出圆柱轨迹的方式进行操作。确保每次运动至少被3个摄像头捕捉到，并在每个摄像头的视野区域内注册成功（区域变为绿色）。对所有摄像头重复此操作。</li>
		<li>当每个摄像头的视野区域完全注册成功（全部变为绿色）后，点击继续，并等待系统完成校准计算。 
		&#8203;注意：校准完成后，摄像头位置以及LED标记点将在显示界面上呈现，位置与它们在房间中的实际物理位置一致。此时用户可认为校准已完成，也可继续进行系统对齐。</li>
		<li>将校准棒保持垂直，使带有LED的一端贴近地面，放置在三维空间原点应设定的位置（即(0,0,0)点）。</li>
		<li>保持校准棒稳定直至系统完成注册。注册成功后，屏幕会闪现绿色，界面上将出现表示空间参考坐标系原点的标记点，下一个对齐轴（x轴）将以绿色高亮显示。</li>
		<li>保持相同方向（垂直），将校准棒移动至x轴对应的位置并保持稳定，直至完成注册。</li>
		<li>对z轴重复上述操作。当z轴位置注册完成后，校准即告完成。</li>
		<li>点击完成以退出校准程序。</li>
		<li>打开运动捕捉系统界面，点击连接，开始从LED标记点流式传输数据。连接建立后，标记点的位置将在界面的虚拟世界中显示。</li>
		<li>创建虚拟骨骼模型（根据服装上LED标记点采集的位置数据自动估算身体骨骼位置，如图8 步骤2所示）。</li>
		<li>在窗口右侧的骨骼上右键单击，选择新建骨骼。</li>
		<li>选择标记点映射，然后选择正确的文件（由公司根据所使用的界面版本提供），然后点击确定。</li>
		<li>要求受试者保持T字姿势（直立，双臂向两侧平举）静止不动。</li>
		<li>在骨骼上右键单击，选择无需训练生成骨骼。</li>
		<li>如果所有步骤均正确执行，骨骼模型将成功生成。让受试者活动身体，检查虚拟骨骼是否准确跟随其动作。</li>
		<li>要将骨骼数据流式传输至LSL，请从主菜单中选择设置和选项。</li>
		<li>打开Owl模拟器，点击&#34;开始&#34; 实时流传输。</li>
	</ol>
	</li>
	<li>脑电图设备设置—CNS
	<ol>
		<li>协助同一位受试者佩戴脑电图（EEG）头帽。</li>
		<li>将凝胶电极（与EEG头帽配合使用的传统凝胶型电极）安装在头帽上，并将两个粘贴式电极（类似贴纸的电极）贴在右耳后方，用于CMS和DRL传感器。</li>
		<li>根据需要向电极内注入高导电性凝胶，以改善传感器与头皮之间的导电性。</li>
		<li>将电极线连接至凝胶电极和两个粘贴式电极。</li>
		<li>将无线监测器贴在头帽后部，并插入电极线。</li>
		<li>打开监测器。</li>
		<li>打开EEG系统的操作界面。</li>
		<li>选择使用Wi-Fi设备，然后点击扫描设备。</li>
		<li>选择NE Wi-Fi，然后点击使用此设备。</li>
		<li>点击头部图标，选择一个允许记录全部32个传感器的协议，然后点击加载。</li>
		<li>确保每个通道的流式数据均在界面上正常显示。</li>
	</ol>
	</li>
	<li>心电图设备设置—ANS
	<ol>
		<li>按照2.2节所述的完全相同步骤操作，但使用通道O1连接心率（HR）扩展线。</li>
		<li>使用一个粘贴式电极，将扩展线的另一端贴在左侧肋骨下方。</li>
	</ol>
	</li>
	<li>准备LSL以实现运动学数据的同步记录与流式传输。
	<ol>
		<li>通过双击相应图标启动用于运动捕捉系统的LSL应用程序。该程序位于LSL文件夹路径LSL\labstreaminglayer-master\Apps\PhaseSpace中。</li>
		<li>在界面上设置正确的服务器地址。</li>
		<li>然后选择文件和加载配置。</li>
		<li>选择正确的配置文件（该文件需由公司根据所使用的产品版本提供）。</li>
		<li>点击连接。若无操作错误，则不会显示任何错误信息。</li>
	</ol>
	</li>
	<li>准备LSL以实现脑电图（EEG）和心电图（ECG）数据的同步记录与流式传输。此设备无需额外操作。</li>
	<li>LSL系统设置
	<ol>
		<li>通过双击位于LSL文件夹路径LSL\labstreaminglayer-master\Apps\LabRecorder中的文件，启动LabRecorder应用程序。</li>
		<li>点击更新。若所有操作均正确执行，则运动捕捉系统和EEG系统的各类数据将在“流记录”面板中显示。</li>
		<li>在存储位置面板中选择数据的保存目录和文件名。</li>
		<li>点击开始。运动捕捉系统和EEG系统的数据采集将同步启动。</li>
		<li>记录结束后点击停止。若记录成功，数据将保存在之前选定的目录中。打开文件以确认其包含所记录的信息。</li>
	</ol>
	</li>
	<li>人体系统的实时分析与监测
	<ol>
		<li>运行MATLAB、Python或其他代码，用于接收、处理并增强流式传输的数据。与下文所述代表性示例相对应的示例代码可在此处获取：https://github.com/VilelminiKala/CloseLoopInterfaceJOVE</li>
	</ol>
	</li>
	<li>生成增强的感觉反馈
	<ol>
		<li>使用适当的设备（如扬声器、显示器等）生成感觉输出。</li>
	</ol>
	</li>
</ol>
3. 实验步骤
<ol>
	<li>如果有设定的实验步骤，请遵循该步骤进行操作。 
	注意：闭环接口的设计旨在直观地进行探索和学习，因此大多数情况下无需额外说明。</li>
</ol>

涵盖的方法：
•US20190333629A1 “神经系统疾病诊断与治疗的方法”
•EP3229684B1 “用于测量生理学相关运动的方法”
•US20190261909A1 “用于确定受试者意愿程度的系统和方法”
•US202110989122 “一种用于测量生理相关运动的系统和方法”

本文介绍了通过闭环共适应、交互式多模态界面实现代理控制的概念，该界面在二元交互背景下捕捉、参数化并重新参数化个体的外周信号。我们的目标是表征个体生物节律波动中的随机性变化，并对这些变化进行参数化。此外，我们旨在近实时地系统性引导其生物节律的随机性特征，使其趋向预设的信噪比状态水平。
我们提出了一种构建闭环接口的通用方案，该方案满足以下五个核心要素：1）利用多种仪器和技术采集来自中枢神经系统（CNS）、周围神经系统（PNS）和自主神经系统（ANS）的多种生理数据；2）对数据进行同步记录与实时传输；3）对选定信号进行实时分析；4）利用从生理信号中提取的生理特征生成感官增强（如听觉、视觉等）；5）持续追踪人体系统，并同步提供感官增强，从而实现人与系统之间交互的闭环。
该通用方案应用于两个示例界面。第一个示例研究两个人类个体之间的二元交互，第二个示例研究一个人类与一个虚拟化身代理之间的交互。这两种类型的二元组合被用于验证概念，即外周信号可以实时系统性地改变，并且这些随机变化能够被精确追踪。其中一组二元组合由两个实际进行物理交互的参与者构成，而另一组则涉及一名参与者与一个三维渲染的虚拟化身进行交互，该化身具有参与者的动作特征，并对其真实时间动作进行特定修改。这些修改由增强感知环境中的听觉和/或视觉感官输入所驱动的交互式操作引发。在真实二元组合和人工二元组合中，我们均证明了远程调节外周信号的可行性，包括身体节律和来自心跳的自主神经信号。
我们提出了新的实验方案，用于探究在运动输出变异性方面的变化，同时对本体感觉信号流进行近实时的操控和重新参数化。这种反馈信息（本体感觉再传入48）被证明在实时调节系统性能方面具有重要价值。它们包含了关于动作所引起的感官后果的信息，而这些信息可通过本文所介绍的方法进行精确追踪。
我们还展示了适用于标准化分析的数据类型和统计方法。我们提供了多种可视化工具，用于展示在不同情境下自然演变的生理活动的实时变化，并结合经验指导的统计推断，有助于解释自生成和自调控的神经系统信号。重要的是，由代理控制器引发的变化既平滑又可量化，从而支持了外周活动具有多种用途的观点。尽管我们可以使用市面上可获得的无线可穿戴传感器来实施这些方法，但我们能够系统地诱导出可在生物物理节律中捕捉到的性能变化，同时不会&#160;对系统造成压力。将这些方法转化为临床应用至关重要，并可将其作为试验平台，用于开发新的干预模型（例如，在自闭症中使用增强现实技术49）。在这些模型中，我们将能够追踪并量化个体自然行为所导致的感觉后果，因为感觉输入被精确操控，而输出则在接近实时的条件下被参数化和重新参数化。
我们提供该方案作为通用模型，用于利用人体神经系统自生成的多种生物节律活动，并通过无线可穿戴设备以非侵入方式加以采集。尽管本文使用了一组生物传感器来记录脑电图（EEG）、心电图（ECG）和运动学数据，但信号的记录、同步与分析方法具有普适性。因此，该接口可整合其他技术。此外，该方案还可修改以纳入其他自然行为和场景，延伸至医学领域。由于我们旨在研究自然行为，所开发的实验装置也可用于游戏化环境（例如涉及儿童与家长的互动场景）。
神经系统的多种功能障碍均可从这种富有游戏性的控制方法中获益。在我们展示的这两类二元互动中，参与者可有意识地尝试控制音乐，而代理控制器则利用外周输出无意识地操纵并系统性地改变其特征信号。由于科学家们已通过多年实证研究，绘制出不同年龄组（从新生儿到78岁）19,50,51,52,53 和不同病理状态（自闭症、帕金森病、中风、昏迷状态及去传入状态）下 Gamma 参数平面及其对应的 Gamma 矩空间图谱，并针对不同控制水平（自主、自动、自发、非自主和自主性控制）25,47,54 进行了系统分析，因此已通过实验测得判断在 Gamma 空间中何种区域的随机信号特征可实现良好预测控制的经验标准。先前的研究还表明，我们已知在人体神经系统自产生节律所引发的自发随机噪声存在时，相关参数所处的位置7,19,55,56。基于最小化生物节律性运动噪声的优化框架，我们因而可致力于以特定方式驱动信号，使其进入 Gamma 空间中目标区域——在这些区域，每位个体概率密度函数（PDF）族的形态与离散特征有利于实现高信噪比和高预测价值。从这一意义上讲，我们并未丢失宏观数据，而是有效地利用这些数据，将系统驱动至特定情境下理想的噪声水平。
二元互动在临床或培训环境中普遍存在。它们可能发生在培训师与受训者之间、医生与患者之间、临床治疗师与患者之间，也可能出现在涉及转化科学研究的研究环境中，连接研究者与参与者。本方案的一个优势在于，尽管其设计针对二元组合，但同时也具有个性化特点。因此，可以根据个体的运动范围、感觉信息处理时间范围，以及神经系统功能层级中信号振幅的变化范围，将其共适应性互动调整至个体最佳能力与倾向状态。随着随机轨迹随时间的出现与演化，还可以确定特征信号出现的概率速率，并利用该时间序列预测即将发生的多种事件及其可能伴随的感觉后果。
最后，闭环接口甚至可以在艺术领域得到应用。它们可以为表演艺术家提供新的途径，以生成由计算机驱动的现代舞蹈、科技舞蹈，以及身体表达的新型可视化与声音化形式。在这些情境中，舞者的身体可转化为一种由感官驱动的乐器，通过自生成生物节律活动的声音化与可视化，灵活探索不同的感官模式，该理念已在本领域的前期研究中得到展示40,41,43,46。此类表演可增强舞者在舞台上的作用，使观众能够体验到超越可见动作的细微身体信号。
该技术的多个方面仍需进一步开发和测试，以优化其在实时环境中的应用。同步流媒体传输需要高速的CPU/GPU处理能力和内存容量，才能真正实现节省时间、提前预测正在进行的运动指令所导致的感觉后果这一理念。设备的采样率应具有可比性，以便能够准确对齐信号、实现适当的感觉融合，并探究信息在神经系统不同通路中的传递情况。这些是当前这一新型接口所面临的一些局限性。
总体而言，这项工作提出了一种新概念，即在采用潜意识手段的同时，改进对我们身体系统的控制，并允许对随机变化进行系统性、标准化的结果测量。

自然闭环控制器 
感觉运动信息在大脑与身体之间持续流动，从而产生有序且协调的行为。这类行为可以在仅关注个体动作的情况下进行研究，即采用独白式方法（图1A）；也可以在两个参与者组成的二元关系中研究其复杂的动态互动，即采用对话式方法（图1B）。然而，还存在第三种选择，即通过代理控制器，在人机闭环接口的背景下评估此类复杂交互（图1C）。此类接口能够追踪二元关系中每个参与者的实时动作波动，以及由他们同步互动自发形成的凝聚性类型，从而有助于以期望的方式调节二元关系的节律。
<img alt="行为阶段示意图：自我控制独白、双人对话、代理控制的双人互动" class="xfigimg" src="/files/ftp_upload/61943/61943fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：不同形式的对照。 (A) 脑自控接口依赖于人脑与自身身体之间的闭环关系，能够在“独白”模式下实现自我调节和自我交互。该模式可尝试控制自发产生的运动，也可用于控制外部设备。B引入“对话”式控制，使两名舞者通过相互作用以及身体同步和轮流主导，实现对彼此动作的控制。C通过计算机界面实现对双人互动的“第三方”对话控制，该界面同时采集两名舞者的生物信号，对其进行参数化处理，并以重新参数化的形式通过听觉和/或视觉作为感官引导反馈给舞者。本文所展示示例中的重新参数化是通过音频或视觉反馈实现的，同时结合其中一名舞者的实时动觉运动输出以影响另一名舞者；或两名舞者按照某种交替模式轮流进行影响。 <a href="https://www.jove.com/files/ftp_upload/61943/61943fig01large.jpg" target="_blank">请点击此处以查看此图的放大版本。</a>
本方法的总体目标是证明，当两个个体进行二元交互时——无论是两个人之间，还是一个人与其自主运动的虚拟化身之间——都有可能捕捉、参数化并重新参数化身体运动中生物节律活动的每一时刻波动。
关于大脑如何控制行为并预测其感觉后果的研究在过去引发了大量理论探讨1,2,3，并提出了多种神经运动控制模型4,5,6,7,8。这一跨学科领域中的一个研究方向涉及闭环脑-机接口或脑-计算机接口的开发。这类系统提供了利用和调整中枢神经系统（CNS）信号以控制外部设备的方法，例如机械臂9,10,11、外骨骼12、计算机屏幕上的光标13等。这些外部设备的共同特点是本身不具备自主智能，而试图控制它们的大脑则具有智能；大脑面临的问题之一是学习如何预测其所引发的设备运动后果（例如光标的移动、机械臂的运动等），同时生成其他辅助性动作，以通过本体感觉再反馈的形式构成整体的感觉运动反馈。这些接口的总体目标通常是帮助大脑背后的个体绕过损伤或疾病，重新将其意图性思维转化为对外部设备的自主控制行为。然而，尝试引导运动中身体运动的接口发展则相对较少。
关于脑机接口的许多原始研究主要集中在中枢神经系统（CNS）对能够完成目标导向动作的身体部位的控制9,14,15,16,17。然而，也存在其他情况，利用来自周围神经系统（PNS）活动的信号（包括自主神经系统（ANS）的信号）已足以提供有效信息，用以影响和引导外部代理体（包括另一个人、虚拟形象，或相互作用的人类个体，如图1C所示）的信号。与机械臂或光标不同，本例中的另一个代理体具有由大脑驱动的智能（在虚拟形象的情形中，该智能源自个体的动作；在人类互动对偶的情形中，则为另一互动个体的智能）。
构建一个能够形成具有二元交换功能的共适应闭环接口环境的系统，可能有助于干预神经系统疾病，这类疾病中尽管中枢神经系统（CNS）与周围神经系统（PNS）之间的生理连接并未物理中断，但大脑无法自主随意地控制身体的运动。这种情况可能源于外周信号噪声过多，导致用于帮助大脑持续监测并调节自身生成的生物节律的反馈回路受到干扰。此类情形可见于帕金森病患者18,19，或运动输出中存在过度噪声的自闭症谱系障碍参与者。事实上，在这两种情况下，我们已量化到从其预期运动速度所提取的返回本体感觉信号20,21,22以及来自心脏的信号23中存在较高的信噪比。在此类情况下，试图掌握对外部信号的大脑控制，同时尝试控制身体运动时，可能导致大脑从外周持续发出的传出（运动）信号流中接收到一种来自返回（再传入）信息流的自我反应性信号。事实上，此类自发产生的传出运动信号流中所包含的逐时波动，蕴含着有助于预测有目的动作感觉后果的重要信息24。当此类反馈被噪声干扰时，便难以可靠地更新控制信号，也无法将意图性计划与实际动作有效连接。
如果我们将这种反馈回路扩展到另一个智能体，并通过第三方来调控人与智能体之间的交互（图1C），我们或许有机会近乎实时地引导彼此的行为表现。这将为我们提供所需的概念验证，从而进一步拓展共适应性脑-体或脑-机接口的理念，用于治疗因神经系统疾病导致从心理意图难以实现有效身体动作的障碍。
有目的的行为会产生相应后果，这些后果可通过依赖于情境的运动随机特征进行精确表征，从而以高置信度推断出心理意图的程度25,26因此，相较于以往以个体为中心的脑机接口或脑-计算机接口方法，利用二元交互交换的新方法的一个优势在于，我们能够增强控制信号，以纳入那些在不同意图水平下主要发生在个体意识之外的身体及心脏生物节律。通过这种方式，我们能够抑制在适应脑控光标过程中，意识控制容易引发的反应性干扰17通过参数化我们能够获取的各种信号，可以进一步提高预测过程的准确性。在这方面，已有研究将脑信号与身体信号结合使用。27,28,29；但涉及通过脑-身体信号捕捉的二元互动的研究仍然较少。此外，现有文献尚未明确区分在完全意识下有意识执行的动作片段与作为有意识动作结果而自发出现的过渡性动作。30,31在此，我们将在二元交换的背景下阐明这一区别，并提出研究这种二分法的新方法32，同时提供编排（刻意）动作的示例 与 舞蹈空间中的即兴动作。
由于感觉-运动整合与转换过程中的转导和传递延迟33，必须建立此类预测性编码机制，以高置信度学习并预判即将到来的感觉输入。为此，有必要能够表征源自持续更新的本体感觉再传入信号流中噪声-信号比的演变过程。接着，我们需要建立相应的实验方案，以系统性地测量运动变异性（motor variability）的变化。运动变异性本质上存在于传出的传出性运动信号流逐时波动之中34。由于这些信号具有非平稳性，并且对情境变化敏感35,36，因此有可能通过任务情境的改变来参数化其发生的变化。为了最小化来自意识性中枢神经系统（CNS）控制所产生的反应性信号的干扰，并诱发外周神经系统（PNS）传出运动信号流中可量化的改变，本文引入一种代理闭环接口，该接口通过调动个体自我意识水平以下的外周信号，间接改变感觉反馈。随后，我们展示了如何利用适用于可视化该代理闭环接口在双方个体中间接引发过程的随机分析方法，系统性地测量感觉操控所引发的变化。
引入一种代理闭环控制器 
外周信号中存在的感觉运动变异性在不同情境下为神经系统的学习、适应和泛化过程提供了丰富的信息来源，可用于指导神经系统的功能表现37。这些信号部分源于中枢神经系统（CNS）在有意识地控制动作时所产生的副产物，但并非控制器的直接目标。当个体自然地与他人互动时，这些外周信号可以被获取、标准化并重新参数化，这意味着其变化可以通过改变传出的运动信号流进行参数化建模和系统性调节，而该运动信号流会作为本体感觉再传入持续反馈至系统中。在此类条件下，我们能够可视化这些随机性变化，以高精度捕捉到一种丰富信号，而这种信号通常会在传统技术所采用的大规模平均处理中丢失。
为了在新的统计平台下实现对变化的表征，本文介绍了相关方案、标准化的数据类型以及分析方法，这些方法能够整合外部感觉输入（听觉和视觉）与机体自身产生的运动信号，同时允许个体在与另一个人或该人的虚拟化身自然交互时进行操作。从这一意义上讲，由于我们的目标是调控外周信号（而非修改中枢神经系统信号以直接控制外部设备或媒介），我们将此称为代理闭环接口（图2）。我们的目标是表征周围神经系统（PNS）随机信号的变化，以及这些变化对中枢神经系统（CNS）信号的影响。
<img alt="动作捕捉实验；真实与人工二元关系示意图、心电图、声振动图表。" class="xfigimg" src="/files/ftp_upload/61943/61943fig02.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：利用闭环多模态界面实现对二元互动的代理控制。（A）通过计算机共适应界面间接控制两名舞者（跳萨尔萨舞）；与之对比的是（B）一个由外周神经系统信号驱动并通过将信号重新参数化为声音和/或视觉输入所控制的交互式人工人-虚拟化身二元系统。（C）利用一种新型标准化数据类型（微运动尖峰，MMS）实现声音化（sonification）的概念，该数据源自生物节律信号振幅/时序的逐时刻波动，经转换后成为振动，再进一步转换为声音。从物理学中，我们借鉴了音叉输出声波所产生的压缩与稀疏现象，这些现象可测量为振动。声音波形示意图以随时间变化的压力调制形式呈现，与用于声音化的尖峰浓度并列展示。展示一个物理信号如何通过从MMS到振动再到声音化的提议流程。我们使用心率信号作为界面的输入，提取信号振幅波动，并将其与每4秒运动起始时刻对齐，构建代表振动的MMS序列。MMS产生的尖峰序列被标准化为[0,1]区间。尖峰的颜色根据色标表示信号强度。随后我们使用Max软件对这些振动进行声音化。该声音化信号可用于在A中回放，或在B中改变与虚拟化身的互动。此外，在B中还可以将声音嵌入环境中，并利用身体位置在感兴趣区域（RoI）回放声音，或根据到RoI的距离、身体部位相对于另一身体部位的速度或加速度，在经过RoI时调制音频特征。<a href="https://www.jove.com/files/ftp_upload/61943/61943fig02large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
周围神经系统（PNS）信号可通过可穿戴传感技术以非侵入方式获取，这些技术可同步记录来自神经系统不同功能层的多模态传出信号流，范围涵盖自主神经到随意神经活动32。随后，我们可在接近实时的条件下测量这些信号流的变化，并筛选出能够增强信噪比的信号。该传出运动信号还可结合其他形式的感觉引导（例如听觉、视觉等）加以增强。由于PNS信号脱离完全意识的控制，因此更易于操控且不易引发明显抵抗38。基于此，我们利用这些信号以更少生理应激的方式辅助引导个体的行为表现。
构建接口 
我们介绍了由闭环共适应多模态接口介导的代理控制设计。该接口可调控实时多感官反馈。图3展示了总体设计。
闭环接口的特征包括5个主要步骤。第1步是 多模态数据采集 来自多个可穿戴设备。第2步是 多模态流的同步 通过 MoBI 团队开发的 LabStreamingLayer（LSL，https://github.com/sccn/labstreaminglayer）平台 39第三步是将LSL数据结构流式传输到Python、MATLAB或其他编程语言接口 整合信号并以经验方法对生理特征进行参数化 （与我们的实验设置相关） 实时第4步是对从所研究的生理信号连续流中提取的选定特征进行重新参数化。 利用一种感觉模态来增强它 首选方式（如视觉、听觉、动觉等）将其以声音或视觉形式回放，以增强、替代或改善个体神经系统中存在问题的感觉模式。最后，第五步是 重新评估 系统实时生成信号的随机特征，以选择哪种感觉模态可将身体波动的随机变化引导至对即将发生动作的感觉后果具有高确定性（噪声最小化）的状态。 此循环持续播放 在整个实验过程中，重点关注所选信号，同时保存完整的性能数据以供后续分析（如示意图所示） 图3 并观察40,41,42,43,44,45,46,47 例如 事后 分析。
<img alt="闭环系统示意图；运动学、心电图、脑电图数据采集、实时分析、信号反馈。" class="xfigimg" src="/files/ftp_upload/61943/61943fig03.jpg" data-altupdatedat="1788304762000" data-alt="图3"> 
图3：多模态外周驱动闭环接口概念的架构。 采集多种生理信号——运动学数据、心脏和脑活动（步骤1）。使用LSL同步共同注册来自不同设备的数据并将其流式传输至接口（步骤2）。采用Python/MATLAB/C#代码，利用标准化的数据类型和通用量表持续对信号波动进行参数化，从而选择最适合作用于降低系统不确定性的感觉引导来源（步骤3）。通过选定通道实现信号传输的实时增强后，可对再输入的感觉信号进行重新参数化，将其整合到连续的运动流中，以增强丢失或受损的输入信号流（感觉替代，步骤4）。持续的再评估使回路闭合（步骤5），同时保存所有数据以供后续进一步分析。<a href="https://www.jove.com/files/ftp_upload/61943/61943fig03large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
以下部分介绍了构建闭环接口的通用方案（如图3所示），并描述了两个实验接口的代表性结果（详见补充材料），这两个接口分别涉及两名舞者之间的物理性双人互动（真实闭环系统）以及一个人与虚拟化身之间的虚拟双人互动（人工闭环系统）。

<table><tbody><tr><td>Enobio 32</td><td>Enobio</td><td></td><td>用于脑电数据采集的硬件</td></tr><tr><td>Enobio ECG 扩展模块</td><td>Enobio</td><td></td><td>用于心电数据采集的硬件</td></tr><tr><td>LabStreamingLayer (LSL)</td><td></td><td></td><td>数据同步与实时流传输</td></tr><tr><td>Matlab</td><td>Mathwork</td><td></td><td>数据分析与处理</td></tr><tr><td>Max</td><td>Cycling'74</td><td></td><td>身体信息的声音化</td></tr><tr><td>NIC.2</td><td>Enobio</td><td></td><td>用于脑电与心电数据采集的软件</td></tr><tr><td>PhaseSpace Impulse</td><td>PhaseSpace</td><td></td><td>用于运动学数据（位置、速度、加速度）采集的硬件</td></tr><tr><td>Python3</td><td>Python</td><td></td><td>数据分析与处理</td></tr><tr><td>Recap</td><td>PhaseSpace</td><td></td><td>用于运动学数据（位置、速度、加速度）采集的软件</td></tr></tbody></table>

使用闭环接口实时代理控制重新参数化的外周信号

Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

感觉替代与感觉增强领域的研究旨在利用中枢神经系统（CNS）的信号来控制外部目标。然而，较少有研究方案能够更新由运动中的交互主体自身产生的外部信号。目前尚缺乏有效的方法，将一个运动个体的身体-心脏-大脑生物节律用于引导另一个运动个体在双人互动过程中的相应节律。实现这一目标的部分挑战在于实验装置的复杂性，即需要整合具有不同物理单位、不同时间尺度和可变采样频率的多模态生物信号。
近年来，可穿戴生物传感器的发展使其能够以非侵入方式同步采集多种信号，这为重新参数化和更新交互个体对的外周信号提供了可能，同时也促进了脑机和/或体机接口的改进。本文介绍了一种共适应性接口，该接口利用生物传感器更新传出的躯体运动输出（包括运动学参数和心率），对随机生物信号进行参数化，将输出结果转化为声音信号，并以重新参数化的形式作为视觉/听觉-动觉再传入输入反馈回去。我们通过两种类型的交互方式来说明这些方法：一种涉及两个人之间的互动，另一种涉及一个人与其虚拟化身在接近实时条件下的互动。我们讨论了这些新方法在探索外部输入对内部躯体-感觉-运动控制影响方面的潜在新途径中的意义。

根据前一节所述协议，可以构建多种接口，并将其应用于不同人群以实现多种目的。补充材料中的“所展示的闭环接口的变体”部分描述了一些可能的变异形式。
在本节中，我们展示两个遵循前文所述方案的样本闭环接口的代表性结果。这些研究的实验装置、实验流程和参与者信息在补充文件的“示例1：真实二元互动的音频闭环接口”和“示例2：人工二元互动的音视频闭环接口”部分中有详细说明。
真实二元互动中音频闭环接口的结果 
在“真实二元互动的音频闭环接口”研究中（详见补充材料的“示例1：真实二元互动的音频闭环接口”部分），我们使用了一个代理控制接口，如图4所示，该接口利用女性舞者的心跳信号来改变所播放的音乐。我们实时进行信号处理，提取心跳的时间信息，并将该信息流式传输至Max系统，以调节播放歌曲的速度。通过这种方式，我们根据生物物理信号对歌曲进行了实时调整播放。这一过程进一步引发了舞蹈动作和心跳信号的持续变化。
<img alt="闭环系统示意图：数据采集、心率/RR间期分析、音乐节奏映射、音频播放。" class="xfigimg" src="/files/ftp_upload/61943/61943fig04.jpg" data-altupdatedat="1788304762000" data-alt="Figure 4"> 
图4：基于音频的闭环接口。1. 一种ECG-HR可穿戴设备在萨尔萨舞者进行舞蹈动作时监测其生理活动，并以500 Hz的频率将信号传输至接口。2. 我们的接口实时分析ECG数据。在每一帧中，对原始数据进行滤波，提取QRS波群的R波峰值，并将峰值检测结果流式传输至MAX软件。3. 第三方接口将音频播放速度与心率变化速度进行融合。4. 调整后的音乐重新播放给舞者。 <a href="https://www.jove.com/files/ftp_upload/61943/61943fig04large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
两名萨尔萨舞者与该界面进行交互，分别表演了一段经过精心排练的编舞以及一段即兴发挥的舞蹈。舞者需表演一次歌曲的原始版本，以及一次将歌曲原始节奏与实时心跳数据流相融合的版本。我们将舞者重复表演两次的后者版本称为歌曲的修改版本1和修改版本2。
在下述分析中，我们使用了记录的心音和音频信号。提取这两个信号的峰值以估计微动尖峰序列（参见补充文件中的“微动尖峰”部分），该序列保留了高频波动，如图5所示。
<img alt="心率和音频幅度数据分析图表，展示滤波、均值偏移、MMS 处理过程。" class="xfigimg" src="/files/ftp_upload/61943/61943fig05.jpg" data-altupdatedat="1788304762000" data-alt="图 5"> 
图 5：音频闭环系统中 MMS 脉冲序列的估计。 使用 ECG 时间序列提取 RR 峰值，以及从所获得 R 峰总体（估计）平均幅度的偏移量（均值偏移数据）。随后通过公式 1（见补充文件“微运动脉冲”部分）进行归一化处理，以获得 MMS 脉冲序列。采用类似方法处理音频波形，并根据个体的实时表现回放音乐。<a href="https://www.jove.com/files/ftp_upload/61943/61943fig05large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
MMS 火车被明确定义为一种连续的随机过程，可用连续的伽马概率分布族很好地表示。最大似然估计（MLE）认为该连续分布族对两组数据均具有最佳拟合效果（详见补充材料中“伽马分布”部分及补充图 2）。此类随机过程被用于追踪由人体神经系统产生的生物信号自生成的生物节律在随机特征上的变化。
根据经验估计的 Gamma 分布形状参数和尺度参数，我们得到 Gamma 分布的各阶矩，包括均值、方差、偏度和峰度（详见补充材料中“随机分析”部分的分析细节）。然后绘制估计的概率密度函数（PDF）。图6 仅聚焦于心率信号与音乐，但相同的方法也可应用于由文献41中提出的运动学信号生成的其他生物节律。
心脏信号与音乐信号的PDF如图6A-B所示，其中我们强调了在刻意常规与即兴自发两种条件下数据集之间的差异。针对每种条件，我们突出显示了由歌曲时间变化所引起的随机性特征的变化。最初，舞者跟随原曲起舞；随后，随着心跳实时改变节奏，该信号中声音化后的心跳波动会引导舞者跟随歌曲的时间变化进行舞蹈。
这些分别记为改变1和改变2。这些系统性偏移由Gamma参数描述。随后，利用经验估计的形状参数和尺度参数，我们获得了心跳和歌曲对应的四个Gamma矩。这些结果展示在 图6C 用于心脏（上）和声音（下）信号。
<img alt="心率与音乐MMS分析；伽马PDF图；四阶矩图；方差、偏度、均值。" class="xfigimg" src="/files/ftp_upload/61943/61943fig06.jpg" data-altupdatedat="1788304762000" data-alt="图6"> 
图6：通过音频闭环系统在代理控制下诱导经验估计的伽马概率密度函数（PDF）及其四阶伽马矩的随机轨迹发生系统性变化。(A) 每种数据类型（ECG 位于上方，音频文件位于下方）在不同舞蹈情境下的 MMS 序列所生成的概率密度函数（PDF），包括即兴发挥和刻意编排的动作序列。图例中，Imp Or（即兴原始）表示会话开始时的基线条件；Imp Alt1 表示第一次变化期间的即兴发挥；Imp Alt2 表示第二次变化期间的即兴发挥。(B) 同理，对于刻意排练的动作序列，Rout Or 表示原始动作序列；Rout Alt1 表示第一次动作调整；Rout Alt2 表示第二次动作调整。(C) 中的各子图展示了伽马矩的系统性偏移，此时来自乐曲的音频信号与来自心率的信号同步并实时发生变化。<a href="https://www.jove.com/files/ftp_upload/61943/61943fig06large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
在这些面板（PDF 和 Gamma 矩图）中可以观察到特征信号的偏移，从而证明所提出的方法能够捕捉心脏对代理控制器实时生成歌曲变化所产生的适应性响应。随着歌曲节奏发生改变，心脏的随机特征也随之变化，且随机特征的过渡在方向上具有一致性（这一点在我们研究形状和尺度参数的文献41中也有发现）。同样地，当心脏的特征发生偏移时，歌曲的特征也随之变化。这种镜像效应——一方影响另一方，且一方持续向某一方向偏移时，另一方也同步发生偏移——体现了该代理控制器接口的闭环特性。实验结果强调了此实验装置的实用性，并验证了概念可行性，即我们可以在二元交互的背景下系统性地调节个体的自主神经生物节律。
歌曲和身体信号随机特征的平行变化表明，利用外周信号可以实现整个系统（参与者与界面）的共同适应。这一过程在个体无意识状态下平滑发生，为通过远程、系统性方式根据所选外部感官反馈调节个体生物信号的概念验证提供了证据。总之，我们能够引导这一连续随机过程中随机特征的变化。这些方法能够捕捉随机轨迹上的变化及其变化速率，而这些轨迹是我们能够在近实时条件下构建的。
为了确定变化的统计学显著性，我们采用非参数方差分析——Kruskal-Wallis 检验，并随后进行多重比较的事后检验。我们对六种条件下心脏数据的 MMS 特征进行比较。图7展示了 MMS 心脏数据的多重比较结果及相应的 Kruskal-Wallis 检验表。多重比较图显示，原始规定舞蹈（Rout. Or）的基线条件与原始即兴舞蹈（Imp. Or）的基线条件之间存在显著差异。还需注意的是，第一次改编条件（Rout. Alt1 和 Imp. Alt1）的分布趋近于具有相似均值的分布，第二次改编条件也呈现相同趋势，而方差、偏度和峰度则在 Gamma 矩空间中发生位移（图6C）。
<img alt="Kruskal-Wallis 分析图与方差分析表，展示数据条件及统计结果" class="xfigimg" src="/files/ftp_upload/61943/61943fig07.jpg" data-altupdatedat="1788304762000" data-alt="图 7"> 
图 7：非参数 Kruskal-Wallis 检验与事后多重比较检验的结果。 对心脏数据的 MMS 应用非参数方差分析（Kruskal-Wallis 检验），以比较六种实验条件。该图展示了六种情况之间的多重比较结果，表明“Rout. Or”与“Imp. Or”条件之间存在显著差异。表格列出了 Kruskal-Wallis 检验的结果。<a href="https://www.jove.com/files/ftp_upload/61943/61943fig07large.jpg" target="_blank">请点击此处查看此图的高清版本。</a>
人工二元交互中视听闭环接口的结果 
在“人工二元交互的视听闭环接口”研究中（详见补充材料中的“示例2：人工二元交互的视听闭环接口”部分），6名参与者使用了如图8所示的接口，该接口生成一个镜像化身以实时呈现参与者自身的动作。在交互过程中，接口会在参与者周围区域嵌入与位置相关的声音。参与者对研究目的不知情，需在房间内走动，并尝试发现如何通过经过由代理控制器定义的兴趣区域（RoI）来触发并控制声音的意外出现。
<img alt="动作捕捉过程，PhaseSpace 软件，Matlab 数据分析，3D 建模，实时呈现。" class="xfigimg" src="/files/ftp_upload/61943/61943fig08.jpg" data-altupdatedat="1788304762000" data-alt="图 8"> 
图 8：视听界面的可视化表示。 1. 使用动作捕捉系统采集外周运动学数据。2. 该系统采集传感器位置（在本例中为 LED）以估算骨骼在骨骼上的位置。3. 利用我们自主开发的正向运动学模型，在 MATLAB 开发的界面中对骨骼位置进行对齐。4. 将对齐后的位置用于将骨骼信息映射到我们渲染的 3D 虚拟形象上。5. 流数据到虚拟形象的映射是实时进行的，从而产生观察者看到自身镜像的视觉感受。<a href="https://www.jove.com/files/ftp_upload/61943/61943fig08large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
图9 展示了条件1的视听界面结果（更多条件请参见补充文件），其中当髋部位置位于感兴趣区域（RoI）内时，会触发音乐播放。该图显示了6名不同对照参与者（C1至C6）在RoI内和RoI外时髋部速度数据的概率密度函数（PDF）和伽马分布特征（详见补充材料中“数据类型与分析”部分）。此处呈现的结果突显了不同个体在适应速率上的个性化差异，这些差异通过随机特征的偏移以及在RoI内外表现出的个体化结果得以体现。例如，我们可以观察到，当C3和C4在RoI内时，基于其髋部速度幅度计算得到的MMS频率直方图的PDF拟合更为对称（形状参数更高）且噪声更少（尺度参数更低）。相比之下，其余参与者则表现出相反的模式。
根据经验，我们发现位于右下角的特征来自运动员和舞者，他们执行的是高度熟练的动作。而位于左上区域的特征则来源于患有神经系统病理状况的数据集，例如被诊断为自闭症谱系障碍、注意缺陷多动障碍（ADHD）22,32 的个体，以及去传入性受试者21的数据。在随机轨迹上模式不断转换的背景下，我们获取形状和尺度的中位数值，用以定义右下象限（RLQ）和左上象限（LUQ），并通过随时间累积的信息来追踪信噪比的整体质量。该方法动态更新这些象限的中位数值，反映了个体在将自身内部生成的生物节律与外部代理所控制（但依赖于个体内部节律）的节律进行共适应过程中的变化。
<img alt="概率密度函数与伽马分布随机特征，数据对比图。" class="xfigimg" src="/files/ftp_upload/61943/61943fig09.jpg" data-altupdatedat="1788304762000" data-alt="图9"> 
图9：使用视听闭环系统进行交互时，身体生物节律的经验估计伽马概率密度函数（PDF）与伽马特征。 基于从每位参与者（C1 - C6）髋部运动速度提取的MMS序列，我们采用最大似然估计法（MLE）拟合最优概率密度函数（PDF），并给出95%置信区间。每位参与者用不同的符号表示，不同条件则用不同颜色表示。在空间内（in）的伽马概率密度函数族与在空间外（out）的情况存在差异。除经验估计的伽马概率密度函数外，每位参与者的伽马分布形状参数和尺度参数也在伽马参数平面上进行了展示。<a href="https://www.jove.com/files/ftp_upload/61943/61943fig09large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
表1 显示从原始（速度）数据和MMS数据中获得的p值，用于比较人体部位位于RoI内时不同条件下的结果 与. �感兴区外。表格中所示结果采用非参数ANOVA Kruskal-Wallis检验进行估算。
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>克鲁斯卡尔-沃利斯检验</td>
			<td>速度数据</td>
			<td>MMS</td>
		</tr>
		<tr>
			<td>C1</td>
			<td>0</td>
			<td>1.34 e-05</td>
		</tr>
		<tr>
			<td>C2</td>
			<td>0</td>
			<td>4.72E-15</td>
		</tr>
		<tr>
			<td>C3</td>
			<td>0</td>
			<td>8.59E-34</td>
		</tr>
		<tr>
			<td>C4</td>
			<td>2.70E-21</td>
			<td>3.16E-04</td>
		</tr>
		<tr>
			<td>C5</td>
			<td>0</td>
			<td>1.11E-09</td>
		</tr>
		<tr>
			<td>C6</td>
			<td>0</td>
			<td>5.95E-05</td>
		</tr>
	</tbody>
</table>
表1：非参数方差分析—Kruskal-Wallis 检验结果。 Kruskal-Wallis 检验对MMS和速度数据在Rol区域内与区域外记录结果的比较分析。我们对每位参与者（C1 - C6）的数据分别进行该检验。
补充文件。 <a href="https://www.jove.com/files/ftp_upload/61943/61943_R1-supplementary.zip" target="_blank">请点击此处下载这些文件。</a>

我们介绍了构建闭环式共适应界面的实验方案与分析方法，该界面可实时流式传输、参数化、分析并调节人体及心脏信号。该系统将来自个体周围神经系统和中枢神经系统的信号与外部感觉输入相连接，以帮助追踪生物物理变化。

开发感觉替代与感觉增强方法的领域旨在利用中枢神经系统产生的信号来控制外部目标……

该界面的总体目标是研究多信号增强对提升身体感知能力的影响。通过设计一个通用的闭环界面，可在不同的实验装置上结合不同的可穿戴技术使用，并适用于不同人群。在本研究中，我们展示了一种通用界面，用于采样各类接口、其应用方式及其对人体系统的影响。设计的第一步是使用多种可穿戴技术，以记录来自神经系统不同层面的信号。第二步是利用Lab Streaming Layer实现信号的同步记录和实时流传输。在第一步中，通过使用我们所选编程语言编写的代码来提取流数据，并对选定的信号进行实时分析和特征提取。因此，在第四步中，参与者将体验到从自身生理信号中提取特征的感觉增强，例如将心率以音乐节奏进行听觉映射，或对身体运动进行视觉化呈现。最后，通过实时持续增强身体信息，我们实现了界面与参与者之间动态交互的闭环。关于大脑如何控制身体的研究推动了脑机接口的设计。利用神经系统信号来控制外部设备，例如外骨骼或机械臂。本文介绍了闭环接口，该接口利用神经系统信号，并通过感觉模块对其进行增强，以帮助参与者获得对自身身体的控制。我们设计的一些关键特性包括：第一，同步记录来自不同技术的数据，以研究神经系统的各个层面；第二，对数据进行实时流式传输和分析，以实现即时增强。在两项示例研究中，我们都使用了听觉反馈，但在音频闭环接口中，萨尔萨舞者会根据由心跳节律实时调控的音乐节奏作出反应。为了实现这一目标，我们使用音乐编程语言 Max 来控制音频文件的播放速度。传感器捕捉舞者的心跳，并通过 Python 脚本生成经过滤波的心电 R 波峰值。这些峰值数据随后通过开放声音控制协议实时传输至 Max。首先，我们协助参与者穿上基于LED的运动捕捉服装，并将无线LED控制器连接到服装上。服务器开启后，打开一个网页浏览器，输入服务器设备的IP地址并登录。如果此步骤成功，配置管理器将自动打开。然后打开动作捕捉系统的界面并单击连接，以开始从LED标记点流式传输数据。连接建立后，标记点的位置将显示在界面的虚拟世界中。在窗口右侧的骨骼上单击右键，选择新建骨骼以选择标记点映射。然后再次在骨骼上单击右键，选择生成骨骼。确保受试者呈T字姿势站立。如果所有步骤均正确执行，骨架数据将被生成。要将骨架数据流传输至LSL，请从主菜单中选择设置和选项。打开OWL模拟器，并确保已点击开始实时流传输。接下来，协助同一位受试者佩戴脑电图（EEG）头帽。将高导电凝胶注入电极，并安放电极导线。然后将导线连接至无线监测仪并打开电源。打开脑电图（EEG）系统界面，选择使用无线设备。选中设备后，点击“使用此设备”，然后点击头部图标。选择允许记录全部32个传感器的协议，然后点击加载。确保流数据适配并全部显示在界面上。为采集心脏活动数据，请使用一个EEG通道连接EEG延长线，并用粘性电极将延长线的另一端贴在受试者左侧肋骨下方。在LSL文件夹中找到动作捕捉系统的LSL应用程序，通过双击相应图标运行。在界面中设置正确的服务器地址，然后点击连接。对于脑电图（EEG）和心电图（ECG）数据流，无需额外操作。接下来，我们找到位于LSL文件夹中的实验室记录器应用程序。通过双击该应用程序来运行。如果动作捕捉系统和脑电图系统的并非所有数据类型都显示在流记录面板上，请点击“更新”。在存储位置面板中选择目录和名称，然后单击“开始”以启动数据采集。运行接收、处理并增强流数据的 MATLAB、Python 或其他代码。LSL 支持在多种编程平台中进行数据流传输。他们使用论文中所述的代表性示例所对应的目标。请访问我们的 GitHub 链接。目前市场上存在多种可产生感官输出的技术。一些常见的示例包括：扬声器、照明设备、显示器，以及其他较少见的设备，如触觉反馈装置、振动器、味觉和嗅觉交互接口。在音频闭环接口中，我们实现了对心率的数字增强。利用音乐编程语言 Max，我们能够控制音频文件的播放速度。打印到控制台的经滤波心脏R波峰值将从Python脚本传输至Max。在Max中测量峰间时间间隔，并将其转换为每分钟心跳次数。数据经过缩放处理，以生成从零（最慢可能的播放速度）到最大播放速度之间的范围。在此连续尺度上，1 表示正常播放速度，0.5 表示半速播放，2 表示两倍速播放。通用界面的设计可应用于不同人群。其协议及此处用于验证概念的示例并不局限于特定群体。此外，闭环接口的设计旨在便于直观探索和学习，因此在实验过程中无需提供操作说明。在一项关于真实双人互动中音频闭环接口的研究中，两名萨尔萨舞者通过一个利用女性舞者心率来改变歌曲播放速度的接口进行互动。舞者们表演了一段经过充分排练的舞蹈和一段即兴舞蹈。在每种条件下，他们先表演一次歌曲的原始版本，然后表演其心律变化版本两次。根据收集到的数据，我们估算了提取出的微运动尖峰的伽马随机特征。在此我们观察心脏数据与音乐数据的估计概率密度函数。这些精美的图示展示了在第一种条件下，以原始形式跳舞时来自作为自主器官的心脏的数据集合；而在第二和第三种条件下，则展示了随着经过修改的音乐跳舞时心脏的数据集合。左侧图像对应自发舞蹈的三次录音，而右侧图像对应刻意舞蹈的三次录音。在下方的图像中，我们可以观察到相应播放的音频集合。此处，这些集合的方向相反。在研究人工二元交互中的音视频闭环接口时，六名参与者与一个生成其动态镜像化身的接口进行互动。此外，该接口还嵌入了与髋部位置相关的声音。参与者对研究目的并不知情；他们需要在房间内行走，并自行探索如何控制声音——当他们经过特定兴趣区域时，声音会出乎意料地出现。图示展示了60名健康对照参与者（C1至C6）在兴趣区域内和区域外时髋部速度数据的概率密度函数及其相应的伽马特征。结果突显了参与者在区域内与区域外行为表现的个体化差异。经验表明，位于伽马平面右下角的特征来自执行高技能动作的运动员和舞者，而位于左上区域的特征则来源于具有神经系统病理状态的数据集。因此，我们可以注意到，当处于空间范围内时，对照组三号和四号的髋部运动速度特征显示出更为健康的运动模式，而其余参与者则呈现出相反的模式。该方法可用于深入理解舞者动作与声音之间的关系。它还可用于探索由实时身体信息驱动的音乐创作新方法，将音乐创作转化为一种身体信号增强的体验。闭环接口的开发与研究可为多种神经系统疾病带来益处，同时也可应用于游戏、动作训练和体育领域。

real-time-proxy-control-re-parameterized-peripheral-signals-using

Research

科研

JoVE Journal

Behavior

行为

使用闭环接口实时代理控制重新参数化的外围信号

我们利用闭环果蝇-机器接口来研究神经控制中的普遍原理。...

一种用于研究脑机接口闭环性能的实验平台

闭环协议在现代电生理学中正日益普及。我们介绍一种简单、通用且成本低廉的方法，用于在皮层锥体神经元中执行复杂的电生理学实验方案 体外使用台式计算机和数字采集板。...

实时电生理学：利用闭环协议探究神经元动态及其更广泛应用

随着假肢技术的发展朝着实现自然控制的目标迈进，利用截肢者学习新运动技能的固有潜能可能有助于提升操作熟练度。本文描述了一种结构化的康复训练方案，该方案包含模仿、重复和强化学习策略，旨在改善多功能假肢的控制能力。...

一种用于提升多功能假肢控制能力的结构化康复方案：一项案例研究

通过使用带有肌电图（EMG）测量功能的机器人等速装置，本方案表明，等速运动本身可提高对轻度肘屈肌痉挛的卒中患者在“卡住角度”测量中的评定者间可靠性。...

用于提高痉挛型卒中患者牵张反射测量重测信度和评分者间信度的等速机器人装置

以下手稿描述了一种用于开发生物性闭环神经反馈系统的新方法，该系统称为复合再生性外周神经接口（C-RPNI）。该结构能够与外周神经整合，以放大传出运动信号，同时提供传入感觉反馈。...

成年大鼠复合再生性外周神经接口（C-RPNI）的制备

本手稿提供了一种用于开发生物性外周神经接口的创新方法，该接口称为肌袖再生性外周神经接口（Muscle Cuff Regenerative Peripheral Nerve Interface,...

用于放大完整外周神经信号的肌袖状再生性外周神经接口

本研究介绍了一种在线实验系统，该系统提供可视化实验，包括对理论、概念和公式的可视化，通过三维（3-D）虚拟试验装置对实验过程进行可视化，并利用图表和摄像头等控件对控制系统和监控系统进行可视化。...

面向工程教育与科研的交互式可视化在线实验系统

测定肽类递质的既定免疫化学方法 体内...

时间分辨 在体实验 利用电容式免疫探针测量猪心神经肽动态变化

开源实时闭环电阈值追踪技术在转化疼痛研究中的应用

开发用于恢复和康复双足行走的有效脑机接口（BMI）系统，需要准确解码用户的意图。本文介绍了一种新颖的实验方案和数据采集技术，可在多种行走任务和条件下，同步无创地获取神经活动、肌肉活动以及全身运动学数据。...

同步头皮脑电图（EEG）、肌电图（EMG）与全身分段惯性记录用于多模态神经解码

了解闭环接口技术如何通过实时信号增强提升身体感知能力。本研究利用可穿戴设备采集神经系统信号，结合Lab Streaming Layer实现同步数据流处理，为神经科学和人机交互领域提供通用实验框架。

使用闭环接口实时代理控制重新参数化的外周信号

探索更多视频