This content is Open Access.
The JoVE video player is compatible with HTML5 and Adobe Flash. Older browsers that do not support HTML5 and the H.264 video codec will still use a Flash-based video player. We recommend downloading the newest version of Flash here, but we support all versions 10 and above.
If that doesn't help, please let us know.
使用闭环接口实时代理控制重新参数化的外围信号
Chapters
Summary May 8th, 2021
Please note that all translations are automatically generated.
Click here for the English version.
我们提出协议和分析方法，以建立共适应接口，在闭环中流式传输、参数化、分析和修改人体和心脏信号。此设置接口信号来自人的外围和中枢神经系统，具有外部感官输入，以帮助跟踪生物物理变化。
Transcript
此接口的总体目的是研究多信号增强对增强身体感知的影响。这是通过设计一个通用的闭环接口来实现的，该接口可用于不同实验设置的不同可穿戴技术，并可应用于不同的人群。在这项工作中，我们向样本界面、其应用及其对人类系统的影响提出了一个通用接口。
设计的第一步是使用各种可穿戴技术，允许记录来自神经系统的不同级别的信号。第二步是使用实验室流层实现信号的同步记录和实时流式处理。在第一步中，流数据由代码拉取，该代码以我们偏好的语言开发，其中正在实时分析和提取选定的信号。
因此，在四个步骤中，参与者体验到提取特征的感官增强，例如心率对歌曲节奏的听觉映射或运动视觉表现。最后，通过不断实时增强身体信息，我们关闭了界面和参与者之间展开的相互作用的循环。对大脑如何控制我们身体的调查产生了脑机界面的设计。
利用神经系统信号来控制外部设备，如外骨骼或机械臂。我们在这里展示闭环接口，利用神经系统的信号，并利用感官模块增强它们，以帮助参与者获得对身体的控制。我们设计的一些基本或特点是一，从不同的技术数据同步记录，以调查神经系统的不同水平：二是数据流和实时增强数据分析在两个样本研究中，我们使用音频反馈，但在音频闭环接口中，salsa 舞者对实时控制的音乐节奏做出响应，基于心脏的节奏。
为此，我们使用音乐编程语言，Max 控制音频文件的播放速度。传感器捕获舞者，心跳和过滤心脏 R 峰值是使用 Python 脚本生成的。然后，这些峰值值通过开放式声音控制实时传输给 Max。
首先，我们帮助参与者穿上基于 LED 的运动捕捉服装，并连接到它，他们的无线控制器。打开服务器后，打开 Web 浏览器，输入服务器机器的 IP 地址并登录。如果此步骤成功，配置管理器将打开。
然后打开运动捕获系统的界面，然后单击连接。开始从主导标记流式传输数据。连接建立后，标记的位置将显示在界面的虚拟世界中。
右键单击窗口右侧的骨架，然后选择新的骨架以选择标记映射。然后右键再次单击骨架并选择生成骨架。确保参与者在 T 型姿势中摆姿势。
如果所有步骤都正确执行，将生成骨架。要将骨架数据流式传输到 LSL，请从主菜单中选择设置和选项。打开 OWL 模拟器，并确保您点击开始直播。
接下来，帮助同一参与者戴上 EEG 头盖。用高导电凝胶填充电极，并放置电极电缆。然后将它们插入无线监视器并打开。
打开 EEG 系统的界面，选择使用 wifi 设备。选择设备并单击使用此设备，单击头图标。选择允许记录所有 32 个传感器并单击负载的协议。
确保流数据适合，并且所有数据都显示在界面上。要收集心脏活动数据，请使用其中一个 EEG 通道连接 EEG 扩展电缆。使用粘性电极将扩展的另一端右侧粘在参与者的左肋笼下方。
在 LSL 文件夹中定位运动捕获系统的 LSL 应用程序，然后通过双击相应的图标运行它。在界面上设置正确的服务器地址，单击链接。对于 EEG 和 ECG 数据流，无需额外步骤。
接下来，我们找到实验室记录器应用程序，它也位于 LSL 文件夹中。通过双击应用程序运行应用程序。如果不是所有运动捕获和 EEG 系统的数据类型都显示在流的面板记录上，请单击更新。
在存储位置面板上选择目录和名称，然后单击"开始"开始数据收集。执行接收、处理和增强流数据的 MATLAB、Python 或其他代码。LSL 可在多个编程平台中流式传输数据。
他们使用与手稿中描述的陈述示例相对应的目标。访问我们的GitHub链接。在市场上，有各种技术可以产生感官输出。
一些常见的例子是：扬声器、灯、监视器和其他不太常见的示波器，如触觉设备振动器、阵风和嗅觉接口。在音频闭环接口中，我们设法以数字方式提高心率。使用音乐编程语言 Max，我们能够控制音频文件的播放速度。
打印到控制台的过滤心脏 R 峰值从 Python 脚本传输到 Max。在那里，测量峰值间间隔时间并转换为每分钟节拍。数据进行缩放，以创建零、最慢的播放速度和最大播放速度之间的范围。
在这个连续体上，一个等于正常播放速度，0.5等于半速，两个等于双回放速度。通用接口的设计可用于不同人群。其协议和此处用于提供概念证明的示例不限于特定组。
此外，闭环接口的设计是直观的探索和学习。虽然作为实验程序的一部分，不应需要指示。在研究真实 dyadic 交互的音频闭环界面时，两名萨尔萨舞者与一个界面进行交互，该界面使用女性舞者的心率来改变歌曲的速度。
舞蹈演员们表演了精心排练的例行公事和即兴的舞蹈。在每种情况下，他们执行歌曲的原始版本一次，然后它的心脏改变版本两次。从收集的数据中，我们估计了提取的微运动尖峰的伽马痉挛特征。
在这里，我们观察心脏和音乐数据的估计概率密度函数。兴奋剂的数字显示了心脏集，这是一个自主的器官，从第一条件跳舞的歌曲在其原始形式。到第二和第三条件跳舞的心脏改变的歌曲。
左图对应于自发舞蹈的三段录音，而右图对应于故意舞蹈的三段录音。在底部的数字，我们可以观察相应的音频集播放。在这里，集有一个相反的方向。
在人工 dyadic 交互的视听闭环界面研究中，六名参与者与一个界面进行交互，该界面创建了他们的实时镜像头像。此外，它嵌入了臀部位置依赖的声音。参与者对研究的目的很天真，他们不得不在房间里走来走去，想办法控制他们穿过感兴趣的区域时会出人意料地出现的声音。
这些数字显示了概率密度功能和相应的伽马特征的臀部速度数据的60个朋友控制参与者，C1到C6时，他们是内部和外部的兴趣区域。结果突出了参与者在区域内外行为的个性化差异。从经验上我们发现，位于伽马飞机右下角的签名是运动员和舞蹈演员表演高技能动作的签名，位于左上角的签名来自神经系统的数据集，这些数据集有病理。
因此，我们可以注意到，控制三和四的臀部速度的特征揭示了更健康的运动模式，当体积内。相比之下，其余参与者显示相反的模式。这种方法既可以用来更好地了解舞蹈演员的动作和声音之间的关系。
它还可以用来探索由实时身体信息引导的音乐构图的新方法，将音乐制作转化为身体信号增强的体验 闭环接口的开发和研究可以使神经系统的多种疾病受益。它们也可用于游戏、运动训练和运动。
Related Videos
You might already have access to this content!
Please enter your Institution or Company email below to check.
has access to
Please create a free JoVE account to get access
Login to access JoVE
Please login to your JoVE account to get access
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Please enter your email address so we may send you a link to reset your password.
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Your JoVE Unlimited Free Trial
Fill the form to request your free trial.
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Thank You!
A JoVE representative will be in touch with you shortly.
Thank You!
You have already requested a trial and a JoVE representative will be in touch with you shortly. If you need immediate assistance, please email us at subscriptions@jove.com.
Thank You!
Please enjoy a free 2-hour trial. In order to begin, please login.
Thank You!
You have unlocked a 2-hour free trial now. All JoVE videos and articles can be accessed for free.
To get started, a verification email has been sent to email@institution.com. Please follow the link in the email to activate your free trial account. If you do not see the message in your inbox, please check your "Spam" folder.
