Name: 研究脑机接口的闭环性能的实验平台 (视频) | JoVE Journal
Uploaded: 2011-03-10T12:00:00.000+00:00
Duration: 10 min 51 s
Description: 探索利用果蝇H1神经元活动控制移动机器人运动的闭环脑机接口实验方法。该技术通过实时神经信号反馈实现机器人在动态环境中的视觉稳定，为神经控制与机器人系统集成研究提供新途径。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

K. Peterson 获得了生物工程系的博士生奖学金以及美国空军研究实验室的资金支持。
N. Ejaz 获得了巴基斯坦高等教育委员会的博士生奖学金以及美国空军研究实验室的资金支持。

1. 果蝇准备
<ol>
 <li>设置实验的第一步是准备果蝇，以防止其不自主运动干扰神经记录的稳定性，并确保果蝇头部与视觉刺激设备正确对齐。开始准备时，先将果蝇置于冰上冷却，然后使用钝头鸡尾酒签压住翅膀，并用双面胶带将果蝇背部固定在显微镜载玻片上。</li>
 <li>接下来，使用电灼针加热蜂蜡，将翅膀粘附固定在载玻片上，同时阻断飞行肌的活动。此步骤需快速且准确地操作，以避免果蝇在过程中升温。</li>
 <li>现在在显微镜下，用镊子夹住每条腿，并用小型剪刀在靠近身体的关节处将其剪除。对喙（proboscis）进行相同操作。为防止果蝇脱水，必须用蜡密封所有创口。</li>
 <li>接着剪除一侧翅膀，然后将果蝇侧放。移除残留的翅组织，但保留覆盖在平衡棒上的小翅瓣（calyptra），并用蜡封闭创口。对另一侧翅膀重复此操作。</li>
 <li>为了以特定方式刺激目标神经元，必须将果蝇头部与计算机显示器精确对齐。为此，需要一个定制的固定装置，其主体部分空间较宽以容纳果蝇身体，一端带有缺口结构，用于放置果蝇颈部。</li>
 <li>将果蝇放置在固定装置上，使其颈部位于缺口内，同时压紧并用胶水固定腹部。然后将该固定装置置于支架上，以便通过显微镜观察果蝇头部前方。</li>
 <li>在红光下观察果蝇时，可在每只复眼中看到一种称为“伪瞳孔”（pseudo-pupil）的光学现象。伪瞳孔可作为参考框架，用于将果蝇头部与刺激图像对齐（Franceschini 1975）。若伪瞳孔呈现如下图插图所示的特定形状，则表明果蝇头部的方向已精确确定。 <img src="/files/ftp_upload/1677/1677fig0.jpg" alt="细胞结构分析，显微图像，对齐比较，精细形态学研究。" data-altupdatedat="1788235205000" data-alt="伪瞳孔"> </li>
 <li>使用显微操作器精确调整果蝇头部方向，然后用蜡将其固定在支架上。</li>
 <li>接下来，将胸部压平并用蜡固定在支架上。这一步可暴露后部头囊，以便将电极插入果蝇脑内。</li>
 <li>使用显微手术刀或细注射针，在右侧头囊的外骨骼上小心切出一个窗口。注意不要损伤外骨骼下方的神经组织。移除外骨骼片段后，滴加数滴林格氏液（Ringer solution）。</li>
 <li>用镊子清除可能覆盖在视叶板（lobula plate）上的漂浮刚毛、脂肪沉积物或肌肉组织。视叶板可通过其后表面覆盖的银白色气管特有的分支模式进行识别。</li>
 <li>在左侧后部头囊的外骨骼上切出一个小孔，用于放置参考电极。果蝇准备完成后，接下来介绍如何定位记录电极。</li>
</ol>
2. 放置记录电极
<ol>
 <li>在果蝇准备就绪后，接下来开始定位并记录H1神经元的信号。记录电极必须放置在靠近H1神经元的位置。H1神经元主要对其感受野内呈现的水平后向前运动产生反应（Krapp et al. 2001）。</li>
 <li>为定位记录电极，可利用气管作为视觉标志。初始时，将电极置于最上方的气管之间。</li>
 <li>使用音频放大器将记录到的电位信号转换为声音信号会有所帮助。每个单独的动作电位会被转化为特征性的“咔嗒”声。电极越接近单个神经元，这种“咔嗒”声就越清晰。</li>
 <li>为了根据H1神经元对运动方向的偏好来识别它，可用水平方向的运动刺激进行检测。在记录电极就位后，接下来进行视觉刺激与信号记录。</li>
</ol>
3. 视觉刺激与记录
<ol>
 <li>闭环实验的设置使得 H1 神经元的刺激能够导致机器人补偿转台的运动。开始时，将一只果蝇放置在两台 CRT 显示器前方。由于果蝇视觉系统的反应速度比人类快 10 倍，显示器必须以每秒 200 帧的速度显示图像。显示器及其他电气设备必须进行电磁屏蔽，以最小化测量神经信号时的外部噪声。</li>
 <li>将显示器的中心相对于果蝇的朝向分别置于 +/- 45 度位置。从果蝇眼睛的赤道面观察，每台显示器在水平方向上占据 +/-25 度的角度，在垂直方向上占据 +/-19 度的角度。</li>
 <li>同步输入信号由安装在一个小型两轮 ASURO 机器人上的两个摄像头提供，该机器人已为实验目的进行了改装。</li>
 <li>将机器人放置在一个圆柱形区域内的转台上，该区域的墙壁上布有垂直排列的黑白条纹图案。通过在水平面内旋转转台，机器人的运动被限制为仅有一个自由度。</li>
 <li>初始状态下，转台和机器人均处于静止状态。当转台开始运动时，其旋转带动机器人朝相同方向移动，摄像头记录下机器人与 arena 内条纹图案之间的相对运动。</li>
 <li>机器人上的电池供电摄像头以 +/- 45 度的方向安装，以每秒 200 帧的速度采集图像，与果蝇前方显示器的帧率相匹配。</li>
 <li>以每秒 200 帧、分辨率为 640 x 480（灰度）的参数记录呈现在显示器上的图像。</li>
 <li>当果蝇观察条纹图案的运动时，使用数字采集板以至少 10 kHz 的采样率记录经过带通滤波（例如 300 Hz 至 2 kHz）的电信号。</li>
 <li>对带通滤波后的电信号施加阈值，以区分尖峰信号与背景活动。将一个因果性的半高斯滤波器与尖峰信号进行卷积，以获得 H1 细胞平滑的放电活动估计。</li>
 <li>为了闭合脑机接口的回路，采用控制算法将 H1 细胞的放电频率转换为机器人速度，并通过蓝牙接口反馈，控制驱动机器人车轮的两个直流电机。</li>
 <li>选择纯正弦波作为转台的速度轮廓。正弦波具有直流偏移，使得转台仅沿刺激 H1 神经元偏好方向旋转。H1 神经元的刺激导致机器人补偿转台的运动。 <img src="/files/ftp_upload/1677/1677fig1.jpg" alt="带有机器人转台的光栅图案示意图；图表显示放电响应与补偿速度。" data-altupdatedat="1788235205000" data-alt="Figure 1"> 图 1：闭环系统示意图。在本实验设置中，左侧 H1 细胞的放电活动用于控制安装在转台上的机器人运动。由于机器人与转台之间的相对运动而产生的视觉图像运动，通过高速摄像头捕获，并显示在果蝇前方的两台 CRT 显示器上。来自左半脑的 H1 放电活动用于实时估计放电频率，随后通过控制律计算出机器人的补偿速度。机器人的反向旋转在闭环控制期间稳定了果蝇所观察到的视觉图像运动。 </li>
</ol>
4. 典型结果与结果
<ol>
 <li>当正确设置时，若机器人的反向旋转与转台的旋转相匹配，则可实现视觉稳定，从而使计算机显示器上的图像几乎不移动或完全静止。系统的整体性能取决于所采用的闭环控制算法。</li>
 <li>我们测试的第一个算法是比例控制器（图2），其中机器人的更新速度与机器人角速度ωr和转台角速度ωp之间的差值成正比。通过选择不同的静态增益Kp值以及转台信号ωp的不同输入频率，来测试该控制器的性能。 <img src="/files/ftp_upload/1677/1677fig2.jpg" alt="使用角速度反馈的机器人速度调节比例控制系统示意图" data-altupdatedat="1788235205000" data-alt="图2"> 图2：比例控制器（a）机器人与转台在偏好方向上的相对运动刺激H1细胞产生脉冲发放率F。该脉冲发放率被转换为速度误差E，并通过比例控制器估算更新后的机器人速度vr(t+1)。脉冲发放率F根据其是否小于或大于自发脉冲发放率Fspont，被转换为速度误差E。脉冲发放率到速度误差的转换通过将F投影到余弦函数（区间[π,0]）上来实现，以考虑脉冲发放率阈值的非线性特性。常数70和150用于将机器人的8位输入速度与转台的最小和最大角速度相匹配。（b）采用比例控制器的闭环系统框图。系统输入为转台角速度ωp(t)的正弦调制信号，相应记录的机器人响应为ωr(t+1)。 </li>
 <li>ω 的样本轨迹p 和 ωr 在此展示 Kp=1 且输入频率为 0.6 Hz 时的 ωp （见图3）。机器人（绿色）跟随转台（蓝色）运动，存在滞后现象且峰值振幅较小。下方显示的是刺激H1细胞的模式运动的水平分量（红色）。 <img src="/files/ftp_upload/1677/1677fig3.jpg" alt="平台与机器人角速度对比图；光流对比；ωp−ωr 方程；速度分析" data-altupdatedat="1788235205000" data-alt="图3"> 图3：闭环响应(a) 转台（蓝色）的角速度 ωp 与机器人（绿色）的角速度 ωr，输入频率为 0.6 Hz。(b) 水平视运动流由记录的图像计算得出（红色）。采用金字塔Lucas-Kanade方法（3级金字塔）计算连续图像帧之间的视运动场。通过将运动场中各个矢量在水平单位矢量 i 上的投影求和，得到水平角速度。引起H1细胞兴奋的水平从后向前的运动称为PD（偏好方向），而抑制H1细胞的水平从前向后的运动称为ND（零方向）。 </li>
 <li>转台信号的输入频率 ωp 选择在 0.03–3 Hz 范围内，同时记录相应的机器人信号 ωr。两个信号均通过快速傅里叶变换转换到频域（见图4），并在输入频率处计算其幅值和相位值。 <img src="/files/ftp_upload/1677/1677fig4.jpg" alt="角速度与频率的FFT图；转台与机器人分析，时域到频域。" data-altupdatedat="1788235205000" data-alt="图4"> 图4：频率响应。 转台的角速度信号 ωp 和机器人的角速度信号 ωr 通过快速傅里叶变换（FFT）方法转换到频域，以计算输入频率处的幅值和相位分量。图中未显示 FFT 的相位分量。 </li>
 <li>比例控制器的伯德幅频特性图 Kp图1展示了系统在测试输入频率下的响应（见图5-a）。控制器的性能通常随着频率的增加而下降。在1 Hz时增益略有上升，这是由于仅使用了一个H1细胞，其动态（输出）范围主要覆盖水平方向的前后运动，导致机器人信号出现振荡所致。 <img src="/files/ftp_upload/1677/1677fig5.jpg" alt="频率响应图；增益（dB）与频率（Hz）的关系、相位（度）与频率的关系、数据分析。" data-altupdatedat="1788235205000" data-alt="图5"> 图5：比例控制器性能. 比例控制器的伯德幅频与相频图（对8只果蝇取平均），静态增益 Kp = 1.0。（a）伯德幅频图大致符合低通滤波器特性。在1 Hz处增益略有升高，这是由于机器人信号ωr中出现振荡所致，该振荡源于仅使用了一个H1细胞，而该细胞的动态（输出）范围主要覆盖水平方向由后向前的运动。随着输入频率的增加，机器人信号ωr中的振荡次数减少，导致在这些频率处增益略有升高。（b）伯德相频图小于 180° 当输入频率 ≤ 1 Hz 时系统稳定，在 3 Hz 时接近失稳。当输入频率超过某一阈值后，由于机器人的运动学特性，控制器将变得不稳定。这种不稳定性仅出现在果蝇视觉系统已知的最佳响应频率范围之外（Warzecha 等 1999). </li>
 <li>Bode 相位图（见图 5-b）显示，对于输入频率，控制器的相位滞后小于 Π &lt; 0.6 Hz。这表明该控制器在频率上是稳定的 &lt; 0.6 Hz 时稳定，而在输入频率 ≥ 1 Hz 时不稳定。</li>
 <li>比例控制器在静态 Kp 条件下的性能（蓝色）与自适应控制器（红色）进行了比较，其中 Kp 的取值为 Kp 根据峰值尖峰频率 F 每 50 ms 更新一次最大，计算时间区间为[t-500ms - t]（见图6）。由于积分时间窗口较大，在所测试的参数范围内，比例控制器的表现优于自适应控制器（见图7-a）。初始时间积分窗口选择500 ms是出于与我们所使用的机器人平台相关的技术原因。自适应控制器具有与比例控制器相似的相位特性（见图7-b）。 
<img src="/files/ftp_upload/1677/1677fig6.jpg" alt="自适应参数估计图，动态增益估计公式，尖峰频率分析" data-altupdatedat="1788235205000" data-alt="图6"> 图6：自适应控制器增益比例控制器采用静态增益 Kp，而自适应控制器在闭环控制期间持续估计增益。动态增益 Kp 与时间区间 t-500ms ≤ τ ≤ t 内的最大峰电位频率 Fmax 成反比。图中显示了 Fmax 随时间估计的三个实例。根据对 Fmax 的估计值，Kp 在时间窗口 2（绿色）期间最高，在时间窗口 3（橙色）期间最低。 
<img src="/files/ftp_upload/1677/1677fig7.jpg" alt="频率响应分析，增益与相位图，比例控制与自适应控制的比较。" data-altupdatedat="1788235205000" data-alt="图7"> 图7：比例控制器与自适应控制器比例控制器（Kp = 1）与自适应控制器的伯德幅频和相频图。（a）自适应控制器基于过去500 ms内的峰值尖峰频率估计值Fmax，每50 ms更新一次Kp值。比例控制器的增益曲线（蓝色）高于自适应控制器（红色），表明其在所有输入频率下的性能更优。（b）两个控制器的伯德相位曲线相似，在f = 0.3 Hz处存在显著差异。两个控制器在3 Hz时均接近不稳定状态。增益和相位值的显著差异以星号标出（Wilcoxon秩和检验，p = 0.05）。 </li>
 <li>转台周围的光栅图案被移除，实验室环境被用作果蝇H1细胞的近似自然视觉输入。平均而言，自然视觉输入（蓝色）的伯德幅频图（见图8-a）显示出略高于光栅视觉输入（红色）的增益，这可能是因为自然视觉图像中更宽范围的空间频率得到了利用。光栅与自然视觉输入的伯德相频图特征相似（见图8-b）。 <img src="/files/ftp_upload/1677/1677fig8.jpg" alt="增益和相位随频率变化的响应图（以分贝为单位，频率单位为赫兹），分别显示实验室环境与条纹环境下的结果。" data-altupdatedat="1788235205000" data-alt="图8"> 图8：剥离图案与实验室环境对比. 当使用条纹图案（红色）与实验室环境（蓝色）视觉图像时，比例控制器在闭环条件下的伯德幅值图与相位图：（a）使用实验室环境图像时的伯德幅值图略高于使用条纹图案时（0.1 Hz 除外），表明在此类刺激下性能更优；（b）两种视觉条件下的伯德相位图呈现相似趋势，均在 3 Hz 接近不稳定状态。星号表示增益与相位值差异显著（Wilcoxon 秩和检验，p = 0.05）。 </li>
</ol>

<ol><li>Chiappe, E. M., Seelig, J. D., Reiser, M. B., Jayaraman, V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Walking+modulates+speed+sensitivity+in+Drosophila+motion+vision%5BTitle%5D)+AND+%22Curr.+Biol%22%5BJournal%5D)">Walking modulates speed sensitivity in Drosophila motion vision.</a> Curr. Biol. 20, 1470-1475 (2010).</li>
<li>Franceschini, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Sampling+of+the+visual+environment+by+the+compound+eye+of+the+fly%3A+fundamentals+and+applications%5BTitle%5D)+AND+%22Photoreceptor+optics%22%5BJournal%5D)">Sampling of the visual environment by the compound eye of the fly: fundamentals and applications.</a> Photoreceptor optics. Snyder, A. W., Menzel, R. , Springer. Berlin Heidelberg New York. 98-125 (1975).</li>
<li>Karmeier, K., Tabor, R., Egelhaaf, M., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+visual+experience+and+the+receptive-field+organization+of+optic+flow+processing+interneurons+in+the+fly+motion+pathway%5BTitle%5D)+AND+%22Vis.+Neurosci%22%5BJournal%5D)">Early visual experience and the receptive-field organization of optic flow processing interneurons in the fly motion pathway.</a> Vis. Neurosci. 18, 1-8 (2001).</li>
<li>Krapp, H. G., Hengstenberg, B., Hengstenberg, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dendritic+structure+and+receptive-field+organization+of+optic+flow+processing+interneurons+in+the+fly%5BTitle%5D)+AND+%22Jour.+of+Neurophys%22%5BJournal%5D)">Dendritic structure and receptive-field organization of optic flow processing interneurons in the fly.</a> Jour. of Neurophys. 79, 1902-1917 (1998).</li>
<li>Krapp, H. G., Hengstenberg, R., Egelhaaf, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Binocular+contributions+to+optic+flow+processing+in+the+fly+visual+system%5BTitle%5D)+AND+%22Jour.+of+Neurophys%22%5BJournal%5D)">Binocular contributions to optic flow processing in the fly visual system.</a> Jour. of Neurophys. 85, 724-734 (2001).</li>
<li>Longden, K. D., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Octopaminergic+modulation+of+temporal+frequency+coding+in+an+identified+optic-flow+processing+interneuron%5BTitle%5D)+AND+%22Frontiers+in+Systems+Neuroscience%22%5BJournal%5D)">Octopaminergic modulation of temporal frequency coding in an identified optic-flow processing interneuron.</a> Frontiers in Systems Neuroscience. 4, 153-153 (2010).</li>
<li>Bender, J. A., Dickinson, M. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparison+of+visual+and+haltere-mediated+feedback+in+the+control+of+body+saccades+in+Drosophila+melanogaster%5BTitle%5D)+AND+%22J.+Exp.+Bio%22%5BJournal%5D)">A comparison of visual and haltere-mediated feedback in the control of body saccades in Drosophila melanogaster.</a> J. Exp. Bio. 209, 4597-4606 (2006).</li>
<li>Longden, K. D., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((State-dependent+performance+of+optic+flow-processing+interneurons%5BTitle%5D)+AND+%22J.+Neurophysiol%22%5BJournal%5D)">State-dependent performance of optic flow-processing interneurons.</a> J. Neurophysiol. 102, 3606-3618 (2009).</li>
<li>Maimon, G., Straw, A. D., Dickinson, M. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Active+flight+increases+the+gain+of+visual+motion+processing+in%5BTitle%5D)+AND+%22%22%5BJournal%5D)">Active flight increases the gain of visual motion processing in.</a> 13, 393-399 (2010).</li>
<li>Petrovitz, R., Dahmen, H., Egelhaaf, M., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arrangement+of+optical+axes+and+spatial+resolution+in+the+compound+eye+of+the+female+blowfly+Calliphora%5BTitle%5D)+AND+%22J+Comp+Physiol+A%22%5BJournal%5D)">Arrangement of optical axes and spatial resolution in the compound eye of the female blowfly Calliphora.</a> J Comp Physiol A. 186, 737-746 (2000).</li>
<li>Warzecha, A. K., Horstmann, W., Egelhaaf, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Temperature-dependence+of+neuronal+performance+in+the+motion+pathway+of+the+blowfly+Calliphora+Erythrocephala%5BTitle%5D)+AND+%22J+Exp+Biology%22%5BJournal%5D)">Temperature-dependence of neuronal performance in the motion pathway of the blowfly Calliphora Erythrocephala.</a> J Exp Biology. 202, 3161-3170 (1999).</li>
</ol>

<ol>
 <li>进行果蝇解剖时需格外小心，确保果蝇相对于计算机显示器的方向正确。</li>
 <li>需将H1神经元的放电峰电位与其他所有神经元的峰电位区分开来，以获得良好的信噪比，从而可靠地控制机器人。</li>
 <li>实验过程中应采取措施，防止任何神经组织干燥。</li>
 <li>摄像头通过以太网线连接至计算机。实验过程中应注意避免线缆过度缠绕，否则会影响机器人的旋转。</li>
 <li>目前我们仅利用一个H1神经元的放电活动来建立偏航旋转单一方向的稳定化任务。可通过增加第二个电极，同时获取左右两侧H1神经元的信号，从而研究偏航旋转两个方向的稳定控制算法。</li>
 <li>可移除包含垂直取向黑白条纹的实验区域，改用实验室环境作为果蝇的视觉刺激。这将使我们能够研究在自然图像条件下的闭环控制性能。</li>
 <li>可将机器人从转台上取下，使其在实验室环境中自由移动并保持闭环控制。这将有助于我们探究与避障相关的控制算法。</li>
 <li>通过引入无线传输系统，可移除连接摄像头与计算机的线缆，从而实现完全无束缚的机器人系统。</li>
 <li>不同控制算法的性能指标将帮助我们理解各种策略应对非平稳和可变神经信号的能力。这些知识可进一步应用于不同的临床与非临床脑机接口系统。</li>
 <li>该实验装置是记录行为动物神经信号的第一步。我们的目标是将果蝇置于机器人上，并利用其神经活动实现闭环控制。在此类装置中，我们能够在果蝇因机器人运动而接收多感官刺激的同时，记录其神经活动。</li>
 <li>仅记录单个细胞的信号。在我们所展示的配置中，最合适的细胞是H1细胞。将H1神经元的反应与具有相似感受野的其他神经元（例如H2）分离开来，对于维持神经记录的良好信噪比至关重要。可通过观察发现，H2神经元的自发放电率和平均放电率显著低于H1神经元，据此可区分两者的反应。此外，也可基于其形态学特征对这些神经元进行区分（Krapp et al. 2001）。</li>
 <li>我们的系统允许我们比较果蝇-机器人接口在图像稳定任务中实现的闭环增益，并将其性能与先前果蝇实验中观察到的闭环视动增益进行对比（Bender &amp; Dickinson 2006, Warzecha et al. 1996, Heisenberg &amp; Wolf, 1990）。此外，该系统还使我们能够在闭环条件下研究视觉信息处理的状态依赖性变化（Chiappe et al. 2010, Maimon et al. 2010, Longden &amp; Krapp 2009, Longden &amp; Krapp 2010）。</li>
</ol>

<table><tbody><tr><td>RosetteSep&amp;#174; 人T细胞富集混合液</td><td>干细胞技术</td><td>15061</td><td></td></tr><tr><td>RosetteSep&amp;#174; 密度介质</td><td>干细胞技术</td><td>15705</td><td></td></tr><tr><td>含谷氨酰胺/HEPES的RPMI 1640培养基</td><td>Fisher Scientific</td><td>SH3025501</td><td></td></tr><tr><td>胎牛血清</td><td>Omega Scientific</td><td>FB-01</td><td></td></tr><tr><td>GlutaMAX&amp;#8482;-I</td><td>Invitrogen</td><td>35050</td><td></td></tr><tr><td>RPMI 1640 维生素溶液</td><td>Sigma-Aldrich</td><td>7256</td><td></td></tr><tr><td>RPMI 1640 氨基酸溶液</td><td>Sigma-Aldrich</td><td>R7131</td><td></td></tr><tr><td>丙酮酸钠</td><td>Sigma-Aldrich</td><td>S8636</td><td></td></tr><tr><td>&amp;#946;巯基&amp;#8211;乙醇</td><td>Sigma-Aldrich</td><td>M7522</td><td></td></tr><tr><td>BAPTA</td><td>Sigma-Aldrich</td><td>A4926</td><td></td></tr><tr><td>聚-L-赖氨酸氢溴化物</td><td>Sigma-Aldrich</td><td>P2636</td><td></td></tr><tr><td>毒胡萝卜素</td><td>Calbiochem</td><td>586005</td><td></td></tr><tr><td>Sylgard&amp;#174; 184硅酮弹性体试剂盒</td><td>道康宁</td><td>3097358-1004</td><td></td></tr><tr><td>腹腔热灌注化疗&amp;#174; R6101 半导体保护涂层</td><td>道康宁</td><td></td><td></td></tr><tr><td>EPC 10 膜片钳放大器</td><td>HEKA Instruments</td><td></td><td></td></tr><tr><td>电动显微操作器 </td><td>Sutter Instrument Co.</td><td>MP-285</td><td></td></tr><tr><td>奥林巴斯1X71倒置显微镜，配备40倍油镜物镜</td><td>奥林巴斯株式会社</td><td>1X71</td><td></td></tr><tr><td>膜片钳电极拉制仪</td><td>Sutter Instrument Co.</td><td>P-97</td><td></td></tr><tr><td>含细丝的硼硅酸盐玻璃管（外径：1.5 mm，内径：1.10 mm）</td><td>Sutter Instrument Co.</td><td>BF150-110-7.5</td><td></td></tr><tr><td>显微操作仪</td><td>Narishige International</td><td>MF-830</td><td></td></tr><tr><td>硅O形圈 </td><td>McMaster-Carr</td><td>111 S70</td><td></td></tr><tr><td>显微镜盖玻片</td><td>Fisher Scientific</td><td>12-545-102 25 毫米 25CIR-1</td><td></td></tr><tr><td>Pulse 软件</td><td>HEKA Instruments</td><td></td><td></td></tr><tr><td>Origin 科学绘图与分析软件</td><td>OriginLab</td><td></td><td></td></tr><tr><td colspan="4">&lt;ol&gt;&lt;李&gt;1) 高速CRT显示器（LG Studioworks 221U）&lt;/li&gt;&lt;李&gt;高速相机（Prosilica，GC640）&lt;/li&gt;&lt;李&gt;机器人平台（ASURO，经定制改装）&lt;/li&gt;&lt;李&gt;串行蓝牙调制解调器（Bluesmirf）&lt;/li&gt;&lt;李&gt;微步驱动器（Applied Motion Systems，ST5-SI）&lt;/li&gt;&lt;李&gt;步进电机（Sanyo Denki，103H6704-0140）&lt;/li&gt;&lt;li&gt;钨电极（fh-co.com - 货号 - UEW SHG SE 3P1M）&lt;/li&gt;&lt;李&gt;细胞外放大器（NPI EXT 10-2F）&lt;/li&gt;&lt;李&gt;电动显微操作器（Scientifica，PS-700-Z）&lt;/li&gt;&lt;李&gt;体视显微镜（Leica，MZ95）&lt;/li&gt;&lt;/ol&gt;</td></tr></tbody></table>

一种用于研究脑机接口闭环性能的实验平台

An Experimental Platform to Study the Closed-loop Performance of Brain-machine Interfaces

神经信号的非平稳性和变异性是脑机接口领域的一个基本问题。我们开发了一种脑机接口系统，用于评估不同控制律在闭环图像稳定任务中的鲁棒性。利用果蝇视觉运动通路已被充分表征的优势，我们记录了一个已知的、对运动敏感的神经元H1的电活动，用以控制一个两轮机器人在偏航方向上的旋转。该机器人配备两个高速视频摄像头，向位于两台CRT计算机显示器前方的果蝇提供视觉运动输入。H1神经元的活动反映了机器人旋转的方向和相对速度。神经活动信号经过滤波后，通过比例控制及比例/自适应控制方式反馈至机器人的转向系统。我们的目标是在闭环条件下测试并优化多种控制律的性能，以期更广泛地应用于其他脑机接口系统。

我们利用闭环果蝇-机器接口来研究神经控制中的普遍原理。

神经信号的非平稳性和变异性是脑机接口领域的一个基本难题。我们开发了一种脑机……

我们利用果蝇大脑中一种视觉中间神经元——H one细胞的活动来控制移动机器人的电机。该机器人被放置在一个持续旋转的转盘上，通过该细胞的活动使机器人相对于环境保持稳定，以抵抗外界运动的影响。从机器人采集到的模式运动图像被采样后发送至两台计算机CRT显示器，这两台显示器位于果蝇的前方。以每秒脉冲数表示的 H 一个细胞的信号反映了图案运动的速度。随后应用不同的控制律，将记录到的每秒脉冲数转换为机器人电机的控制信号。大家好，我是来自伦敦帝国理工学院生物工程系 Holger Crops 实验室的 Navita Josh。我是Chris Peterson，也来自Holger Cup的实验室。你好，我是Holger Cup。今天我们将向您展示一种在果蝇视觉系统中的单个细胞与机器人之间构建脑机接口的技术流程。我们采用此方法，在闭环条件下利用神经信号控制机器人系统，以测试不同控制策略的性能。现在开始操作。首先准备果蝇，将其置于冰上冷却，然后使用钝头的鸡尾酒签压住翅膀，并将果蝇背部固定在载玻片的双面胶带上。接下来，使用B型石蜡将翅膀粘附在载玻片上，同时用石蜡阻断飞行肌的活动。此步骤需要快速且准确地操作，以确保果蝇在操作过程中不会升温。现在，在显微镜下用镊子夹住每条腿，并用小型剪刀在靠近身体的关节处将其剪除。对喙也重复此操作。为防止果蝇干燥，必须用石蜡封住孔洞。接着，剪下其中一只翅膀，然后将果蝇侧放。移除残留的翅组织，保留覆盖Hal切口的katra，并用石蜡封住孔洞。对另一只翅膀重复此操作。为了以特定方式刺激目标神经元，需要将果蝇的头部与计算机显示器正确对齐。为此，您需要一个定制的固定装置，该装置应具有足够空间容纳果蝇的身体，并在一端设有带缺口的附属结构，用于放置果蝇的颈部。将果蝇放置在固定装置上，使其颈部位于凹槽内，同时压住果蝇并用胶水固定腹部。接着，将果蝇固定装置置于支架上，以便通过显微镜观察果蝇头部的正面。使用红光观察果蝇时，可在每只复眼中看到一种称为伪瞳孔（pseudo pupil）的光学现象。如果假瞳孔呈现特定形状，则果蝇头部的方向即被精确定义。使用显微操作器正确调整果蝇头部的方向，然后用石蜡将其固定在持样架上。接着，将胸部压平并用石蜡固定在持样架上。这一步操作可打开头部后端的头壳，以便将电极插入果蝇脑中。使用显微手术刀或精细注射针，在右侧头壳的几丁质外骨骼上小心地切出一个窗口。注意避免损伤外骨骼正下方的神经组织。一旦去除该片外骨骼，加入数滴林格氏液。使用镊子去除可能覆盖在 LOA 板上的任何漂浮毛发、脂肪沉积物或肌肉组织。LOA 板可通过其后表面覆盖的银色气管特有的分支模式来识别。在左侧后部头壳的角质层上剪开一个小孔，用于在飞行准备过程中放置参考电极。让我们来看如何放置记录电极。记录电极必须放置在H一神经元附近。H一神经元主要对其感受野内呈现的从后向前的水平运动产生反应。为了定位记录电极，可使用气管作为视觉标志。最初将电极置于最上方的气管之间。使用音频放大器将记录到的电信号转换为声音信号会有所帮助。每个单独的神经脉冲都会转化为一种特征性的咔嗒声。电极越接近单个神经元，这种咔嗒声就越清晰。为了通过运动偏好识别H一神经元，需用水平方向的运动刺激该神经元。记录电极就位后，接下来进行视觉刺激和记录。首先，将一只果蝇置于两台CRT电脑显示器前方。由于果蝇视觉系统的反应速度比人类快10倍，显示器必须以每秒200帧的速度显示图像。显示器的中心位于果蝇朝向的±45度位置。从果蝇眼睛的赤道面观察，每个显示器在水平面上占据±25度的角度，在垂直面上占据±19度的角度。计算机显示器的输入信号由安装在小型两轮SRO机器人上的两个摄像机提供，该机器人已为实验进行了改装。将机器人放置在圆柱形区域内的转台上，该区域的墙壁上排列有垂直的黑白条纹图案。通过在水平面内旋转转台，机器人的运动被限制为仅有一个自由度。初始时，转台和机器人均处于静止状态。当转盘开始转动时，其旋转运动带动机器人朝相同方向移动，视频摄像头记录下机器人与 arena 条纹图案之间的相对运动。机器人上的电池供电视频摄像头以正负 45 度的方向安装，每秒捕捉 200 帧图像，以匹配果蝇记录装置前方计算机显示器的帧率。以每秒 200 帧的速率、分辨率为 640 × 480 灰度图像，将图像呈现在计算机显示器上。当果蝇观察条纹图案运动时，记录到的电信号经过带通滤波处理。例如，使用至少 10 千赫兹采样率的数字采集板，对 302 千赫兹范围内的电信号进行采集。对带通滤波后的电信号应用阈值，以将动作电位（spikes）与背景活动区分开来。将因果半高斯滤波器与脉冲信号进行卷积，以获得H一细胞平滑的放电活动估计值，从而实现脑机接口的闭环控制。控制算法用于将H一细胞的放电速率转换为机器人速度，并通过蓝牙接口反馈，以控制驱动机器人轮子的两个直流电机。正弦波被选作转台的速度轮廓。信号波形具有直流偏置，使得转台仅沿刺激H one神经元的偏好方向旋转。整个控制系统设置为：当H one神经元受到刺激时，机器人会补偿转台的运动（在正确设置的情况下）。当机器人的反向旋转与转台的旋转相匹配时，即实现视觉稳定，此时计算机显示器上的图像几乎不移动或完全不移动。系统的整体性能取决于用于闭环控制的控制算法。我们测试的第一种算法是比例控制器，其中机器人的更新速度与机器人角速度 ωR 和转台角速度 ΩP 之间的差值成正比。选择不同的静态增益 KP 值以及转台信号 ΩP 的输入频率，以测试该控制器的性能。此处展示了当 KP 等于 1、输入频率为 0.6 赫兹时，omega P 和 omega R 的典型信号轨迹。对于 omega P，绿色机器人跟随蓝色转台运动，存在滞后现象且峰值振幅较小。右侧红色曲线显示了刺激 H1 细胞的模式运动的水平分量，即转台信号的输入频率。omega P 的输入频率选择范围为 0.03 至 3 赫兹，同时记录相应的机器人信号 omega R。通过快速傅里叶变换将两个信号转换到频域，并在输入频率处计算其幅值和相位值。当比例控制器的 KP 等于 1 时，其 BO d 幅值图显示了系统在测试输入频率范围内的响应。控制器的性能通常随着频率的增加而下降。在1赫兹处增益略有增加，这是由于机器人信号中存在振荡，原因在于仅使用了一个H1细胞，其动态输出范围主要覆盖水平方向从前到后的运动。Bodhi相位图显示，当输入频率低于0.6赫兹时，控制器的相位滞后小于PI。这表明控制器在低于0.6赫兹的频率下是稳定的，而在大于或等于1赫兹的输入频率下则不稳定。将静态 KP 的比例控制器性能与自适应控制器进行了比较，后者每 50 毫秒更新一次 KP 值，更新依据为在时间区间 T 减去 500 毫秒至 T 内计算得到的峰值放电率 F max。由于积分时间窗口较大，在所测试的参数范围内，比例控制器的表现优于自适应控制器；自适应控制器具有与比例控制器相似的相位特性，转台周围的梯度模式被消除，实验环境被用作果蝇 H1 细胞自然视觉输入的近似。平均而言，自然视觉输入的Bodhi幅值图显示出略高的增益，这可能是因为自然视觉图像中更宽范围的空间频率得到了利用。分级视觉输入与自然视觉输入的Bodhi相位图特征相似。我们刚刚向您展示了如何在细胞与五级视觉系统及机器人之间创建一个脑机接口。该操作过程中有几个关键步骤。首先，在打开头壳时应避免过深切割，以防损伤脑组织。其次，需小心放置电极，确保仅记录单个细胞的信号，即我们所记录的H one细胞。第三，始终保持脑组织湿润，防止其干燥。以上就是全部内容。感谢观看，祝您的实验顺利成功。

an-experimental-platform-to-study-closed-loop-performance-brain

Research

科研

JoVE Journal

Neuroscience

神经科学

研究脑机接口的闭环性能的实验平台

我们介绍一种从接受有创癫痫监测的患者中采集皮层脑电图信号以用于研究目的的方法。我们展示了如何使用BCI2000软件平台进行数据采集、信号处理和刺激呈现。具体而言，我们演示了SIGFRIED——一种基于BCI2000的实时功能性脑图谱绘制工具。...

记录人类颅内脑电图（ECoG）信号用于神经科学研究与实时功能性皮层定位

开发用于恢复和康复双足行走的有效脑机接口（BMI）系统，需要准确解码用户的意图。本文介绍了一种新颖的实验方案和数据采集技术，可在多种行走任务和条件下，同步无创地获取神经活动、肌肉活动以及全身运动学数据。...

同步头皮脑电图（EEG）、肌电图（EMG）与全身分段惯性记录用于多模态神经解码

本文提出了一种用于开展闭环实验的实验框架，其中信息处理（即在与机器人身体持续交互的过程中，研究神经元集合的编码与解码及其学习机制。...

闭环神经机器人实验以测试神经元网络的计算特性

在研究运动障碍的神经机制时，监测直立姿势下运动任务期间的大脑活动具有重要价值。本文展示了一种结合功能性近红外光谱成像与肌肉及运动学活动连续监测的技术方案，用于四种类型运动任务中的脑功能研究。...

运动任务期间同步监测运动学与肌电图的感官及运动脑区功能近红外光谱成像

通过本实验，人们或许能够检测到意识障碍患者的意识状态。此外，该方法还可建立一种简单的交流通道，使患者能够对问题给出简单的“是”或“否”回答。...

意识障碍患者的评估与沟通

我们介绍了构建闭环式共适应界面的实验方案与分析方法，该界面可实时流式传输、参数化、分析并调节人体及心脏信号。该系统将来自个体周围神经系统和中枢神经系统的信号与外部感觉输入相连接，以帮助追踪生物物理变化。...

使用闭环接口实时代理控制重新参数化的外周信号

本文讨论了如何利用消费级设备和稳态视觉诱发电位构建脑机接口。为此，将采用干电极的单通道脑电图仪与用于刺激呈现和输出数据可视化的增强现实眼镜相结合。最终系统具有非侵入性、可穿戴性和便携性。...

用于工业与医疗的单通道非侵入式可穿戴脑-机接口

本研究旨在为脑卒中后上肢运动功能障碍患者使用运动想象脑机接口（MI-BCI）的标准化临床操作提供重要参考。...

卒中后上肢运动功能障碍康复中的运动想象脑机接口

本研究介绍了一种针对脑卒中患者的脑机接口（BCI）系统，该系统结合脑电图和眼电图信号来控制上肢机器人手，以增强患者的日常活动能力。评估采用脑卒中柏林双手测试（BeBiTS）进行。...

脑机接口控制的上肢机器人系统用于增强中风患者的日常活动能力

本研究提出了一种标准化且可重复的方案，用于实施空间-时间-频率脑电图分析工具（STFEEG），以实现运动想象脑电信号的解码。该方案包含可配置的空间-时间-频率分割、基于共空间模式（CSP）的特征提取、多种分类算法以及可视化功能。...

STFEEG-工具：一种用于运动想象脑机接口的时空频脑电分析工具

探索利用果蝇H1神经元活动控制移动机器人运动的闭环脑机接口实验方法。该技术通过实时神经信号反馈实现机器人在动态环境中的视觉稳定，为神经控制与机器人系统集成研究提供新途径。

一种用于研究脑机接口闭环性能的实验平台

探索更多视频