一种用于研究脑机接口闭环性能的实验平台

摘要

我们利用闭环果蝇-机器接口来研究神经控制中的普遍原理。

摘要

神经信号的非平稳性和变异性是脑机接口领域的一个基本问题。我们开发了一种脑机接口系统，用于评估不同控制律在闭环图像稳定任务中的鲁棒性。利用果蝇视觉运动通路已被充分表征的优势，我们记录了一个已知的、对运动敏感的神经元H1的电活动，用以控制一个两轮机器人在偏航方向上的旋转。该机器人配备两个高速视频摄像头，向位于两台CRT计算机显示器前方的果蝇提供视觉运动输入。H1神经元的活动反映了机器人旋转的方向和相对速度。神经活动信号经过滤波后，通过比例控制及比例/自适应控制方式反馈至机器人的转向系统。我们的目标是在闭环条件下测试并优化多种控制律的性能，以期更广泛地应用于其他脑机接口系统。

方案

1. 果蝇准备

1. 设置实验的第一步是准备果蝇，以防止其不自主运动干扰神经记录的稳定性，并确保果蝇头部与视觉刺激设备正确对齐。开始准备时，先将果蝇置于冰上冷却，然后使用钝头鸡尾酒签压住翅膀，并用双面胶带将果蝇背部固定在显微镜载玻片上。
2. 接下来，使用电灼针加热蜂蜡，将翅膀粘附固定在载玻片上，同时阻断飞行肌的活动。此步骤需快速且准确地操作，以避免果蝇在过程中升温。
3. 现在在显微镜下，用镊子夹住每条腿，并用小型剪刀在靠近身体的关节处将其剪除。对喙（proboscis）进行相同操作。为防止果蝇脱水，必须用蜡密封所有创口。
4. 接着剪除一侧翅膀，然后将果蝇侧放。移除残留的翅组织，但保留覆盖在平衡棒上的小翅瓣（calyptra），并用蜡封闭创口。对另一侧翅膀重复此操作。
5. 为了以特定方式刺激目标神经元，必须将果蝇头部与计算机显示器精确对齐。为此，需要一个定制的固定装置，其主体部分空间较宽以容纳果蝇身体，一端带有缺口结构，用于放置果蝇颈部。
6. 将果蝇放置在固定装置上，使其颈部位于缺口内，同时压紧并用胶水固定腹部。然后将该固定装置置于支架上，以便通过显微镜观察果蝇头部前方。
7. 在红光下观察果蝇时，可在每只复眼中看到一种称为“伪瞳孔”（pseudo-pupil）的光学现象。伪瞳孔可作为参考框架，用于将果蝇头部与刺激图像对齐（Franceschini 1975）。若伪瞳孔呈现如下图插图所示的特定形状，则表明果蝇头部的方向已精确确定。
   
   
   
8. 使用显微操作器精确调整果蝇头部方向，然后用蜡将其固定在支架上。
9. 接下来，将胸部压平并用蜡固定在支架上。这一步可暴露后部头囊，以便将电极插入果蝇脑内。
10. 使用显微手术刀或细注射针，在右侧头囊的外骨骼上小心切出一个窗口。注意不要损伤外骨骼下方的神经组织。移除外骨骼片段后，滴加数滴林格氏液（Ringer solution）。
11. 用镊子清除可能覆盖在视叶板（lobula plate）上的漂浮刚毛、脂肪沉积物或肌肉组织。视叶板可通过其后表面覆盖的银白色气管特有的分支模式进行识别。
12. 在左侧后部头囊的外骨骼上切出一个小孔，用于放置参考电极。果蝇准备完成后，接下来介绍如何定位记录电极。

2. 放置记录电极

1. 在果蝇准备就绪后，接下来开始定位并记录H1神经元的信号。记录电极必须放置在靠近H1神经元的位置。H1神经元主要对其感受野内呈现的水平后向前运动产生反应（Krapp et al. 2001）。
2. 为定位记录电极，可利用气管作为视觉标志。初始时，将电极置于最上方的气管之间。
3. 使用音频放大器将记录到的电位信号转换为声音信号会有所帮助。每个单独的动作电位会被转化为特征性的“咔嗒”声。电极越接近单个神经元，这种“咔嗒”声就越清晰。
4. 为了根据H1神经元对运动方向的偏好来识别它，可用水平方向的运动刺激进行检测。在记录电极就位后，接下来进行视觉刺激与信号记录。

3. 视觉刺激与记录

1. 闭环实验的设置使得 H1 神经元的刺激能够导致机器人补偿转台的运动。开始时，将一只果蝇放置在两台 CRT 显示器前方。由于果蝇视觉系统的反应速度比人类快 10 倍，显示器必须以每秒 200 帧的速度显示图像。显示器及其他电气设备必须进行电磁屏蔽，以最小化测量神经信号时的外部噪声。
2. 将显示器的中心相对于果蝇的朝向分别置于 +/- 45 度位置。从果蝇眼睛的赤道面观察，每台显示器在水平方向上占据 +/-25 度的角度，在垂直方向上占据 +/-19 度的角度。
3. 同步输入信号由安装在一个小型两轮 ASURO 机器人上的两个摄像头提供，该机器人已为实验目的进行了改装。
4. 将机器人放置在一个圆柱形区域内的转台上，该区域的墙壁上布有垂直排列的黑白条纹图案。通过在水平面内旋转转台，机器人的运动被限制为仅有一个自由度。
5. 初始状态下，转台和机器人均处于静止状态。当转台开始运动时，其旋转带动机器人朝相同方向移动，摄像头记录下机器人与 arena 内条纹图案之间的相对运动。
6. 机器人上的电池供电摄像头以 +/- 45 度的方向安装，以每秒 200 帧的速度采集图像，与果蝇前方显示器的帧率相匹配。
7. 以每秒 200 帧、分辨率为 640 x 480（灰度）的参数记录呈现在显示器上的图像。
8. 当果蝇观察条纹图案的运动时，使用数字采集板以至少 10 kHz 的采样率记录经过带通滤波（例如 300 Hz 至 2 kHz）的电信号。
9. 对带通滤波后的电信号施加阈值，以区分尖峰信号与背景活动。将一个因果性的半高斯滤波器与尖峰信号进行卷积，以获得 H1 细胞平滑的放电活动估计。
10. 为了闭合脑机接口的回路，采用控制算法将 H1 细胞的放电频率转换为机器人速度，并通过蓝牙接口反馈，控制驱动机器人车轮的两个直流电机。
11. 选择纯正弦波作为转台的速度轮廓。正弦波具有直流偏移，使得转台仅沿刺激 H1 神经元偏好方向旋转。H1 神经元的刺激导致机器人补偿转台的运动。
    
    
    图 1：闭环系统示意图。在本实验设置中，左侧 H1 细胞的放电活动用于控制安装在转台上的机器人运动。由于机器人与转台之间的相对运动而产生的视觉图像运动，通过高速摄像头捕获，并显示在果蝇前方的两台 CRT 显示器上。来自左半脑的 H1 放电活动用于实时估计放电频率，随后通过控制律计算出机器人的补偿速度。机器人的反向旋转在闭环控制期间稳定了果蝇所观察到的视觉图像运动。
    
    

4. 典型结果与结果

1. 当正确设置时，若机器人的反向旋转与转台的旋转相匹配，则可实现视觉稳定，从而使计算机显示器上的图像几乎不移动或完全静止。系统的整体性能取决于所采用的闭环控制算法。
2. 我们测试的第一个算法是比例控制器（图2），其中机器人的更新速度与机器人角速度ωr和转台角速度ωp之间的差值成正比。通过选择不同的静态增益Kp值以及转台信号ωp的不同输入频率，来测试该控制器的性能。
   
   
   
   图2：比例控制器（a）机器人与转台在偏好方向上的相对运动刺激H1细胞产生脉冲发放率F。该脉冲发放率被转换为速度误差E，并通过比例控制器估算更新后的机器人速度vr(t+1)。脉冲发放率F根据其是否小于或大于自发脉冲发放率Fspont，被转换为速度误差E。脉冲发放率到速度误差的转换通过将F投影到余弦函数（区间[π,0]）上来实现，以考虑脉冲发放率阈值的非线性特性。常数70和150用于将机器人的8位输入速度与转台的最小和最大角速度相匹配。（b）采用比例控制器的闭环系统框图。系统输入为转台角速度ωp(t)的正弦调制信号，相应记录的机器人响应为ωr(t+1)。
   
   
3. ω 的样本轨迹_p 和 ω_r 在此展示 K_p=1 且输入频率为 0.6 Hz 时的 ω_p （见图3）。机器人（绿色）跟随转台（蓝色）运动，存在滞后现象且峰值振幅较小。下方显示的是刺激H1细胞的模式运动的水平分量（红色）。
   
   
   
   图3：闭环响应(a) 转台（蓝色）的角速度 ωp 与机器人（绿色）的角速度 ωr，输入频率为 0.6 Hz。(b) 水平视运动流由记录的图像计算得出（红色）。采用金字塔Lucas-Kanade方法（3级金字塔）计算连续图像帧之间的视运动场。通过将运动场中各个矢量在水平单位矢量 i 上的投影求和，得到水平角速度。引起H1细胞兴奋的水平从后向前的运动称为PD（偏好方向），而抑制H1细胞的水平从前向后的运动称为ND（零方向）。
   
   
4. 转台信号的输入频率 ωp 选择在 0.03–3 Hz 范围内，同时记录相应的机器人信号 ωr。两个信号均通过快速傅里叶变换转换到频域（见图4），并在输入频率处计算其幅值和相位值。
   
   
   
   图4：频率响应。 转台的角速度信号 ωp 和机器人的角速度信号 ωr 通过快速傅里叶变换（FFT）方法转换到频域，以计算输入频率处的幅值和相位分量。图中未显示 FFT 的相位分量。
   
   
5. 比例控制器的伯德幅频特性图 K_p图1展示了系统在测试输入频率下的响应（见图5-a）。控制器的性能通常随着频率的增加而下降。在1 Hz时增益略有上升，这是由于仅使用了一个H1细胞，其动态（输出）范围主要覆盖水平方向的前后运动，导致机器人信号出现振荡所致。
   
   
   
   图5：比例控制器性能. 比例控制器的伯德幅频与相频图（对8只果蝇取平均），静态增益 Kp = 1.0。（a）伯德幅频图大致符合低通滤波器特性。在1 Hz处增益略有升高，这是由于机器人信号ωr中出现振荡所致，该振荡源于仅使用了一个H1细胞，而该细胞的动态（输出）范围主要覆盖水平方向由后向前的运动。随着输入频率的增加，机器人信号ωr中的振荡次数减少，导致在这些频率处增益略有升高。（b）伯德相频图小于 180° 当输入频率 ≤ 1 Hz 时系统稳定，在 3 Hz 时接近失稳。当输入频率超过某一阈值后，由于机器人的运动学特性，控制器将变得不稳定。这种不稳定性仅出现在果蝇视觉系统已知的最佳响应频率范围之外（Warzecha 等 1999).
   
   
6. Bode 相位图（见图 5-b）显示，对于输入频率，控制器的相位滞后小于 Π < 0.6 Hz。这表明该控制器在频率上是稳定的 < 0.6 Hz 时稳定，而在输入频率 ≥ 1 Hz 时不稳定。
7. 比例控制器在静态 Kp 条件下的性能（蓝色）与自适应控制器（红色）进行了比较，其中 Kp 的取值为 K_p 根据峰值尖峰频率 F 每 50 ms 更新一次_最大，计算时间区间为[t-500ms - t]（见图6）。由于积分时间窗口较大，在所测试的参数范围内，比例控制器的表现优于自适应控制器（见图7-a）。初始时间积分窗口选择500 ms是出于与我们所使用的机器人平台相关的技术原因。自适应控制器具有与比例控制器相似的相位特性（见图7-b）。
   
   
   
   图6：自适应控制器增益比例控制器采用静态增益 Kp，而自适应控制器在闭环控制期间持续估计增益。动态增益 Kp 与时间区间 t-500ms ≤ τ ≤ t 内的最大峰电位频率 Fmax 成反比。图中显示了 Fmax 随时间估计的三个实例。根据对 Fmax 的估计值，Kp 在时间窗口 2（绿色）期间最高，在时间窗口 3（橙色）期间最低。
   
   
   
   图7：比例控制器与自适应控制器比例控制器（Kp = 1）与自适应控制器的伯德幅频和相频图。（a）自适应控制器基于过去500 ms内的峰值尖峰频率估计值Fmax，每50 ms更新一次Kp值。比例控制器的增益曲线（蓝色）高于自适应控制器（红色），表明其在所有输入频率下的性能更优。（b）两个控制器的伯德相位曲线相似，在f = 0.3 Hz处存在显著差异。两个控制器在3 Hz时均接近不稳定状态。增益和相位值的显著差异以星号标出（Wilcoxon秩和检验，p = 0.05）。
   
   
8. 转台周围的光栅图案被移除，实验室环境被用作果蝇H1细胞的近似自然视觉输入。平均而言，自然视觉输入（蓝色）的伯德幅频图（见图8-a）显示出略高于光栅视觉输入（红色）的增益，这可能是因为自然视觉图像中更宽范围的空间频率得到了利用。光栅与自然视觉输入的伯德相频图特征相似（见图8-b）。
   
   
   
   图8：剥离图案与实验室环境对比. 当使用条纹图案（红色）与实验室环境（蓝色）视觉图像时，比例控制器在闭环条件下的伯德幅值图与相位图：（a）使用实验室环境图像时的伯德幅值图略高于使用条纹图案时（0.1 Hz 除外），表明在此类刺激下性能更优；（b）两种视觉条件下的伯德相位图呈现相似趋势，均在 3 Hz 接近不稳定状态。星号表示增益与相位值差异显著（Wilcoxon 秩和检验，p = 0.05）。
   
   

讨论

1. 进行果蝇解剖时需格外小心，确保果蝇相对于计算机显示器的方向正确。
2. 需将H1神经元的放电峰电位与其他所有神经元的峰电位区分开来，以获得良好的信噪比，从而可靠地控制机器人。
3. 实验过程中应采取措施，防止任何神经组织干燥。
4. 摄像头通过以太网线连接至计算机。实验过程中应注意避免线缆过度缠绕，否则会影响机器人的旋转。
5. 目前我们仅利用一个H1神经元的放电活动来建立偏航旋转单一方向的稳定化任务。可通过增加第二个电极，同时获取左右两侧H1神经元的信号，从而研究偏航旋转两个方向的稳定控制算法。
6. 可移除包含垂直取向黑白条纹的实验区域，改用实验室环境作为果蝇的视觉刺激。这将使我们能够研究在自然图像条件下的闭环控制性能。
7. 可将机器人从转台上取下，使其在实验室环境中自由移动并保持闭环控制。这将有助于我们探究与避障相关的控制算法。
8. 通过引入无线传输系统，可移除连接摄像头与计算机的线缆，从而实现完全无束缚的机器人系统。
9. 不同控制算法的性能指标将帮助我们理解各种策略应对非平稳和可变神经信号的能力。这些知识可进一步应用于不同的临床与非临床脑机接口系统。
10. 该实验装置是记录行为动物神经信号的第一步。我们的目标是将果蝇置于机器人上，并利用其神经活动实现闭环控制。在此类装置中，我们能够在果蝇因机器人运动而接收多感官刺激的同时，记录其神经活动。
11. 仅记录单个细胞的信号。在我们所展示的配置中，最合适的细胞是H1细胞。将H1神经元的反应与具有相似感受野的其他神经元（例如H2）分离开来，对于维持神经记录的良好信噪比至关重要。可通过观察发现，H2神经元的自发放电率和平均放电率显著低于H1神经元，据此可区分两者的反应。此外，也可基于其形态学特征对这些神经元进行区分（Krapp et al. 2001）。
12. 我们的系统允许我们比较果蝇-机器人接口在图像稳定任务中实现的闭环增益，并将其性能与先前果蝇实验中观察到的闭环视动增益进行对比（Bender & Dickinson 2006, Warzecha et al. 1996, Heisenberg & Wolf, 1990）。此外，该系统还使我们能够在闭环条件下研究视觉信息处理的状态依赖性变化（Chiappe et al. 2010, Maimon et al. 2010, Longden & Krapp 2009, Longden & Krapp 2010）。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
RosetteSep® 人T细胞富集混合液	干细胞技术	15061
RosetteSep® 密度介质	干细胞技术	15705
含谷氨酰胺/HEPES的RPMI 1640培养基	Fisher Scientific	SH3025501
胎牛血清	Omega Scientific	FB-01
GlutaMAX™-I	Invitrogen	35050
RPMI 1640 维生素溶液	Sigma-Aldrich	7256
RPMI 1640 氨基酸溶液	Sigma-Aldrich	R7131
丙酮酸钠	Sigma-Aldrich	S8636
β巯基–乙醇	Sigma-Aldrich	M7522
BAPTA	Sigma-Aldrich	A4926
聚-L-赖氨酸氢溴化物	Sigma-Aldrich	P2636
毒胡萝卜素	Calbiochem	586005
Sylgard® 184硅酮弹性体试剂盒	道康宁	3097358-1004
腹腔热灌注化疗® R6101 半导体保护涂层	道康宁
EPC 10 膜片钳放大器	HEKA Instruments
电动显微操作器	Sutter Instrument Co.	MP-285
奥林巴斯1X71倒置显微镜，配备40倍油镜物镜	奥林巴斯株式会社	1X71
膜片钳电极拉制仪	Sutter Instrument Co.	P-97
含细丝的硼硅酸盐玻璃管（外径：1.5 mm，内径：1.10 mm）	Sutter Instrument Co.	BF150-110-7.5
显微操作仪	Narishige International	MF-830
硅O形圈	McMaster-Carr	111 S70
显微镜盖玻片	Fisher Scientific	12-545-102 25 毫米 25CIR-1
Pulse 软件	HEKA Instruments
Origin 科学绘图与分析软件	OriginLab
<李>1) 高速CRT显示器（LG Studioworks 221U）<李>高速相机（Prosilica，GC640）<李>机器人平台（ASURO，经定制改装）<李>串行蓝牙调制解调器（Bluesmirf）<李>微步驱动器（Applied Motion Systems，ST5-SI）<李>步进电机（Sanyo Denki，103H6704-0140） 钨电极（fh-co.com - 货号 - UEW SHG SE 3P1M） <李>细胞外放大器（NPI EXT 10-2F）<李>电动显微操作器（Scientifica，PS-700-Z）<李>体视显微镜（Leica，MZ95）