本文提出了一种用于开展闭环实验的实验框架,其中信息处理(即在与机器人身体持续交互的过程中,研究神经元集合的编码与解码及其学习机制。
本文提出了一种用于开展闭环实验的实验框架,其中信息处理(即在与机器人身体持续交互的过程中,研究神经元集合的编码与解码及其学习机制。
中枢神经系统(CNS)中的信息编码机制仍待探索。越来越多的证据表明,即使在非常低级的水平上,特定刺激的表征也可能依赖于上下文和历史因素。如果情况确实如此,那么大脑(或必要时其简化模型)与感觉-运动系统之间的双向相互作用,将有助于揭示信息的编码与解码是如何实现的。本文介绍并描述了一种实验系统,在该系统中,神经元元件的活动(即,从胚胎哺乳动物海马体中提取的神经元网络)被赋予特定环境背景,并用于控制一个人工代理的运动,同时将环境信息作为一系列电刺激反馈给神经元培养物。该架构可快速筛选多种编码、解码和学习算法,以检验关于神经元网络计算特性的不同假设。
目前,大脑功能的许多特征尚无法在人工系统中复制。大脑能够快速处理复杂的感官信息,并据此产生精确的运动指令,这一能力本身已超越了当前最先进的技术水平。而大脑通过从过往经验中学习,进而适应不同环境的能力,更使其远胜于人类设计的各类控制系统。迄今为止,人们在复制或利用这种可塑性方面收效甚微,对大脑内部运作机制的理解也依然未能被科研人员完全掌握。在研究大脑与行为关系的过程中,一个主要难题在于无法全面获取系统中的所有变量:理想的实验装置应能实现对大量神经元的同步记录与刺激,具备长期稳定性,可监测突触的位置与权重变化,并能实现与环境之间可控的双向交互。由于难以同时追踪上述所有变量,目前对大脑与行为关系的研究往往局限于两个截然不同的尺度:一是在行为动物上开展研究,但对实验条件缺乏精细控制; 1-7 或使用小块且孤立的部分,例如神经组织片段,缺乏对系统的整体观察 8在后一种情况下,尽管目前尚无任何设计的实验装置能够完全监测简单神经网络运作中涉及的全部参数,但通过在微电极阵列(MEAs)上培养的离体神经元,可在监测能力与实验可行性之间实现良好平衡。 9。这些设备诞生于20世纪70年代末 10与传统的电生理学技术相比,多电极阵列(MEAs)具有多项优势:首先,能够在多个不同位置同时记录和刺激神经网络(通常为60个电极)。此外,MEA与细胞的耦合几乎为非侵入性,可实现对同一神经网络长时间的持续观察,最长可达数月之久 11通过这些设备,已对电刺激在分离培养物上的生理效应进行了广泛研究,揭示了在更高尺度上观察到的许多特性(例如,可塑性和简单的记忆过程) 12-14) 在结构丧失后仍得以保留。在培养生长过程中,这些网络大约在第7天开始表现出自发性活动。 体外 (体外培养天数) 15,16网络活动随着进一步生长会发生显著变化;最初单个峰电位逐渐聚集形成簇状放电(约在第二周后期) 17,随后转变为一种高度复杂的同步非周期性网络簇发放电模式 18,代表了网络的成熟状态。已有研究建议 19 这种同步行为与观察到的某些现象有一定程度的相似性 体内 在睡眠动物中记录到的信号是由感觉输入缺失引起的。
另一种方法通过开展闭环实验,试图更深入地理解信息编码机制,在这些实验中,采用不同类型的信号来控制神经网络本身的刺激过程11,20-23。在这些实验中,利用一个能够与环境相互作用的外部代理生成感觉信息,并将其输入神经网络,神经网络则相应地产生运动指令以驱动效应器机制。这使得研究人员能够观察神经系统的动态特性和适应性特征如何随着环境中诱发的变化而演化。
开发了一种用于开展“具身神经生理学”实验的装置,该装置由一个带轮子的传感器平台(物理机器人或其虚拟模型)在实验区域内移动,其速度特征由神经系统的活动决定即,即在MEA上培养的大鼠神经元群体)。机器人的特征由其两个独立控制的轮子的速度曲线以及距离传感器的电流读数决定。距离传感器的具体类型并不重要,可以是主动或被动的光学传感器,也可以是超声波传感器。显然,在虚拟机器人的情况下,这一限制不适用,因为虚拟传感器可被设计为具有任意期望的特性。
在本文所述实验中,所使用的机器人始终为虚拟实现,配备6个距离传感器,分别朝向机器人行进方向左右两侧的30°、60°和90°位置。三个左侧和三个右侧传感器的活动分别取平均值,生物神经网络的活动由这些“超级传感器”所采集的信息驱动(在本研究后续部分中,将简称为“左”和“右”传感器)。所描述的协议实际上也可应用于物理机器人,仅需进行少量调整。机器人(无论是物理还是虚拟)所采集的信息被编码为一系列刺激信号,用于调控与机器人物理分离的生物神经网络的活动。这些刺激信号本身完全相同,因此并不直接编码任何信息。关键在于其频率:当机器人接近障碍物时,刺激频率升高,而不同的刺激施加位点则对应编码机器人左、右“眼”所感知的感觉信息。神经网络对传入的刺激序列会产生不同的响应,解码算法的任务是将神经网络的活动转化为控制机器人轮子运动的指令。假设神经网络行为为“理想”状态(即,且对来自不同电极的刺激具有可靠且完全分离的响应),机器人将在其活动区域内行进而不会撞击任何障碍物。大多数神经网络的行为与理想状态相去甚远,因此引入了一种简单的学习协议:激活时施加强直刺激(短暂的高频刺激,20 Hz 刺激持续 2 秒,借鉴自文献中描述的协议) 24,25在与障碍物发生碰撞后,将施加一次强直刺激。如果该强直刺激导致网络连接性的局部增强,则将逐步提升机器人的导航能力。
HyBrainWare2 是先前发表的定制软件26的改进版本,是用于控制系统中各类设备(刺激器、数据采集、处理与可视化、机器人通信或仿真)的核心架构。该软件由本实验室开发,可根据请求免费获取。该软件提供了与数据采集板的接口:当用户通过图形用户界面(GUI)启动数据采集后,软件将控制采集板开始对记录电极传来的信号进行采样和模数转换。随后,可根据用户设定的选项(详见实验步骤部分)对数据进行记录、实时显示或实时分析以检测神经脉冲信号。此外,用户需在软件中定义编码(将感觉信息转换为电刺激)和解码(将记录到的神经活动转换为机器人的运动指令)算法。特别地,与以往设计的类似系统相比27,本系统的软件具有较高的用户友好性,因为在实际实验开始前,几乎所有参数均可由用户直接设置,且所有记录的数据会自动保存为与神经数据分析工具箱兼容的格式28。
以下“实验步骤”部分描述了一项在分离的大鼠海马神经元培养物上进行的学习实验:针对该特定制备方法,提供了全部的培养与实验参数;若使用不同的生物基质,这些参数可能需要相应调整。类似地,本实验利用闭环架构来研究强直刺激的学习效应,但该架构本身具有足够的灵活性,也可用于研究分离神经网络的其他特性。本方案的主要变体在“讨论”部分将进一步说明。
1. 在微电极阵列上制备神经元培养
2. MEA 信号采集记录参数的选择
3. 用于刺激神经元培养物及计算反应图谱的MEA电极选择
4. 神经元培养物与机器人的接口:编码与解码方案的选择
5. 机器人的导航区域设计
6. 从培养物中记录神经元活动的MEA电极选择
7. 进行神经机器人实验
8. 第二次响应图谱计算
所开发的实验框架可用于检验神经元培养物与虚拟物理机器人之间能否实现信息交换34。图1展示了虚拟机器人在不同条件下进行20分钟实验所获得的运动轨迹的若干样本:从左至右分别为正常的闭环实验、"空MEA"机器人实验(该对照实验中未在MEA上接种细胞)以及开环机器人实验(刺激频率保持恒定,而非编码传感器信息)。代表性轨迹表明,只有在神经元系统与人工系统之间实现双向交互时,机器人才能表现出良好的导航性能。然而,机器人在运行过程中仍多次撞击障碍物。
在图2中,展示了机器人在不同条件下的导航性能,以连续两次碰撞之间移动的像素数表示。前两列显示了上述对照实验(“空MEA”和开环配置)中移动距离的分布情况,而第三列和第四列则分别显示了在每次碰撞障碍物后未给予和给予强直刺激时的导航性能。引入强直刺激(参见实验步骤,第7.2步)显著增加了连续两次碰撞之间移动的距离,从而显著提升了机器人的导航性能35。
在图3中展示了机器人在不同解码条件下导航性能的表现。为此,采用了不同的实验场地配置。这有助于量化机器人在场地内成功导航的表现36:如实验步骤4.1所述,机器人被给予一系列短轨迹任务。成功率即为成功通过的轨迹数量与总给予轨迹数量的比值。特别地,在实验过程中,对簇状放电和孤立峰电位进行了实时识别。不同的解码范式之间的差异在于簇状放电与孤立峰电位的相对权重(参见实验步骤3.5–3.6及讨论部分)。

图1:神经元网络与机器人之间进行双向信息交换。 本图展示了机器人在20分钟实验过程中行进的三条代表性路径。其中,浅绿色区域为机器人可自由移动的区域,而深绿色像素代表机器人可通过其距离传感器感知到的不可通过障碍物。在每次试验中,机器人从场地的左上区域出发,行进至最终位置,该位置以一个较大的粉红色圆点表示。较小的黑色圆点代表与障碍物发生碰撞的位置,而用颜色编码的路径则反映了机器人运动随时间的演变情况。右侧的颜色条表示自实验开始以来经过的时间(单位:分钟)。(A) 闭环实验期间机器人所遵循的路径。(B) “空白”MEA实验期间的路径(MEA表面未培养细胞)。(C) 开环实验期间的路径(刺激频率在整个实验过程中保持恒定)。请点击此处查看该图的高清版本。

图2:闭环刺激和强直刺激影响性能结果。 该图展示了机器人在不同条件下连续碰撞之间行进距离的分布情况。其中,前两个分布代表对照实验(“Empty”表示MEA上未接种神经元的记录,“开环”(OL)表示使用“盲”机器人的实验)。后两列代表闭环条件,分别为未实施(CL)和实施了通过强直刺激(TS)实现的学习协议(CL + TS),强直刺激在机器人碰撞障碍物后传递至神经元网络。每个箱线图中,中央水平线段表示分布的中位数,空心方块表示均值,中间条带延伸至第一和第三四分位数,触须线延伸至第5百分位数th 和 95th 百分位数。离群值以菱形表示。统计分析采用基于秩的Kruskall-Wallis单因素方差分析:Student-Newman-Keuls法多重比较显示,所有中位数之间差异均具有统计学意义(p < 0.05)。 < 0.05.

图3:解码影响机器人性能。 上图表示在限定时间内,机器人通过短距离轨道并成功导航的概率,该概率基于特定的解码算法。实验过程中实时进行簇发放(bursts)和孤立峰电位(isolated spikes)的识别。在第一种情况(“峰电位”)中,所有检测到的峰电位具有相同的相对权重;在第二和第三种分布中,孤立峰电位和属于簇发放的峰电位分别被赋予0权重。最后两列代表在计入所有峰电位但根据其位置赋予不同相对权重情况下的解码结果。具体而言,在第四列中,孤立峰电位的相对权重高于簇发放事件,而在第五列数据对应的解码中,权重关系则相反。在每个图中,中间线条表示分布的中位数,空心方块表示均值,中间条形延伸至第一和第三四分位数,触须线延伸至第5百分位数th 和 95th 百分位数。采用Kruskall-Wallis秩和检验进行单因素方差分析。组间两两比较(Student-Newman-Keuls法)显示存在显著差异(p <在第1列与第4列、第2列与第4列、第2列与第5列、第2列与第3列之间可以观察到显著性差异(p < 0.05)。
本文介绍了一种基于神经控制器的神经机器人架构(即,一个由胚胎大鼠皮层或海马来源的神经元网络)与一个虚拟机器人进行双向连接。该机器人配备传感器和轮子,被限制在带有障碍物的静态环境中运动,其任务是避免发生碰撞。
所述实验流程中第一个且可能是最关键的环节是培养物本身的制备,因为在即使技术条件最佳的情况下,失败率仍然可能很高。然而,详细的培养技术描述不在本研究的范围之内。作为一般性指导原则,记录应在神经网络放电率达到稳定水平时进行,通常是在体外培养3周后 in vitro。培养物状态良好的一个粗略指标是在多个记录通道中观察到自发的电生理活动(在60个可用通道中至少有20个通道具有活动)。这类培养物的特点是神经元之间具有高度的相互连接性。在此条件下,神经活动通常会变得高度同步,有时会出现癫痫样事件,表现为强烈的簇状放电,随后是持续数分钟的静默期37。这两种特征都会带来问题:过度同步化将导致无法区分不同电极对刺激的响应;而表现出癫痫样活动的培养物在接收到首个刺激后会产生长时间的放电爆发,随后进入静默期,此后无论再施加何种刺激均无反应。通过使用模式化培养物35可显著缓解上述两个问题,此类培养物将神经元群体分割为两个或多个弱相互连接的亚群。
另一个问题是,神经反应强烈依赖于输入刺激的分布38,39。在闭环实验中,施加的刺激是传感器读数的函数,而传感器读数又取决于机器人的运动,因而也间接取决于神经反应本身。这意味着无法在实验开始前轻易确定实际实验过程中将观察到哪些反应。因此,输入-输出电极的选择必须依赖于逐步逼近的方法。在本方案中,采用了一个两步过程(即步骤5.5和6.4)来尝试确定连接图谱。第一步中,施加一系列规律的刺激,利用对这些刺激的反应建立初步的连接图谱和临时的记录通道集合。随后,利用该配置执行步骤6.4中所述的测试运行,以筛选出在实际实验中将被监测的记录通道。
在结果部分,展示了一项具有代表性的导航结果,并呈现了引入学习范式后立即产生的改进效果。在实验方案描述过程中,还提到了若干其他可能的实验变体。例如,HyBrainWare2 中实现的两种主要编码系统(线性与随机)旨在探究时间输入变异性对神经编码的精确作用。 38在线性情况下,瞬时刺激频率是用户定义参数和机器人传感器记录的函数。在随机情况下,每个时间点被选中以传递刺激的概率是给定的。该概率由HyBrainWare2自动计算,以使期望的刺激频率与前一种情况相匹配。在线性编码中引入抖动的可能性,可在上述两种情况之间实现平滑过渡。同样,在解码部分探索不同参数组合,可能有助于阐明簇状放电在其中的精确作用。 体外 神经网络。每当在相应的输出区域检测到事件时,机器人每个轮子的速度会根据权重参数成比例地增加,而消光系数则表示其中一个贡献值衰减至其初始值50%所需的时间(单位为秒)。该衰减过程遵循简单的指数衰减规律。这些变体已被纳入当前HyBrainWare2的设计中,但如果能够在软件或实验设置中引入更多修改,则仍存在大量进一步研究的可能性。
本文所述方案的一个相当显著的局限性在于需要使用专门开发的定制软件 HyBrainWare2(可应所有感兴趣用户的要求免费获取)。该软件是为特定型号和制造商的一组设备(刺激器、采集板、MEA 放大器)设计的。尽管确实可以将其适配到不同的实验装置上,但这种转换需要一定的编程技能。同样,软件中包含的选项仅覆盖了可通过此类装置研究的全部实验问题中有限的一部分。例如,当前架构中实现的峰电位检测算法(精确时间峰电位检测40)完全由若干硬编码参数定义,如果记录对象与离体神经网络差异较大(例如,心肌细胞或脑片),则需要修改这些参数。最后,学习协议规定每次机器人碰撞障碍物后,需给予一次短暂的高频刺激(2 秒 20 Hz 刺激,每个刺激脉冲与用于编码感觉信息的脉冲相同)。如果机器人右侧发生碰撞,则强直刺激将施加于通常编码右侧信息的电极;左侧碰撞时同理。该协议为硬编码实现,用户若不修改现有软件则无法更改。
尽管本文所展示的装置并非首个用于混合式闭环实验的具身系统 20,23,27,41,42,过去设计的实验主要围绕单一论点展开,其数据来源于数量有限的类似样本。而另一方面,所描述的装置自2012年以来已用于大量实验(已记录超过100个培养样本),所使用的样本在模块性和来源上各不相同,且实验本身涉及不同的科学问题例如 强直刺激的影响及簇状放电的相关性(如结果所示)。在不久的将来,计划开展新的实验,以验证强直刺激和闭环刺激的持久效应,以及刺激规律性与所观察到的反应之间的关系。另一个需要解决的问题是自发活动与观测活动之间的关联,拟通过引入一种新的解码算法来实现,该算法将考虑既往活动历史和刺激历史。 43.
作者声明不存在任何竞争性经济利益。
作者感谢博士生 Marta Bisio 在微电极阵列上培养和维持神经元网络方面所做的工作,同时感谢 NBT-IIT 的 Marina Nanni 博士和 Claudia Chiabrera 博士在解剖和解离操作中提供的技术协助。本研究工作获得了欧盟第七框架计划(信息与通信技术—未来新兴技术 FP7/2007-2013,FET 青年探索者计划)的资助,资助协议编号为 n° 284772 BRAIN BOW(www.brainbowproject.eu)。作者还感谢 Silvia Chiappalone 在制作引言部分所用图示时提供的帮助。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 刺激发生器 4002 | Multi Channel Systems | ||
| MEA1060-Inv-BC | Multi Channel Systems | ||
| TC02 | Multi Channel Systems | ||
| NI 6255 数据采集卡 | National Instruments | ||
| Microsoft Visual Studio 2008 | Microsoft | ||
| 2078P 多通道系统 - National Instruments 适配板 | 意大利热那亚大学研制 | ||
| Matlab 2010 | Mathworks | ||
| HyBrainWare2 | HyBrainWare2:联系方式 |