本文提出了一个进行闭环实验的实验框架,其中研究了在与机器人身体的持续交互过程中的信息处理(即编码和解码)和神经元组装体的学习。
Method Article
本文提出了一个进行闭环实验的实验框架,其中研究了在与机器人身体的持续交互过程中的信息处理(即编码和解码)和神经元组装体的学习。
中枢神经系统 (CNS) 中的信息编码仍未探索。越来越多的证据表明,即使在非常低的层面上,给定刺激的表征也可能取决于背景和历史。如果情况确实如此,那么大脑(或者如果需要它的简化模型)和感觉运动系统之间的双向交互可以阐明信息的编码和解码是如何进行的。这里介绍并描述了一个实验系统,其中神经元元件(即,从胚胎哺乳动物海马体中提取的神经元网络)的活动被赋予背景并用于控制人工代理的运动,而环境信息作为电刺激序列反馈给培养物。这种架构允许快速选择不同的编码、解码和学习算法,以测试关于神经元网络计算特性的不同假设。
脑功能的许多功能目前无法复制的人工系统。大脑的快速处理复杂的感官信息,并生成,在反应能力,精确的电机命令是本身就已经超越了目前的先进设备,最先进的。但它从过去的经验中学习,以适应不同条件的能力使得它如此大大优于人类开发的控制系统。到目前为止,试图复制或利用这种可塑性遇到收效甚微,与大脑的内部运作的理解已经躲避科学家的把握。其中一个主要的问题,同时调查大脑和行为之间的关系是不能正确地访问系统中所有的变量:理想地,最佳的实验装置将允许同时记录和刺激到大量的神经元的,长期稳定的,监测突触位置和重量,可控双向的directio与环境的相互作用纳尔。在同时跟踪所有这些变量的困难导致的脑行为的关系的研究中,在两个完全不同的尺度:无论是与行为的动物,没有很好地控制的实验条件下1-7或具有小的,孤立的部分,如部分神经元组织,与系统8的无整体图。在后一种情况下,虽然没有设计出的实验装置允许完全监测所有涉及即使是简单的神经网络的运作参数的,良好的折衷是由生长在微电极阵列(MEAs)的9离解的神经元提供的。这些设备,出生于70年代10的端,具有比传统的电生理学技术几个优点:第一,记录的可能性,并刺激一次(通常为60电极)一神经网络中的许多不同位置。此外,的MEA与细胞的结合几乎是无创,允许观察在同一网络长时间的时间,最多的数月11。电刺激对解离的培养物的生理作用已被广泛研究由于这些设备,揭示了许多性能在较高尺度观察(如,例如,塑性和简单的记忆处理12-14)是保守的,尽管结构的损失。在培养中生长,这些网络开始显示在体外 (DIV)7天左右15,16自发活动。网络活动往往具有进一步增长从根本上改变;首先作为单一尖峰聚集成脉冲串(朝第二周结束)17,后来由于它改变成具有高度复杂的同步,非周期的网络模式脉冲串18,这代表一个网络的成熟状态。有人建议19,该同步行为,有点类似,在体内观察到的记录上睡觉动物英格斯,由缺乏感觉输入造成的。
一种不同的方法试图更好地理解信息编码已采取通过进行闭环实验,其中不同类型的信号被用来控制所述神经网络本身11,20-23的刺激。在这些实验中,能够与环境的相互作用的外部代理已被用于产生供给至神经网络,其中,反过来,产生电机的命令的执行机构的感觉信息。这允许如何神经系统的动态和自适应特性响应于感应环境的变化演变意见。
一个设置执行“体现神经生理学”实验,开发,其中一个轮子的传感器平台(物理机器人或它的虚拟模型)在舞台上移动约而其速度分布是由神经元的活性确定系统( 即鼠神经元的人口超过一MEA培养)。机器人的特征在于,它的两个独立控制的车轮的速度分布和通过的距离传感器的当前读数。的距离传感器的确切性质是不相关的;它们可以是有源或无源光学传感器或超声波传感器。显然,这一问题并不适用于虚拟机器人,其中传感器可以被设计为具有任何所需的功能的情况下。
在本文描述的实验中,所使用的机械手总是虚拟实现,用6距离传感器指向30°,从机器人朝着两个方向60°和90°。三个左和右传感器的活性的平均值和生物培养物的活性是通过这样的“超级传感器”(这将只是被称为“左”,并在剩下的“正确”的传感器所收集的信息驱动这项工作)。在原描述栏实际上可以应用于具有相当小的调整的物理机械手。由机器人(物理或虚拟)收集的信息被编码在一系列被用来操纵所述生物神经网络,这在物理上由机器人分开的活性的刺激。刺激本身都是相同的,因此不进行编码的任何信息。什么是相关的是其频率:刺激速率增加时,机器人接近的障碍物时,与不同的递送位点的编码,从机器人的左和右的“眼睛”的感觉信息。神经网络将呈现不同的响应于输入刺激的列车:解码算法的任务是向所得的网络活动转化为用于控制机器人的轮子的命令。给定一个“完美”的网络行为( 例如 ,具有可靠,完全分开的反应从不同的电极刺激),这将resul吨机器人驾驶的舞台上没有击中任何障碍。大多数网络目前行为的理想有很大不同,因此一个简单的学习方案介绍:在激活时,强直刺激(高频刺激短暂时间,20赫兹刺激2秒,设计灵感来自于24,25描述协议)继与障碍物碰撞被传递。如果强直性刺激导致局部加强的网络连通性,这将导致在所述机器人的导航功能的逐步增加。
HyBrainWare2,发表于26的定制软件的改进版本,是开发来处理系统(刺激器,数据采集,处理和可视化,机器人通信或模拟)的不同设备的控制的核心架构。该软件已经开发我们的实验室,并免费索取。该软件提供与接口数据采集板:一旦用户开始数据采集从GUI,该软件控制所述采集板以开始采样和数据从记录电极来的A / D转换。该数据然后可被记录,显示到屏幕或实时分析,以检测峰值,根据由用户设置的选项(详见程序部分)。此外,软件内,编码(翻译的感觉信息转换成电刺激)和解码(译记录活动的进电机的命令对机器人)的定义的算法必须被指定。特别是,我们的设置是比较方便相比设计在过去的27中,由于几乎所有的变量都可以由用户访问的类似系统在开始实际实验之前右,而所有的记录的信息被自动保存在与兼容的格式神经数据分析工具箱28。
以下步骤部分描述了一个学习实验上分离的大鼠海马培养:所有的培养和实验参数提供了用于这种特定制剂,并可能需要进行修改,如果需要不同的生物基片是要使用的。类似地,所描述的实验中利用闭环架构的调查强直性刺激的学习效果,但结构本身是足够灵活的解离的神经网络的不同特性的研究中使用。所提出的实验主要变种在讨论部分的进一步解释。
1.准备神经文化通过MEA
2.选择录音参数的采集MEA
3.选择MEA电极的刺激神经元文化和响应地图计算
4.接口的神经元文化与机器人:选择编码和解码方案
导航竞技场的机器人5.设计
6.选择MEA电极记录神经元电活动的文化
7.执行神经机器人实验
8.第二反应地图计算
的开发实验框架允许的信息的神经元的培养和虚拟实现的物理机器人之间的交换是否是可能的测试34。 图1示出了在20分钟的实验在不同的条件下由虚拟机器人行进获得路径的几个样品:从左至右适当闭环试验,一个“空的MEA'机器人实验(无细胞铺在MEA此控制实验)和一个开环机器人实验(刺激速率是代替编码传感器信息常数)表示。代表轨迹确认神经元和人造元件之间的双向相互作用是必要的,以便获得所述机器人的良好的导航性能。然而,机器人经历对障碍物几命中。
在图2中 ,机器人的导航性能,电子xpressed作为后续的命中之间行进的像素中,示出在不同的条件。前两列显示在上述('空MEA'和开环配置)中提到的对照实验行驶距离的分布,而第三和第四列显示性能不具有和具有分别强直性刺激的以下各输送撞到障碍物。的强直性刺激(参见步骤,点7.2)的引入显著提高两个连续命中之间的行驶距离,因此提高了机械手35的导航性能。
在图3中 ,用不同的解码条件的机器人的导航性能呈现。为此,不同的舞台结构已经通过。这有助于量化竞技场36内的机器人的成功导航:如在过程的步骤4.1所描述的,机器人提出了一系列的短轨道。成功率是简单地通过给出的轨道数成功越过的轨道数的比率。特别是,在实验过程中,进行突发分离和尖峰的一个实时识别。解码范式从一个不同,因为突发和孤立的尖峰的相对权重的另一个(参见程序,指向3.5-3.6和讨论)。

图1:一个神经网络和机器人具有的信息的双向交换该图显示由机器人在20分钟的实验行进3代表路径。特别是浅绿色的区域都是免费的机器人移动,而深绿色像素代表了不可逾越的障碍,该机器人可以通过距离传感器感知。在每次试验中,机器人开始我n个主场的左上部分,并前往其最终位置,描绘成一个大的粉红色圆点。较小的黑点代表碰上障碍物,而彩色编码路径提供机器人运动的时间演变的指示。右边的颜色条表示经过的时间,从该实验在几分钟的开头。(A)的路径,随后闭环实验期间。(B)的路径,随后一个“空”的MEA实验期间(无细胞是在MEA中培养表面)。(C)的路径,随后开环试验过程中(刺激率在整个实验常数)。 请点击此处查看图的放大版本。

图2:性能结果受封闭-loop和强直性刺激。该图报告涵盖在不同的条件下随后的命中之间的机器人的距离的分布。特别是,在第一两个分布代表对照实验('空'为录音没有神经元镀在MEA中,“开环”(OL)为实验用'盲'机器人)。最后两列所代表的'闭环'条件无(CL)和带(CL + TS)通过强直性刺激(TS)的实施的学习协议,被输送到下面的针对障碍物的命中的培养。在每个框中,中央水平段代表该分布中,空的平方的平均值,该中心杆延伸到第一和第三个四分位数和晶须延伸到第 5和第 95百分位数的中值。离群表示为钻石。采用方差的Kruskall-Wallis单因素分析统计已经完成秩:学生 - 纽曼两比较两两比较发现,所有的中位值与P <0.05显著不同。

图3:解码影响机器人性能上面的图表示的概率,对于给定的解码算法中,机器人成功通过短轨道在一个有限的时间导航。实验本身期间实时地执行脉冲串和孤立的尖峰的鉴定。在第一种情况下('尖峰')的所有检测到的尖峰呈现相同的相对权重,对于第二和第三分布为0的重量为,分别设置的,孤立的尖峰和尖峰属于一个突发。最后两列表示在所有的尖峰会占的情况下获得的结果,但使用不同的相对权重,根据它们的位置。特别是在第四列中分离尖峰被给予比突发事件更高的相对权重,而加权倒相对于第五列数据的解码。在每个曲线图中,中央线表示的分布,空平方的平均值的中值,而中央杆延伸到第一和第三个四分位数和晶须延伸到第 5和第 95百分位数。利用方差的Kruskall-Wallis单因素分析上行列统计已经完成。的成对比较(学生 - 纽曼-Keuls法,)显示,显著差异(p <0.05),可以将列1和4,2和4,2和5,2和3之间进行观察。
在本文中一个神经机器人构造基于神经控制器( 即 ,神经元从皮质或胚胎大鼠的海马未来的网络),双向连接到一个虚拟机器人装置,提出。机器人,它有传感器和车轮,被迫在一个静态的舞台上与移动障碍,其任务包括避免碰撞。
所描述的过程的第一个和可能最关键的方面是在培养物的制备本身,故障率将趋于即使在最好的技术条件是显著。培养技术的详细描述,然而,在本工作范围之外。作为一般准则,当网络燃烧率达到一个稳定的水平,通常为3周后在体外 ,录音应发生。健康文化的一个粗略指标是自发的电生理活动的若干记录陈荫罴存在ELS(至少20个频道60多个可用)。此类培养物的特征在于神经元间的连接高度。在这种情况下,神经活动通常变得强烈同步,有时,它会显示痫性活动,具有强烈的扣球其次分钟长的静默期37。这两项功能提出一个问题:过度同步将使得不可能区分响应来自不同电极的刺激,而培养物表现出癫痫样活动将要呈现的活动的长的突发的第一个刺激,随后是无声期间响应,而不管任何后续的刺激交付。这两个问题可以通过图案化的培养物35,其中,所述神经元群被分成两个或更多个相互连接的弱子组的就业大力改善。
另一个问题是,神经反应强烈地依赖于传入stimul分布我38,39。在一个封闭的循环试验,在递送刺激是所述传感器的读数,这反过来,是机器人运动的结果,因此,神经反应本身的功能。这意味着,有建立预先什么响应将实际的实验过程中观察到的没有简单的方法。因此,输入输出电极的选择必须依靠逐次逼近。在所描述的协议中,一个两步骤的过程(即,步骤5.5和6.4)被实现来尝试确定的连接图。在第一步骤中,刺激的一个常规程序被输送和响应这种刺激被用于导出一个第一连接地图和一个临时设定的记录信道。这种构造,然后用于执行在步骤6.4中所述的测试驱动器,并选择将实际实验期间监视的记录信道。
在结果部分,具有代表性的导航RESULT,并通过引入学习范式所带来的直接的改进提出。整个协议的描述,其他几个可能的实验变种被提及。例如,在实施HyBrainWare2两大编码系统(线性和随机的),其中开发研究的颞输入变异对神经代码38的确切作用。在直线的情况下,瞬时的刺激率是用户定义的参数和机器人的传感器记录的功能。在随机的情况下,每次实例有一个给定的概率被选择以提供一个刺激。这样概率由HyBrainWare2自动计算,使得预期的刺激速率匹配前一种情况的。的可能性增加的抖动到线性编码提供上述两种情况之间的平滑过渡。以同样的方式,探索不同的参数组合在解码部分可能有助于阐明的PRECI光绽放在体外神经网络本身的作用。机器人的各车轮的速度成比例的事件在相应的输出区域在每次检测到增加的权重参数,而消光系数指示了多少时间,以秒的贡献之一发生失去其值的50% 。衰减是一个简单的指数。这些变体已经被考虑到HyBrainWare2的当前的设计,但是有更多的研究的可能性是开放如果在软件或实验设置额外的修饰可以被引入。
这里所描述的协议的一个,而显著的限制是开发的定制软件,HyBrainWare2(自由可应要求提供给所有感兴趣的用户)的要求。该软件已被设计为一组特定的型号和制造商的设备(刺激,采集板,MEA放大器)的。虽然它确实有可能去适应它的工作在迪fferent设置,转换需要一定的编程技巧。同样,包括选择只覆盖了一组所有可能通过这样的设置进行调查实验的问题有限。例如,在所提出的架构实现的尖峰检测算法(精确的时间尖峰检测40)在需要改变,如果登记的受试者是从解离的神经网络( 例如 ,心肌细胞非常不同的几个硬编码参数是完全限定或片)。最后,该学习协议包括短,频率高的交付(2秒的20赫兹的刺激,每个刺激脉冲的相同的那些用于编码感觉信息)的刺激下各障碍物命中。如果机器人击中其右侧的障碍物时,强直性刺激递送至通常为右侧信息码和同样适用于左侧命中的电极。这个协议是硬编码的,不能B用户无需修改退出软件所改变。
而这里提出的设置不是第一个具体化系统用于混合,闭环实验20,23,27,41,42,那些设计在过去都集中在从类似制剂的有限数目由数据的支持单个论文。另一方面,所描述的设置已被用于大量的实验(2012年超过100培养物已被记录)配制剂为不同的模块化和原点,而实验本身寻址不同的问题( 如强直性刺激的影响,并爆破的相关性,如在目前的成果)。在不久的将来,新实验会议预见到验证既强直和闭环刺激的持续效果及刺激规律性之间的关系,并观察响应。另一个问题要解决是自发的,观察到的活动之间的联系,与加入新的解码算法,考虑到过去的活性和刺激43的历史的想法。
提交人声明他们没有竞争的经济利益。
作者要感谢博士学生玛塔BISIO培养和维持神经网络,在微电极阵列和滨海南尼博士和Claudia Chiabrera博士NBT-IIT为解剖和分离过程的技术援助。这项研究导致这些结果已收到的资金来自欧盟第七框架计划(ICT-FET FP7 / 2007-2013年FET年轻探险家计划)下的赠款协议N°284772 BRAIN BOW( www.brainbowproject.eu )。笔者还想在生产中引入所使用的图形感谢西尔维娅Chiappalone对她的帮助。
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| 刺激发生器 4002 | 多通道系统 | ||
| MEA1060-Inv-BC | 多通道系统 | ||
| TC02 | 多通道系统 | ||
| NI 6255 采集卡 | National Instruments | ||
| Microsoft Visual Studio 2008 | Microsoft | ||
| 2078P 多通道系统-国家仪器转接板 | 开发于热那亚大学(意大利) | ||
| Matlab 2010 | Mathworks | ||
| HyBrainWare2 | HyBrainWare2: 联系信息 |
Request permission to reuse the text or figures of this JoVE article
Request Permission