闭环神经机器人实验来检验神经网络的计算性能

Introduction

脑功能的许多功能目前无法复制的人工系统。大脑的快速处理复杂的感官信息，并生成，在反应能力，精确的电机命令是​​本身就已经超越了目前的先进设备，最先进的。但它从过去的经验中学习，以适应不同条件的能力使得它如此大大优于人类开发的控制系统。到目前为止，试图复制或利用这种可塑性遇到收效甚微，与大脑的内部运作的理解已经躲避科学家的把握。其中一个主要的问题，同时调查大脑和行为之间的关系是不能正确地访问系统中所有的变量：理想地，最佳的实验装置将允许同时记录和刺激到大量的神经元的，长期稳定的，监测突触位置和重量，可控双向的directio与环境的相互作用纳尔。在同时跟踪所有这些变量的困难导致的脑行为的关系的研究中，在两个完全不同的尺度：无论是与行为的动物，没有很好地控制的实验条件下^1-7或具有小的，孤立的部分，如部分神经元组织，与系统⁸的无整体图。在后一种情况下，虽然没有设计出的实验装置允许完全监测所有涉及即使是简单的神经网络的运作参数的，良好的折衷是由生长在微电极阵列（MEAs）的⁹离解的神经元提供的。这些设备，出生于70年代¹⁰的端，具有比传统的电生理学技术几个优点：第一，记录的可能性，并刺激一次（通常为60电极）一神经网络中的许多不同位置。此外，的MEA与细胞的结合几乎是无创，允许观察在同一网络长时间的时间，最多的数月^11。电刺激对解离的培养物的生理作用已被广泛研究由于这些设备，揭示了许多性能在较高尺度观察（如，例如，塑性和简单的记忆处理^12-14）是保守的，尽管结构的损失。在培养中生长，这些网络开始显示在体外 （DIV）7天左右^15,16自发活动。网络活动往往具有进一步增长从根本上改变;首先作为单一尖峰聚集成脉冲串（朝第二周结束^）17，后来由于它改变成具有高度复杂的同步，非周期的网络模式脉冲串^18，这代表一个网络的成熟状态。有人建议^19，该同步行为，有点类似，在体内观察到的记录上睡觉动物英格斯，由缺乏感觉输入造成的。

一种不同的方法试图更好地理解信息编码已采取通过进行闭环实验，其中不同类型的信号被用来控制所述神经网络本身^11,20-23的刺激。在这些实验中，能够与环境的相互作用的外部代理已被用于产生供给至神经网络，其中，反过来，产生电机的命令的执行机构的感觉信息。这允许如何神经系统的动态和自适应特性响应于感应环境的变化演变意见。

一个设置执行“体现神经生理学”实验，开发，其中一个轮子的传感器平台（物理机器人或它的虚拟模型）在舞台上移动约而其速度分布是由神经元的活性确定系统（ 即鼠神经元的人口超过一MEA培养）。机器人的特征在于，它的两个独立控制的车轮的速度分布和通过的距离传感器的当前读数。的距离传感器的确切性质是不相关的;它们可以是有源或无源光学传感器或超声波传感器。显然，这一问题并不适用于虚拟机器人，其中传感器可以被设计为具有任何所需的功能的情况下。

在本文描述的实验中，所使用的机械手总是虚拟实现，用6距离传感器指向30°，从机器人朝着两个方向60°和90°。三个左和右传感器的活性的平均值和生物培养物的活性是通过这样的“超级传感器”（这将只是被称为“左”，并在剩下的“正确”的传感器所收集的信息驱动这项工作）。在原描述栏实际上可以应用于具有相当小的调整的物理机械手。由机器人（物理或虚拟）收集的信息被编码在一系列被用来操纵所述生物神经网络，这在物理上由机器人分开的活性的刺激。刺激本身都是相同的，因此不进行编码的任何信息。什么是相关的是其频率：刺激速率增加时，机器人接近的障碍物时，与不同的递送​​位点的编码，从机器人的左和右的“眼睛”的感觉信息。神经网络将呈现不同的响应于输入刺激的列车：解码算法的任务是向所得的网络活动转化为用于控制机器人的轮子的命令。给定一个“完美”的网络行为（ 例如 ，具有可靠，完全分开的反应从不同的电极刺激），这将resul吨机器人驾驶的舞台上没有击中任何障碍。大多数网络目前行为的理想有很大不同，因此一个简单的学习方案介绍：在激活时，强直刺激（高频刺激短暂时间，20赫兹刺激2秒，设计灵感来自于^24,25描述协议）继与障碍物碰撞被传递。如果强直性刺激导致局部加强的网络连通性，这将导致在所述机器人的导航功能的逐步增加。

HyBrainWare2，发表于²⁶的定制软件的改进版本，是开发来处理系统（刺激器，数据采集，处理和可视化，机器人通信或模拟）的不同设备的控制的核心架构。该软件已经开发我们的实验室，并免费索取。该软件提供与接口数据采集​​板：一旦用户开始数据采集从GUI，该软件控制所述采集板以开始采样和数据从记录电极来的A / D转换。该数据然后可被记录，显示到屏幕或实时分析，以检测峰值，根据由用户设置的选项（详见程序部分）。此外，软件内，编码（翻译的感觉信息转换成电刺激）和解码（译记录活动的进电机的命令对机器人）的定义的算法必须被指定。特别是，我们的设置是比较方便相比设计在过去的²⁷中，由于几乎所有的变量都可以由用户访问的类似系统在开始实际实验之前右，而所有的记录的信息被自动保存在与兼容的格式神经数据分析工具箱^28。

以下步骤部分描述了一个学习实验上分离的大鼠海马培养：所有的培养和实验参数提供了用于这种特定制剂，并可能需要进行修改，如果需要不同的生物基片是要使用的。类似地，所描述的实验中利用闭环架构的调查强直性刺激的学习效果，但结构本身是足够灵活的解离的神经网络的不同特性的研究中使用。所提出的实验主要变种在讨论部分的进一步解释。

Protocol

1.准备神经文化通过MEA

1. 板块神经细胞的MEA芯片，所描述的^29。类似的过程的说明，还提供⁹和讨论部分。
2. 转在MEA加热系统上5-10分钟开始记录到经历了由细胞产生的热应力最小化之前：温度控制器的设定温度的目标至37℃，并接通加热板在MEA本身（在大多数商业提供下面MEA系统）和，如果有的话，以显著减少蒸发加热的盖。
3. 与湿热（30分钟，130℃）的高压釜中每次使用前消毒气体透过帽。为了避免蒸发，防止改变渗透压，保持盖上瓶盖文化在录制过程中。
4. 在实际开始记录将在放大器30分钟的神经元的文化。
   注：简单地从INC移动文化ubator的放大器将显著破坏自发活动约半小时。在此期间，培养基的温度将趋于稳定。
5. 如果一个carbair电路可用，启动循环carbair的（混合物的5％ _的 CO ₂和95％O ₂ + N _2），用于实验长于几个小时：培养将需要它，以保持氧和pH水平稳定。

2.选择录音参数的采集MEA

1. 选择软件滤波器带宽检测峰值（ 即多单位活动- ^MUA）30：在RawDataDisplay形式纪念“300赫兹，3千赫”复选框。
2. 开始采集数据：按在RawDataDisplay形式的“开始”按钮。
3. 设定的阈值增益尖峰检测的RawDataDisplay 7。
   注意：根据所需特异性/选择性折衷和关于通过检测离子算法，此阈值可为6至10倍的计算标准偏差来设置。
4. 设置阈值存储到2秒，然后按“锁定”按钮时，没有扣球活动是在显示屏上看到（这两个命令都在RawDataDisplay形式）。标记了“从位数估计SD'以从观测信号^31,32的绝对值的中值计算的噪声标准差，如果它是难以提供即使短时间的窗口，没有尖峰活性。从按下“锁定”按钮后，该选项取消勾选标记，作为底层算法是计算密集型的，并可能导致PC滞后。
5. 打开尖峰检测程序（“棘波检测”复选框，在RawDataDisplay形式）。如果尖峰检测已经运行（ 即复选框已标记），点击“重置”按钮，在数据记录的形式丢弃检测到这个时候尖峰。

3.选择MEA电极的刺激神经元文化和响应地图计算

1. 在MEA 30分钟的培养神经细胞的记录自发活动：保存数据通过点击“录音”按钮，文件，在DataRecording形式的“尖峰”中，所需的时间量后经过（30分钟，在这种情况下）。
2. 找出10个最活跃的通道（ 即 10通道，最高秒杀计数），然后在任意的MEA布局选择那些渠道（无论是在编码，解码和关联图的形式），通过拖动鼠标光标移到需要的地方。一旦通道被选中，右键点击任意位置MEA的布局，并选择“添加到左感觉区”，在弹出的菜单：这些电极将用于在步骤3.5提供电刺激。
3. 验证刺激和MEA放大器连接正确：所有配置requIRE每期望刺激通道两根导线，而额外的同轴电缆将需要携带的同步信号（请参阅具体手段在连接图的手册）。继续再打开刺激。
4. 定义的关联图的形式刺激参数。所有交付的文化刺激的双相方波电压。设定一半持续时间为300微秒和幅度以1.5V的_第 ^33。
   注：刺激足够大，以可靠地唤起的神经反应很可能会折衷活性从同一地点的记录。在本文的其余部分，用于刺激传送电极不应选择记录任何相关信息。
5. 记录响应刺激：按在ConnectionMap形式开始按钮。一系列的30刺激，以5秒的间隔，反过来，自动从所选电极中的每一个释放，而响应是记录从剩余的59电极编
6. 计算一个连接的地图（ 即，观测到来自内从一个不同的电极递送刺激后的时隙的电极的反应的概率），用于通过任何数学软件或SpyCode每个刺激通道，应用程序开发，在过去（和免费提供根据要求）对神经的数据²⁸进行计算。
7. 从连接的地图中，选择最好的电极：丢弃所有刺激电极未唤起的响应（ 即 ，在时间窗刺激后，发射率并不比在自发放电显著更高）。
   1. 选择，剩下的电极之间，这对有交叠的至少响应。专门为每一个刺激电极，计算出每个记录电极的平均秒杀计数，然后计算相应的电极之间的差异对所有刺激电极对。选择夫妇WHICħ的响应差的绝对值在所有的记录信道的总和是最高的。
8. 选择这些电极之一，从机器人的左侧，并从右侧代码读数其他代码感官信息：为了做到这一点，拖动鼠标光标放在一个电极，用鼠标右键单击该MEA的布局，然后选择“添加到左侧感觉区”（或“添加到右侧感觉区”）。

4.接口的神经元文化与机器人：选择编码和解码方案

1. 坐落在编码形式为线性“编码类型”。
2. 定义最小和最大的刺激率的编码形式。使用0.5-2赫兹的默认范围。
3. 在编码形式的“抖动”参数设置为0。
4. 坐落在解码格式的解码算法的参数（重量，消光系数）为1，适度活跃的文化（约1穗/每陈荫罴秒EL）。定义一个新的参数对，如果燃烧率强烈和不断地从这个值偏离。对于解码参数的确切功能见讨论。
5. 设置在解码算法中的解码表突发参数。重量设定为0（衰减时间则无关紧要），除非尖峰和脉冲之间的区别是研究的课题。
   注：在步骤4.4所建议的值会产生平滑的机器人动作和速度与机器人的反应时间为适度活跃的大鼠原代培养兼容。突发参数具有完全相同的功能中的那些步骤4.4中描述的，但该触发事件是突发的，而不是一个尖峰的检测：每个车轮的实际速度是一个简单的检测尖峰和突发的贡献的总和。

导航竞技场的机器人5.设计

1. 在虚拟竞技场设计形式，界（竞技场的边界是可见的机器人，我的选择mpassable）或无边（如果从舞台的一侧机器人退出时，它会立即从对面1）舞台上重新输入，并设置在像素竞技场大小。
   1. 不使用有界领域超过100×100像素更小，以便允许显著运动。不使用的障碍，其半径小于5个像素，因为它们可以简单地视线机器人的线路之间。
   2. 请记住，非常大的舞台上的大小可能会导致计算机性能下降：如果需要一个大的舞台上，用在开始难以重复实验前所需的舞台上测试软件的性能。
2. 设置手动机器人起始位置是（请在虚拟竞技场设计形式，那么所需的位置了“手动选择”按钮），或通过指定机器人在实验坐标开始在“机器人起始位置”字段。
3. 添加任何数量的竞技场内不可逾越的障碍。要么把他们的人ually中点击“添加障碍手动”按钮或设置数量和大小的范围后，舞台上。
4. 点击“生成竞技场”按钮，生成与所选功能的舞台。也不会发生变化，直到该按钮被按下。
5. 保存该设计的舞台，并加载相对文件，在使用前在一项实验中，用命令的按钮在虚拟竞技场设计形式的下部。

6.选择MEA电极记录神经元电活动的文化

1. 选择在步骤3.8临时记录电极那些对不同的反应，已经观察到：这表明刺激后从'左'（或'右'）的电极将构成“左”更大的反应电极（或“右”）记录电极。不使用电极未显示显著反应要么刺激电极来控制机器人。 ˚FROM的MEA布局弹出菜单中选择“添加到左运动区”（或“添加到右侧运动区”）来定义记录电极。
2. 选择功能的实验管理的形式来记录。在这个阶段，尖峰和刺激时间标记是唯一的相关信息。
3. 进行10分钟的测试驱动器：开始通过单击实验管理形式开始实验按钮运行的机器人，再次单击它10分钟已经过去之后。
   注意：一旦所有的参数都被设置（编码和解码，机器人竞技场，刺激和记录电极，拥有创纪录），文件名选择将询问记录文件名称和目的地，然后机器人将开始移动在舞台上，按照定义的规则。所有选定的功能会自动保存在实时。
4. 重复步骤3.6和6.1在步骤6.3获得的数据，以便选择与实际的机器人运行期间采集的数据记录的电极（见讨论内容n对于这两个步骤的方法的原理）。

7.执行神经机器人实验

1. 选择在实验管理形成要记录的数据：纪念钉，机器人和刺激数据复选框。
2. 启动前学习机器人运行：单击实验管理形式“开始实验”按钮。提示时选择数据文件的新文件名。时30分过去了，再次点击“开始实验”按钮停止机器人运行。
3. 接通学习协议（标记的实验管理形式“交付强直刺激命中后”复选框），并作为预培训阶段（ 即 30分）执行相同长度的训练机器人的运行。请记住，输入不同的文件名出现提示时，以避免步7.2覆盖数据。
4. 再次关闭学习协议（取消了“交付强直刺激命中后”复选框）并执行后学习机器人的运行。再次，记得更改文件名以防止覆盖。

8.第二反应地图计算

1. 重复步骤3.1-3.6。从这些记录使用数据来检验，如果有任何改变引起的无论是在自发或诱发活动模式的学习方案。

Representative Results

的开发实验框架允许的信息的神经元的培养和虚拟实现的物理机器人之间的交换是否是可能的测试^34。 图1示出了在20分钟的实验在不同的条件下由虚拟机器人行进获得路径的几个样品：从左至右适当闭环试验，一个“空的MEA'机器人实验（无细胞铺在MEA此控制实验）和一个开环机器人实验（刺激速率是代替编码传感器信息常数）表示。代表轨迹确认神经元和人造元件之间的双向相互作用是必要的，以便获得所述机器人的良好的导航性能。然而，机器人经历对障碍物几命中。

在图2中 ，机器人的导航性能，电子xpressed作为后续的命中之间行进的像素中，示出在不同的条件。前两列显示在上述（'空MEA'和开环配置）中提到的对照实验行驶距离的分布，而第三和第四列显示性能不具有和具有分别强直性刺激的以下各输送撞到障碍物。的强直性刺激（参见步骤，点7.2）的引入显著提高两个连续命中之间的行驶距离，因此提高了机械手³⁵的导航性能。

在图3中 ，用不同的解码条件的机器人的导航性能呈现。为此，不同的舞台结构已经通过。这有助于量化竞技场³⁶内的机器人的成功导航：如在过程的步骤4.1所描述的，机器人提出了一系列的短轨道。成功率是简单地通过给出的轨道数成功越过的轨道数的比率。特别是，在实验过程中，进行突发分离和尖峰的一个实时识别。解码范式从一个不同，因为突发和孤立的尖峰的相对权重的另一个（参见程序，指向3.5-3.6和讨论）。

图1：一个神经网络和机器人具有的信息的双向交换该图显示由机器人在20分钟的实验行进3代表路径。特别是浅绿色的区域都是免费的机器人移动，而深绿色像素代表了不可逾越的障碍，该机器人可以通过距离传感器感知。在每次试验中，机器人开始我n个主场的左上部分，并前往其最终位置，描绘成一个大的粉红色圆点。较小的黑点代表碰上障碍物，而彩色编码路径提供机器人运动的时间演变的指示。右边的颜色条表示经过的时间，从该实验在几分钟的开头。（A）的路径，随后闭环实验期间。（B）的路径，随后一个“空”的MEA实验期间（无细胞是在MEA中培养表面）。（C）的路径，随后开环试验过程中（刺激率在整个实验常数）。 请点击此处查看图的放大版本。

图2：性能结果受封闭-loop和强直性刺激。该图报告涵盖在不同的条件下随后的命中之间的机器人的距离的分布。特别是，在第一两个分布代表对照实验（'空'为录音没有神经元镀在MEA中，“开环”（OL）为实验用'盲'机器人）。最后两列所代表的'闭环'条件无（CL）和带（CL + TS）通过强直性刺激（TS）的实施的学习协议，被输送到下面的针对障碍物的命中的培养。在每个框中，中央水平段代表该分布中，空的平方的平均值，该中心杆延伸到第一和第三个四分位数和晶须延伸到^第 5和^第 95百分位数的中值。离群表示为钻石。采用方差的Kruskall-Wallis单因素分析统计已经完成秩：学生 - 纽曼两比较两两比较发现，所有的中位值与P <0.05显著不同。

图3：解码影响机器人性能上面的图表示的概率，对于给定的解码算法中，机器人成功通过短轨道在一个有限的时间导航。实验本身期间实时地执行脉冲串和孤立的尖峰的鉴定。在第一种情况下（'尖峰'）的所有检测到的尖峰呈现相同的相对权重，对于第二和第三分布为0的重量为，分别设置的，孤立的尖峰和尖峰属于一个突发。最后两列表示在所有的尖峰会占的情况下获得的结果，但使用不同的相对权重，根据它们的位置。特别是在第四列中分离尖峰被给予比突发事件更高的相对权重，而加权倒相对于第五列数据的解码。在每个曲线图中，中央线表示的分布，空平方的平均值的中值，而中央杆延伸到第一和第三个四分位数和晶须延伸到^第 5和^第 95百分位数。利用方差的Kruskall-Wallis单因素分析上行列统计已经完成。的成对比较（学生 - 纽曼-Keuls法，）显示，显著差异（p <0.05），可以将列1和4,2和4,2和5,2和3之间进行观察。

Discussion

在本文中一个神经机器人构造基于神经控制器（ 即 ，神经元从皮质或胚胎大鼠的海马未来的网络），双向连接到一个虚拟机器人装置，提出。机器人，它有传感器和车轮，被迫在一个静态的舞台上与移动障碍，其任务包括避免碰撞。

所描述的过程的第一个和可能最关键的方面是在培养物的制备本身，故障率将趋于即使在最好的技术条件是显著。培养技术的详细描述，然而，在本工作范围之外。作为一般准则，当网络燃烧率达到一个稳定的水平，通常为3周后在体外 ，录音应发生。健康文化的一个粗略指标是自发的电生理活动的若干记录陈荫罴存在ELS（至少20个频道60多个可用）。此类培养物的特征在于神经元间的连接高度。在这种情况下，神经活动通常变得强烈同步，有时，它会显示痫性活动，具有强烈的扣球其次分钟长的静默期^37。这两项功能提出一个问题：过度同步将使得不可能区分响应来自不同电极的刺激，而培养物表现出癫痫样活动将要呈现的活动的长的突发的第一个刺激，随后是无声期间响应，而不管任何后续的刺激交付。这两个问题可以通过图案化的培养物^35，其中，所述神经元群被分成两个或更多个相互连接的弱子组的就业大力改善。

另一个问题是，神经反应强烈地依赖于传入stimul分布我^38,39。在一个封闭的循环试验，在递送刺激是所述传感器的读数，这反过来，是机器人运动的结果，因此，神经反应本身的功能。这意味着，有建立预先什么响应将实际的实验过程中观察到的没有简单的方法。因此，输入输出电极的选择必须依靠逐次逼近。在所描述的协议中，一个两步骤的过程（即，步骤5.5和6.4）被实现来尝试确定的连接图。在第一步骤中，刺激的一个常规程序被输送和响应这种刺激被用于导出一个第一连接地图和一个临时设定的记录信道。这种构造，然后用于执行在步骤6.4中所述的测试驱动器，并选择将实际实验期间监视的记录信道。

在结果部分，具有代表性的导航RESULT，并通过引入学习范式所带来的直接的改进提出。整个协议的描述，其他几个可能的实验变种被提及。例如，在实施HyBrainWare2两大编码系统（线性和随机的），其中开发研究的颞输入变异对神经代码³⁸的确切作用。在直线的情况下，瞬时的刺激率是用户定义的参数和机器人的传感器记录的功能。在随机的情况下，每次实例有一个给定的概率被选择以提供一个刺激。这样概率由HyBrainWare2自动计算，使得预期的刺激速率匹配前一种情况的。的可能性增加的抖动到线性编码提供上述两种情况之间的平滑过渡。以同样的方式，探索不同的参数组合在解码部分可能有助于阐明的PRECI光绽放在体外神经网络本身的作用。机器人的各车轮的速度成比例的事件在相应的输出区域在每次检测到增加的权重参数，而消光系数指示了多少时间，以秒的贡献之一发生失去其值的50％ 。衰减是一个简单的指数。这些变体已经被考虑到HyBrainWare2的当前的设计，但是有更多的研究的可能性是开放如果在软件或实验设置额外的修饰可以被引入。

这里所描述的协议的一个，而显著的限制是开发的定制软件，HyBrainWare2（自由可应要求提供给所有感兴趣的用户）的要求。该软件已被设计为一组特定的型号和制造商的设备（刺激，采集板，MEA放大器）的。虽然它确实有可能去适应它的工作在迪fferent设置，转换需要一定的编程技巧。同样，包括选择只覆盖了一组所有可能通过这样的设置进行调查实验的问题有限。例如，在所提出的架构实现的尖峰检测算法（精确的时间尖峰检测^40）在需要改变，如果登记的受试者是从解离的神经网络（ 例如 ，心肌细胞非常不同的几个硬编码参数是完全限定或片）。最后，该学习协议包括短，频率高的交付（2秒的20赫兹的刺激，每个刺激脉冲的相同的那些用于编码感觉信息）的刺激下各障碍物命中。如果机器人击中其右侧的障碍物时，强直性刺激递送至通常为右侧信息码和同样适用于左侧命中的电极。这个协议是硬编码的，不能B用户无需修改退出软件所改变。

而这里提出的设置不是第一个具体化系统用于混合，闭环实验^{20,23,27,41,42，}那些设计在过去都集中在从类似制剂的有限数目由数据的支持单个论文。另一方面，所描述的设置已被用于大量的实验（2012年超过100培养物已被记录）配制剂为不同的模块化和原点，而实验本身寻址不同的问题（ 如强直性刺激的影响，并爆破的相关性，如在目前的成果）。在不久的将来，新实验会议预见到验证既强直和闭环刺激的持续效果及刺激规律性之间的关系，并观察响应。另一个问题要解决是自发的，观察到的活动之间的联系，与加入新的解码算法，考虑到过去的活性和刺激⁴³的历史的想法。

Materials

Name	Company	Catalog Number	Comments
Stimulus Generator 4002	Multi Channel Systems
MEA1060-Inv-BC	Multi Channel Systems
TC02	Multi Channel Systems
NI 6255 Acquisition Card	National Instruments
Microsoft Visual Studio 2008	Microsoft
2078P Multichannel System-National Instruments adapter board	Developed at University of Genova (Italy)
Matlab 2010	Mathworks
HyBrainWare2			HyBrainWare2: Contact Information