方法文章

在乐高机器人上设计与实现神经系统模拟

DOI:

10.3791/50519

2013年5月25日

本文内容

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

介绍了一种在LEGO Mindstorms机器人平台上进行神经网络建模的方法。该方法为无脊椎动物神经科学研究提供了在实验室和课堂环境中均可使用的模拟工具。该技术能够用于探究仿生机器人控制原理。

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

我们提出一种利用市售的 LEGO Mindstorms NXT 机器人平台来检验系统神经科学假说的方法。该方法的第一步是构建适当模式生物特定反射行为的神经系统模拟;本文以美洲龙虾为例。由交叉(decussating)神经连接介导的外感受反射可以解释动物趋向或远离刺激的行为,正如 Braitenberg 所描述的那样,这类反射特别适合利用 NXT 平台进行研究。1 神经系统模拟通过 LabVIEW 软件在 LEGO Mindstorms 平台上编程实现。一旦神经系统模型被正确调校,即可在机器人和动物上于完全相同的环境条件下开展行为实验。通过控制实验对象所经历的感觉环境,可以观察其行为输出的差异。这些差异可能揭示神经系统模型中的特定缺陷,并为针对所研究行为的模型迭代提供依据。该方法允许对电子神经系统进行实验性操控,为探索有关简单先天反射行为神经生理基础的神经科学假说提供途径。LEGO Mindstorms NXT 套件提供了一个经济高效的研究平台,可用于测试初步的仿生机器人控制方案。该方法同样适用于高中课堂,可作为实践性探究式生物机器人课程的基础。

引言

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

过去100年中的神经生理学研究极大地拓展了我们对神经系统结构与功能的认识。然而,迄今为止大多数神经系统研究依赖于离体标本或固定状态的实验对象。尽管已有许多成功记录自由活动动物神经活动的研究2-5,但生物机器人方法为操控神经系统以检验系统神经科学假说提供了一种有价值的工具6。在机器人上运行的模拟神经系统可进行实验性操控,从而将软件建模扩展到物理世界。该方法在学术界已有良好应用7,8,但构建用于假设检验的仿生机器人过程可能成本高昂且耗时。本文介绍一种利用市售机器人套件(LEGO Mindstorms NXT 2.0)实现生物机器人方法的技术。该方法旨在为在机器人9或生物混合10具身神经网络模拟中快速高效地检验系统神经科学假说提供途径。加快从假说到实验的转化过程有助于提升科研效率。我们以美洲龙虾(Homarus americanus)为模式生物,展示了LEGO Mindstorms这一简易平台在仿生传感器与神经网络测试中的应用。此外,该方法还为课堂教学提供了强大的实践性教学工具,学生可为其自主设计的机器人构建并操控神经系统11

访问受限。请登录或开始试用以查看此内容。

方案

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. 构建机器人模型

  1. 选择一种在神经行为学文献中有充分代表性的模式生物进行研究。无脊椎动物通常是理想的选择,因为它们的神经系统相对简单,且已被广泛研究,主要由先天性反射构成。我们将以美洲龙虾 Homarus americanus 为例来演示这一方法。
  2. 为建模目的选择已被深入研究的反射性行为。我们选择了龙虾对触角弯曲的反应以及对螯足碰撞的检测:动物会通过触角弯曲引发趋流性(对水流方向的定向),而螯足接触则介导避障行为。依赖于双侧对称感觉器官交叉神经连接的简单反射非常适合此类研究1
  3. 构建或选择具有适当传感器的机器人平台,以运行神经网络模拟。虽然可以专门构建机器人(例如 RoboLobster12 或 Sprawl 蟑螂机器人系列13),但本文采用市售套件以加快实验进程。LEGO Mindstorms NXT 2.0 套件提供了模板、模块化组件和成熟的传感器,可实现机器人的快速实体组装。
  4. 选择或构建传感器,以匹配步骤 1.2 中选定行为的感觉模态。可使用 LEGO Mindstorms 套件中预制的传感器,也可自行设计和制作传感器14,15。我们选用了套件自带的 LEGO 触碰传感器,以及一种定制的触角弯曲传感器,该传感器由 FlexPoint 弯曲传感器与 NXT 连接器拼接而成。如需制作定制的电阻式连接器,可剪断 NXT 连接线,将黑色和白色导线焊接到传感器引脚上。
  5. 利用已发表的神经行为学研究,查找或构建用于建模的假设神经网络。文献中已提出多种神经网络模型,用于解释从龙虾16到七鳃鳗17等多种模式生物的行为。应确定功能性的神经单元,并推断其突触连接方式。在实验条件允许的情况下,也可设计并实施新的神经行为学实验。

2. 编程神经系统

  1. 使用 LabVIEW 软件及适用于 LEGO MINDSTORMS NXT 的 LabVIEW 模块,创建可运行数学神经元与突触模型方程的虚拟仪器(VIs)。尽管可采用任何已发表的模型,我们推荐使用基于离散时间映射(DTM)的模型18。该模型可在保持多种神经元放电输出模式的同时,实现计算高效的实时运行。两个控制参数 alphasigma 决定了模拟神经元的动力学行为,从而产生包括持续性放电、混沌放电、簇状放电以及内在静息在内的多样化神经输出。用于此神经元模型的 LEGO Mindstorms LabVIEW VIs 可在此处在线获取:http://myfiles.neu.edu/blustein.d/neurobots
  2. 将 VIs 放入 While 循环中,以使网络能够迭代更新。
  3. 通过突触将突触前神经元的放电输出连接至突触后神经元。
  4. 通过移位寄存器将迭代更新的参数传递至下一次计算循环。DTM 模型会快速更新动态变量 x(快变量)和 y(慢变量),并将这些变量传递至下一轮计算。
  5. 设置突触参数以定义网络特性。对于每个突触,突触强度(gsyn)、弛豫速率(gamma)和反转电位(xrp)是 DTM 模型方程中的系数,用于决定突触行为。gsyn 的值为一个乘数,用于确定放电事件引起的突触电流效应的幅度,取值范围为 0.0(无效应)到 1.0(100% 效应)。gamma 的值为一个乘数,用于确定突触电流在无放电事件时的衰减速率,取值范围为 0.0(完全衰减)到 1.0(无衰减)。xrp 的值决定突触的兴奋或抑制水平,通常取值范围为 -3.0 到 3.0,正值代表兴奋,负值代表抑制。这些参数可根据特定网络特性进行调节。本文中采用以下设置:gamma = 0.95,gsyn = 0.60,xrp = 2.2(兴奋性突触)或 -1.8(抑制性突触)。
  6. 调节控制参数 alphasigma 以改变神经元的基础活动状态。该模型在不同控制参数下的动力学特性已有详细描述18。通常情况下,当 alpha < 4 时,低 sigma 值导致神经元处于内在静息状态,而高 sigma 值则引发持续性放电。“低”与“高”sigma 值之间的过渡通常发生在 -1.0 至 1.0 之间,具体取决于 alpha 的取值。当 alpha > 4 且 sigma 值接近零时,可产生簇状放电行为。本文中采用 alpha = 4.05 和 sigma = -3.10。
  7. 使用 LabVIEW VIs 将传感器信息输入到网络中。对于已提供的传感器,其对应的 VIs 已包含在 Mindstorms LabVIEW 模块中;对于自定义的电阻式传感器,可使用“光传感器 VI”作为编程框架。有关自制传感器的更多信息可参见其他文献14
  8. 在 LabVIEW 程序的前面板中插入图形图表,以可视化神经元活动。
  9. 暂时用前面板上的控制框替代传感器输入,以便手动操控输入神经网络的传感器信息。
  10. 运行神经网络,并手动调节前面板上的控制项以施加不同的感觉输入。确认网络在已知条件下的功能表现符合预期定性特征。
  11. 根据需要通过调整神经元和突触参数来优化网络。首次调参时应优先改变各突触的突触强度(gsyn),其他参数也可能需要相应调整。
  12. 当网络实现定性准确的功能后,将前面板上的控制框替换为实际的传感器输入 VIs。

3. 神经系统模拟测试

  1. 建立一个受控环境,以便在相似条件下观察动物和机器人。我们使用一个包含岩石障碍物的矩形水箱(图1)。该水箱可排空,以便在同一空间内放置 LEGO 机器人。
  2. 在上方安装摄像机以记录动物/机器人的行为。确保被观测对象与背景之间具有高对比度,以便实现自动追踪。我们将测试水箱底部涂成白色。
  3. 将动物放入受控环境中,并进行视频记录其行为。务必限制龙虾的感觉能力,使其与机器人相匹配。在此,我们通过铝箔眼罩覆盖龙虾的眼睛,并用淡水去传入其化学感受器19,以限制其感觉功能。
  4. 调整环境以适应 LEGO 机器人(必要时移除水),并在相同的受控环境中运行机器人。
  5. 使用 MATLAB 脚本自动追踪样本上的标记点。我们使用 MouseLabTracker20
  6. 生成并比较动物与机器人运动的矢量图。
  7. 修改神经系统,并重复步骤 3.3–3.6,以观察电子神经系统的不同方面如何影响机器人的行为。在此,我们调节钳爪碰撞传感器神经元与运动系统之间的突触强度,并将机器人性能与龙虾的表现进行比较。或者,也可改变测试区域内的感觉条件,并观察其对机器人和动物的影响。例如,此处描述的测试区域可施加不同的水流速度。

访问受限。请登录或开始试用以查看此内容。

结果

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

龙虾的螯足向其神经系统提供的输入介导了其在新环境中对障碍物的规避行为。图1展示了用于分析LEGO机器人(图1A)和龙虾(图1B)在测试 arena 中行为的视频截图。动物实验与机器人实验之间,测试 arena 本身未作任何改动,仅在机器人实验时将水箱中的水排干。

视频追踪结果如图2所示。动物和机器人的运动轨迹通过MATLAB中的MouseLabTracker20自动追踪获得。图中展示了龙虾(黑线)和LEGO机器人试验(彩色线)的代表性轨迹。在机器人试验中,从螯足碰撞感觉神经元传入神经系统的突触强度被调节,并以不同颜色的路径表示(红色表示低兴奋性;蓝色表示中等兴奋性;绿色表示高兴奋性)。当假设的神经系统中螯足碰撞感觉神经元具有中等水平的兴奋性连接时,机器人表现出与动物相似的行为。可从数据中提取定量参数,如路径长度和平均行走速度(表I)。

访问受限。请登录或开始试用以查看此内容。

讨论

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

在启动生物机器人神经系统模拟实验时,需遵循一些重要准则。选择合适的模式生物至关重要:应挑选易于获取和饲养的生物。无脊椎动物是理想选择,因为通常无需机构审批即可进行实验,且其饲养需求通常比脊椎动物更低。从科学角度来看,选择具有已建立的神经行为学文献记录的动物将有利于提出可供验证的假设21

选择合适的研究生物体同样重要的是选择适当的行为反射进行研究。LEGO NXT 平台在不进行自定义修改的情况下仅能连接四个传感器,因此选择具有较少传感器的相对简单的感官系统至关重要。简单的行为反射通常已有充分描述,并能为可检验的假设提供更大的灵活性。NXT 的计算能力也是一个限制因素,因此应尽量缩小神经系统模拟的范围。科学家们经常发表解释特定行为的神经网络模型,选择其中一种模型最为简便。简单的趋性与动性行为非常适合这种生物机器人研究方法22

尽管这种方法对于快速检验神经系统假说具有实用价值,但仍需注意若干局限性。其可测试的范围有限,复杂的感官系统无法在此平台上使用。例如,复杂的视觉信息处理超出了NX...

访问受限。请登录或开始试用以查看此内容。

披露

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者声明不存在任何竞争性经济利益。

致谢

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

感谢塔夫茨大学的 Chris Rogers 博士在程序编写和稿件撰写方面提出的建议。感谢 Alex Giuliano 和 Deborah Lee 在视频制作方面提供的支持。

由美国国家科学基金会研究生研究奖学金和海军研究办公室合成生物学多学科大学研究计划资助。

访问受限。请登录或开始试用以查看此内容。

参考文献

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Braitenberg, V. Taxis, kinesis and decussation. Prog. in Brain Res. 17, 210-222 (1965).
  2. Schregardus, D. S., Pieneman, A. W., Ter Maat, A., Jansen, R. F., Brouwer, F., Gahr, M. L. A lightweight telemetry system for recording neuronal activity in freely behaving small animals. Journal of Neuroscience Methods. 155 (1), 62-71 (2006).
  3. Kagaya, K., Takahata, M. Readiness discharge for spontaneous initiation of walking in crayfish. Journal of Neuroscience. 30 (4), 1348-1362 (2010).
  4. Schrameck, J. E. Crayfish Swimming: Alternating Motor Output and Giant Fiber Activity. Science. 169 (3946), 698-700 (1970).
  5. Kanz, J. E., Eberly, L. B., Cobbs, J. S., Pinsker, H. M. Neuronal correlates of siphon withdrawal in freely behaving Aplysia. J. Neurophysiol. 42 (6), 1538-1556 (1979).
  6. Webb, B. Validating biorobotic models. Journal of Neural Engineering. 3, 1-20 (2006).
  7. Wessnitzer, J., Asthenidis, A., Petrou, G., Webb, B. A cricket-controlled robot orienting towards a sound source. Proceedings of the 12th Annual conference on Towards autonomous robotic systems. , 1-12 (2011).
  8. Grasso, F., Atema, J. Integration of flow and chemical sensing for guidance of autonomous marine robots in turbulent flows. Environ. Fluid Mech. 2 (1), 95-114 (2002).
  9. Westphal, A., Rulkov, N. F., Ayers, J., Brady, D., Hunt, M. Controlling a lamprey-based robot with an electronic nervous system. Smart Struct. and Systems. 8 (1), 39-52 (2011).
  10. Chao, Z. C., Bakkum, D. J., Potter, S. M. Shaping embodied neural networks for adaptive goal-directed behavior. PLoS Computational Biology. 4 (3), e1000042(2008).
  11. Building nervous systems for robots: an interactive and collaborative neuroscience curriculum. Blustein, D., Schultheis, K., Ayers, J. National Science Teachers Association National Conference, San Francisco, C.A, , (2011).
  12. Ayers, J., Blustein, D., Westphal, A. A Conserved Biomimetic Control Architecture for Walking, Swimming and Flying Robots. Lect. Notes on Artif. Intelli. 7375, 1-12 (2012).
  13. A Biologically Inspired Passive Antenna for Steering Control of a Running Robot. Cowan, N., Ma, E., Cutkosky, M., Full, R. Proceedings of ISRR'2003, , 541-550 (2003).
  14. Gasperi, M., Hurbain, P. Extreme NXT: Extending the LEGO MINDSTORMS NXT to the Next Level. , Apress. Berkeley, C.A. (2007).
  15. Gasperi, M. LabVIEW for LEGO MINDSTORMS NXT. , National Technology and Science Press. Allendale, N.J. (2008).
  16. Kennedy, D., Davis, W. Chapter 27 Organization of invertebrate motor systems. Handbook of Physiology. 1, 1023-1088 (1977).
  17. Buchanan, J., Grillner, S. Newly identified "glutamate interneurons" and their role in locomotion in the lamprey spinal cord. Science. 236 (4799), 312-314 (1987).
  18. Rulkov, N. Modeling of spiking-bursting neural behavior using two-dimensional map. Physical Review E. 65, (2002).
  19. Derby, C. D., Atema, J. Narrow-spectrum chemoreceptor cells in the walking legs of the lobster, Homarus americanus: Taste specialists. Journal of Comparative Physiology A. 146 (2), 181-189 (1982).
  20. Tort, A. B. L., Neto, W. P., Amaral, O. B., Kazlauckas, V., Souza, D. O., Lara, D. R. A simple webcam-based approach for the measurement of rodent locomotion and other behavioural parameters. Journal of Neuroscience Methods. 157 (1), 91-97 (2006).
  21. Huxley, T. H. The Crayfish, An Introduction to the Study of Zoology. , C. Kegan Paul & Co. London. (1880).
  22. Blustein, D., Ayers, J. A conserved network for control of arthropod exteroceptive optical flow reflexes during locomotion. Lect. Notes on Artif. Intelli. 6226, 72-81 (2010).
  23. Webb, B., Scutt, T. A simple latency-dependent spiking-neuron model of cricket phonotaxis. Biological Cybernetics. 82 (3), 247-269 (2000).
  24. Demarse, T. B., Wagenaar, D. A., Blau, A. W., Potter, S. M. The Neurally Controlled Animat: Biological Brains Acting with Simulated Bodies. Autonomous Robots. 11 (3), 305-310 (2001).
  25. Novellino, A., D'Angelo, P., Cozzi, L., Chiappalone, M., Sanguineti, V., Martinoia, S. Connecting neurons to a mobile robot: an in vitro bidirectional neural interface. Computational Intelligence and Neuroscience. , 12725(2007).

访问受限。请登录或开始试用以查看此内容。

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

LEGO Mindstorms NXT LabVIEW

相关文章