Summary
Une approche de modélisation de réseau neuronal sur la plate-forme robotique LEGO Mindstorms est présentée. La méthode fournit un outil de simulation pour les invertébrés recherche en neurosciences à la fois dans le laboratoire de recherche et de la salle de classe. Cette technique permet l'étude des principes de contrôle de robots biomimétiques.
Abstract
Nous présentons une méthode pour utiliser la plate-forme disponible dans le commerce LEGO Mindstorms NXT robotique pour tester les systèmes niveau neurosciences hypothèses. La première étape de la méthode est de développer une simulation du système nerveux de comportements réflexes spécifiques d'un organisme modèle approprié, ici nous utilisons le homard américain. Réflexes exteroceptifs médiées par decussating (croisement) connexions neuronales peuvent expliquer les taxis de l'animal vers ou à partir d'un stimulus tel que décrit par Braitenberg et sont particulièrement bien adaptés pour la recherche en utilisant la plate-forme NXT. 1 La simulation du système nerveux est programmé en utilisant le logiciel LabVIEW sur le LEGO plate-forme Mindstorms. Une fois que le système nerveux est réglé correctement, expériences comportementales sont exécutés sur le robot et sur l'animal dans des conditions environnementales identiques. En contrôlant le milieu sensorielle vécue par les spécimens, les différences de comportement des sorties peuvent être observés. Ces différences peuvent pointer vers deficienc spécifiques dans le modèle du système nerveux et servent à informer l'itération du modèle pour le comportement particulier à l'étude. Cette méthode permet la manipulation expérimentale des systèmes nerveux électroniques et sert comme un moyen d'explorer des hypothèses neuroscientifiques concernant spécifiquement la base neurophysiologique de comportements réflexes innés simples. Le kit Lego Mindstorms NXT offre une plate-forme abordable et efficace sur lequel tester des systèmes de contrôle de robots biomimétiques préliminaires. L'approche est aussi bien adapté pour les salles de classe de l'école secondaire à servir de base pour un hands-on basé sur l'enquête curriculum de biorobotique.
Introduction
Investigations neurophysiologiques au cours des 100 dernières années ont élargi considérablement notre connaissance de la structure du système nerveux et la fonction. Cependant, la majorité de la recherche sur le système nerveux à ce jour a misé sur l'utilisation de préparations isolées ou des sujets sobres. Bien qu'il y ait eu beaucoup d'efforts réussis pour enregistrer l'activité neurale de se comporter librement animaux 2-5, l'approche biorobotic offre un outil précieux pour permettre une manipulation du système nerveux afin de tester les systèmes au niveau neurosciences hypothèses 6. Systèmes nerveux simulés d'exploitation sur des robots peuvent être manipulés expérimentalement et permettent l'extension du logiciel de modélisation du monde physique. Cette approche a été mise en œuvre dans le monde universitaire 7,8 mais le processus de construction d'un robot biomimétique pour la vérification d'hypothèses peut être long et coûteux. Nous présentons une méthode pour exécuter l'approche biorobotic utilisant un commerce robotique kil (LEGO Mindstorms NXT 2.0). Le but de cette méthode est de fournir un moyen rapide et efficace pour tester les systèmes niveau neurosciences hypothèses sur robotisé 9 ou bio-hybrides 10 simulations de réseaux de neurones incarnés. Accélérer le processus de l'hypothèse d'expérimenter améliore la productivité de la recherche. Le simple plate-forme LEGO Mindstorms fournit un banc d'essai pour les capteurs biomimétiques et les réseaux neuronaux qui nous démontrons l'aide du homard américain (Homarus americanus) comme organisme modèle. La méthode fournit également un puissant outil pratique pédagogique en classe que les élèves peuvent concevoir et manipuler des systèmes nerveux pour leurs propres robots 11.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
1. Construire le modèle de robot
- Choisir un organisme modèle pour l'étude qui est bien représenté dans la littérature neuroethological. Invertébrés font généralement de bons candidats parce que leur système nerveux relativement simples ont été bien étudiés et sont principalement composé de réflexes innés. Nous allons démontrer cette approche en utilisant le homard, Homarus americanus.
- Choisissez bien étudié les comportements réfléchis à des fins de modélisation. Nous avons choisi les réponses du homard à coude antennaire et à la détection de bosse griffe que l'animal réagit par réflexe à la flexion des antennes pour obtenir rhéotaxie (orientation à l'écoulement de l'eau) tandis que les contacts de griffes médiation évitement d'obstacles. Réflexes simples s'appuyant sur decussating connexions neuronales à partir de capteurs bilatéralement symétriques sont bien adaptés à ce type d'étude 1.
- Construire ou choisir une plate-forme robotique avec des capteurs appropriés pour les comportements sélectionnés afin de lancer le neuralla simulation de réseau. Alors un robot dédié peut être construit comme RoboLobster 12 ou le Sprawl (cafard) famille de robot 13, ici nous utilisons un kit disponible dans le commerce pour accélérer le processus expérimental. Le kit Mindstorms NXT 2.0 LEGO, fournissant des modèles, des composants modulaires et des capteurs en place, permet la construction physique rapide du robot.
- Sélectionnez ou construire des capteurs pour correspondre aux modalités des comportements sélectionnés à l'étape 1.2. Premade capteurs du kit Mindstorms LEGO peuvent être utilisés ou capteurs homebrew peuvent être conçues 14,15. Nous avons sélectionné le capteur tactile LEGO inclus et un capteur de courbure antennaire coutume composé d'un capteur de courbure FlexPoint jointées à un connecteur NXT. Pour construire un connecteur résistive coutume, couper un fil de connecteur NXT et soudez les câbles noir et blanc pour les fils du capteur.
- Utilisez études neuroethological publiés antérieurement à trouver ou à développer un réseau de neurones pour la modélisation hypothétique purposes. La littérature a proposé divers réseaux neuronaux pour expliquer le comportement de différents organismes modèles, de homards 16 à 17 lamproie. Unités de neurones fonctionnels doivent être identifiés et leurs connexions synaptiques théorisé. Neuroethological expériences nouvelles peuvent également être développées et mises en œuvre si les circonstances permettent de laboratoire.
2. Programmation du système nerveux
- Utilisez un logiciel LabVIEW avec le Module LabVIEW pour Lego Mindstorms NXT de créer des instruments virtuels (VI) qui fonctionnent équations pour un neurone mathématique et modèle de synapse. Alors que n'importe quel modèle publié peut être utilisé, nous vous recommandons le temps discret à base de cartes (DTM) modèle 18. Cela permet un fonctionnement en temps réel de calcul efficace tout en maintenant une grande variété de régimes de sortie de décharge neuronale. Deux paramètres de contrôle, les alpha et sigma, déterminent la dynamique du neurone simulé pour produire une sortie de neurones varié comprenant tonic dopage, tir chaotique, silence éclatement et intrinsèque. VIs LabVIEW pour LEGO Mindstorms pour ce modèle neurone peut être consulté en ligne ici: http://myfiles.neu.edu/blustein.d/neurobots
- Lieu VIs dans une boucle While pour que le réseau met à jour de manière itérative.
- Connectez les sorties pic neurone présynaptique par des synapses des neurones post-synaptiques.
- Laissez-passer de manière itérative la mise à jour des paramètres par les registres à décalage pour le prochain cycle de calcul. Le DTM modèle mises à jour rapide (x) et lents variables (y) dynamiques qui sont passés à la prochaine itération de calculs.
- Définissez les paramètres de synapse pour définir les caractéristiques du réseau. Pour chaque synapse, la force synaptique (gsyn), le taux de relaxation (gamma), et le potentiel d'inversion (xrp) sont des coefficients dans les équations du modèle DTM qui déterminent le comportement synaptique. La valeur de gsyn est un multiPince qui détermine l'amplitude de l'effet de courant synaptique à partir d'un événement transitoire, allant de 0,0 (pas d'effet) à 1,0 (100% d'effet). La valeur de gamma est un multiplicateur qui détermine le taux de décroissance du courant synaptique indépendamment des événements pic, allant de 0,0 (décomposition complète) à 1.0 (pas de pourriture). La valeur de xrp détermine le niveau de l'excitation ou l'inhibition de la synapse, les valeurs typiquement gamme de -3,0 à 3,0 avec des valeurs positives représentatives d'excitation et des valeurs négatives représentant l'inhibition. Les valeurs peuvent être ajustées en fonction de vos caractéristiques spécifiques du réseau. Ici, nous utilisons les paramètres suivants: gamma = 0,95, gsyn = 0,60 et xrp = 2.2 (synapse excitatrice) ou -1.8 (synapse inhibitrice).
- Ajustez les paramètres de contrôle Sigma Alpha et de modifier l'activité des neurones de référence. La dynamique du modèle de paramètres de contrôle variés sont décrits en détail ailleurs 18 mais en général, alpha sigma sigma faible. La transition entre «faible» et «élevé» des valeurs sigma se produit généralement compris entre -1,0 et 1,0 en fonction de la valeur alpha. Éclatement de l'activité des neurones est produite pour alpha> 4 lorsque les valeurs sigma sont proches de zéro. Ici, nous utilisons alpha = 4,05 et sigma = -3.10.
- Utilisez les VIs LabVIEW à l'information du capteur d'entrée dans votre réseau. Pour les capteurs fournis, le VIS sont déjà disponibles dans le module LabVIEW Mindstorms. Pour capteurs résistifs personnalisés, utilisez le capteur VI Léger comme un cadre de programmation. Informations sur la création capteurs homebrew peut être trouvé ailleurs 14.
- Insérez chartes graphiques sur la face avant du programme LabVIEW pour visualiser l'activité neuronale.
- Remplacer temporairement les entrées capteurs avec des boîtes de contrôle du panneau avant afin de manipuler manuellement le capteurles informations allant vers le réseau neuronal.
- Exécutez le réseau neuronal et d'ajuster manuellement les commandes du panneau avant de présenter entrées sensorielles variées. Assurez-vous que le réseau fonctionne qualitativement comme prévu pour des conditions connues.
- Ajuster le réseau en fonction des besoins en modifiant les paramètres de neurones et synapses. Premiers essais de mise au point du réseau doivent être effectués en changeant la force synaptique (gsyn) des différents synapses. D'autres paramètres peuvent être nécessaire d'ajuster ainsi.
- Une fois que le réseau fonctionne avec une précision qualitative, remplacer les boîtiers de commande de la face avant avec l'entrée du capteur VIs.
3. Nerveux Testing System Simulation
- Mettre en place un environnement contrôlé pour observer l'animal et le robot dans des conditions similaires. Nous utilisons un réservoir rectangulaire contenant obstacles de roche (figure 1). Le réservoir peut être vidé pour accueillir le robot LEGO dans le même espace.
- Mont avideo tête de caméra pour enregistrer l'animal / comportement du robot. Assurez-vous que le contraste entre le sujet et le fond est élevée pour permettre un suivi automatique. Nous avons peint le fond de l'essai blanc réservoir.
- Placez l'animal dans l'environnement contrôlé et enregistrement vidéo le comportement. Veillez à limiter les capacités sensorielles de la langouste pour correspondre à ceux du robot. Ici, nous limitons les capacités sensorielles du homard en couvrant les yeux avec un masque de feuille d'aluminium et deafferenting chemoreceptors à l'eau douce 19.
- Ajuster l'environnement pour répondre à un robot LEGO (élimination de l'eau si nécessaire) et exécuter le robot dans le même environnement contrôlé.
- Utiliser un script MATLAB pour suivre automatiquement les marqueurs sur les spécimens. Nous utilisons MouseLabTracker 20.
- Créer et comparer des parcelles de vecteurs de mouvements du robot et l'animal.
- Modifier le système nerveux et répétez les étapes 3.3 à 3.6 pour observer comment les différents aspects de l'électroniquesystème nerveux affecte le comportement du robot. Ici, nous ajustons la force synaptique entre les neurones griffe bosse de capteurs et le système moteur et les performances du robot moniteur par rapport à celle d'un homard. Alternativement, les conditions sensorielles dans l'arène de test peuvent être modifiés et les effets observés en robot et animal. Par exemple, la scène décrite ici pourrait être soumis à différents débits d'eau.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Entrées des griffes d'un homard dans son système nerveux médiation négociation d'obstacle dans un nouvel environnement. Figure 1 montre une capture d'écran de la vidéo utilisée pour analyser le comportement d'un robot LEGO (figure 1A) et un homard (figure 1B) dans l'arène de test. L'arène de test a été non modifiée entre les essais de robots animaux, sauf que l'eau a été vidée de la cuve pour les essais de robots.
des résultats de suivi de la vidéo sont affichées à la figure 2. Chemins de voyage animaux et le robot ont été suivis automatiquement en utilisant MouseLabTracker 20 dans MATLAB. Chemins représentatifs pour le homard (lignes noires) et les essais robots LEGO (lignes colorées) sont affichés. Dans les essais de robots, la force synaptique de la griffe bosse des neurones sensoriels dans le système nerveux était varié et représentées par des voies différentes couleurs (rouge, faible excitation, le bleu, l'excitation moyenne, vert, grande excitation). Le s nerveux hypothétiqueystem avec connexions excitatrices de niveau intermédiaire des neurones sensoriels de bosse de griffes produit des comportements similaires à l'animal. Des paramètres quantitatifs peuvent être extraites à partir des données telles que la longueur du trajet et de la vitesse de marche moyenne (tableau I).
Figure 1. Images vidéo aériennes de l'arène de test pour LEGO robot (A) et le homard (B) Essais. Conditions ont été maintenus identiques, sauf que l'eau a été ajouté à la cuve pour les essais sur les animaux. Le contraste élevé image vidéo facilite le suivi automatique en utilisant le logiciel MATLAB.
Figure 2. Suivi de homard (lignes noires) et LEGO robot (lignes colorées) chemins à travers le test d'unRena illustré à la figure 1 sur le robot, la force synaptique de griffe neurones détecteurs de bosse était varié (rouge, faible excitation, le bleu, l'excitation moyenne, vert, grande excitation).. Le symbole * indique la position de départ et formes noires pleines montrent l'emplacement des obstacles. Depuis la position de la tête était suivi, le contact obstacle apparent varie en raison de la variabilité dans la position de la pince.
| Distance moyenne du trajet (cm) | La vitesse moyenne de déplacement (cm) | |
| Lobster | 177.37 | 1.03 |
| LEGO Robot (grande excitation) | 162.72 | 0,94 |
| LEGO Robot (mi excitation) | 165.32 | 0,85 |
| LEGO Robot (faible excitation) | 51.02 | 0.69 |
Tableau I. En moyenne paramètres de l'analyse des données sur le comportement de vidéo pour les homards et pour les robots Lego avec des forces variées de synapses d'entrée du système sensoriel de bosse de griffe.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Lors de l'initiation des expériences de simulation du système nerveux biorobotic, il ya quelques règles importantes à suivre. Choisir le bon modèle organisme est critique: choisir un organisme qui est facile à obtenir et à maintenir. Les invertébrés sont idéales car elles ne nécessitent généralement pas l'approbation institutionnel à l'expérimentation et à leurs besoins d'élevage sont souvent moins exigeants que ceux des vertébrés. D'un point de vue scientifique, il est avantageux de choisir un animal qui a un dossier de littérature neuroethological établie permettant de tirer des hypothèses pour tester 21.
Tout aussi important que le choix d'un organisme approprié est la sélection des réflexes comportementaux appropriés pour l'étude. La plate-forme NXT LEGO ne peut gérer quatre capteurs sans modifications personnalisées pour la sélection d'un système sensoriel relativement simple avec des capteurs limitées est important. Réflexes comportementaux simples sont souvent bien décrits et offrent plus de souplesse dans la hypotheses qui peuvent être testés. La puissance de calcul de la NXT est un facteur limitant trop si des efforts doivent être faits pour réduire la portée de la simulation du système nerveux. Les scientifiques publient souvent proposés réseaux neuronaux expliquant les comportements spécifiques et il est plus facile de sélectionner l'un d'eux. Taxes simples et kineses sont bien adaptés à cette approche biorobotic 22.
Bien que cette approche est utile pour tester rapidement des hypothèses sur le système nerveux, il existe plusieurs limitations à garder à l'esprit. Le champ d'essai possible est limité. Systèmes sensoriels complexes ne peuvent pas être utilisés avec cette plate-forme. Par exemple, le traitement visuel complexe est au-delà de la capacité du processeur NXT mais des questions connexes pourraient être abordées par l'enquête composants plus simples du système visuel, comme le traitement de flux optique. La série de capteurs pour le NXT offre aussi certaines limites à la portée des enquêtes disponibles. Alors que les capteurs personnalisés peuvent être développés et utilisés on le NXT, c'est un processus qui prend du temps que nécessite l'expertise de l'électronique, éventuellement, annulant les avantages de la plate-forme pour la mise en œuvre expérimentale rapide.
Bien qu'il existe des limites à la gamme d'hypothèses qui peuvent être testées, cette approche fournit un outil unique pour la mise en œuvre à un stade précoce de simulations du système nerveux incarnés. La plate-forme LEGO Mindstorms NXT peut servir de tremplin à un test plus approfondi des hypothèses au niveau des systèmes comme l'a démontré par ces robots comme RoboLamprey 9 et le cricket robotique de Barbara Webb 23. Composants simples de nombreuses architectures de contrôle biomimétiques peuvent être testés de manière rapide et simple. La méthode peut également avancer simulations bio-hybrides qui contrôlent agents virtuels pour inclure le contrôle du véhicule incarnée 24, et il peut servir de cadre de contrôle biomimétique à l'interface entre le cerveau et la machine 25.
Utilisation du LEGOPlate-forme Mindstorms permet le transfert de cette approche biorobotic à un public plus large dans les écoles et les laboratoires en dehors de la robotique. Les outils ont été utilisés par les étudiants du secondaire et du collégial et 11 proposer un procédé basé sur l'enquête passionnante pour enseigner les neurosciences, la robotique et la valeur de la science interdisciplinaire. Laboratoires sans l'équipement ou le fond nécessaires pour construire des robots peuvent utiliser ce kit robotique grand public bien soutenu à utiliser des robots comme un outil dans leur travail. L'approche biorobotic pourrait s'appliquer à la recherche dans un éventail de domaines, des neurosciences et de l'éthologie à la biomécanique et le comportement social.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Les auteurs déclarent qu'ils n'ont aucun intérêt financier concurrents.
Acknowledgments
Nous remercions le Dr Chris Rogers (Tufts University) pour la programmation et manuscrit suggestions. Nous remercions Alex Giuliano et Deborah Lee appui à la production vidéo.
Le financement fourni par une bourse de recherche doctorale NSF et un MURI ONR en biologie synthétique.
References
- Braitenberg, V. Taxis, kinesis and decussation. Prog. in Brain Res. 17, 210-222 (1965).
- Schregardus, D. S., Pieneman, A. W., Ter Maat, A., Jansen, R. F., Brouwer, F., Gahr, M. L. A lightweight telemetry system for recording neuronal activity in freely behaving small animals. Journal of Neuroscience Methods. 155 (1), 62-71 (2006).
- Kagaya, K., Takahata, M. Readiness discharge for spontaneous initiation of walking in crayfish. Journal of Neuroscience. 30 (4), 1348-1362 (2010).
- Schrameck, J. E. Crayfish Swimming: Alternating Motor Output and Giant Fiber Activity. Science. 169 (3946), 698-700 (1970).
- Kanz, J. E., Eberly, L. B., Cobbs, J. S., Pinsker, H. M. Neuronal correlates of siphon withdrawal in freely behaving Aplysia. J. Neurophysiol. 42 (6), 1538-1556 (1979).
- Webb, B. Validating biorobotic models. Journal of Neural Engineering. 3, 1-20 (2006).
- Wessnitzer, J., Asthenidis, A., Petrou, G., Webb, B. A cricket-controlled robot orienting towards a sound source. Proceedings of the 12th Annual conference on Towards autonomous robotic systems. , 1-12 (2011).
- Grasso, F., Atema, J. Integration of flow and chemical sensing for guidance of autonomous marine robots in turbulent flows. Environ. Fluid Mech. 2 (1), 95-114 (2002).
- Westphal, A., Rulkov, N. F., Ayers, J., Brady, D., Hunt, M. Controlling a lamprey-based robot with an electronic nervous system. Smart Struct. and Systems. 8 (1), 39-52 (2011).
- Chao, Z. C., Bakkum, D. J., Potter, S. M. Shaping embodied neural networks for adaptive goal-directed behavior. PLoS Computational Biology. 4 (3), e1000042 (2008).
- Building nervous systems for robots: an interactive and collaborative neuroscience curriculum. Blustein, D., Schultheis, K., Ayers, J. National Science Teachers Association National Conference, San Francisco, C.A, , (2011).
- Ayers, J., Blustein, D., Westphal, A. A Conserved Biomimetic Control Architecture for Walking, Swimming and Flying Robots. Lect. Notes on Artif. Intelli. 7375, 1-12 (2012).
- A Biologically Inspired Passive Antenna for Steering Control of a Running Robot. Cowan, N., Ma, E., Cutkosky, M., Full, R. Proceedings of ISRR'2003, , 541-550 (2003).
- Gasperi, M., Hurbain, P. Extreme NXT: Extending the LEGO MINDSTORMS NXT to the Next Level. , Apress. Berkeley, C.A. (2007).
- Gasperi, M. LabVIEW for LEGO MINDSTORMS NXT. , National Technology and Science Press. Allendale, N.J. (2008).
- Kennedy, D., Davis, W. Chapter 27 Organization of invertebrate motor systems. Handbook of Physiology. 1, 1023-1088 (1977).
- Buchanan, J., Grillner, S. Newly identified "glutamate interneurons" and their role in locomotion in the lamprey spinal cord. Science. 236 (4799), 312-314 (1987).
- Rulkov, N. Modeling of spiking-bursting neural behavior using two-dimensional map. Physical Review E. 65, (2002).
- Derby, C. D., Atema, J. Narrow-spectrum chemoreceptor cells in the walking legs of the lobster, Homarus americanus: Taste specialists. Journal of Comparative Physiology A. 146 (2), 181-189 (1982).
- Tort, A. B. L., Neto, W. P., Amaral, O. B., Kazlauckas, V., Souza, D. O., Lara, D. R. A simple webcam-based approach for the measurement of rodent locomotion and other behavioural parameters. Journal of Neuroscience Methods. 157 (1), 91-97 (2006).
- Huxley, T. H. The Crayfish, An Introduction to the Study of Zoology. , C. Kegan Paul & Co. London. (1880).
- Blustein, D., Ayers, J. A conserved network for control of arthropod exteroceptive optical flow reflexes during locomotion. Lect. Notes on Artif. Intelli. 6226, 72-81 (2010).
- Webb, B., Scutt, T. A simple latency-dependent spiking-neuron model of cricket phonotaxis. Biological Cybernetics. 82 (3), 247-269 (2000).
- Demarse, T. B., Wagenaar, D. A., Blau, A. W., Potter, S. M. The Neurally Controlled Animat: Biological Brains Acting with Simulated Bodies. Autonomous Robots. 11 (3), 305-310 (2001).
- Novellino, A., D'Angelo, P., Cozzi, L., Chiappalone, M., Sanguineti, V., Martinoia, S. Connecting neurons to a mobile robot: an in vitro bidirectional neural interface. Computational Intelligence and Neuroscience. , 12725 (2007).
