Artykuł metodologiczny

Projektowanie i implementacja symulacji układu nerwowego na robotach LEGO

DOI:

10.3791/50519

⸱

25 maja 2013

 ,  , 
1Marine Science Center, Northeastern University, 2Fachrichtung Bionik, Bremen University of Applied Sciences

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Przedstawiono podejście do modelowania sieci neuronowych na platformie robotycznej LEGO Mindstorms. Metoda ta stanowi narzędzie symulacyjne do badań neurobiologicznych nad bezkręgowcami zarówno w laboratorium badawczym, jak i w klasie. Technika ta umożliwia badanie zasad biomimetycznego sterowania robotem.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Prezentujemy metodę wykorzystania dostępnej na rynku platformy robotycznej LEGO Mindstorms NXT do testowania hipotez neurobiologicznych na poziomie systemów. Pierwszym krokiem metody jest opracowanie symulacji układu nerwowego specyficznych zachowań odruchowych odpowiedniego organizmu modelowego; tutaj używamy homara amerykańskiego. Odruchy eksteroceptywne, w których pośredniczy rozszyfrowywanie (krzyżowanie się) połączeń nerwowych, mogą wyjaśniać taksówki zwierzęcia w kierunku lub od bodźca, jak opisano przez Braitenberga, i są szczególnie dobrze przystosowane do badania za pomocą platformy NXT. 1 Symulacja układu nerwowego jest programowana za pomocą oprogramowania LabVIEW na platformie LEGO Mindstorms. Gdy układ nerwowy zostanie odpowiednio dostrojony, eksperymenty behawioralne są przeprowadzane na robocie i zwierzęciu w identycznych warunkach środowiskowych. Kontrolując środowisko sensoryczne doświadczane przez osobniki, można zaobserwować różnice w wynikach behawioralnych. Różnice te mogą wskazywać na konkretne braki w modelu układu nerwowego i służyć do informowania o iteracji modelu dla konkretnego badanego zachowania. Metoda ta pozwala na eksperymentalną manipulację elektronicznymi układami nerwowymi i służy jako sposób na badanie hipotez neurobiologicznych, w szczególności dotyczących neurofizjologicznych podstaw prostych wrodzonych zachowań odruchowych. Zestaw LEGO Mindstorms NXT to przystępna cenowo i wydajna platforma, na której można przetestować wstępne schematy sterowania robotami biomimetycznymi. Podejście to doskonale nadaje się również do klasy licealnej, która służy jako podstawa praktycznego programu nauczania biorobotyki opartego na dociekaniach.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badania neurofizjologiczne w ciągu ostatnich 100 lat ogromnie poszerzyły naszą wiedzę na temat budowy i funkcji układu nerwowego. Jednak większość dotychczasowych badań nad układem nerwowym opierała się na stosowaniu izolowanych preparatów lub ograniczonych osób. Chociaż podjęto wiele udanych prób rejestrowania aktywności neuronalnej swobodnie zachowujących się zwierząt2-5, podejście biorobotyczne stanowi cenne narzędzie umożliwiające manipulację układem nerwowym w celu przetestowania hipotez neurobiologicznychna poziomie systemów. Symulowane układy nerwowe działające na robotach mogą być eksperymentalnie manipulowane i pozwalają na rozszerzenie modelowania oprogramowania na świat fizyczny. Podejście to zostało dobrze wdrożone w świecie akademickim7,8, ale proces budowy robota biomimetycznego do testowania hipotez może być kosztowny i czasochłonny. Przedstawiamy metodę realizacji podejścia biorobotycznego z wykorzystaniem dostępnego na rynku zestawu do robotyki (LEGO Mindstorms NXT 2.0). Celem tej metody jest zapewnienie szybkiego i wydajnego sposobu testowania hipotez neurobiologicznych na poziomie systemów na symulacjach ucieleśnionych sieci neuronowych9 lub biohybrydowych10. Przyspieszenie procesu od hipotezy do eksperymentu zwiększa produktywność badań. Prosta platforma LEGO Mindstorms stanowi poligon doświadczalny dla czujników biomimetycznych i sieci neuronowych, które demonstrujemy na przykładzie homara amerykańskiego (Homarus americanus) jako organizmu modelowego. Metoda ta stanowi również potężne praktyczne narzędzie edukacyjne w klasie, ponieważ uczniowie mogą projektować i manipulować układami nerwowymi dla swoich własnych robotów11.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. Budowanie modelu robota

  1. Wybierz organizm modelowy do badania, który jest dobrze reprezentowany w literaturze neuroetologicznej. Bezkręgowce są na ogół dobrymi kandydatami, ponieważ ich stosunkowo prosty układ nerwowy został dobrze przebadany i składa się głównie z wrodzonych odruchów. Zademonstrujemy to podejście na przykładzie homara amerykańskiego, Homarus americanus.
  2. Wybierz dobrze zbadane zachowania odruchowe do celów modelowania. Wybraliśmy reakcje homara na zgięcie czułka i wykrywanie guza pazurów, ponieważ zwierzę odruchowo reaguje na zginanie czułków, aby wywołać reotaksję (orientację na przepływ wody), podczas gdy kontakty z pazurami pośredniczą w unikaniu przeszkód. Proste odruchy polegające na rozszyfrowywaniu połączeń neuronowych z obustronnie symetrycznych czujników dobrze nadają się do tego typu badań1.
  3. Zbuduj lub wybierz platformę robotyczną z odpowiednimi czujnikami dla wybranych zachowań, aby uruchomić symulację sieci neuronowej. Podczas gdy można zbudować dedykowanego robota, takiego jak RoboLobster12 lub rodzina robotów Sprawl (karaluch)13, tutaj używamy dostępnego na rynku zestawu, aby przyspieszyć proces eksperymentalny. Zestaw LEGO Mindstorms NXT 2.0, zawierający szablony, modułowe komponenty i sprawdzone czujniki, pozwala na szybką fizyczną konstrukcję robota.
  4. Wybierz lub zbuduj czujniki tak, aby pasowały do modalności zachowań wybranych w kroku 1.2. Można użyć gotowych czujników z zestawu LEGO Mindstorms lub zaprojektować czujniki homebrew14,15. Wybraliśmy dołączony czujnik dotykowy LEGO i niestandardowy czujnik zgięcia anteny składający się z czujnika zgięcia FlexPoint połączonego ze złączem NXT. Aby zbudować niestandardowe złącze rezystancyjne, przetnij przewód złącza NXT i czarne i białe do przewodów czujnika.
  5. Wykorzystaj wcześniej opublikowane badania neuroetologiczne, aby znaleźć lub opracować hipotetyczną sieć neuronową do celów modelowania. W literaturze zaproponowano różne sieci neuronowe w celu wyjaśnienia zachowania w różnych organizmach modelowych, od homarów16 do minogów17. Należy zidentyfikować funkcjonalne jednostki neuronowe i teoretyzować ich połączenia synaptyczne. Nowatorskie eksperymenty neuroetologiczne mogą być również opracowywane i wdrażane, jeśli pozwalają na to warunki laboratoryjne.

2. Programowanie układu nerwowego

  1. Za pomocą oprogramowania LabVIEW oraz modułu LabVIEW dla LEGO MINDSTORMS NXT można tworzyć instrumenty wirtualne (VI), które uruchamiają równania dla matematycznego modelu neuronów i synaps. Chociaż można użyć dowolnego opublikowanego modelu, zalecamy model oparty na dyskretnej mapie czasu (DTM)18. Pozwala to na wydajną obliczeniowo pracę w czasie rzeczywistym przy jednoczesnym zachowaniu różnych reżimów wyjściowych odpalania neuronów. Dwa parametry kontrolne, alfa i sigma, określają dynamikę symulowanego neuronu w celu wytworzenia zróżnicowanych sygnałów wyjściowych neuronów, w tym impulsów tonicznych, chaotycznego odpalania, pękania i wewnętrznej ciszy. LabVIEW VI dla LEGO Mindstorms dla tego modelu neuronu można znaleźć w Internecie tutaj: http://myfiles.neu.edu/blustein.d/neurobots
  2. Umieść VI w pętli while, aby sieć była aktualizowana iteracyjnie.
  3. Połącz wyjścia kolców neuronów presynaptycznych przez synapsy z neuronami postsynaptycznymi.
  4. Przekazywanie iteracyjnie aktualizowanych parametrów przez rejestry przesuwne do następnego cyklu obliczeniowego. Model DTM aktualizuje szybkie (x) i wolne (y) zmienne dynamiczne, które są przekazywane do następnej iteracji obliczeń.
  5. Ustaw parametry synapsy, aby zdefiniować charakterystykę sieci. Dla każdej synapsy siła synaptyczna (gsyn), szybkość relaksacji (gamma) i potencjał odwrócenia (xrp) są współczynnikami w równaniach modelu DTM, które określają zachowanie synaptyczne. Wartość gsyn to mnożnik, który określa wielkość efektu prądu synaptycznego ze zdarzenia skokowego, w zakresie od 0,0 (brak efektu) do 1,0 (efekt 100%). Wartość gamma to mnożnik, który określa szybkość zaniku prądu synaptycznego niezależnie od zdarzeń skokowych, w zakresie od 0,0 (całkowity rozpad) do 1,0 (brak rozpadu). Wartość xrp określa poziom pobudzenia lub zahamowania synapsy, wartości zwykle mieszczą się w zakresie od -3,0 do 3,0, przy czym wartości dodatnie reprezentują wzbudzenie, a wartości ujemne reprezentują hamowanie. Wartości można dostosować do konkretnej charakterystyki sieci. Tutaj używamy następujących ustawień: gamma = 0,95, gsyn = 0,60 i xrp = 2,2 (synapsa pobudzająca) lub -1,8 (synapsa hamująca).
  6. Dostosuj parametry kontrolne alfa i sigma, aby zmodyfikować podstawową aktywność neuronów. Dynamika modelu dla różnych parametrów sterowania jest szczegółowo opisana w innym miejscu18, ale zazwyczaj alfa < 4 wytwarza wewnętrznie cichą aktywność neuronalną dla niskich wartości sigma lub skoki toniczne dla wysokich wartości sigma. Przejście między "niskimi" i "wysokimi" wartościami sigma zwykle występuje w zakresie od -1,0 do 1,0 w zależności od wartości alfa. Gwałtowna aktywność neuronów jest wytwarzana dla alfa > 4, gdy wartości sigma są bliskie zeru. Tutaj używamy alfa = 4,05 i sigma = -3,10.
  7. Użyj LabVIEW VI, aby wprowadzić informacje z czujników do sieci. Dla dostarczonych czujników, VI są już dostępne w module Mindstorms LabVIEW. W przypadku niestandardowych czujników rezystancyjnych należy użyć czujnika światła VI jako ramy programowania. Informacje na temat tworzenia czujników homebrew można znaleźć w innym miejscu14.
  8. Wstaw wykresy graficzne na przednim panelu programu LabVIEW, aby zobrazować aktywność neuronalną.
  9. Tymczasowo zastąp wejścia czujników skrzynkami sterowniczymi na panelu przednim, aby ręcznie manipulować informacjami z czujnika przesyłanymi do sieci neuronowej.
  10. Uruchom sieć neuronową i ręcznie dostosuj elementy sterujące na panelu przednim, aby prezentować zróżnicowane dane sensoryczne. Upewnij się, że sieć działa jakościowo zgodnie z przewidywaniami dla znanych warunków.
  11. Dostosuj sieć zgodnie z potrzebami, zmieniając parametry neuronu i synapsy. Pierwsze próby dostrojenia sieci powinny być wykonane poprzez zmianę siły synaptycznej (gsyn) różnych synaps. Inne parametry również mogą wymagać dostosowania.
  12. Gdy sieć będzie działać z jakościową dokładnością, wymień skrzynki kontrolne na panelu przednim na VI wejściowe czujnika.

3. Testowanie symulacji układu nerwowego

  1. Stwórz kontrolowane środowisko, w którym będziesz obserwować zwierzę i robota w podobnych warunkach. Używamy prostokątnego zbiornika zawierającego przeszkody skalne (rysunek 1). Zbiornik można opróżnić, aby pomieścić robota LEGO w tej samej przestrzeni.
  2. Zamontuj kamerę wideo nad głową, aby nagrać zachowanie zwierzęcia/robota. Upewnij się, że kontrast między obiektem a tłem jest wysoki, aby umożliwić automatyczne śledzenie. Pomalowaliśmy dno zbiornika testowego na biało.
  3. Umieść zwierzę w kontrolowanym środowisku i nagraj wideo zachowanie. Pamiętaj, aby ograniczyć zdolności sensoryczne homara, aby odpowiadały możliwościom robota. Tutaj ograniczamy zdolności sensoryczne homara, zakrywając oczy maską z folii aluminiowej i deafektując chemoreceptory słodką wodą19.
  4. Dostosuj otoczenie do robota LEGO (w razie potrzeby usuwając wodę) i uruchom robota w tym samym kontrolowanym środowisku.
  5. Użyj skryptu MATLAB, aby automatycznie śledzić znaczniki na próbkach. Używamy MouseLabTracker20.
  6. Twórz i porównuj wykresy wektorowe ruchów zwierząt i robotów.
  7. Zmodyfikuj układ nerwowy i powtórz kroki 3.3-3.6, aby zaobserwować, jak różne aspekty elektronicznego układu nerwowego wpływają na zachowanie robota. Tutaj dostosowujemy siłę synaptyczną między neuronami czujnika guza pazurów a układem motorycznym i monitorujemy wydajność robota w porównaniu z homarem. Alternatywnie, warunki sensoryczne na arenie testowej mogą być modyfikowane, a efekty obserwowane u robotów i zwierząt. Dla przykładu, opisywana tutaj arena może być poddawana różnym natężeniom przepływu wody.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Sygnały z szczypiec homara przekazywane do jego układu nerwowego pośredniczą w omijaniu przeszkód w nowym środowisku. Rycina 1 przedstawia zrzut ekranu z filmu wykorzystanego do analizy zachowania robota LEGO (Rycina 1A) oraz homara (Rycina 1B) w arenie testowej. Arena testowa pozostała niezmieniona pomiędzy testami z udziałem zwierzęcia i robota, z wyjątkiem faktu, że na potrzeby prób z robotem wodę z akwarium opróżniono.

Wyniki śledzenia wid...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Rozpoczynając eksperymenty symulacyjne biorobotycznego układu nerwowego, należy przestrzegać kilku ważnych wskazówek. Wybór odpowiedniego organizmu modelowego ma kluczowe znaczenie: wybierz organizm, który jest łatwy do uzyskania i utrzymania. Bezkręgowce są idealne, ponieważ zwykle nie wymagają instytucjonalnej zgody na eksperymenty, a ich potrzeby hodowlane są często mniej wymagające niż w przypadku kręgowców. Z naukowego punktu widzenia korzystne jest wybranie zwierzęcia, które ma ugruntowaną literaturę neuroetologicz...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy oświadczają, że nie mają konkurencyjnych interesów finansowych.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dziękujemy Dr. Chrisowi Rogersowi (Tufts University) za sugestie dotyczące programowania i manuskryptów. Dziękujemy Alexowi Giuliano i Deborah Lee za wsparcie przy produkcji wideo.

Finansowanie zapewnione przez NSF Graduate Research Fellowship oraz ONR MURI w Biologii Syntetycznej.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Braitenberg, V. Taxis, kinesis and decussation. Prog. in Brain Res. 17, 210-222 (1965).
  2. Schregardus, D. S., Pieneman, A. W., Ter Maat, A., Jansen, R. F., Brouwer, F., Gahr, M. L. A lightweight telemetry system for recording neuronal activity in freely behaving small animals. Journal of Neuroscience Methods. 155 (1), 62-71 (2006).
  3. Kagaya, K., Takahata, M. Readiness discharge for spontaneous initiation of walking in crayfish. Journal of Neuroscience. 30 (4), 1348-1362 (2010).
  4. Schrameck, J. E. Crayfish Swimming: Alternating Motor Output and Giant Fiber Activity. Science. 169 (3946), 698-700 (1970).
  5. Kanz, J. E., Eberly, L. B., Cobbs, J. S., Pinsker, H. M. Neuronal correlates of siphon withdrawal in freely behaving Aplysia. J. Neurophysiol. 42 (6), 1538-1556 (1979).
  6. Webb, B. Validating biorobotic models. Journal of Neural Engineering. 3, 1-20 (2006).
  7. Wessnitzer, J., Asthenidis, A., Petrou, G., Webb, B. A cricket-controlled robot orienting towards a sound source. Proceedings of the 12th Annual conference on Towards autonomous robotic systems. , 1-12 (2011).
  8. Grasso, F., Atema, J. Integration of flow and chemical sensing for guidance of autonomous marine robots in turbulent flows. Environ. Fluid Mech. 2 (1), 95-114 (2002).
  9. Westphal, A., Rulkov, N. F., Ayers, J., Brady, D., Hunt, M. Controlling a lamprey-based robot with an electronic nervous system. Smart Struct. and Systems. 8 (1), 39-52 (2011).
  10. Chao, Z. C., Bakkum, D. J., Potter, S. M. Shaping embodied neural networks for adaptive goal-directed behavior. PLoS Computational Biology. 4 (3), e1000042(2008).
  11. Building nervous systems for robots: an interactive and collaborative neuroscience curriculum. Blustein, D., Schultheis, K., Ayers, J. National Science Teachers Association National Conference, San Francisco, C.A, , (2011).
  12. Ayers, J., Blustein, D., Westphal, A. A Conserved Biomimetic Control Architecture for Walking, Swimming and Flying Robots. Lect. Notes on Artif. Intelli. 7375, 1-12 (2012).
  13. A Biologically Inspired Passive Antenna for Steering Control of a Running Robot. Cowan, N., Ma, E., Cutkosky, M., Full, R. Proceedings of ISRR'2003, , 541-550 (2003).
  14. Gasperi, M., Hurbain, P. Extreme NXT: Extending the LEGO MINDSTORMS NXT to the Next Level. , Apress. Berkeley, C.A. (2007).
  15. Gasperi, M. LabVIEW for LEGO MINDSTORMS NXT. , National Technology and Science Press. Allendale, N.J. (2008).
  16. Kennedy, D., Davis, W. Chapter 27 Organization of invertebrate motor systems. Handbook of Physiology. 1, 1023-1088 (1977).
  17. Buchanan, J., Grillner, S. Newly identified "glutamate interneurons" and their role in locomotion in the lamprey spinal cord. Science. 236 (4799), 312-314 (1987).
  18. Rulkov, N. Modeling of spiking-bursting neural behavior using two-dimensional map. Physical Review E. 65, (2002).
  19. Derby, C. D., Atema, J. Narrow-spectrum chemoreceptor cells in the walking legs of the lobster, Homarus americanus: Taste specialists. Journal of Comparative Physiology A. 146 (2), 181-189 (1982).
  20. Tort, A. B. L., Neto, W. P., Amaral, O. B., Kazlauckas, V., Souza, D. O., Lara, D. R. A simple webcam-based approach for the measurement of rodent locomotion and other behavioural parameters. Journal of Neuroscience Methods. 157 (1), 91-97 (2006).
  21. Huxley, T. H. The Crayfish, An Introduction to the Study of Zoology. , C. Kegan Paul & Co. London. (1880).
  22. Blustein, D., Ayers, J. A conserved network for control of arthropod exteroceptive optical flow reflexes during locomotion. Lect. Notes on Artif. Intelli. 6226, 72-81 (2010).
  23. Webb, B., Scutt, T. A simple latency-dependent spiking-neuron model of cricket phonotaxis. Biological Cybernetics. 82 (3), 247-269 (2000).
  24. Demarse, T. B., Wagenaar, D. A., Blau, A. W., Potter, S. M. The Neurally Controlled Animat: Biological Brains Acting with Simulated Bodies. Autonomous Robots. 11 (3), 305-310 (2001).
  25. Novellino, A., D'Angelo, P., Cozzi, L., Chiappalone, M., Sanguineti, V., Martinoia, S. Connecting neurons to a mobile robot: an in vitro bidirectional neural interface. Computational Intelligence and Neuroscience. , 12725(2007).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Symulacja uk adu nerwowegoLEGO Mindstorms NXTprogramowanie w LabVIEWhomar ameryka skizachowania refleksyjnemodelowanie sieci neuronowychintegracja czujnik wtesty behawioralnerobotyka biomimetycznaneuronauka systemowa

Powiązane artykuły