Name: Projektowanie i implementacja symulacji układu nerwowego na robotach LEGO (Wideo) | JoVE Journal
Uploaded: 2013-05-25T14:00:00.000+00:00
Duration: 10 min 34 s
Description: Poznaj metodę symulacji sieci neuronowych na platformie LEGO Mindstorms NXT. Technika umożliwia prototypowanie układów nerwowych i porównywanie zachowań robota z modelem zwierzęcym w badaniach neuroetologicznych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Dziękujemy Dr. Chrisowi Rogersowi (Tufts University) za sugestie dotyczące programowania i manuskryptów. Dziękujemy Alexowi Giuliano i Deborah Lee za wsparcie przy produkcji wideo. 
Finansowanie zapewnione przez NSF Graduate Research Fellowship oraz ONR MURI w Biologii Syntetycznej.

1. Budowanie modelu robota 
<ol>
 <li>Wybierz organizm modelowy do badania, który jest dobrze reprezentowany w literaturze neuroetologicznej. Bezkręgowce są na ogół dobrymi kandydatami, ponieważ ich stosunkowo prosty układ nerwowy został dobrze przebadany i składa się głównie z wrodzonych odruchów. Zademonstrujemy to podejście na przykładzie homara amerykańskiego, Homarus americanus. </li>
 <li>Wybierz dobrze zbadane zachowania odruchowe do celów modelowania. Wybraliśmy reakcje homara na zgięcie czułka i wykrywanie guza pazurów, ponieważ zwierzę odruchowo reaguje na zginanie czułków, aby wywołać reotaksję (orientację na przepływ wody), podczas gdy kontakty z pazurami pośredniczą w unikaniu przeszkód. Proste odruchy polegające na rozszyfrowywaniu połączeń neuronowych z obustronnie symetrycznych czujników dobrze nadają się do tego typu badań1.</li>
 <li>Zbuduj lub wybierz platformę robotyczną z odpowiednimi czujnikami dla wybranych zachowań, aby uruchomić symulację sieci neuronowej. Podczas gdy można zbudować dedykowanego robota, takiego jak RoboLobster12 lub rodzina robotów Sprawl (karaluch)13, tutaj używamy dostępnego na rynku zestawu, aby przyspieszyć proces eksperymentalny. Zestaw LEGO Mindstorms NXT 2.0, zawierający szablony, modułowe komponenty i sprawdzone czujniki, pozwala na szybką fizyczną konstrukcję robota. </li>
 <li>Wybierz lub zbuduj czujniki tak, aby pasowały do modalności zachowań wybranych w kroku 1.2. Można użyć gotowych czujników z zestawu LEGO Mindstorms lub zaprojektować czujniki homebrew14,15. Wybraliśmy dołączony czujnik dotykowy LEGO i niestandardowy czujnik zgięcia anteny składający się z czujnika zgięcia FlexPoint połączonego ze złączem NXT. Aby zbudować niestandardowe złącze rezystancyjne, przetnij przewód złącza NXT i czarne i białe do przewodów czujnika. </li>
 <li>Wykorzystaj wcześniej opublikowane badania neuroetologiczne, aby znaleźć lub opracować hipotetyczną sieć neuronową do celów modelowania. W literaturze zaproponowano różne sieci neuronowe w celu wyjaśnienia zachowania w różnych organizmach modelowych, od homarów16 do minogów17. Należy zidentyfikować funkcjonalne jednostki neuronowe i teoretyzować ich połączenia synaptyczne. Nowatorskie eksperymenty neuroetologiczne mogą być również opracowywane i wdrażane, jeśli pozwalają na to warunki laboratoryjne.
 </li>
</ol>
2. Programowanie układu nerwowego
<ol>
 <li>Za pomocą oprogramowania LabVIEW oraz modułu LabVIEW dla LEGO MINDSTORMS NXT można tworzyć instrumenty wirtualne (VI), które uruchamiają równania dla matematycznego modelu neuronów i synaps. Chociaż można użyć dowolnego opublikowanego modelu, zalecamy model oparty na dyskretnej mapie czasu (DTM)18. Pozwala to na wydajną obliczeniowo pracę w czasie rzeczywistym przy jednoczesnym zachowaniu różnych reżimów wyjściowych odpalania neuronów. Dwa parametry kontrolne, alfa i sigma, określają dynamikę symulowanego neuronu w celu wytworzenia zróżnicowanych sygnałów wyjściowych neuronów, w tym impulsów tonicznych, chaotycznego odpalania, pękania i wewnętrznej ciszy. LabVIEW VI dla LEGO Mindstorms dla tego modelu neuronu można znaleźć w Internecie tutaj: <a href="http://myfiles.neu.edu/blustein.d/neurobots" target="_blank">http://myfiles.neu.edu/blustein.d/neurobots</a></li>
 <li>Umieść VI w pętli while, aby sieć była aktualizowana iteracyjnie. </li>
 <li>Połącz wyjścia kolców neuronów presynaptycznych przez synapsy z neuronami postsynaptycznymi. </li>
 <li>Przekazywanie iteracyjnie aktualizowanych parametrów przez rejestry przesuwne do następnego cyklu obliczeniowego. Model DTM aktualizuje szybkie (x) i wolne (y) zmienne dynamiczne, które są przekazywane do następnej iteracji obliczeń. </li>
 <li>Ustaw parametry synapsy, aby zdefiniować charakterystykę sieci. Dla każdej synapsy siła synaptyczna (gsyn), szybkość relaksacji (gamma) i potencjał odwrócenia (xrp) są współczynnikami w równaniach modelu DTM, które określają zachowanie synaptyczne. Wartość gsyn to mnożnik, który określa wielkość efektu prądu synaptycznego ze zdarzenia skokowego, w zakresie od 0,0 (brak efektu) do 1,0 (efekt 100%). Wartość gamma to mnożnik, który określa szybkość zaniku prądu synaptycznego niezależnie od zdarzeń skokowych, w zakresie od 0,0 (całkowity rozpad) do 1,0 (brak rozpadu). Wartość xrp określa poziom pobudzenia lub zahamowania synapsy, wartości zwykle mieszczą się w zakresie od -3,0 do 3,0, przy czym wartości dodatnie reprezentują wzbudzenie, a wartości ujemne reprezentują hamowanie. Wartości można dostosować do konkretnej charakterystyki sieci. Tutaj używamy następujących ustawień: gamma = 0,95, gsyn = 0,60 i xrp = 2,2 (synapsa pobudzająca) lub -1,8 (synapsa hamująca). </li>
 <li>Dostosuj parametry kontrolne alfa i sigma, aby zmodyfikować podstawową aktywność neuronów. Dynamika modelu dla różnych parametrów sterowania jest szczegółowo opisana w innym miejscu18, ale zazwyczaj alfa < 4 wytwarza wewnętrznie cichą aktywność neuronalną dla niskich wartości sigma lub skoki toniczne dla wysokich wartości sigma. Przejście między "niskimi" i "wysokimi" wartościami sigma zwykle występuje w zakresie od -1,0 do 1,0 w zależności od wartości alfa. Gwałtowna aktywność neuronów jest wytwarzana dla alfa > 4, gdy wartości sigma są bliskie zeru. Tutaj używamy alfa = 4,05 i sigma = -3,10. </li>
 <li>Użyj LabVIEW VI, aby wprowadzić informacje z czujników do sieci. Dla dostarczonych czujników, VI są już dostępne w module Mindstorms LabVIEW. W przypadku niestandardowych czujników rezystancyjnych należy użyć czujnika światła VI jako ramy programowania. Informacje na temat tworzenia czujników homebrew można znaleźć w innym miejscu14.</li>
 <li>Wstaw wykresy graficzne na przednim panelu programu LabVIEW, aby zobrazować aktywność neuronalną. </li>
 <li>Tymczasowo zastąp wejścia czujników skrzynkami sterowniczymi na panelu przednim, aby ręcznie manipulować informacjami z czujnika przesyłanymi do sieci neuronowej. </li>
 <li>Uruchom sieć neuronową i ręcznie dostosuj elementy sterujące na panelu przednim, aby prezentować zróżnicowane dane sensoryczne. Upewnij się, że sieć działa jakościowo zgodnie z przewidywaniami dla znanych warunków. </li>
 <li>Dostosuj sieć zgodnie z potrzebami, zmieniając parametry neuronu i synapsy. Pierwsze próby dostrojenia sieci powinny być wykonane poprzez zmianę siły synaptycznej (gsyn) różnych synaps. Inne parametry również mogą wymagać dostosowania. </li>
 <li>Gdy sieć będzie działać z jakościową dokładnością, wymień skrzynki kontrolne na panelu przednim na VI wejściowe czujnika. </li>
</ol>
3. Testowanie symulacji układu nerwowego
<ol>
 <li>Stwórz kontrolowane środowisko, w którym będziesz obserwować zwierzę i robota w podobnych warunkach. Używamy prostokątnego zbiornika zawierającego przeszkody skalne (rysunek 1). Zbiornik można opróżnić, aby pomieścić robota LEGO w tej samej przestrzeni. </li>
 <li>Zamontuj kamerę wideo nad głową, aby nagrać zachowanie zwierzęcia/robota. Upewnij się, że kontrast między obiektem a tłem jest wysoki, aby umożliwić automatyczne śledzenie. Pomalowaliśmy dno zbiornika testowego na biało. </li>
 <li>Umieść zwierzę w kontrolowanym środowisku i nagraj wideo zachowanie. Pamiętaj, aby ograniczyć zdolności sensoryczne homara, aby odpowiadały możliwościom robota. Tutaj ograniczamy zdolności sensoryczne homara, zakrywając oczy maską z folii aluminiowej i deafektując chemoreceptory słodką wodą19. </li>
 <li>Dostosuj otoczenie do robota LEGO (w razie potrzeby usuwając wodę) i uruchom robota w tym samym kontrolowanym środowisku.</li>
 <li>Użyj skryptu MATLAB, aby automatycznie śledzić znaczniki na próbkach. Używamy MouseLabTracker20. </li>
 <li>Twórz i porównuj wykresy wektorowe ruchów zwierząt i robotów. </li>
 <li>Zmodyfikuj układ nerwowy i powtórz kroki 3.3-3.6, aby zaobserwować, jak różne aspekty elektronicznego układu nerwowego wpływają na zachowanie robota. Tutaj dostosowujemy siłę synaptyczną między neuronami czujnika guza pazurów a układem motorycznym i monitorujemy wydajność robota w porównaniu z homarem. Alternatywnie, warunki sensoryczne na arenie testowej mogą być modyfikowane, a efekty obserwowane u robotów i zwierząt. Dla przykładu, opisywana tutaj arena może być poddawana różnym natężeniom przepływu wody.</li>
</ol>

<ol><li>Braitenberg, V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Taxis%2C+kinesis+and+decussation%5BTitle%5D)+AND+%22Prog.+in+Brain+Res%22%5BJournal%5D)">Taxis, kinesis and decussation.</a> Prog. in Brain Res. 17, 210-222 (1965).</li>
<li>Schregardus, D. S., Pieneman, A. W., Ter Maat, A., Jansen, R. F., Brouwer, F., Gahr, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+lightweight+telemetry+system+for+recording+neuronal+activity+in+freely+behaving+small+animals%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">A lightweight telemetry system for recording neuronal activity in freely behaving small animals.</a> Journal of Neuroscience Methods. 155 (1), 62-71 (2006).</li>
<li>Kagaya, K., Takahata, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Readiness+discharge+for+spontaneous+initiation+of+walking+in+crayfish%5BTitle%5D)+AND+%22Journal+of+Neuroscience%22%5BJournal%5D)">Readiness discharge for spontaneous initiation of walking in crayfish.</a> Journal of Neuroscience. 30 (4), 1348-1362 (2010).</li>
<li>Schrameck, J. E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Crayfish+Swimming%3A+Alternating+Motor+Output+and+Giant+Fiber+Activity%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Crayfish Swimming: Alternating Motor Output and Giant Fiber Activity.</a> Science. 169 (3946), 698-700 (1970).</li>
<li>Kanz, J. E., Eberly, L. B., Cobbs, J. S., Pinsker, H. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Neuronal+correlates+of+siphon+withdrawal+in+freely+behaving+Aplysia%5BTitle%5D)+AND+%22J.+Neurophysiol%22%5BJournal%5D)">Neuronal correlates of siphon withdrawal in freely behaving Aplysia.</a> J. Neurophysiol. 42 (6), 1538-1556 (1979).</li>
<li>Webb, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Validating+biorobotic+models%5BTitle%5D)+AND+%22Journal+of+Neural+Engineering%22%5BJournal%5D)">Validating biorobotic models.</a> Journal of Neural Engineering. 3, 1-20 (2006).</li>
<li>Wessnitzer, J., Asthenidis, A., Petrou, G., Webb, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+cricket-controlled+robot+orienting+towards+a+sound+source%5BTitle%5D)+AND+%22Proceedings+of+the+12th+Annual+conference+on+Towards+autonomous+robotic+systems%22%5BJournal%5D)">A cricket-controlled robot orienting towards a sound source.</a> Proceedings of the 12th Annual conference on Towards autonomous robotic systems. , 1-12 (2011).</li>
<li>Grasso, F., Atema, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integration+of+flow+and+chemical+sensing+for+guidance+of+autonomous+marine+robots+in+turbulent+flows%5BTitle%5D)+AND+%22Environ.+Fluid+Mech%22%5BJournal%5D)">Integration of flow and chemical sensing for guidance of autonomous marine robots in turbulent flows.</a> Environ. Fluid Mech. 2 (1), 95-114 (2002).</li>
<li>Westphal, A., Rulkov, N. F., Ayers, J., Brady, D., Hunt, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Controlling+a+lamprey-based+robot+with+an+electronic+nervous+system%5BTitle%5D)+AND+%22Smart+Struct.+and+Systems%22%5BJournal%5D)">Controlling a lamprey-based robot with an electronic nervous system.</a> Smart Struct. and Systems. 8 (1), 39-52 (2011).</li>
<li>Chao, Z. C., Bakkum, D. J., Potter, S. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Shaping+embodied+neural+networks+for+adaptive+goal-directed+behavior%5BTitle%5D)+AND+%22PLoS+Computational+Biology%22%5BJournal%5D)">Shaping embodied neural networks for adaptive goal-directed behavior.</a> PLoS Computational Biology. 4 (3), e1000042(2008).</li>
<li>Building nervous systems for robots: an interactive and collaborative neuroscience curriculum. Blustein, D., Schultheis, K., Ayers, J. National Science Teachers Association National Conference, San Francisco, C.A, , (2011).</li>
<li>Ayers, J., Blustein, D., Westphal, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Conserved+Biomimetic+Control+Architecture+for+Walking%2C+Swimming+and+Flying+Robots%5BTitle%5D)+AND+%22Lect.+Notes+on+Artif.+Intelli%22%5BJournal%5D)">A Conserved Biomimetic Control Architecture for Walking, Swimming and Flying Robots.</a> Lect. Notes on Artif. Intelli. 7375, 1-12 (2012).</li>
<li>A Biologically Inspired Passive Antenna for Steering Control of a Running Robot. Cowan, N., Ma, E., Cutkosky, M., Full, R. Proceedings of ISRR'2003, , 541-550 (2003).</li>
<li>Gasperi, M., Hurbain, P. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGasperi%2C+M+%22Extreme+NXT%3A+Extending+the+LEGO+MINDSTORMS+NXT+to+the+Next+Level%22">Extreme NXT: Extending the LEGO MINDSTORMS NXT to the Next Level</a>. , Apress. Berkeley, C.A. (2007).</li>
<li>Gasperi, M. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGasperi%2C+M+%22LabVIEW+for+LEGO+MINDSTORMS+NXT%22">LabVIEW for LEGO MINDSTORMS NXT</a>. , National Technology and Science Press. Allendale, N.J. (2008).</li>
<li>Kennedy, D., Davis, W. Chapter 27 Organization of invertebrate motor systems. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aKennedy%2C+D+%22Handbook+of+Physiology%22">Handbook of Physiology</a>. 1, 1023-1088 (1977).</li>
<li>Buchanan, J., Grillner, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Newly+identified+%22glutamate+interneurons%22+and+their+role+in+locomotion+in+the+lamprey+spinal+cord%5BTitle%5D)+AND+%22Science%22%5BJournal%5D)">Newly identified "glutamate interneurons" and their role in locomotion in the lamprey spinal cord.</a> Science. 236 (4799), 312-314 (1987).</li>
<li>Rulkov, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+of+spiking-bursting+neural+behavior+using+two-dimensional+map%5BTitle%5D)+AND+%22Physical+Review+E%22%5BJournal%5D)">Modeling of spiking-bursting neural behavior using two-dimensional map.</a> Physical Review E. 65, (2002).</li>
<li>Derby, C. D., Atema, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Narrow-spectrum+chemoreceptor+cells+in+the+walking+legs+of+the+lobster%2C+Homarus+americanus%3A+Taste+specialists%5BTitle%5D)+AND+%22Journal+of+Comparative+Physiology+A%22%5BJournal%5D)">Narrow-spectrum chemoreceptor cells in the walking legs of the lobster, Homarus americanus: Taste specialists.</a> Journal of Comparative Physiology A. 146 (2), 181-189 (1982).</li>
<li>Tort, A. B. L., Neto, W. P., Amaral, O. B., Kazlauckas, V., Souza, D. O., Lara, D. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+simple+webcam-based+approach+for+the+measurement+of+rodent+locomotion+and+other+behavioural+parameters%5BTitle%5D)+AND+%22Journal+of+Neuroscience+Methods%22%5BJournal%5D)">A simple webcam-based approach for the measurement of rodent locomotion and other behavioural parameters.</a> Journal of Neuroscience Methods. 157 (1), 91-97 (2006).</li>
<li>Huxley, T. H. The Crayfish, An Introduction to the Study of Zoology. , C. Kegan Paul & Co. London. (1880).</li>
<li>Blustein, D., Ayers, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+conserved+network+for+control+of+arthropod+exteroceptive+optical+flow+reflexes+during+locomotion%5BTitle%5D)+AND+%22Lect.+Notes+on+Artif.+Intelli%22%5BJournal%5D)">A conserved network for control of arthropod exteroceptive optical flow reflexes during locomotion.</a> Lect. Notes on Artif. Intelli. 6226, 72-81 (2010).</li>
<li>Webb, B., Scutt, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+simple+latency-dependent+spiking-neuron+model+of+cricket+phonotaxis%5BTitle%5D)+AND+%22Biological+Cybernetics%22%5BJournal%5D)">A simple latency-dependent spiking-neuron model of cricket phonotaxis.</a> Biological Cybernetics. 82 (3), 247-269 (2000).</li>
<li>Demarse, T. B., Wagenaar, D. A., Blau, A. W., Potter, S. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+Neurally+Controlled+Animat%3A+Biological+Brains+Acting+with+Simulated+Bodies%5BTitle%5D)+AND+%22Autonomous+Robots%22%5BJournal%5D)">The Neurally Controlled Animat: Biological Brains Acting with Simulated Bodies.</a> Autonomous Robots. 11 (3), 305-310 (2001).</li>
<li>Novellino, A., D'Angelo, P., Cozzi, L., Chiappalone, M., Sanguineti, V., Martinoia, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Connecting+neurons+to+a+mobile+robot%3A+an+in+vitro+bidirectional+neural+interface%5BTitle%5D)+AND+%22Computational+Intelligence+and+Neuroscience%22%5BJournal%5D)">Connecting neurons to a mobile robot: an in vitro bidirectional neural interface.</a> Computational Intelligence and Neuroscience. , 12725(2007).</li>
</ol>

Autorzy oświadczają, że nie mają konkurencyjnych interesów finansowych.

Rozpoczynając eksperymenty symulacyjne biorobotycznego układu nerwowego, należy przestrzegać kilku ważnych wskazówek. Wybór odpowiedniego organizmu modelowego ma kluczowe znaczenie: wybierz organizm, który jest łatwy do uzyskania i utrzymania. Bezkręgowce są idealne, ponieważ zwykle nie wymagają instytucjonalnej zgody na eksperymenty, a ich potrzeby hodowlane są często mniej wymagające niż w przypadku kręgowców. Z naukowego punktu widzenia korzystne jest wybranie zwierzęcia, które ma ugruntowaną literaturę neuroetologicz...

Badania neurofizjologiczne w ciągu ostatnich 100 lat ogromnie poszerzyły naszą wiedzę na temat budowy i funkcji układu nerwowego. Jednak większość dotychczasowych badań nad układem nerwowym opierała się na stosowaniu izolowanych preparatów lub ograniczonych osób. Chociaż podjęto wiele udanych prób rejestrowania aktywności neuronalnej swobodnie zachowujących się zwierząt2-5, podejście biorobotyczne stanowi cenne narzędzie umożliwiające manipulację układem nerwowym w celu przetestowania hipotez neurobiologicznychna poziomie systemów. Symulowane układy nerwowe działające na robotach mogą być eksperymentalnie manipulowane i pozwalają na rozszerzenie modelowania oprogramowania na świat fizyczny. Podejście to zostało dobrze wdrożone w świecie akademickim7,8, ale proces budowy robota biomimetycznego do testowania hipotez może być kosztowny i czasochłonny. Przedstawiamy metodę realizacji podejścia biorobotycznego z wykorzystaniem dostępnego na rynku zestawu do robotyki (LEGO Mindstorms NXT 2.0). Celem tej metody jest zapewnienie szybkiego i wydajnego sposobu testowania hipotez neurobiologicznych na poziomie systemów na symulacjach ucieleśnionych sieci neuronowych9 lub biohybrydowych10. Przyspieszenie procesu od hipotezy do eksperymentu zwiększa produktywność badań. Prosta platforma LEGO Mindstorms stanowi poligon doświadczalny dla czujników biomimetycznych i sieci neuronowych, które demonstrujemy na przykładzie homara amerykańskiego (Homarus americanus) jako organizmu modelowego. Metoda ta stanowi również potężne praktyczne narzędzie edukacyjne w klasie, ponieważ uczniowie mogą projektować i manipulować układami nerwowymi dla swoich własnych robotów11.

projektowanie i implementacja symulacji układu nerwowego na robotach lego

Designing and Implementing Nervous System Simulations on LEGO Robots

Prezentujemy metodę wykorzystania dostępnej na rynku platformy robotycznej LEGO Mindstorms NXT do testowania hipotez neurobiologicznych na poziomie systemów. Pierwszym krokiem metody jest opracowanie symulacji układu nerwowego specyficznych zachowań odruchowych odpowiedniego organizmu modelowego; tutaj używamy homara amerykańskiego. Odruchy eksteroceptywne, w których pośredniczy rozszyfrowywanie (krzyżowanie się) połączeń nerwowych, mogą wyjaśniać taksówki zwierzęcia w kierunku lub od bodźca, jak opisano przez Braitenberga, i są szczególnie dobrze przystosowane do badania za pomocą platformy NXT. 1 Symulacja układu nerwowego jest programowana za pomocą oprogramowania LabVIEW na platformie LEGO Mindstorms. Gdy układ nerwowy zostanie odpowiednio dostrojony, eksperymenty behawioralne są przeprowadzane na robocie i zwierzęciu w identycznych warunkach środowiskowych. Kontrolując środowisko sensoryczne doświadczane przez osobniki, można zaobserwować różnice w wynikach behawioralnych. Różnice te mogą wskazywać na konkretne braki w modelu układu nerwowego i służyć do informowania o iteracji modelu dla konkretnego badanego zachowania. Metoda ta pozwala na eksperymentalną manipulację elektronicznymi układami nerwowymi i służy jako sposób na badanie hipotez neurobiologicznych, w szczególności dotyczących neurofizjologicznych podstaw prostych wrodzonych zachowań odruchowych. Zestaw LEGO Mindstorms NXT to przystępna cenowo i wydajna platforma, na której można przetestować wstępne schematy sterowania robotami biomimetycznymi. Podejście to doskonale nadaje się również do klasy licealnej, która służy jako podstawa praktycznego programu nauczania biorobotyki opartego na dociekaniach.

Sygnały z szczypiec homara przesyłane do jego układu nerwowego pośredniczą w omijaniu przeszkód w nowym środowisku. Rysunek 1 przedstawia zrzut ekranu z filmu wykorzystanego do analizy zachowania robota LEGO (Rysunek 1A) oraz homara (Rysunek 1B) w arenie testowej. Arena testowa nie była modyfikowana pomiędzy testami z udziałem zwierzęcia i robota, z wyjątkiem tego, że na potrzeby prób z robotem wodę z akwarium opróżniono.
Wyniki śledzenia wide...

Przedstawiono podejście do modelowania sieci neuronowych na platformie robotycznej LEGO Mindstorms. Metoda ta stanowi narzędzie symulacyjne do badań neurobiologicznych nad bezkręgowcami zarówno w laboratorium badawczym, jak i w klasie. Technika ta umożliwia badanie zasad biomimetycznego sterowania robotem.

Projektowanie i implementacja symulacji układu nerwowego na robotach LEGO

We present a method to use the commercially available LEGO Mindstorms NXT robotics platform to test systems level neuroscience hypotheses. The first step ...

Ogólnym celem tej metody jest szybkie prototypowanie i testowanie symulacji układu nerwowego na platformie robotycznej. Osiąga się to poprzez uruchamianie symulacji sieci neuronowych na platformie Lego Mindstorms NXT oraz przeprowadzanie równoległych testów porównawczych z modelem zwierzęcym. W pierwszej kolejności konstruuje się robota, który służy jako platforma dla symulacji układu nerwowego.Następnie opracowano hipotetyczną sieć neuronową opartą na badaniach neuroetologicznych i zaprogramowano ją na platformie robotycznej. Przeprowadzono badania etologiczne, aby porównać działanie hipotetycznej sieci neuronowej z działaniem układu nerwowego zwierzęcia. Można w ten sposób zidentyfikować niedociągnięcia w modelu, co pozwala na jego dalszy rozwój; hipotezy z zakresu neuronauki na poziomie systemowym można testować poprzez bezpośrednią manipulację parametrami symulacji.Witajcie, jestem Dan Bluestein z Marine Science Center na Northeastern University. W tym materiale zaprezentujemy podejście do szybkiej implementacji symulacji układu nerwowego na platformie robotycznej. Opracowując tę procedurę z myślą o wykorzystaniu komercyjnie dostępnego zestawu robotyki, sprawiliśmy, że to biorobotyczne podejście do neuronauki stało się przystępne cenowo, wydajne i dostępne dla badaczy nieposiadających doświadczenia w inżynierii robotycznej.Podejście to nadaje się również do wykorzystania w szkołach średnich i na uczelniach wyższych jako podstawa praktycznego programu nauczania biorobotyki opartego na badaniach. Pierwszym krokiem w budowie platformy robotycznej jest wybór organizmu modelowego do badań, który jest dobrze opisany w literaturze z zakresu neuroetologii. Bezkręgowce zazwyczaj stanowią odpowiednich kandydatów, ponieważ ich stosunkowo proste układy nerwowe zostały dobrze zbadane i składają się głównie z odruchów wrodzonych.Zaprezentujemy to podejście na przykładzie homara amerykańskiego Hamas Americana. Kolejnym krokiem jest wybór dobrze opisanych odruchów w celu ich modelowania. W przypadku homara możemy badać reakcje na dotyk, zgięcie, uderzenie szczypcami oraz przepływ optyczny.Proste odruchy opierają się na połączeniach neuronowych z obu stron ciała. Symetryczne czujniki są odpowiednie do tego rodzaju badań. Używając zestawu Lego Mindstorms NXT 2.0, zbuduj robota, który odwzorowuje strukturę ciała modelu zwierzęcego.Można wykorzystać inne platformy robotyczne, jednak komercyjnie dostępny zestaw użyty w niniejszej procedurze umożliwia szybką implementację. Kolejnym krokiem jest wyposażenie robota w czujniki zgodne z systemami wybranymi do badania. Można wykorzystać czujniki dołączone do zestawu Lego Mindstorms lub skonstruować własne, zgodnie z opisami zawartymi w licznych publikacjach.Używamy czujnika dotyku Lego, niestandardowego giętkiego czujnika punktowego anteny oraz czujnika przepływu optycznego opracowanego przez firmę Centi Incorporated, aby zbudować niestandardowe złącze rezystancyjne, takie jak połączenie czujnika anteny, przewód złącza NXT i przylutowanie czarnych oraz białych przewodów do wyprowadzeń czujnika. Aby rozpocząć programowanie symulacji układu nerwowego, należy wykorzystać wcześniej opublikowane badania neuroetologiczne do opracowania sieci neuronowej na potrzeby modelowania. W literaturze zaproponowano sieci neuronowe wyjaśniające zachowanie różnych organizmów modelowych, od homarów po minogi; należy zidentyfikować funkcjonalne jednostki neuronowe oraz ich połączenia synaptyczne.W przypadku sprzyjających warunków laboratoryjnych możliwe jest opracowanie i wdrożenie teoretycznych, nowatorskich eksperymentów neuroetologicznych. Do zaprogramowania sieci dla platformy Lego Mindstorms należy wykorzystać oprogramowanie LabVIEW. Do modelowania neuronów i synaps wykorzystuje się instrumenty wirtualne lub moduły BIS, które są dostępne online.Zalecamy zastosowanie dyskretnego modelu opartego na mapie czasu opracowanego przez Roloffa, ponieważ umożliwia on obliczeniowo wydajną pracę w czasie rzeczywistym, zachowując jednocześnie różne reżimy wyjściowe pobudzeń neuronalnych za pomocą dwóch parametrów sterujących. Alfa oraz Sigma określają dynamikę symulowanego neuronu w celu uzyskania zróżnicowanych wyników, w tym wyładowań tonicznych, impulsowych, chaotycznych, serii wyładowań (bursting) oraz ciszy wewnętrznej. LabVIEW zapewnia intuicyjne graficzne środowisko programistyczne, które pozwala na szybkie wdrożenie poprzez umieszczenie VI neuronu i synapsy w pętli While, dzięki czemu sieć będzie aktualizowana iteracyjnie.Następnie połącz wyjścia impulsów neuronów presynaptycznych poprzez synapsy z neuronami postsynaptycznymi. Następnie przekaż iteracyjnie aktualizowane parametry przez rejestry przesuwne do następnego cyklu obliczeniowego. Model DTM aktualizuje szybkie i wolne zmienne dynamiczne, które są przekazywane do kolejnej iteracji obliczeń.W celu zdefiniowania geometrii sieci należy ustawić parametry synaptyczne. Model DTM określa siłę synapsy; szybkość relaksacji oraz wartości potencjału odwrócenia można dostroić do specyfiki danej sieci, jednak zalecamy następujące ustawienia: JS równa 0,60, gamma równa 0,95 oraz XRP równa 2,2 dla synapsy pobudzającej lub -1,8.W przypadku synapsy hamującej należy dostosować parametry kontrolne alfa oraz sigma, aby zmodyfikować podstawową aktywność neuronu. Zalecamy zastosowanie wartości alfa równej 4,05 oraz wartości sigma równej -3,10. Należy użyć czujnika LabVIEW vs.Aby wprowadzić informacje z czujnika do sieci. W przypadku dostarczonych czujników, odpowiednie VI są już dostępne w module Mindstorms lab view. W przypadku niestandardowych czujników rezystancyjnych, należy wykorzystać VI czujnika światła jako szkielet programistyczny.Wstaw wykresy graficzne na panelu przednim programu LabVIEW, aby zwizualizować aktywność neuronalną. Tymczasowo zastąp wejścia czujników polami sterującymi na panelu przednim, aby ręcznie manipulować informacjami z czujników przekazywanymi do sieci neuronowej; uruchom sieć neuronową i ręcznie dostosuj sterowniki na panelu przednim, aby wprowadzić zróżnicowane bodźce sensoryczne. Potwierdź, że sieć funkcjonuje jakościowo zgodnie z przewidywaniami dla znanych warunków.Dostosuj sieć w razie potrzeby, zmieniając parametry neuronów i synaps. Pierwsze próby strojenia sieci powinny polegać na zmianie siły poszczególnych synaps. Konieczne może być również dostosowanie innych parametrów.Gdy sieć zacznie działać z dokładnością jakościową, zastąp pola sterowania na panelu przednim VI wejściowymi dla czujników i zaprogramuj sieć na platformie NXT za pomocą połączenia USB. Aby przetestować symulację układu nerwowego, przygotuj kontrolowane środowisko, w którym będzie można obserwować zwierzę i robota w podobnych warunkach. Zamontuj kamerę wideo nad nimi, aby rejestrować zachowania.Należy zapewnić wysoki kontrast między obiektem a tłem, aby umożliwić automatyczne śledzenie. Umieść zwierzę w kontrolowanym środowisku i zarejestruj jego zachowanie w formie wideo.Należy upewnić się, że możliwości sensoryczne homara są ograniczone do poziomu odpowiadającego możliwościom robota. W tym przypadku ograniczamy wzrok i detekcję chemiczną homara, zasłaniając oczy maską z folii aluminiowej oraz neutralizując chemoreceptory wodą słodką. Zmodyfikuj środowisko tak, aby umożliwić działanie robota Lego.Powtórz procedurę testowania zachowania i nagrywania wideo z wykorzystaniem robota. Użyj programu MATLAB do automatycznego śledzenia zwierzęcia i robota. Wykorzystujemy skrypt MATLAB mouse lab tracker, który jest dostępny online.Stwórz i porównaj wykresy ruchów zwierzęcia oraz robota. Zmodyfikuj sieć neuronową i powtórz eksperyment śledzenia behawioralnego, aby zaobserwować, jak różne aspekty elektronicznego układu nerwowego wpływają na zachowanie robota. Przykładowo można dostosować siłę synaptyczną w określonych węzłach sieci neuronowej.Alternatywnie można zmodyfikować warunki sensoryczne w arenie testowej i zaobserwować efekty u robota oraz zwierzęcia. Poprzez porównanie wyników behawioralnych robota i zwierzęcia możemy badać zasady funkcjonowania układu nerwowego. W przypadku robota zmieniano siłę synaptyczną neuronów sensorycznych z czujnika szczypiec w obrębie układu nerwowego, a wynikowe zachowanie było monitorowane.Linie czerwone reprezentują ruch robotów z rozmieszczonymi słabymi synapsami pobudzającymi. Linie niebieskie wskazują synapsy pobudzające o średniej sile, a linie zielone pokazują ruch robotów z silnymi synapsami pobudzającymi. Ścieżki homarów są reprezentowane przez linie czarne, co obrazuje hipotetyczny układ nerwowy z połączeniami pobudzającymi na średnim poziomie, wynikającymi z bodźca w szczypcach.Neurony sensoryczne generują podobne reakcje behawioralne zwierzęcia. Z danych można wyekstrahować parametry ilościowe do porównania, takie jak długość ścieżki i średnia prędkość poruszania się. Jak pokazano w tej tabeli, zaprezentowaliśmy sposób wykorzystania przystępnej cenowo i dostępnej platformy robotycznej do uruchamiania i testowania symulacji układu nerwowego.Podejście to jest przydatne do szybkiego testowania hipotez dotyczących układu nerwowego i może być szybko wdrożone przez biologów oraz innych badaczy nieposiadających doświadczenia w robotyce. Wykorzystanie tej platformy wiąże się z kilkoma ograniczeniami, takimi jak moc obliczeniowa układu NXT oraz zakres czujników dostępnych do implementacji robotycznej. Niemniej jednak, w przypadku uczniów szkół średnich i studentów, podejście to stanowi potężne narzędzie do wczesnej implementacji symulacji ucieleśnionego układu nerwowego i może służyć jako punkt wyjścia do bardziej pogłębionych badań z zakresu biorobotyki z wykorzystaniem platform dedykowanych.Podejście to stanowi ekscytującą metodę opartą na badaniach (inquiry-based method) do nauczania neuronauki, robotyki oraz wartości interdyscyplinarności w nauce dla przyszłych badaczy. Dziękujemy za uwagę.

designing-and-implementing-nervous-system-simulations-on-lego-robots

Research

JoVE Journal

Neuroscience

Neuronauka

Origami DNA to potężna metoda wytwarzania precyzyjnych obiektów w nanoskali poprzez programowanie samoorganizacji cząsteczek DNA. Tutaj opisujemy, w jaki sposób origami DNA można wykorzystać do zaprojektowania robota zdolnego do wyczuwania sygnałów biologicznych i reagowania poprzez zmianę kształtu, a następnie przekazywanego do pożądanego efektu.

Projektowanie bioresponsywnego robota z DNA Origami

W tym artykule przedstawiono eksperymentalny framework do przeprowadzania eksperymentów w pętli zamkniętej, w którym przetwarzanie informacji (tj. kodowanie i dekodowanie) oraz uczenie się zespołów neuronalnych są badane podczas ciągłej interakcji z ciałem robota.

Eksperymenty neurorobotyczne w pętli zamkniętej w celu przetestowania właściwości obliczeniowych sieci neuronowych

Ogólnym celem tej metody jest ustanowienie eksperymentalnej procedury opartej na SSVEP poprzez integrację wielu programów komputerowych, aby umożliwić badanie interakcji mózg-robot z robotami humanoidalnymi, co jest perspektywiczne w pomaganiu chorym i starszym, a także wykonywaniu niehigienicznych lub niebezpiecznych prac.

Eksperymentalna procedura oparta na SSVEP dla interakcji mózg-robot z robotami humanoidalnymi

Przedstawiono paradygmat do treningu i analizy zautomatyzowanego zadania umiejętnego sięgania u szczurów. Analiza prób ciągnięcia ujawnia wyraźne podprocesy uczenia się motorycznego.

Badanie procesów uczenia się umiejętności motorycznych za pomocą manipulandum robotycznego

Przedstawiamy protokół dotyczący modułowego projektowania i produkcji inteligentnych robotów, aby pomóc pracownikom naukowym i technicznym w projektowaniu inteligentnych robotów do specjalnych zadań produkcyjnych opartych na osobistych potrzebach i zindywidualizowanym projekcie.

Modułowa konstrukcja i produkcja inteligentnego robota opartego na strategii sterowania w pętli zamkniętej

Rozproszone węzły robotów dostarczają sekwencje bodźców niebieskiego światła, aby sterować trajektoriami wzrostu roślin pnących. Aktywując naturalny fototropizm, roboty prowadzą rośliny przez binarne decyzje lewo-prawo, rozwijając je w predefiniowane wzorce, które w przeciwieństwie do nich nie są możliwe, gdy roboty są uśpione.

Zrobotyzowane wykrywanie i dostarczanie bodźców do sterowanego wzrostu roślin

Ten protokół zawiera szczegółową listę kroków, które należy wykonać w celu produkcji, kontroli i oceny wydajności wspinaczki miękkiego robota inspirowanego gekonem.

Produkcja, kontrola i ocena wydajności miękkiego robota inspirowanego Gekonem

Ta praca opisuje system eksperymentów online, który zapewnia wizualizację eksperymentów, w tym wizualizację teorii, koncepcji i formuł, wizualizację procesu eksperymentalnego za pomocą trójwymiarowych (3D) wirtualnych stanowisk testowych oraz wizualizację systemu kontroli i monitorowania za pomocą widżetów, takich jak wykresy i kamery.

Interaktywny i zwizualizowany system eksperymentów online dla edukacji i badań inżynierskich

Szacuje się, że 1 na 6 osób na całym świecie dozna udaru mózgu w swoim życiu, powodując długotrwałą niepełnosprawność, której mechanizmy rehabilitacji są nadal słabo poznane. W badaniu tym zaproponowano protokół oceny aktywacji mózgu za pomocą funkcjonalnej spektroskopii bliskiej podczerwieni (fNIRS) podczas sesji terapii robotycznej kończyn dolnych.

Eksperyment z wykorzystaniem funkcjonalnej spektroskopii w bliskiej podczerwieni i wspomaganych przez robota wielostawowych ruchów wskazujących kończyny dolnej

Przedstawiamy tutaj protokół symulacji i monitorowania skalowanego półautomatycznego procesu montażu, realizowany wspólnie z robotem współpracującym oraz weryfikacją za pomocą systemu widzenia komputerowego w celu kontroli jakości.

Symulacja procesu montażu w skali z udziałem ramienia robotycznego i monitorowania za pomocą systemu wizualnego w celu kontroli jakości

Poznaj metodę symulacji sieci neuronowych na platformie LEGO Mindstorms NXT. Technika umożliwia prototypowanie układów nerwowych i porównywanie zachowań robota z modelem zwierzęcym w badaniach neuroetologicznych.

Projektowanie i implementacja symulacji układu nerwowego na robotach LEGO

Przeglądaj więcej filmów