Name: Eksperymentalna platforma do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej (Wideo) | JoVE Journal
Uploaded: 2011-03-10T12:00:00.000+00:00
Duration: 10 min 51 s
Description: Poznaj metodę tworzenia interfejsu mózg-maszyna w pętli zamkniętej wykorzystującą aktywność neuronu H1 muchy do sterowania robotem mobilnym. Ta technika pozwala badać zasady neuronalnej kontroli w czasie rzeczywistym.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

K. Peterson otrzymał wsparcie w ramach stypendium doktoranckiego z Departamentu Bioinżynierii oraz finansowanie z Laboratoriów Badawczych Sił Powietrznych USA.
N. Ejaz otrzymał wsparcie w ramach stypendium doktoranckiego z Higher Education Commission Pakistan oraz finansowanie z US Air Force Research Labs.

<ol><li>Chiappe, E. M., Seelig, J. D., Reiser, M. B., Jayaraman, V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Walking+modulates+speed+sensitivity+in+Drosophila+motion+vision%5BTitle%5D)+AND+%22Curr.+Biol%22%5BJournal%5D)">Walking modulates speed sensitivity in Drosophila motion vision.</a> Curr. Biol. 20, 1470-1475 (2010).</li>
<li>Franceschini, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Sampling+of+the+visual+environment+by+the+compound+eye+of+the+fly%3A+fundamentals+and+applications%5BTitle%5D)+AND+%22Photoreceptor+optics%22%5BJournal%5D)">Sampling of the visual environment by the compound eye of the fly: fundamentals and applications.</a> Photoreceptor optics. Snyder, A. W., Menzel, R. , Springer. Berlin Heidelberg New York. 98-125 (1975).</li>
<li>Karmeier, K., Tabor, R., Egelhaaf, M., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Early+visual+experience+and+the+receptive-field+organization+of+optic+flow+processing+interneurons+in+the+fly+motion+pathway%5BTitle%5D)+AND+%22Vis.+Neurosci%22%5BJournal%5D)">Early visual experience and the receptive-field organization of optic flow processing interneurons in the fly motion pathway.</a> Vis. Neurosci. 18, 1-8 (2001).</li>
<li>Krapp, H. G., Hengstenberg, B., Hengstenberg, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dendritic+structure+and+receptive-field+organization+of+optic+flow+processing+interneurons+in+the+fly%5BTitle%5D)+AND+%22Jour.+of+Neurophys%22%5BJournal%5D)">Dendritic structure and receptive-field organization of optic flow processing interneurons in the fly.</a> Jour. of Neurophys. 79, 1902-1917 (1998).</li>
<li>Krapp, H. G., Hengstenberg, R., Egelhaaf, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Binocular+contributions+to+optic+flow+processing+in+the+fly+visual+system%5BTitle%5D)+AND+%22Jour.+of+Neurophys%22%5BJournal%5D)">Binocular contributions to optic flow processing in the fly visual system.</a> Jour. of Neurophys. 85, 724-734 (2001).</li>
<li>Longden, K. D., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Octopaminergic+modulation+of+temporal+frequency+coding+in+an+identified+optic-flow+processing+interneuron%5BTitle%5D)+AND+%22Frontiers+in+Systems+Neuroscience%22%5BJournal%5D)">Octopaminergic modulation of temporal frequency coding in an identified optic-flow processing interneuron.</a> Frontiers in Systems Neuroscience. 4, 153-153 (2010).</li>
<li>Bender, J. A., Dickinson, M. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comparison+of+visual+and+haltere-mediated+feedback+in+the+control+of+body+saccades+in+Drosophila+melanogaster%5BTitle%5D)+AND+%22J.+Exp.+Bio%22%5BJournal%5D)">A comparison of visual and haltere-mediated feedback in the control of body saccades in Drosophila melanogaster.</a> J. Exp. Bio. 209, 4597-4606 (2006).</li>
<li>Longden, K. D., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((State-dependent+performance+of+optic+flow-processing+interneurons%5BTitle%5D)+AND+%22J.+Neurophysiol%22%5BJournal%5D)">State-dependent performance of optic flow-processing interneurons.</a> J. Neurophysiol. 102, 3606-3618 (2009).</li>
<li>Maimon, G., Straw, A. D., Dickinson, M. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Active+flight+increases+the+gain+of+visual+motion+processing+in%5BTitle%5D)+AND+%22%22%5BJournal%5D)">Active flight increases the gain of visual motion processing in.</a> 13, 393-399 (2010).</li>
<li>Petrovitz, R., Dahmen, H., Egelhaaf, M., Krapp, H. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arrangement+of+optical+axes+and+spatial+resolution+in+the+compound+eye+of+the+female+blowfly+Calliphora%5BTitle%5D)+AND+%22J+Comp+Physiol+A%22%5BJournal%5D)">Arrangement of optical axes and spatial resolution in the compound eye of the female blowfly Calliphora.</a> J Comp Physiol A. 186, 737-746 (2000).</li>
<li>Warzecha, A. K., Horstmann, W., Egelhaaf, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Temperature-dependence+of+neuronal+performance+in+the+motion+pathway+of+the+blowfly+Calliphora+Erythrocephala%5BTitle%5D)+AND+%22J+Exp+Biology%22%5BJournal%5D)">Temperature-dependence of neuronal performance in the motion pathway of the blowfly Calliphora Erythrocephala.</a> J Exp Biology. 202, 3161-3170 (1999).</li>
</ol>

<ol>
 <li>Disekcję muchy należy przeprowadzić z należytą starannością, upewniając się, że mucha jest prawidłowo zorientowana względem monitorów komputerowych.</li>
 <li>Oddzielenie impulsów (spikes) z neuronu H1 od impulsów ze wszystkich pozostałych neuronów w celu uzyskania dobrego stosunku sygnału do szumu, co umożliwi niezawodne sterowanie robotem.</li>
 <li>Należy zadbać o to, aby tkanka nerwowa nie wyschła w trakcie trwania eksperymentu.</li>
 <li>Kamery są podłączone do komputerów za pomocą kabla Ethernet. Należy dopilnować, aby kable nie zostały nadmiernie skręcone podczas eksperymentu, gdyż mogłoby to wpłynąć na obrót robota.</li>
 <li>Obecnie wykorzystujemy aktywność impulsową jednego neuronu H1 do konfiguracji zadania stabilizacji w tylko jednym kierunku obrotu wokół osi pionowej (yaw). Możemy dodać drugą elektrodę, aby uzyskać sygnały z lewego i prawego H1, co pozwoli na badanie algorytmów sterowania stabilizacją w obu kierunkach obrotu.</li>
 <li>Możemy usunąć arenę zawierającą pionowe czarno-białe pasy i wykorzystać środowisko laboratoryjne jako bodziec wzrokowy dla muchy. Pozwoli to na badanie wydajności w pętli zamkniętej z wykorzystaniem obrazów naturalnych.</li>
 <li>Robota można zdjąć ze stołu obrotowego i pozwolić mu poruszać się po laboratorium podczas sterowania w pętli zamkniętej. Pozwoli to na badanie algorytmów sterowania odpowiedzialnych za unikanie kolizji.</li>
 <li>Kable łączące kamery z komputerami można zastąpić systemem transmisji bezprzewodowej, co zapewni całkowicie nieskrępowaną konfigurację robotyczną.</li>
 <li>Miary wydajności różnych algorytmów sterowania pozwolą zrozumieć, w jaki sposób różne strategie radzą sobie z niestacjonarnymi i zmiennymi sygnałami neuronalnymi. Wiedza ta może zostać następnie zastosowana w różnych klinicznych i nieklinicznych interfejsach mózg-maszyna.</li>
 <li>Niniejsza konfiguracja eksperymentalna jest pierwszym krokiem w stronę rejestracji sygnałów neuronalnych od zwierząt w trakcie aktywności. Naszym celem jest umieszczenie muchy na robocie i wykorzystanie jej aktywności neuronalnej do sterowania w pętli zamkniętej. W takim układzie bylibyśmy w stanie rejestrować aktywność neuronalną muchy podczas otrzymywania wielozmysłowej stymulacji wynikającej z ruchu robota.</li>
<li>Rejestruj sygnały tylko z jednej komórki. W opisanej konfiguracji najodpowiedniejszą będzie komórka H1. Izolacja odpowiedzi neuronu H1 od innych neuronów o podobnych polach recepcyjnych, np. H2, jest istotna dla utrzymania dobrego stosunku sygnału do szumu w rejestracjach neuronalnych. Odpowiedzi neuronów H1 i H2 można rozróżnić, zauważając, że H2 wykazuje charakterystycznie niższą spontaniczną i średnią częstotliwość wyładowań niż neuron H1. Neurony można również rozróżnić na podstawie ich morfologii (Krapp et al. 2001).</li>
<li>Nasz system pozwala porównać wzmocnienie w pętli zamkniętej osiągnięte przez interfejs mucha-robot w zadaniu stabilizacji obrazu oraz zestawić jego wydajność z wzmocnieniami optomotorowymi w pętli zamkniętej zaobserwowanymi w poprzednich eksperymentach na muchach (Bender &amp; Dickinson 2006, Warzecha et al. 1996, Heisenberg &amp; Wolf, 1990). Dodatkowo pozwala to na badanie zmian w przetwarzaniu informacji wzrokowej zależnych od stanu w warunkach pętli zamkniętej (Chiappe et al. 2010, Maimon et al. 2010, Longden &amp; Krapp 2009, Longden &amp; Krapp 2010).</li>
</ol>

<table><tbody><tr><td>RosetteSep&amp;#174; koktajl do wzbogacania ludzkich limfocytów T</td><td>Technologie komórek macierzystych</td><td>15061</td><td></td></tr><tr><td>RosetteSep&amp;#174; medium gęstościowe</td><td>Technologie komórek macierzystych</td><td>15705</td><td></td></tr><tr><td>pożywka RPMI 1640 z glutaminą/HEPES</td><td>Fisher Scientific</td><td>SH3025501</td><td></td></tr><tr><td>Surowica z płodu cielęcego</td><td>Omega Scientific</td><td>FB-01</td><td></td></tr><tr><td>GlutaMAX&amp;#8482;-I</td><td>Invitrogen</td><td>35050</td><td></td></tr><tr><td>roztwór witamin RPMI 1640</td><td>Sigma-Aldrich</td><td>7256</td><td></td></tr><tr><td>roztwór aminokwasów RPMI 1640</td><td>Sigma-Aldrich</td><td>R7131</td><td></td></tr><tr><td>Pirowinian sodu</td><td>Sigma-Aldrich</td><td>S8636</td><td></td></tr><tr><td>&amp;#946;-merkapto&amp;#8211;etanol</td><td>Sigma-Aldrich</td><td>M7522</td><td></td></tr><tr><td>BAPTA</td><td>Sigma-Aldrich</td><td>A4926</td><td></td></tr><tr><td>Hydrobromek poli-L-lizyny</td><td>Sigma-Aldrich</td><td>P2636</td><td></td></tr><tr><td>Tapsygargina</td><td>Calbiochem</td><td>586005</td><td></td></tr><tr><td>Sylgard&amp;#174; zestaw elastomeru silikonowego 184</td><td>Dow Corning</td><td>3097358-1004</td><td></td></tr><tr><td>HIPEC (hipertermiczna chemioperfuzja wewnątrzbrzuszna)&amp;#174; R6101 powłoka ochronna do półprzewodników</td><td>Dow Corning</td><td></td><td></td></tr><tr><td>wzmacniacz do techniki patch clamp EPC 10</td><td>HEKA Instruments</td><td></td><td></td></tr><tr><td>Zmotoryzowany mikromanipulator </td><td>Sutter Instrument Co.</td><td>MP-285</td><td></td></tr><tr><td>mikroskop odwrócony Olympus 1X71 z obiektywem imersyjnym 40X</td><td>Olympus Corporation</td><td>1X71</td><td></td></tr><tr><td>Wytwornica pipet do patch-clampu</td><td>Sutter Instrument Co.</td><td>P-97</td><td></td></tr><tr><td>Rurka borokrzemianowa z włóknem (średnica zewnętrzna: 1,5 mm i średnica wewnętrzna: 1,10 mm)</td><td>Sutter Instrument Co.</td><td>BF150-110-7.5</td><td></td></tr><tr><td>Mikrokucie</td><td>Narishige International</td><td>MF-830</td><td></td></tr><tr><td>O-ringi silikonowe </td><td>McMaster-Carr</td><td>111 S70</td><td></td></tr><tr><td>Kryształek do mikroskopu</td><td>Fisher Scientific</td><td>12-545-102 25 mm 25CIR-1</td><td></td></tr><tr><td>Oprogramowanie Pulse</td><td>HEKA Instruments</td><td></td><td></td></tr><tr><td>Oprogramowanie do analizy i tworzenia wykresów naukowych Origin</td><td>OriginLab</td><td></td><td></td></tr><tr><td colspan="4">&lt;ol&gt;&lt;li&gt;1) Szybkie wyświetlacze CRT (LG Studioworks 221U)&lt;/li&gt;&lt;li&gt;Kamery wysokich prędkości (Prosilica, GC640)&lt;/li&gt;&lt;li&gt;Platforma robotyczna (ASURO z własnymi modyfikacjami)&lt;/li&gt;&lt;li&gt;Szeregowy modem Bluetooth (Bluesmirf)&lt;/li&gt;&lt;li&gt;sterownik mikrokrokowy (Applied Motion Systems, ST5-SI)&lt;/li&gt;&lt;li&gt;silnik krokowy (Sanyo Denki, 103H6704-0140)&lt;/li&gt;&lt;li&gt;Elektrody wolframowe (fh-co.com – kod produktu – UEW SHG SE 3P1M)&lt;/li&gt;&lt;li&gt;Wzmacniacz zewnętrzny (NPI EXT 10-2F)&lt;/li&gt;&lt;li&gt;Zmotoryzowany mikromanipulator (Scientifica, PS-700-Z)&lt;/li&gt;&lt;li&gt;Mikroskop stereoskopowy (Leica, MZ95)&lt;/li&gt;&lt;/ol&gt;</td></tr></tbody></table>

platforma eksperymentalna do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

An Experimental Platform to Study the Closed-loop Performance of Brain-machine Interfaces

Niestacjonarny charakter i zmienność sygnałów neuronalnych stanowią fundamentalny problem w interfejsach mózg-maszyna. Opracowaliśmy interfejs mózg-maszyna w celu oceny odporności różnych praw sterowania zastosowanych w zadaniu stabilizacji obrazu w pętli zamkniętej. Wykorzystując dobrze scharakteryzowaną drogę wizualno-motoryczną muchy, rejestrujemy aktywność elektryczną z zidentowanego neuronu wrażliwego na ruch, H1, aby sterować rotacją w osi pionowej (yaw) robota dwukołowego. Robot jest wyposażony w dwie szybkie kamery wideo, które dostarczają bodźców wizualnych w postaci ruchu musze umieszczonej przed dwoma monitorami CRT. Aktywność neuronu H1 wskazuje kierunek i względną prędkość rotacji robota. Aktywność neuronalna jest filtrowana i przekazywana z powrotem do systemu sterowania robota za pomocą sterowania proporcjonalnego oraz proporcjonalno-adaptacyjnego. Naszym celem jest przetestowanie i zoptymalizowanie wydajności różnych praw sterowania w warunkach pętli zamkniętej w celu szerszego zastosowania również w innych interfejsach mózg-maszyna.

Wykorzystujemy interfejs maszyna-mucha w pętli zamkniętej do badania ogólnych zasad kontroli neuronalnej.

Platforma eksperymentalna do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

Niestacjonarny charakter oraz zmienność sygnałów neuronalnych stanowią fundamentalny problem w interfejsach mózg-maszyna. Opracowaliśmy interfejs mózg-maszyna...

Wykorzystujemy aktywność interneuronu wzrokowego w mózgu muchy, komórki H1, do sterowania silnikami mobilnego robota. Robot jest umieszczony na stale obracającym się stole obrotowym, a aktywność komórki służy do stabilizacji robota względem otoczenia w odpowiedzi na ruchy zewnętrzne. Obrazy ruchu wzorców rejestrowane przez robota są próbkowane i przesyłane do dwóch komputerowych monitorów CRT, które znajdują się przed muchą.Sygnały z komórki H1, mierzone w impulsach na sekundę, wskazują prędkość ruchu wzorca. Następnie stosuje się różne reguły sterowania, aby przekształcić zarejestrowaną liczbę impulsów na sekundę w sygnał sterujący silnikami robota. Cześć, jestem Navita Josh z laboratorium Holger Crops na wydziale Bioengineering w Imperial College London.Jestem Chris Peterson, również z laboratorium Holgera Cupa. Cześć, ja jestem Holger Cup. Dzisiaj zaprezentujemy procedurę tworzenia interfejsu mózg-maszyna pomiędzy poszczególnymi komórkami w systemie wzrokowym muchy a robotem.Niniejszą procedurę stosujemy w celu przetestowania wydajności różnych strategii sterowania z wykorzystaniem sygnałów neuronalnych do kontrolowania systemów robotycznych przy zamkniętych przylotkach. Przejdźmy zatem do realizacji. Aby rozpocząć przygotowanie muchy, należy schłodzić ją w lodzie, a następnie za pomocą stępionych wykałaczek przycisnąć skrzydła i przymocować tył muchy do kawałka dwustronnej taśmy klejącej na szkiełku przedmiotowym. Następnie należy użyć wosku pszczelego, aby przytwierdzić skrzydła do szkiełka oraz zablokować działanie mięśni lotnych.Ten etap wymaga szybkiego i precyzyjnego działania, aby mucha nie nagrzała się podczas procedury. Następnie, pod mikroskopem, chwyć każdą nogę pęsetą i za pomocą małych nożyczek odetnij je w stawach najbliższych ciału. Powtórz tę czynność w przypadku proboscis.Aby zapobiec wysuszeniu muchy, otwory należy zalepić woskiem. Następnie należy odciąć jedno ze skrzydeł, a potem obrócić muchę na bok. Należy usunąć pozostałe fragmenty skrzydła, pozostawiając katra, zakrywając rozdarcia Hal i zalepiając otwór woskiem.Powtórz tę procedurę dla drugiego skrzydła. Aby w określony sposób stymulować neuron docelowy, głowa muchy musi być odpowiednio wyrównana z monitorami komputerowymi. W tym celu będziesz potrzebować specjalistycznego uchwytu, który posiada szeroką przestrzeń na ciało muchy oraz wypustkę na jednym końcu z wycięciem, w którym zostanie umieszczona szyja muchy.Umieść muchę na uchwycie, tak aby jej szyja znajdowała się w nacięciu, dociskając ją podczas przyklejania odwłoka. Następnie umieść uchwyt do much w statywie w taki sposób, aby przez mikroskop była widoczna przednia część głowy muchy. Podczas oglądania muchy w świetle czerwonym w każdym oku można zaobserwować zjawisko optyczne nazywane pseudą źrenicą.Jeśli pseudozrena przyjmuje określony kształt, orientacja głowy muchy jest precyzyjnie zdefiniowana. Użyj mikromanipulatora, aby prawidłowo ustawić głowę muchy, a następnie przymocuj ją do uchwytu za pomocą wosku. Następnie dociśnij klatkę piersiową na płasko i przyklej ją woskiem do uchwytu.Pozwala to na otwarcie tylnej części torebki głowowej, aby można było wprowadzić elektrody do mózgu muchy. Używając mikroskalpela lub cienkiej igły do wstrzykiwań, należy ostrożnie wyciąć okienko w kutykuli prawej części torebki głowowej. Należy uważać, aby nie przeciąć tkanki nerwowej znajdującej się bezpośrednio pod kutykulą. Po usunięciu fragmentu kutykuli należy dodać kilka kropli roztworu Ringera.Użyj pęsety, aby usunąć wszelkie pływające włoski, złogi tłuszczu lub tkankę mięśniową, które mogą zakrywać płytkę LOA. Płytkę LOA można rozpoznać po charakterystycznym rozgałęzionym wzorze srebrzystych tchawicek pokrywających jej powierzchnię tylną. W kutykuli lewej tylnej części torebki głowowej wykonaj mały otwór w celu umieszczenia elektrody referencyjnej po przygotowaniu muchy.Zobaczmy, jak odpowiednio ustawić elektrodę rejestrującą. Elektrodę rejestrującą należy umieścić w bezpośrednim sąsiedztwie neuronu H1. Neuron H1 reaguje głównie na poziomy ruch z tyłu do przodu w obrębie swojego pola recepcyjnego.Aby umieścić elektrodę rejestrującą, należy wykorzystać tchawicę jako punkt orientacyjny. Początkowo należy umieścić elektrodę w górnej części tchawicy. Pomocne może być zastosowanie wzmacniacza audio w celu przekształcenia rejestrowanych potencjałów elektrycznych w sygnały akustyczne.Każdy pojedynczy potencjał czynnościowy (spike) jest zamieniany na charakterystyczny dźwięk kliknięcia. Im bliżej pojedynczego neuronu znajduje się elektroda, tym wyraźniejszy staje się dźwięk kliknięcia. Aby zidentyfikować neuron typu H1 na podstawie jego preferencji kierunkowej, należy stymulować go ruchem w kierunku poziomym.Po umieszczeniu elektrody rejestrującej przejdźmy do stymulacji wizualnej i rejestracji. Na początek umieść muchę przed dwoma monitorami komputerowymi CRT. Ponieważ system wizualny muchy jest 10 razy szybszy od ludzkiego, monitory muszą wyświetlać obraz z częstotliwością 200 klatek na sekundę.Środki monitorów znajdują się pod kątem plus lub minus 45 stopni względem orientacji much. Z perspektywy równika oka muchy każdy monitor obejmuje kąt plus lub minus 25 stopni w płaszczyźnie poziomej oraz plus lub minus 19 stopni w płaszczyźnie pionowej. Sygnał wejściowy do monitorów komputerowych dostarczają dwie kamery wideo zamontowane na niewielkim dwukołowym robocie SRO, który został zmodyfikowany na potrzeby eksperymentu.Umieść robota na obrotowej platformie wewnątrz obszaru cylindrycznego, którego ściany wyłożone są wzorem pionowych czarnych i białych pasów. Poprzez obracanie platformy w płaszczyźnie poziomej ruchy robota są ograniczone tylko do jednego stopnia swobody. Początkowo zarówno platforma, jak i robot znajdują się w spoczynku.Gdy stół obrotowy zaczyna się poruszać, jego rotacja przemieszcza robota w tym samym kierunku, a kamery wideo rejestrują ruch względny między robotem a pasmowym wzorem areny. Zasilane bateryjnie kamery wideo na robocie są zamontowane pod kątem plus lub minus 45 stopni. Przechwytują one 200 obrazów na sekundę, aby dopasować się do częstotliwości odświeżania monitorów komputerowych znajdujących się przed rejestratorem lotów.Obrazy były wyświetlane na monitorach komputerowych z częstotliwością 200 klatek na sekundę i rozdzielczością sześciu obszarów 40 na cztery obszary 80 w skali szarości. Podczas gdy mucha obserwowała ruchy wzoru pasowego, rejestrowano sygnały elektryczne przepuszczone przez filtr pasmowy, na przykład między 302 kHz, przy użyciu karty akwizycji cyfrowej z częstotliwością próbkowania co najmniej 10 kHz. Do przefiltrowanych sygnałów elektrycznych zastosowano próg w celu oddzielenia impulsów (spikes) od aktywności tła.Przyczynowy filtr połowiczny Gaussa jest konwolowany z impulsami w celu uzyskania wygładzonego szacunku aktywności impulsowej komórki H1, aby zamknąć pętlę interfejsu mózg-maszyna. Algorytm sterujący służy do konwersji częstotliwości impulsowania komórki H1 na prędkość robota, która jest przesyłana z powrotem za pomocą interfejsu Bluetooth w celu sterowania dwoma silnikami DC napędzającymi koła robota. Jako profile prędkości dla obrotowego stołu wybrano czyste fale sinusoidalne.Fale sinusoidalne posiadają przesunięcie stałoprądowe (DC offset) w taki sposób, aby tarcza obrotowa obracała się wyłącznie w kierunku stymulującym neuron H1 zgodnie z jego preferowanym kierunkiem. Cały system sterowania jest skonfigurowany tak, aby stymulacja neuronu H1 powodowała kompensację ruchu tarczy obrotowej przez robota, pod warunkiem prawidłowej konfiguracji. Stabilizacja wizualna zostaje osiągnięta, gdy przeciwrotacja robota odpowiada rotacji tarczy obrotowej, co skutkuje niewielkim lub całkowitym brakiem ruchu wzorca na monitorach komputerowych.Ogólna wydajność systemu zależy od wykorzystanego algorytmu sterowania do zamknięcia pętli. Pierwszym przetestowanym algorytmem jest regulator proporcjonalny, w którym zaktualizowana prędkość robota jest proporcjonalna do różnicy prędkości kątowych między robotem omega R a obrotowym stołem Omega P. Aby przetestować wydajność regulatora, wybrano różne wartości statycznego wzmocnienia KP oraz różne częstotliwości wejściowe sygnału stołu omega P.Przykładowe przebiegi dla omega P i omega R przedstawiono tutaj dla KP równego jeden i częstotliwości wejściowej 0,6 hertz dla omega P; robot zaznaczony kolorem zielonym podąża za obrotowym stołem zaznaczonym kolorem niebieskim z opóźnieniem i mniejszą amplitudą szczytową. Pozioma składowa ruchu wzoru stymulującego komórkę H1 jest pokazana po prawej stronie na czerwono. Częstotliwości wejściowe dla sygnału stołu obrotowego omega P są wybierane z zakresu od 0,03 do 3 hertz, a następnie rejestrowany jest odpowiadający im sygnał robota omega R.Oba sygnały zostają przekształcone w dziedzinę częstotliwości za pomocą szybkiej transformaty Fouriera, a wartości amplitudy i fazy są obliczane dla częstotliwości wejściowej. Wykres modułu BO d dla regulatora proporcjonalnego przy KP równym jeden przedstawia odpowiedź układu dla badanych częstotliwości wejściowych. Wydajność regulatora ogólnie spada wraz ze wzrostem częstotliwości.Lekko zwięksione wzmocnienie przy jednej hercu wynika z oscylacji sygnału robota spowodowanych wykorzystaniem tylko jednej komórki H1, której dynamiczny zakres wyjściowy obejmuje głównie poziomy ruch w przód i w tył. Wykres fazowy Bodego wykazuje opóźnienie fazowe kontrolera mniejsze niż PI dla częstotliwości wejściowych poniżej 0,6 herca. Świadczy to o tym, że kontroler jest stabilny dla częstotliwości poniżej 0,6 herca i niestabilny dla częstotliwości wejściowych większych lub równych jednemu hercowi.Wydajność regulatora proporcjonalnego ze statyczną wartością KP porównano z regulatorem adaptacyjnym, w którym wartość KP jest aktualizowana co 50 milisekund. Porównanie oparto na maksymalnej częstotliwości impulsów F max obliczonej w przedziale czasowym od T minus 500 milisekund do T. W wyniku zastosowania dużego okna całkowania, regulator proporcjonalny wykazał lepszą wydajność niż regulator adaptacyjny w badanym zakresie parametrów; regulator adaptacyjny posiadał podobną charakterystykę fazową co regulator proporcjonalny, usunięto wzór stopniowania wokół obrotowego stołu, a środowisko laboratoryjne wykorzystano jako przybliżenie naturalnego bodźca wzrokowego dla komórki H1 muchy.Średnio wykres wielkości Bodhi dla naturalistycznego bodźca wzrokowego wykazał nieco wyższe wzmocnienia niż w przypadku bodźca wzrokowego z gradacją, prawdopodobnie dlatego, że wykorzystano szerszy zakres częstotliwości przestrzennych występujących w naturalistycznych obrazach wizualnych. Charakterystyka wykresu fazy Bodhi dla bodźców wzrokowych z gradacją oraz naturalistycznych była podobna. Właśnie pokazaliśmy Państwu, jak stworzyć interfejs mózg-maszyna pomiędzy komórką a systemem wzrokowym i robotem.W tej procedurze występują kilka krytycznych etapów. Po pierwsze, podczas otwierania kapsuły głownej należy unikać głębokich nacięć, aby nie uszkodzić mózgu. Po drugie, elektrodę należy umieścić ostrożnie tak, aby rejestrować sygnał tylko z jednej komórki; rejestrujemy z jednej komórki H.Po trzecie, należy przez cały czas utrzymywać mózg w stanie wilgotnym i zapobiegać jego wysychaniu. To wszystko. Dziękujemy za oglądanie i życzymy powodzenia w eksperymentach.

an-experimental-platform-to-study-closed-loop-performance-brain

Research

JoVE Journal

Neuroscience

Neuronauka

Eksperymentalna platforma do badania zamkniętej wydajności interfejsów mózg-komputer

Przedstawiamy metodę pozyskiwania sygnałów elektrokortykograficznych do celów badawczych u ludzi poddawanych inwazyjnemu monitorowaniu epilepsji. Pokazujemy, jak wykorzystać platformę programową BCI2000 do zbierania danych, przetwarzania sygnałów oraz prezentacji bodźców. W szczególności prezentujemy SIGFRIED, narzędzie oparte na BCI2000 służące do funkcjonalnego mapowania mózgu w czasie rzeczywistym.

Rejestracja ludzkich sygnałów elektrokortykograficznych (ECoG) w badaniach neuronaukowych i funkcjonalnym mapowaniu kory mózgowej w czasie rzeczywistym

Opracowanie skutecznego systemu interfejsu mózg-maszyna-(BMI) do przywracania i rehabilitacji dwunożnej lokomocji wymaga dokładnego dekodowania intencji użytkownika.  W tym miejscu przedstawiamy nowatorski protokół eksperymentalny i technikę zbierania danych do jednoczesnego nieinwazyjnego nabywania aktywności neuronalnej, aktywności mięśni i kinematyki całego ciała podczas różnych zadań i warunków lokomocyjnych.

Jednoczesna elektroencefalografia skóry głowy (EEG), elektromiografia (EMG) i segmentalny zapis inercyjny całego ciała do multimodalnego dekodowania neuronalnego

W tym artykule przedstawiono eksperymentalny framework do przeprowadzania eksperymentów w pętli zamkniętej, w którym przetwarzanie informacji (tj. kodowanie i dekodowanie) oraz uczenie się zespołów neuronalnych są badane podczas ciągłej interakcji z ciałem robota.

Eksperymenty neurorobotyczne w pętli zamkniętej w celu przetestowania właściwości obliczeniowych sieci neuronowych

Monitorowanie aktywności mózgu podczas wykonywania zadań motorycznych w pozycji pionowej jest bardzo przydatne podczas badania neuronalnego źródła zaburzeń ruchowych. Tutaj demonstrujemy protokół, który łączy funkcjonalną spektroskopię w bliskiej podczerwieni z ciągłym monitorowaniem aktywności mięśniowej i kinematycznej podczas 4 rodzajów zadań motorycznych.

Funkcjonalna spektroskopia w bliskiej podczerwieni czuciowych i ruchowych obszarów mózgu z jednoczesnym monitorowaniem kinematycznym i EMG podczas zadań motorycznych

Dzięki temu eksperymentowi, można wykryć świadomość u osób z zaburzeniami świadomości. Co więcej, podejście to może stworzyć prosty kanał komunikacyjny, który umożliwia ludziom udzielanie prostych odpowiedzi TAK/NIE na pytania.

Ocena i komunikacja dla osób z zaburzeniami świadomości

Prezentujemy protokoły i metody analiz do budowy współadaptacyjnych interfejsów, które strumieniują, parametryzują, analizują i modyfikują sygnały ludzkiego ciała i serca w zamkniętej pętli. Ta konfiguracja łączy sygnały pochodzące z obwodowego i ośrodkowego układu nerwowego osoby z zewnętrznymi bodźcami sensorycznymi, aby pomóc w śledzeniu zmian biofizycznych.

Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

Ten artykuł omawia, jak zbudować interfejs mózg-komputer, opierając się na sprzęcie klasy konsumenckiej i wizualnie wywoływanych potencjałach w stanie ustalonym. W tym celu jednokanałowy elektroencefalograf wykorzystujący suche elektrody został zintegrowany z okularami rzeczywistości rozszerzonej do prezentacji bodźców i wizualizacji danych wyjściowych. Ostateczny system był nieinwazyjny, przenośny i ubieralny.

Jednokanałowy i nieinwazyjny interfejs mózg-komputer do noszenia na ciele dla przemysłu i opieki zdrowotnej

Celem tego badania jest dostarczenie ważnego punktu odniesienia dla standardowego klinicznego działania interfejsu mózg-komputer (MI-BCI) w dysfunkcjach motorycznych kończyn górnych po udarze.

Obrazowanie ruchowe interfejsu mózg-komputer w rehabilitacji dysfunkcji ruchowych kończyn górnych po udarze mózgu

To badanie wprowadza system interfejsu mózg-komputer (BCI) dla pacjentów po udarze, który łączy sygnały elektroencefalografii i elektrookulografii w celu kontrolowania ręki robota kończyny górnej, usprawniając codzienne czynności. W ocenie wykorzystano Berliński Dwuręczny Test na Udar Mózgu (BeBiTS).

Sterowany interfejsem mózg-komputer system robotyczny kończyny górnej do usprawniania codziennych czynności u pacjentów po udarze mózgu

Niniejsze badanie przedstawia ustandaryzowany i powtarzalny protokół implementacji narzędzia do analizy EEG przestrzenno-czasowo-częstotliwościowej (STFEEG) do dekodowania EEG obrazów motorycznych, łącząc konfigurowalną segmentację przestrzenno-czasowo-częstotliwościową, ekstrakcję cech opartą na wspólnych wzorcach przestrzennych (CSP), algorytmy wielokrotnej klasyfikacji oraz możliwości wizualizacji.

STFEEG-Tool: narzędzie do analizy EEG przestrzenno-czasowo-częstotliwościowej dla interfejsów mózg-komputer obrazowania motorycznego

Poznaj metodę tworzenia interfejsu mózg-maszyna w pętli zamkniętej wykorzystującą aktywność neuronu H1 muchy do sterowania robotem mobilnym. Ta technika pozwala badać zasady neuronalnej kontroli w czasie rzeczywistym.

Platforma eksperymentalna do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

Przeglądaj więcej filmów