Eksperymenty neurorobotyczne w pętli zamkniętej w celu przetestowania właściwości obliczeniowych sieci neuronowych
2 marca 2015
W tym artykule przedstawiono eksperymentalny framework do przeprowadzania eksperymentów w pętli zamkniętej, w którym przetwarzanie informacji (tj. kodowanie i dekodowanie) oraz uczenie się zespołów neuronalnych są badane podczas ciągłej interakcji z ciałem robota.
Ogólnym celem następnego eksperymentu jest zbadanie dwukierunkowej interakcji pomiędzy biologiczną siecią dysocjowanych neuronów a małym robotem. Ciągły dialog może modyfikować właściwości obliczeniowe systemu neuronalnego, indukując rodzaj uczenia się. Osiąga się to poprzez przygotowanie hodowli neuronalnej na matrycy mikroelektrod, aby umożliwić wielogodzinną sesję eksperymentalną bez naruszania aktywności komórek.
W drugim kroku obliczana jest mapa odpowiedzi kultury, która umożliwia wybór elektrod stymulujących do właściwego eksperymentu w pętli zamkniętej. Następnie definiowane są parametry kodowania i dekodowania, aby umożliwić wymianę informacji między systemami biologicznymi a elektronicznymi. Wyniki wykazują znaczący wzrost zdolności nawigacyjnych agenta robotycznego, oparty na porównaniu średniej odległości przebytej między zderzeniami w różnych warunkach sterowania.
Metoda ta może pomóc w udzieleniu odpowiedzi na kluczowe pytania w naszej dziedzinie inżynierii, takie jak: czy możemy stworzyć słownik pozwalający tłumaczyć język neuronów na język maszyn i odwrotnie? Zazwyczaj osoby rozpoczynające pracę z tą metodą napotykają trudności ze względu na złożoność technologiczną konfiguracji eksperymentalnej oraz architektury oprogramowania. Procedurę zaprezentuje Martha Bizo, doktorantka w moim laboratorium.
Pierwszym krokiem jest przygotowanie matrycy mikroelektrod lub chipa MEA z 60 elektrodami, które mogą być wykorzystane do stymulacji lub rejestracji sieci neuronalnej. Po wysianiu kultur neuronalnych na chipach MEA należy odczekać około trzech tygodni do czasu dojrzewania sieci neuronalnej. W dniu eksperymentu należy rozgrzać system grzewczy MEA przez 5 do 10 minut, ustawiając kontroler temperatury na 37 °C i włączając płytkę grzejną znajdującą się pod samym MEA.
Należy również zastosować podgrzewaną osłonę w celu ograniczenia parowania, używając sterylizowanych w autoklawie nakrętek przepuszczających gazy; przykrycie kultur nakrętką ograniczy parowanie i zapobiegnie zmianom osmolarności podczas rejestracji. Następnie należy wprowadzić przepływ karbonianu w celu utrzymania stabilnego poziomu tlenu i pH. Pozostawić kulturę do odpoczynku na 30 minut. Po okresie odpoczynku rejestrować spontaniczną aktywność komórek neuronalnych przez 30 minut.
Następnie zapisz dane w pliku, klikając przycisk rejestrowania w polu kolców (spikes) w formularzu rejestracji danych. W formularzu wyświetlania surowych danych zidentyfikuj 10 kanałów o najwyższej liczbie kolców. Następnie zaznacz te kanały w dowolnym z układów MEA.
Formularz kodowania jest prezentowany poprzez przeciąganie kursora myszy nad wybranymi obszarami. Po wybraniu kanałów należy kliknąć prawym przyciskiem myszy w dowolnym miejscu układu MEA i wybrać opcję „add to left sensory area” w menu wysuwanym. Elektrody te zostaną wykorzystane do dostarczenia stymulacji elektrycznej w kolejnym kroku.
Następnie należy sprawdzić, czy stymulator i wzmacniacz MEA są prawidłowo podłączone. Wszystkie konfiguracje wymagają dwóch przewodów na każdy wybrany kanał stymulacji, natomiast dodatkowy kabel koncentryczny jest niezbędny do przesyłania sygnału synchronizacji. Po przygotowaniu włącz stymulator.
Kolejnym krokiem jest zdefiniowanie parametrów stymulacji w formularzu mapy połączeń. Wszystkie stymulacje dostarczane do hodowli odbywają się za pomocą fazowych prostokątnych fal napięcia. Ustaw półokres trwania na 300 microseconds oraz amplitudę na 1,5 peak tope voltage.
Rozpocznij rejestrację odpowiedzi na stymulację, naciskając przycisk start. W mapie połączeń automatycznie podawana jest seria 30 stymulacji z częstotliwością 0,2 Hz z jednej z wcześniej wybranych elektrod stymulujących. Podczas gdy ta elektroda pełni funkcję elektrody stymulującej, odpowiedzi są rejestrowane z pozostałych 59 elektrod na chipie MEA.
Następnie, z pięciosekundowym odstępem między seriami, serie 30 bodźców są powtarzane kolejno na każdym z pozostałych dziewięciu zidentyfikowanych elektrod stymulujących, podczas gdy rejestracja danych odbywa się z pozostałych 59 elektrod. Następnie tworzona jest komputerowa mapa połączeń dla każdego kanału stymulującego przy użyciu spy code, aplikacji służącej do obliczeń na danych neuronalnych. Z map połączeń należy wykluczyć z dalszej analizy wszystkie elektrody stymulujące, które nie wywołały odpowiedzi.
Następnie spośród pozostałych elektrod wybierz parę o najmniejszym nakładaniu się odpowiedzi, zgodnie z opisem w protokole tekstowym; jedną z tych elektrod wyznacz do kodowania informacji sensorycznych z lewej strony robota, a drugą do kodowania odczytów z prawej strony. Aby to zrobić, przesuń kursor myszy nad jedną elektrodę, kliknij prawym przyciskiem myszy na układ MEA, a następnie wybierz opcję dodaj do lewego obszaru sensorycznego. Następnie przesuń kursor nad drugą elektrodę.
Kliknij prawym przyciskiem myszy i wybierz opcję dodaj do prawego obszaru sensorycznego. Następnie w formularzu kodowania wybierz schemat kodowania, ustawiając typ kodowania na liniowy. Następnie zdefiniuj minimalną i maksymalną częstotliwość stymulacji, korzystając z domyślnego zakresu od 0.5 do 2 Hz, i ustaw parametr jitter na zero.
Następnie w formularzu dekodowania ustaw parametry algorytmu dekodowania. To jest, ustaw parametry zmiany prędkości oraz stałą czasową zaniku na wartość jeden dla kultury o umiarkowanej aktywności z około jednym kolcem na sekundę na kanał. Następnie w formularzu dekodowania ustaw parametry serii (burst) algorytmu dekodowania na zero.
Czas zaniku jest nieistotny, jeśli zmiana prędkości wynosi zero. W formularzu menedżera eksperymentu zaznacz dane do rejestracji, klikając pola wyboru zapisz dane o kolcach, dane robota oraz dane o bodźcach. Następnie uruchom próbny przebieg robota przed nauką, wybierając przycisk start eksperymentu w formularzu menedżera eksperymentu.
Po wyświetleniu odpowiedniego komunikatu wybierz nowe nazwy dla plików danych. Pozostaw eksperyment w toku przez 30 minut. Następnie kliknij przycisk zatrzymania eksperymentu, aby zakończyć pracę robota.
Następnie włącz protokół uczenia, zaznaczając opcję dostarczenia 10 stymulacji później. Zaznacz odpowiednie pole wyboru w formularzu menedżera eksperymentu. Następnie ponownie kliknij przycisk start eksperymentu, aby ponownie przeprowadzić trening robota przez 30 minut.
Podczas tej serii uczenia stymulacja z robota zmienia się z nieregularnej na stymulację typu Titanic. Gdy robot uderzy w przeszkodę, stymulacja typu Titanic jest wykorzystywana do trenowania sieci neuronowej. Po zapisaniu danych ponownie wyłącz protokół uczenia, odznaczając opcję deliver to tannic stimulation.
Po zaznaczeniu pola wyboru kliknij przycisk start experiment, aby przeprowadzić 30-minutowy przebieg robota po nauce. Podobnie jak wcześniej, pamiętaj o zmianie nazw plików, aby zapobiec ich nadpisaniu. Oprócz wspomnianego wcześniej robota wirtualnego, ten sam zestaw przebiegów treningowych można zastosować w przypadku sieci neuronowej oraz fizycznego robota.
Przedstawiono tutaj ścieżkę pokonaną przez wirtualnego robota podczas 20 minutowego eksperymentu z pustą MEA. W tym eksperymencie kontrolnym na MEA nie wysiano żadnych komórek. Jasnozielone obszary są dostępne dla robota, a ciemnozielone okręgi reprezentują nieprzejezdne przeszkody, które robot może wykryć za pomocą swoich czujników odległości.
W każdej próbie robot startuje z górnego lewego sektora areny i przemieszcza się do pozycji końcowej, przedstawionej jako duża różowa kropka. Mniejsze czarne kropki reprezentują uderzenia w przeszkodę. Ścieżki oznaczone kolorami wskazują upływ czasu.
W tym eksperymencie, przeprowadzonym bez użycia sieci neuronowej, robot zatrzymywał się przy pierwszej napotkanej przeszkodzie. Przedstawiono tutaj ścieżkę wirtualnego robota podczas eksperymentu w pętli otwartej, w którym robot jest de facto oślepiony. Zamiast kodować informacje sensoryczne, impulsy stymulujące dostarczane do sieci neuronowej stanowią zwykłe sekwencje.
Przedstawiono tutaj ścieżkę, którą poruszał się wirtualny robot podczas 20-minutowego eksperymentu w pętli zamkniętej, w którym sieć neuronowa otrzymywała sprzężenie zwrotne po uderzeniu robota w przeszkodę. Należy zauważyć, że w przeciwieństwie do eksperymentu w pętli otwartej, robot ten z powodzeniem ominął wiele przeszkód. Wskazuje to, że dwukierunkowa interakcja między elementami neuronalnymi a sztucznymi jest niezbędna do uzyskania dobrych wyników nawigacji robota.
Wykres ten przedstawia wydajność nawigacji robota wyrażoną jako liczbę pikseli przebytych pomiędzy kolejnymi zderzeniami. Dwie pierwsze kolumny pokazują rozkład przebytych odległości w dwóch eksperymentach kontrolnych: w konfiguracjach pustego MEA oraz pętli otwartej. Trzecia i czwarta kolumna przedstawiają wydajność odpowiednio bez i z zastosowaniem stymulacji Titanic.
Po każdym zderzeniu z przeszkodą, wprowadzenie stymulacji typu Titanic znacząco poprawia dystans pokonany między dwoma kolejnymi uderzeniami, zwiększając tym samym sprawność nawigacyjną robota. Wykres ten przedstawia prawdopodobieństwo pomyślnego pokonania przez robota krótkiego toru w ograniczonym czasie dla danego algorytmu dekodowania.
Paradygmaty dekodowania różnią się od siebie ze względu na wzglomne wagi serii impulsów (bursts) oraz pojedynczych impulsów (spikes). Po opracowaniu, technika ta utorowała drogę do zastosowania URGs w dziedzinie neurorobotyki i neuroprotetyki, aby zbadać sposoby łączenia mózgów z maszynami w celu poprawy wydajności współczesnych interfejsów neuronowych. Po obejrzeniu tego filmu powinni Państwo posiadać dobrą wiedzę na temat planowania i przeprowadzania hybrydowego eksperymentu służącego do badania właściwości obliczeniowych ucieleśnionej biologicznej sieci neuronowej.
Przegląd
Niniejsze badanie przedstawia ramy dla eksperymentów w pętli zamkniętej, służące do badania interakcji między zespołami neuronalnymi a robotycznym ciałem. Badania koncentrują się na procesach kodowania, dekodowania i uczenia się w sieciach neuronalnych podczas ciągłej interakcji.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauka
- Robotyka
- Neuroinżynieria
Wstęp
- Celem eksperymentu jest zbadanie dwukierunkowej komunikacji między neuronami biologicznymi a systemami robotycznymi.
- Kultury neuronalne są przygotowywane na matrycach mikroelektrod z myślą o długotrwałych sesjach eksperymentalnych.
- Zrozumienie, w jaki sposób systemy neuronalne mogą uczyć się poprzez interakcje z robotami, ma kluczowe znaczenie dla rozwoju neuroinżynierii.
- Złożoność technologiczna stanowi wyzwanie dla nowych badaczy w tej dziedzinie.
Cel badania
- Zbadanie, w jaki sposób kultury neuronowe mogą modyfikować swoje właściwości obliczeniowe poprzez interakcję z robotem.
- Opracowanie metody translacji sygnałów neuronowych na polecenia dla robota i odwrotnie.
- Udoskonalenie zdolności nawigacyjnych agentów robotycznych z wykorzystaniem sygnałów biologicznych.
Zastosowane metody
- Przygotowanie matryc mikroelektrodowych (MEA) do hodowli neuronów.
- Rejestracja spontanicznej aktywności neuronalnej oraz definiowanie parametrów kodowania i dekodowania.
- Przeprowadzanie eksperymentów w pętli zamkniętej ze stymulacją i rejestracją odpowiedzi.
- Wykorzystanie oprogramowania do analizy danych i mapowania połączeń między elektrodami.
Główne wyniki
- Zaobserwowano znaczną poprawę zdolności nawigacyjnych agenta robotycznego.
- Pomyślnie ustanowiono protokół komunikacyjny pomiędzy neuronami a systemami robotycznymi.
- Zidentyfikowano skuteczne elektrody stymulujące do wymiany informacji.
- Wykazano zdolności uczenia się w kulturach neuronalnych poprzez interakcję z robotem.
Wnioski
- Struktura ta otwiera nowe możliwości zrozumienia uczenia się neuronów w odpowiedzi na bodźce robotyczne.
- Podkreśla ona potencjał w zakresie opracowywania zaawansowanych urządzeń neuroprotetycznych.
- Przyszłe badania mogą opierać się na tych wynikach w celu udoskonalenia interfejsów człowiek-maszyna.
Najczęściej Zadawane Pytania
Znaczenie dla przemysłu
Ta neuro-robotyczna platforma w pętli zamkniętej umożliwia dwukierunkową komunikację między sieciami neuronalnymi a systemami sztucznymi, oferując mechanistyczne podejście do minimalizacji ryzyka w walidacji celów w odkrywaniu neuroterapii. Poprzez kwantyfikację tego, jak aktywność neuronalna moduluje zachowanie robotów i odwrotnie, metoda ta zwiększa pewność predykcyjną w ocenie funkcji obwodów neuronalnych oraz przetwarzania informacji. Dostarcza ona istotnego w kontekście chorób systemu do badania właściwości obliczeniowych sieci neuronalnych, wspierając wczesne etapy testowania hipotez w odkrywaniu leków na OUN.
Strategiczne zastosowania w badaniach i rozwoju biofarmaceutycznym
Wczesna faza odkrywania i walidacja celu
- Wartość naukowa: Weryfikuje hipotezy terapeutyczne poprzez badanie sposobu, w jaki sieci neuronalne kodują i dekodują informacje sensoryczno-motoryczne w kontekście pętli zamkniętej.
- Wartość operacyjna: Umożliwia funkcjonalną walidację celów neuronalnych poprzez interakcję w czasie rzeczywistym z efektorem robotycznym, wyjaśniając zaangażowanie konkretnych szlaków w przetwarzanie informacji.
- Wartość prognostyczna: Wspiera selekcję projektów w portfolio poprzez pomiar zmian w wydajności nawigacyjnej wywołanych uczeniem się, jako wskaźnika plastyczności synaptycznej i adaptacyjności sieci.
Przesiewy i opracowanie testu
- Wartość naukowa: Przygotowanie zwalidowanych kultur neuronalnych na matrycach mikroelektrodowych do powtarzalnego, długoterminowego rejestrowania i stymulacji, co umożliwia stosowanie standaryzowanych formatów testów.
- Wartość operacyjna: Definiowanie parametrów kodowania i dekodowania, które pozwalają na ilościową wymianę informacji między systemami biologicznymi a elektronicznymi, wspierając gotowość do przeprowadzenia testów.
- Skalowalność: Ułatwia szybki dobór różnorodnych algorytmów kodowania, dekodowania i uczenia się w celu przetestowania hipotez obliczeniowych w wielu różnych warunkach.
Badania translacyjne i przedkliniczne
- Wartość translacyjna: Wykorzystanie sieci hipokampa embrionalnych ssaków jako modelu istotnego dla danej jednostki chorobowej do badania mechanizmów kodowania informacji związanych z zaburzeniami poznawczymi.
- Ciągłość przedkliniczna: Wykazanie, w jaki sposób dwukierunkowe interakcje mózg-ciało mogą zostać wykorzystane do usprawnienia nawigacji robotycznej, co dostarcza informacji dla projektowania neuroprotez.
- Redukcja ryzyka mechanistycznego: Identyfikacja skutecznych elektrod stymulujących oraz paradygmatów stymulacji (np. stymulacja typu Titanic po uderzeniu w przeszkodę), które znacząco poprawiają wyniki behawioralne, zmniejszając niejednoznaczność w badaniach nad mechanizmem działania.
Integracja potoku i przepływu pracy
Metoda ta wpisuje się w proces odkrywania leków, od wczesnej walidacji celu po ocenę przedkliniczną, w szczególności w przypadku neuroterapeutyków ukierunkowanych na plastyczność synaptyczną, pobudliwość sieciową lub przetwarzanie sensoryczne.
- Biologia odkrywcza: Wspiera testowanie hipotez, umożliwiając badaczom manipulowanie informacją zwrotną z kontekstu i obserwowanie zmian w obliczeniowych właściwościach neuronów podczas przedłużonych sesji.
- Przesiewanie: Umożliwia standaryzację testów poprzez mapowanie odpowiedzi i wybór niezakładających się elektrod stymulujących dla kodowania sensorycznego lewo/prawo, co zapewnia niezawodne kierowanie sygnałem.
- Analityka: Generuje ilościowe pomiary zmiennych zależnych (np. średni dystans przebyty między uderzeniami), co pozwala na porównanie wyników nawigacyjnych w warunkach kontrolnych, w pętli otwartej oraz w pętli zamkniętej.
- Badania translacyjne: Łączy ustalenia z fazy odkryć z ciągłością przedkliniczną, wykazując, w jaki sposób protokoły uczenia się (np. dostarczenie stymulacji Titanic po uderzeniach w przeszkodę) wywołują mierzalną poprawę zachowania robotycznego.
- Ponowne wykorzystanie w przedsiębiorstwie: Tworzy platformę wielokrotnego użytku do testowania różnych algorytmów i paradygmatów stymulacji, co redukuje redundantne nakłady pracy przy konfiguracji w różnych projektach.
Wpływ operacyjny i przedsiębiorczy
- Wartość naukowa: Dostarcza wglądu w mechanizmy, dzięki którym interakcje dwukierunkowe modyfikują obliczeniowe właściwości neuronów, zmniejszając niejednoznaczność w zakresie angażowania celu i modulacji szlaków.
- Wartość operacyjna: Standaryzuje przygotowanie kultur neuronalnych, rejestrację i stymulację opartą na MEA oraz oprogramowanie do sterowania w pętli zamkniętej, zapewniając powtarzalność sesji eksperymentalnych.
- Wartość strategiczna: Usprawnia podejmowanie decyzji typu go/no-go poprzez powiązanie aktywności neuronalnej z wynikami funkcjonalnymi (nawigacją robotyczną), co umożliwia dostosowanie ryzyka przy rozwoju kandydatów na leki neuroterapeutyczne.
- Wpływ na portfolio: Wspiera priorytetyzację związków lub interwencji genetycznych zwiększających plastyczność zależną od uczenia się w sieciach neuronalnych, w oparciu o mierzalną poprawę wydajności w pętli zamkniętej.
Uwagi dotyczące wdrożenia
- Wymaga wiedzy specjalistycznej w zakresie utrzymywania kultur neuronalnych, obsługi matryc mikroelektrod oraz technik rejestracji elektrofizjologicznej.
- Zależne od specjalistycznego instrumentarium, w tym MEAs, stymulatorów, wzmacniaczy, systemów kontroli temperatury oraz interfejsów robotycznych (wirtualnych lub fizycznych).
- Wymaga międzyzespołowej standaryzacji parametrów stymulacji (np. fazowe fale prostokątne o czasie trwania półokresu 300 μs i amplitudzie szczyt-szczyt 1,5 V) oraz algorytmów dekodowania (kodowanie liniowe, stałe czasowe zmiany prędkości i zaniku ustawione na 1).
- Obejmuje kwestie adaptacyjne podczas przenoszenia protokołów z wirtualnych do fizycznych systemów robotycznych, w szczególności w odniesieniu do sprzężenia zwrotnego z czujników i interakcji z otoczeniem.
- Ograniczenia praktyczne obejmują złożoność technologiczną konfiguracji i architektury oprogramowania, co może stanowić barierę dla nowych użytkowników bez dedykowanego szkolenia.
Najczęściej zadawane pytania dotyczące biofarmacji
Chapters in this video
0:05
Title
1:33
Preparation of Neuronal Culture Over an MEA
2:38
Selection of MEA Electrodes to Stimulate the Neuronal Culture and Response Map Computation
5:42
Interfacing the Neuronal Curlture with the Robot: Selection of Coding and Decoding Schemes
6:31
Performing a Neuro-robotic Experiment
8:03
Results: Closed-loop Feedback Improves Control of Robots by Neuronal Networks
10:33
Conclusion
