Eksperymenty neurorobotyczne w pętli zamkniętej w celu przetestowania właściwości obliczeniowych sieci neuronowych
2 marca 2015
W tym artykule przedstawiono eksperymentalny framework do przeprowadzania eksperymentów w pętli zamkniętej, w którym przetwarzanie informacji (tj. kodowanie i dekodowanie) oraz uczenie się zespołów neuronalnych są badane podczas ciągłej interakcji z ciałem robota.
Ogólnym celem poniższego eksperymentu jest zbadanie dwukierunkowej interakcji między biologiczną siecią zdysocjowanych neuronów a małym robotem. Ciągły dialog może modyfikować właściwości obliczeniowe układu neuronalnego, wywołując rodzaj uczenia się. Osiąga się to poprzez przygotowanie hodowli neuronów na układzie mikroelektrod, aby umożliwić kilkugodzinną sesję eksperymentalną bez uszczerbku dla aktywności komórek.
W drugim kroku obliczana jest mapa odpowiedzi hodowli, która pozwala na wybór elektrod stymulujących do właściwego eksperymentu w pętli zamkniętej. Następnie definiowane są parametry kodowania i dekodowania, aby umożliwić wymianę informacji między systemami biologicznymi i elektronicznymi. Wyniki wskazują na znaczny wzrost zdolności nawigacyjnych agenta robotycznego w oparciu o porównanie średniej odległości przebytej między trafieniami w różnych warunkach kontrolnych.
Ta metoda może nam pomóc odpowiedzieć na kluczowe pytania w naszej dziedzinie inżynierii, takie jak: czy możemy znaleźć słownik, aby przetłumaczyć język neuronów na język maszyn i odwrotnie? Ogólnie rzecz biorąc, osoby nowe w tej metodzie będą miały trudności z powodu technologicznej złożoności eksperymentalnej konfiguracji i architektury oprogramowania. Procedurę zademonstruje Martha Bizo, doktorantka z mojego laboratorium.
Pierwszym krokiem jest przygotowanie układu mikroelektrod lub chipa MEA z 60 elektrodami, które można wykorzystać do stymulacji lub rejestracji sieci neuronowej. Po posianiu kultur neuronalnych na ME, chipy A czekają około trzech tygodni, aż sieć neuronowa dojrzeje. W dniu eksperymentu podgrzej system grzewczy MEA przez pięć do 10 minut, ustawiając regulator temperatury na 37 stopni Celsjusza i włączając płytę grzewczą pod samym MEA.
Użyj również podgrzewanej pokrywy, aby zmniejszyć parowanie, używając sterylizowanych w autoklawie nakrętek przepuszczających gaz, przykryj kultury nakrętką, aby ograniczyć parowanie i zapobiec zmianom osmolarności podczas nagrywania. Teraz krąż samochód nad kulturą, aby utrzymać stabilny poziom tlenu i pH. Pozwól kulturze odpocząć przez 30 minut Po okresie odpoczynku rejestruj spontaniczną aktywność komórek nerwowych przez 30 minut.
Następnie zapisz dane do pliku, klikając przycisk nagrywania w polu spajków formularza rejestrowania danych. W formularzu wyświetlania danych pierwotnych zidentyfikuj 10 kanałów o największej liczbie szczytów. Następnie wybierz te kanały w dowolnym układzie MEA.
Formularz kodowania jest wyświetlany tutaj po przeciągnięciu kursora myszy na żądane obszary. Po wybraniu kanałów kliknij prawym przyciskiem myszy w dowolnym miejscu układu MEA i wybierz dodaj do lewego obszaru sensorycznego z menu podręcznego. Elektrody te zostaną wykorzystane do dostarczenia stymulacji elektrycznej w kolejnym etapie.
Następnie sprawdź, czy stymulator i MEA amplifier są prawidłowo podłączone. Wszystkie konfiguracje wymagają dwóch przewodów na żądany kanał stymulacji, podczas gdy do przesyłania sygnału synchronicznego wymagany jest dodatkowy koncentryczny. Gdy będziesz gotowy, włącz stymulator.
Kolejnym krokiem jest zdefiniowanie parametrów bodźca w postaci mapy połączeń. Wszystkie stymulacje dostarczane do kultury są dostarczane przez fazowe fale napięcia prostokątnego. Ustaw połowę czasu trwania na 300 mikrosekund i ustaw amplitudę na 1,5 szczytowego napięcia szczytowego.
Rozpocznij nagrywanie reakcji na stymulację, naciskając przycisk start. W formie mapy połączeń seria 30 bodźców o częstotliwości 0,2 Hz jest automatycznie dostarczana z jednej z wcześniej wybranych elektrod stymulacyjnych. Podczas gdy ta elektroda działa jako elektroda stymulacyjna, odpowiedzi elektrody są rejestrowane z pozostałych 59 elektrod na chipie MEA.
Następnie, z pięciosekundowym opóźnieniem między seriami, seria 30 bodźców jest powtarzana kolejno na każdej z pozostałych dziewięciu zidentyfikowanych elektrod stymulacyjnych, podczas gdy nagrania są zbierane z pozostałych 59 elektrod. Następnie mapuj połączenia komputerowe dla każdego kanału stymulującego za pomocą kodu szpiegowskiego, aplikacji, która wykonuje obliczenia na danych neuronowych. Z map połączeń odrzuć z dalszej analizy wszystkie elektrody stymulujące, które nie wywołały odpowiedzi.
Następnie spośród pozostałych elektrod wybierz parę, która najmniej nakłada się na siebie w odpowiedziach zgodnie z opisem w protokole tekstowym, wybierz jedną z tych elektrod do kodowania informacji sensorycznych z lewej strony robota, a drugą do kodowania odczytów z prawej strony. Aby to zrobić, przeciągnij kursor myszy na jedną elektrodę, kliknij prawym przyciskiem myszy na układzie MEA, a następnie wybierz dodaj do lewego obszaru sensorycznego. Następnie przeciągnij kursor na drugą elektrodę.
Kliknij prawym przyciskiem myszy i wybierz dodaj do prawego obszaru sensorycznego. Następnie w formularzu kodowania wybierz schemat kodowania, ustawiając typ kodowania na liniowy. Następnie zdefiniuj minimalne i maksymalne współczynniki stymulacji, używając domyślnego zakresu od 0,5 do dwóch herców i ustaw parametr jitter na zero.
Następnie w formularzu dekodowania ustaw parametry algorytmu dekodowania. Jest to zmiana prędkości i stała czasowa parametrów rozpadu na jeden dla umiarkowanie aktywnej kultury z około jednym impulsem na sekundę na kanał. Następnie ustaw parametry serii algorytmu dekodowania w formularzu dekodowania na zero.
Czas zaniku nie ma znaczenia, jeśli zmiana prędkości wynosi zero. W formularzu menedżera eksperymentów wybierz dane, które mają być rejestrowane, klikając pola wyboru Zapisz dane spajków, dane robota i dane bodźców. Teraz uruchom robota przed uczeniem się, wybierając przycisk rozpocznij eksperyment w formularzu menedżera eksperymentów.
Po wyświetleniu monitu wybierz nowe nazwy plików danych. Pozwól eksperymentowi działać przez 30 minut. Następnie kliknij przycisk zatrzymania eksperymentu, aby zatrzymać pracę robota.
Następnie włącz protokół uczenia się, zaznaczając stymulację od dostarczenia do 10 po. Zaznacz pole wyboru w formularzu menedżera eksperymentów. Następnie ponownie kliknij przycisk rozpoczęcia eksperymentu, aby ponownie uruchomić robota treningowego przez 30 minut.
Podczas tego procesu uczenia się stymulacja robota zmienia się z bodźca nieregularnego na tytaniczny. Kiedy robot uderza w przeszkodę, bodziec Titanic jest wykorzystywany do trenowania sieci neuronowej. Po zapisaniu danych ponownie wyłącz protokół uczenia, odznaczając opcję dostarczania do stymulacji tanicznej.
Po naciśnięciu pola wyboru, a następnie kliknij rozpocznij eksperyment, aby wykonać 30-minutowy bieg robota po nauce. Tak jak poprzednio, pamiętaj o zmianie nazw plików, aby zapobiec nadpisywaniu. Oprócz pokazanego wcześniej robota wirtualnego, ten sam zestaw przebiegów treningowych może być używany z siecią neuronową i robotem fizycznym.
Pokazano tutaj ścieżkę, którą podąża wirtualny robot podczas 20-minutowego pustego eksperymentu MEA. W tym eksperymencie kontrolnym nie znaleziono żadnych komórek na MEA. Jasnozielone obszary są wolne, w których robot może się poruszać, a ciemnozielone kółka reprezentują nieprzekraczalne przeszkody, które robot może dostrzec za pomocą czujników odległości.
W każdej próbie robot zaczyna w lewej górnej części areny i przemieszcza się do swojej końcowej pozycji przedstawionej jako duża różowa kropka. Mniejsze czarne kropki reprezentują uderzenia w przeszkodę. Ścieżki oznaczone kolorami wskazują czas, który upłynął.
W tym eksperymencie bez sieci neuronowej robot został zatrzymany przez pierwszą napotkaną przeszkodę. Pokazana jest tutaj ścieżka wirtualnego robota podczas eksperymentu w pętli otwartej, w którym robot jest skutecznie oślepiony. Zamiast kodować informacje sensoryczne, ciągi stymulacyjne dostarczane do sieci neuronowej są po prostu zwykłymi sekwencjami.
Pokazana jest tutaj ścieżka, którą podążał wirtualny robot podczas 20-minutowego eksperymentu w pętli zamkniętej, w którym sieć neuronowa otrzymała satanistyczne sprzężenie zwrotne po tym, jak robot uderzył w przeszkodę. Zauważ, że w przeciwieństwie do eksperymentu z otwartą pętlą, ten robot z powodzeniem ominął wiele przeszkód. Wskazuje to, że dwukierunkowa interakcja między elementami neuronalnymi i sztucznymi jest niezbędna w celu uzyskania dobrych parametrów nawigacyjnych robota.
Ten wykres pokazuje wydajność nawigacyjną robota wyrażoną w pikselach przebytych między kolejnymi trafieniami. Pierwsze dwie kolumny wyświetlają rozkład przebytych odległości, dwa eksperymenty kontrolne, puste konfiguracje MEA i pętli otwartej. Trzecia i czwarta kolumna pokazują wydajność bez i z dostarczeniem stymulacji Titanica.
Po każdym uderzeniu w przeszkodę wprowadzenie stymulacji Titanica znacznie się poprawia. Odległość przebyta między dwoma kolejnymi trafieniami, poprawiając w ten sposób wydajność nawigacyjną robota. Ten wykres przedstawia prawdopodobieństwo, że dany algorytm dekodowania robota pomyślnie przejdzie przez krótki tor w ograniczonym czasie.
Paradygmaty dekodowania różnią się od siebie ze względu na względną wagę wybuchów i izolowanych skoków po jego opracowaniu. Technika ta utorowała drogę URG w dziedzinie neurorobotyki i neuroprotetyki do zbadania, w jaki sposób połączyć mózgi i maszyny w celu poprawy wydajności nowoczesnych interfejsów neuronowych. Po obejrzeniu tego filmu powinieneś dobrze zrozumieć, jak zaplanować i przeprowadzić eksperyment hybrydowy w celu zbadania właściwości obliczeniowych ucieleśnionej biologicznej sieci neuronowej.
Przegląd
To badanie przedstawia ramy dla eksperymentów z zamkniętą pętlą w celu zbadania interakcji między zespołami neuronów a ciałem robota. Badania koncentrują się na kodowaniu, dekodowaniu i procesach uczenia się w sieciach neuronowych podczas ciągłej interakcji.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauki
- Robotyka
- Neuroinżynieria
Tło
- Celem eksperymentu jest zbadanie dwukierunkowej komunikacji między biologicznymi neuronami a systemami robotycznymi.
- Kultury neuronowe są przygotowywane na mikroelektrodowych kratkach dla przedłużonych sesji eksperymentalnych.
- Rozumienie, jak systemy neuronowe mogą uczyć się z interakcji z robotami, jest kluczowe dla rozwoju neuroinżynierii.
- Złożoność technologiczna stanowi wyzwanie dla nowych badaczy w tej dziedzinie.
Cel badania
- Zbadanie, jak kultury neuronowe mogą modyfikować swoje właściwości obliczeniowe poprzez interakcję z robotem.
- Ustanowienie metody na przekładanie sygnałów neuronowych na polecenia robotyczne i odwrotnie.
- Poprawa zdolności nawigacyjnych agentów robotycznych przy użyciu biologicznego wejścia.
Stosowane metody
- Przygotowanie mikroelektrodowych krat (MEA) na kultury neuronowe.
- Rejestrowanie spontanicznej aktywności neuronowej i definiowanie parametrów kodowania/dekodowania.
- Przeprowadzanie eksperymentów z zamkniętą pętlą z stymulacją i rejestracją odpowiedzi.
- Wykorzystanie oprogramowania do analizy danych i mapowania połączeń między elektrodami.
Główne wyniki
- Zaobserwowano znaczne ulepszenia zdolności nawigacyjnych agenta robotycznego.
- Udane ustanowienie protokołu komunikacji między neuronami a systemami robotycznymi.
- Identyfikacja efektywnych elektrod stymulujących do wymiany informacji.
- Demonstracja zdolności uczenia się w kulturach neuronowych poprzez interakcję z robotem.
Wnioski
- To ramy otwierają nowe drogi do zrozumienia uczenia się neuronowego w odpowiedzi na bodźce robotyczne.
- Podkreślają potencjał rozwoju zaawansowanych urządzeń neuroprotetycznych.
- Przyszłe badania mogą wykorzystać te odkrycia do ulepszenia interfejsów człowiek-maszyna.
Często zadawane pytania
Executive Industry Relevance
This closed-loop neuro-robotic platform enables bidirectional communication between neuronal networks and artificial systems, offering a mechanistic approach to de-risk target validation in neurotherapeutic discovery. By quantifying how neuronal activity modulates robotic behavior and vice versa, the method supports predictive confidence in assessing neural circuit function and information processing. It provides a disease-relevant system for probing computational properties of neuronal networks, informing early-stage hypothesis testing in CNS drug discovery.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Interrogates therapeutic hypotheses by testing how neuronal networks encode and decode sensory-motor information in a closed-loop context.
- Operational Value: Enables functional validation of neuronal targets through real-time interaction with a robotic effector, clarifying pathway involvement in information processing.
- Predictive Value: Supports portfolio triage by measuring learning-induced changes in navigational performance as a proxy for synaptic plasticity and network adaptability.
Screening & Assay Development
- Scientific Value: Prepares validated neuronal cultures on microelectrode arrays for reproducible, long-term recording and stimulation, enabling standardized assay formats.
- Operational Value: Defines coding and decoding parameters that allow quantitative exchange of information between biological and electronic systems, supporting assay readiness.
- Scalability: Facilitates rapid selection of diverse encoding, decoding, and learning algorithms to test computational hypotheses across multiple conditions.
Translational & Preclinical Research
- Translational Value: Uses embryonic mammalian hippocampal networks as a disease-relevant model to study information coding mechanisms relevant to cognitive disorders.
- Preclinical Continuity: Demonstrates how bidirectional brain-body interactions can be leveraged to enhance robotic navigation, informing neuroprosthetic design.
- Mechanistic De-risking: Identifies effective stimulation electrodes and stimulation paradigms (e.g., Titanic stimulation post-obstacle hit) that significantly improve behavioral output, reducing ambiguity in mechanism-of-action studies.
Pipeline & Workflow Integration
The method integrates into the discovery continuum from early target validation through preclinical assessment, particularly for neurotherapeutics targeting synaptic plasticity, network excitability, or sensory processing.
- Discovery Biology: Supports hypothesis testing by allowing researchers to manipulate contextual feedback and observe changes in neuronal computational properties over extended sessions.
- Screening: Enables assay standardization through response mapping and selection of non-overlapping stimulation electrodes for left/right sensory coding, ensuring reliable signal routing.
- Analytics: Generates quantitative dependent variable measurements (e.g., average distance traveled between hits) that allow comparison of navigational performance across control, open-loop, and closed-loop conditions.
- Translational Research: Connects discovery-phase findings to preclinical continuity by demonstrating how learning protocols (e.g., delivery of Titanic stimulation after obstacle hits) induce measurable improvements in robotic behavior.
- Enterprise Reuse: Establishes a reusable platform for testing diverse algorithms and stimulation paradigms, reducing redundant setup efforts across projects.
Operational & Enterprise Impact
- Scientific Value: Provides mechanistic insight into how bidirectional interactions modify neuronal computational properties, reducing ambiguity in target engagement and pathway modulation.
- Operational Value: Standardizes neuronal culture preparation, MEA-based recording/stimulation, and closed-loop control software for reproducible experimental sessions.
- Strategic Value: Improves go/no-go decisions by linking neuronal activity to functional outputs (robotic navigation), enabling risk-adjusted advancement of neurotherapeutic candidates.
- Portfolio Impact: Supports prioritization of compounds or genetic interventions that enhance learning-dependent plasticity in neuronal networks, based on measurable improvements in closed-loop performance.
Implementation Considerations
- Requires expertise in neuronal culture maintenance, microelectrode array handling, and electrophysiological recording techniques.
- Dependent on specialized instrumentation including MEAs, stimulators, amplifiers, temperature control systems, and robotic interfaces (virtual or physical).
- Necessitates cross-team standardization of stimulation parameters (e.g., phasic square waves at 300 μs half-duration, 1.5 V peak-to-peak amplitude) and decoding algorithms (linear coding, speed change and decay time constants set to 1).
- Involves adaptation considerations when transferring protocols from virtual to physical robotic systems, particularly regarding sensor feedback and environmental interaction.
- Practical limitations include the technological complexity of setup and software architecture, which may pose barriers for new users without dedicated training.
Biopharma FAQs
Chapters in this video
0:05
Title
1:33
Preparation of Neuronal Culture Over an MEA
2:38
Selection of MEA Electrodes to Stimulate the Neuronal Culture and Response Map Computation
5:42
Interfacing the Neuronal Curlture with the Robot: Selection of Coding and Decoding Schemes
6:31
Performing a Neuro-robotic Experiment
8:03
Results: Closed-loop Feedback Improves Control of Robots by Neuronal Networks
10:33
Conclusion
