Eksperymenty neurorobotyczne w pętli zamkniętej w celu przetestowania właściwości obliczeniowych sieci neuronowych

Summary

W tym artykule przedstawiono eksperymentalny framework do przeprowadzania eksperymentów w pętli zamkniętej, w którym przetwarzanie informacji (tj. kodowanie i dekodowanie) oraz uczenie się zespołów neuronalnych są badane podczas ciągłej interakcji z ciałem robota.

Abstract

Kodowanie informacji w ośrodkowym układzie nerwowym (OUN) pozostaje niezbadane. Istnieje coraz więcej dowodów na to, że nawet na bardzo niskim poziomie reprezentacja danego bodźca może być zależna od kontekstu i historii. Jeśli tak jest w istocie, dwukierunkowe interakcje między mózgiem (lub, jeśli zajdzie taka potrzeba, jego zredukowanym modelem) a systemem sensoryczno-motorycznym mogą rzucić światło na to, w jaki sposób odbywa się kodowanie i dekodowanie informacji. Tutaj przedstawiono i opisano system eksperymentalny, w którym aktywność elementu neuronalnego (tj. sieci neuronów wyekstrahowanych z hipokampów ssaków embrionalnych) jest kontekstuowana i wykorzystywana do kontrolowania ruchu sztucznego czynnika, podczas gdy informacje środowiskowe są przekazywane z powrotem do kultury jako sekwencja bodźców elektrycznych. Architektura ta umożliwia szybki wybór różnych algorytmów kodowania, dekodowania i uczenia się w celu testowania różnych hipotez dotyczących właściwości obliczeniowych sieci neuronowych.

Introduction

Wiele cech funkcji mózgu jest obecnie niemożliwych do odtworzenia w sztucznym systemie. Zdolność mózgu do szybkiego przetwarzania złożonych informacji sensorycznych i generowania w odpowiedzi precyzyjnych poleceń motorycznych sama w sobie wykracza już poza obecny stan wiedzy. Jednak jego zdolność do przystosowania się do różnych warunków poprzez uczenie się na podstawie wcześniejszych doświadczeń sprawia, że jest on znacznie lepszy od systemów kontroli opracowanych przez człowieka. Do tej pory próby odtworzenia lub wykorzystania tej plastyczności nie przyniosły większych sukcesów, a zrozumienie wewnętrznego funkcjonowania mózgu wymknęło się naukowcom. Jednym z głównych problemów podczas badania związku między mózgiem a zachowaniem jest niezdolność do prawidłowego dostępu do wszystkich zmiennych w systemie: idealnie, optymalna konfiguracja eksperymentalna pozwoliłaby na jednoczesne rejestrowanie i stymulację dużej liczby neuronów, długoterminową stabilność, monitorowanie pozycji i wagi synaps oraz kontrolowaną dwukierunkową interakcję z otoczeniem. Trudność w jednoczesnym śledzeniu wszystkich tych zmiennych doprowadziła do badania relacji mózg-zachowanie w dwóch bardzo różnych skalach: albo z zachowującymi się zwierzętami, bez dokładnej kontroli nad warunkami eksperymentalnymi ^1-7, albo z małymi, izolowanymi częściami, takimi jak fragmenty tkanki neuronalnej, bez ogólnego obrazu systemu ⁸. W tym drugim przypadku, podczas gdy żadna opracowana konfiguracja eksperymentalna nie pozwala na pełne monitorowanie wszystkich parametrów związanych z działaniem nawet prostej sieci neuronowej, dobrym kompromisem są zdysocjowane neurony wyhodowane na mikromatrycach elektrod (MEA) ⁹. Urządzenia te, które narodziły się pod koniec lat 70-tych^{, mają} kilka zalet w porównaniu z tradycyjnymi technikami elektrofizjologicznymi: po pierwsze, możliwość nagrywania i stymulowania sieci neuronowej w wielu różnych miejscach jednocześnie (zwykle 60 elektrod). Co więcej, sprzężenie MEA z komórkami jest prawie nieinwazyjne, co pozwala na obserwację tej samej sieci przez długi czas, do kilku ^miesięcy11. Dzięki tym urządzeniom dokładnie zbadano fizjologiczny wpływ stymulacji elektrycznej na zdysocjowane kultury, ujawniając, że wiele właściwości obserwowanych w wyższych skalach (takich jak na przykład plastyczność i proste procesy pamięciowe ^12-14) jest zachowanych pomimo utraty architektury. Podczas wzrostu kultur sieci te zaczynają wykazywać spontaniczną aktywność po około 7 dniach in vitro (DIV) ^15,16. Aktywność sieci ma tendencję do radykalnych zmian wraz z dalszym wzrostem; Najpierw, gdy pojedyncze skoki zbierają się w wybuchy (pod koniec drugiego tygodnia) ¹⁷, później, gdy zmieniają się w wysoce złożony wzór zsynchronizowanych, nieokresowych wybuchów sieciowych ¹⁸, który reprezentuje dojrzały stan sieci. Zasugerowano, że to synchroniczne zachowanie, nieco podobne do tego obserwowanego w nagraniach in vivo na śpiących zwierzętach, jest spowodowane brakiem bodźców sensorycznych.

Podjęto inne podejście, aby lepiej zrozumieć kodowanie informacji, przeprowadzając eksperymenty z pętlą zamkniętą, w których różne typy sygnałów były używane do kontrolowania stymulacji samej sieci neuronalnej ^11,20-23. W tych eksperymentach czynnik zewnętrzny zdolny do interakcji z otoczeniem został wykorzystany do wygenerowania informacji sensorycznych przekazywanych do sieci neuronowej, która z kolei wytworzyła polecenia motoryczne dla mechanizmu efektorowego. Pozwoliło to na obserwacje, w jaki sposób dynamiczne i adaptacyjne właściwości układów nerwowych ewoluowały w odpowiedzi na indukowane zmiany w środowisku.

Stworzono konfigurację do przeprowadzania eksperymentów z 'ucieleśnioną neurofizjologią', gdzie kołowa platforma sensoryczna (fizyczny robot lub jego wirtualny model) porusza się po arenie, a jej profile prędkości są determinowane przez aktywność systemu neuronalnego (tj. populacji neuronów szczurów hodowanych na MEA). Robot charakteryzuje się profilami prędkości swoich dwóch niezależnie sterowanych kół oraz aktualnymi odczytami czujników odległości. Dokładny charakter czujników odległości nie ma znaczenia; Mogą to być aktywne lub pasywne czujniki optyczne lub czujniki ultradźwiękowe. Oczywiście kwestia ta nie dotyczy robotów wirtualnych, w których czujniki mogą być projektowane z dowolną pożądaną funkcją.

W opisanych tu eksperymentach, używany robot jest zawsze wirtualną implementacją, z 6 czujnikami odległości skierowanymi na 30°, 60° i 90° od robota zmierzającego w obu kierunkach. Aktywność trzech lewych i prawych czujników jest uśredniana, a aktywność kultury biologicznej jest napędzana przez informacje zebrane przez takie "superczujniki" (które w dalszej części tej pracy będą po prostu określane jako "lewy" i "prawy" czujnik). Opisany protokół może być faktycznie zastosowany do fizycznego robota z dość niewielkimi poprawkami. Informacje zbierane przez robota (fizyczne lub wirtualne) są kodowane w serii bodźców, które są wykorzystywane do manipulowania aktywnością biologicznej sieci neuronowej, która jest fizycznie oddzielona przez robota. Same bodźce są identyczne, a zatem nie kodują żadnej informacji. Istotna jest ich częstotliwość: szybkość stymulacji wzrasta, gdy robot zbliża się do przeszkody, a różne miejsca dostarczania kodują informacje sensoryczne z lewych i prawych "oczu" robota. Sieć neuronowa będzie prezentować różne reakcje na nadchodzący ciąg bodźców: zadaniem algorytmu dekodującego jest przełożenie wynikowej aktywności sieci na polecenia służące do sterowania kołami robota. Biorąc pod uwagę "idealne" zachowanie sieci (tj. z niezawodnymi i całkowicie odseparowanymi reakcjami na bodźce z różnych elektrod), skutkowałoby to tym, że robot poruszałby się po swojej arenie, nie uderzając w żadną przeszkodę. Większość sieci zachowuje się bardzo różnie od ideału, dlatego wprowadzany jest prosty protokół uczenia się: po aktywacji dostarczana jest stymulacja tężcowa (krótkie okresy stymulacji o wysokiej częstotliwości, stymulacja 20 Hz przez 2 sekundy, inspirowana protokołami opisanymi w ^24,25). Jeśli stymulacja tężcowa spowoduje lokalne wzmocnienie łączności sieciowej, będzie to skutkowało stopniowym wzrostem możliwości nawigacyjnych robota.

HyBrainWare2, ulepszona wersja niestandardowego oprogramowania opublikowanego w ²⁶, jest podstawową architekturą opracowaną do obsługi sterowania różnymi urządzeniami systemu (stymulator, akwizycja, przetwarzanie i wizualizacja danych, komunikacja robotów lub symulacja). To oprogramowanie zostało opracowane w naszym laboratorium i jest dostępne bezpłatnie na żądanie. To oprogramowanie zapewnia interfejs z płytą akwizycji danych: gdy użytkownik rozpocznie akwizycję danych z GUI, oprogramowanie steruje płytą akwizycji, aby rozpocząć próbkowanie i konwersję A/D danych pochodzących z elektrod rejestrujących. Dane te mogą być następnie rejestrowane, wyświetlane na ekranie lub analizowane w czasie rzeczywistym w celu wykrycia skoków, zgodnie z opcjami ustawionymi przez użytkownika (szczegółowe informacje można znaleźć w sekcji Procedura). Ponadto w oprogramowaniu musi zostać określona definicja algorytmów kodowania (przekształcania informacji sensorycznych w stymulację elektryczną) i dekodowania (tłumaczenia zarejestrowanej aktywności na polecenia motoryczne dla robota). W szczególności nasza konfiguracja jest stosunkowo przyjazna dla użytkownika w porównaniu z podobnymi systemami zaprojektowanymi w ciągu ostatnich ²⁷ lat, ponieważ prawie wszystkie zmienne mogą być dostępne dla użytkownika tuż przed rozpoczęciem właściwego eksperymentu, podczas gdy wszystkie zarejestrowane informacje są automatycznie zapisywane w formacie zgodnym z zestawem narzędzi do analizy danych neuronowych ²⁸.

Poniższa sekcja Procedura opisuje eksperyment edukacyjny na zdysocjowanych kulturach hipokampa szczura: wszystkie parametry hodowli i eksperymentu są przewidziane dla tego konkretnego preparatu i mogą wymagać modyfikacji, jeśli ma być użyty inny substrat biologiczny. Podobnie, opisany eksperyment wykorzystuje architekturę zamkniętej pętli do zbadania efektu uczenia się stymulacji tężcowej, ale sama architektura jest na tyle elastyczna, że można ją wykorzystać w badaniu różnych cech zdysocjowanych sieci neuronowych. Główne warianty proponowanego eksperymentu są bardziej szczegółowo wyjaśnione w sekcji Dyskusja.

Protocol

1. Przygotowanie hodowli neuronalnej na MEA

1. Płytki hodowli neuronów na chipach MEA, jak opisano ²⁹. Opis podobnej procedury znajduje się również w ^sekcji 9 oraz w sekcji Dyskusja.
2. Włącz system grzewczy MEA na 5-10 minut przed rozpoczęciem nagrywania, aby zminimalizować naprężenia termiczne odczuwane przez ogniwa: ustaw docelową temperaturę regulatora temperatury na 37 °C i włącz płytę grzewczą poniżej samej MEA (dostępną w większości komercyjnych systemów MEA) oraz, jeśli jest dostępna, podgrzewaną pokrywę, aby znacznie zmniejszyć parowanie.
3. Sterylizuj nasadki przepuszczające gaz przed każdym użyciem w autoklawie z wilgotnym ciepłem (30 min, 130 °C). Aby uniknąć parowania i zapobiec zmianom osmolarności, podczas nagrywania należy przykryć kultury nakrętkami.
4. Umieść hodowlę neuronów we wzmacniaczu na 30 minut przed faktycznym rozpoczęciem nagrywania.
   UWAGA: Samo przeniesienie kultur z inkubatora do wzmacniacza znacznie zakłóci spontaniczną aktywność na około pół godziny. W tym czasie temperatura pożywki hodowlanej ustabilizuje się.
5. Jeśli dostępny jest obieg karbowo-powietrzny, należy rozpocząć cyrkulację powietrza (mieszaniny 5%_CO2 i 95%_O2 + N₂) w przypadku eksperymentów dłuższych niż kilka godzin: kultury będą tego wymagać, aby utrzymać stabilny poziom tlenu i pH.

2. Wybór parametrów nagrywania dla akwizycji MEA

1. Wybierz przepustowość filtra programowego do wykrywania skoków (tj. Aktywność wielu jednostek – MUA) ³⁰: w formularzu RawDataDisplay zaznacz pole wyboru "300 Hz-3 kHz".
2. Rozpocznij pobieranie danych: naciśnij przycisk "Start" w formularzu RawDataDisplay.
3. Ustaw Threshold Gain dla wykrywania skoków w RawDataDisplay na 7.
   UWAGA: W zależności od pożądanego kompromisu między specyficznością/selektywnością oraz przyjętego algorytmu detekcji, próg ten można ustawić w zakresie od 6 do 10 razy większą od obliczonego odchylenia standardowego.
4. Ustaw pamięć progową na 2 sekundy i naciśnij przycisk "Zablokuj", gdy na wyświetlaczu nie jest widoczna żadna aktywność skokowa (oba polecenia są w formularzu RawDataDisplay). Zaznaczyć "Oszacować SD na podstawie mediany" w celu obliczenia odchylenia standardowego szumu od mediany wartości bezwzględnej obserwowanego sygnału ^31,32, jeżeli trudno jest zapewnić nawet krótkie okna czasowe bez gwałtownego wzrostu. Usuń zaznaczenie tej opcji po naciśnięciu przycisku "Zablokuj", ponieważ podstawowy algorytm jest intensywny obliczeniowo i może powodować opóźnienia komputera.
5. Włącz procedurę wykrywania wartości szczytowych (pole wyboru 'Wykrywanie wartości szczytowych' w formularzu RawDataDisplay). Jeśli wykrywanie spajków jest już uruchomione (tzn. pole wyboru jest już zaznaczone), odrzuć spajki wykryte do tego momentu, klikając przycisk "Resetuj" w formularzu Zapisu danych.

3. Wybór elektrod MEA do stymulacji hodowli neuronalnej i obliczania mapy odpowiedzi

1. Rejestruj spontaniczną aktywność komórek nerwowych hodowanych w MEA przez 30 minut: zapisz dane do pliku, klikając przycisk "Zapisz" w polu "Spikes" formularza DataRecording, po upływie żądanego czasu (w tym przypadku 30 minut).
2. Zidentyfikuj 10 najbardziej aktywnych kanałów (tj. 10 kanałów z największą liczbą skoków), a następnie wybierz te kanały w dowolnym układzie MEA (w formularzach Kodowanie, Dekodowanie lub Mapa połączeń), przeciągając kursor myszy nad żądanymi obszarami. Po wybraniu kanałów kliknij prawym przyciskiem myszy w dowolnym miejscu układu MEA i wybierz "Dodaj do lewego obszaru sensorycznego" w menu podręcznym: elektrody te będą używane do dostarczania stymulacji elektrycznej w kroku 3.5.
3. Sprawdź, czy stymulator i MEA amplifier są prawidłowo podłączone: wszystkie konfiguracje wymagają dwóch przewodów na żądany kanał stymulacji, podczas gdy dodatkowy koncentryczny będzie wymagany do przesyłania sygnału synchronicznego (schematy połączeń można znaleźć w instrukcjach obsługi konkretnych przyrządów). Następnie przystąp do włączenia stymulatora.
4. Zdefiniuj parametry bodźca w formularzu Mapa połączeń. Wszystkie stymulacje dostarczane do kultury to dwufazowe prostokątne fale napięciowe. Ustaw połowę czasu trwania na 300 μs i amplitudę na 1,5 V_pp³³ .
   UWAGA: Bodźce wystarczająco duże, aby niezawodnie wywoływać reakcje neuronalne, z dużym prawdopodobieństwem zagrożą rejestrowaniu aktywności z tych samych miejsc. W pozostałej części artykułu elektrody używane do dostarczania stymulacji nie powinny być wybierane do rejestrowania jakichkolwiek istotnych informacji.
5. Nagraj reakcję na stymulację: naciśnij przycisk Start w formularzu ConnectionMap. Seria 30 bodźców, w odstępie 5 sekund, jest z kolei automatycznie dostarczana z każdej z wybranych elektrod, podczas gdy odpowiedzi są rejestrowane z pozostałych 59 elektrod.
6. Oblicz mapę połączeń (tj. prawdopodobieństwo zaobserwowania odpowiedzi elektrody w przedziale czasowym po dostarczeniu bodźca z innej elektrody) dla każdego kanału stymulującego za pomocą dowolnego oprogramowania matematycznego lub SpyCode, aplikacji opracowanej w przeszłości (i swobodnie dostępnej na żądanie) do wykonywania obliczeń na danych neuronowych ²⁸.
7. Z map połączeń wybierz najlepsze elektrody: odrzuć wszystkie elektrody stymulujące, które nie wywołały reakcji (tj. w oknie czasowym następującym po stymulacji szybkość wypalania nie jest znacząco wyższa niż podczas spontanicznego wypalania).
   1. Wybierz spośród pozostałych elektrod parę o najmniejszym przeskoku w odpowiedziach. Specjalnie dla każdej elektrody stymulującej oblicz średnią liczbę skoków w każdej elektrodzie rejestrującej, a następnie oblicz różnicę między odpowiadającymi elektrodami dla wszystkich par elektrod stymulujących. Wybierz parę, dla której suma bezwzględnych wartości różnic odpowiedzi na wszystkich kanałach nagrywania jest największa.
8. Wybierz jedną z tych elektrod, aby zakodować informacje sensoryczne z lewej strony robota, a drugą, aby zakodować odczyty z prawej strony: w tym celu przeciągnij kursor myszy na jedną elektrodę, kliknij prawym przyciskiem myszy na układ MEA, a następnie wybierz "Dodaj do lewego obszaru sensorycznego" (lub "Dodaj do prawego obszaru sensorycznego").

4. Łączenie kultury neuronalnej z robotem: wybór schematów kodowania i dekodowania

1. Ustaw wartość "Typ kodowania" w formularzu kodowania na Liniowy.
2. Określ minimalne i maksymalne wskaźniki stymulacji w formularzu Kodowanie. Użyj domyślnego zakresu 0,5-2 Hz.
3. Ustaw parametr "Jitter" w formularzu Kodowanie na 0.
4. Ustaw parametry algorytmu dekodowania w formularzu dekodowania (waga i współczynnik ekstynkcji) na 1, dla umiarkowanie aktywnej kultury (~1 skok/s na kanał). Zdefiniuj nową parę parametrów, jeśli szybkość wypalania mocno i stale odbiega od tej wartości. Zobacz dyskusję, aby zapoznać się z dokładną funkcją parametrów dekodowania.
5. Ustaw parametry serii algorytmu dekodowania w formularzu dekodowania. Ustaw wagę na 0 (czas zaniku nie ma wtedy znaczenia), chyba że przedmiotem badań jest rozróżnienie między skokami a wybuchami.
   UWAGA: Wartości sugerowane w kroku 4.4 zapewnią płynne ruchy robota i prędkości zgodne z czasami reakcji robota dla umiarkowanie aktywnych pierwotnych kultur szczurów. Parametry serii mają dokładnie taką samą funkcję, jak te opisane w kroku 4.4, ale zdarzeniem wyzwalającym jest wykrycie impulsu, a nie skoku: rzeczywista prędkość każdego koła jest po prostu sumą wkładu wykrytych skoków i impulsów.

5. Projekt areny nawigacyjnej dla robota

1. W formularzu Projektanta Wirtualnej Areny wybierz arenę ograniczoną (granice areny są widoczne dla robota i nieprzekraczalne) lub bezgraniczną (jeśli robot wyjdzie z jednej strony areny, natychmiast wejdzie ponownie z przeciwnej) arenę i ustaw rozmiar areny w pikselach.
   1. Nie używaj ograniczonych aren mniejszych niż 100 x 100 pikseli, aby umożliwić znaczny ruch. Nie używaj przeszkód o promieniu mniejszym niż 5 pikseli, ponieważ mogą one po prostu wpaść między linie wzroku robota.
   2. Pamiętaj, że bardzo duże rozmiary aren mogą spowodować pogorszenie wydajności komputera: jeśli wymagana jest duża arena, przetestuj wydajność oprogramowania na żądanej arenie przed rozpoczęciem trudnych do powtórzenia eksperymentów.
2. Ustaw pozycję startową robota ręcznie (kliknij przycisk "Wybór ręczny" w formularzu Projektanta Wirtualnej Areny, a następnie żądaną lokalizację) lub określając współrzędne robota na starcie eksperymentu w polach "Pozycja startowa robota".
3. Dodaj dowolną liczbę nieprzekraczalnych przeszkód na arenie. Umieść je ręcznie na arenie po kliknięciu przycisku "Dodaj przeszkodę ręcznie" lub ustaw liczbę i zakres rozmiarów.
4. Kliknij przycisk "Generuj arenę", aby wygenerować arenę z wybranymi funkcjami. Żadne zmiany nie nastąpią, dopóki ten przycisk nie zostanie naciśnięty.
5. Zapisz zaprojektowaną arenę i załaduj odpowiedni plik przed użyciem w eksperymencie za pomocą przycisków poleceń w dolnej części formularza Projektanta wirtualnej areny.

6. Wybór elektrod MEA do rejestrowania aktywności neuronalnej z hodowli

1. Jako tymczasowe elektrody rejestrujące wybierz te, na których zaobserwowano różne reakcje, w kroku 3.8: elektrody, które wykazały większe reakcje po stymulacji z "lewej" (lub "prawej") elektrody, będą stanowić "lewą" (lub "prawą") elektrodę rejestrującą. Nie używaj elektrod, które nie wykazywały znaczących reakcji na elektrodę stymulującą do sterowania robotem. Z wyskakującego menu układu MEA wybierz opcję "Dodaj do lewego obszaru silnika" (lub "Dodaj do prawego obszaru silnika"), aby zdefiniować elektrody rejestrujące.
2. Wybierz obiekty do zarejestrowania w formularzu Menedżer eksperymentów. Na tym etapie skoki i znaczniki czasu stymulacji są jedynymi istotnymi informacjami.
3. Wykonaj 10-minutową jazdę próbną: uruchom robota, klikając przycisk Rozpocznij eksperyment w formularzu Menedżer eksperymentów, kliknij go ponownie po upływie 10 minut.
   UWAGA: Po ustawieniu wszystkich parametrów (kodowanie i dekodowanie, arena robota, elektrody stymulujące i rejestrujące, funkcje do nagrywania), wybór nazwy pliku poprosi o nazwę nagranych plików i miejsce docelowe, a następnie robot zacznie poruszać się po swojej arenie, postępując zgodnie ze zdefiniowanymi zasadami. Wszystkie wybrane funkcje są automatycznie zapisywane w czasie rzeczywistym.
4. Powtórz kroki 3.6 i 6.1 dla danych uzyskanych w kroku 6.3, aby wybrać elektrody rejestrujące z danych zebranych podczas rzeczywistego uruchomienia robota (patrz Dyskusja, aby zapoznać się z uzasadnieniem tego dwuetapowego podejścia).

7. Przeprowadzanie eksperymentu neurorobotycznego

1. Wybierz w formularzu Experiment Manager dane, które mają być rejestrowane: zaznacz pola wyboru Spike, Robot i Stimuli Data.
2. Uruchom bieg robota przed uczeniem się: kliknij przycisk "Rozpocznij eksperyment" w formularzu Menedżer eksperymentów. Po wyświetleniu monitu wybierz nowe nazwy plików danych. Po upływie 30 minut ponownie kliknij przycisk "Rozpocznij eksperyment", aby zatrzymać pracę robota.
3. Włącz protokół uczenia się (zaznacz pole wyboru "Dostarcz stymulację tężcową po uderzeniu" w formularzu Kierownik eksperymentu) i wykonaj bieg robota treningowego o tej samej długości, co faza przedtreningowa (tj. 30 minut). Pamiętaj, aby wprowadzić różne nazwy plików po wyświetleniu monitu, aby uniknąć nadpisania danych z kroku 7.2.
4. Ponownie wyłącz protokół uczenia (odznacz pole wyboru "Dostarcz stymulację tężcową po trafieniu") i wykonaj uruchomienie robota po uczeniu. Po raz kolejny pamiętaj o zmianie nazw plików, aby zapobiec nadpisaniu.

8. Obliczanie mapy drugiej odpowiedzi

1. Powtórz kroki 3.1-3.6. Wykorzystaj dane z tych nagrań, aby sprawdzić, czy protokół uczenia się wywołał jakiekolwiek zmiany we wzorcach spontanicznej lub wywołanej aktywności.

Results

Opracowany szkielet eksperymentalny pozwolił na sprawdzenie, czy możliwa jest wymiana informacji między kulturą neuronów a wirtualną realizacją fizycznego robota ³⁴. Rysunek 1 przedstawia kilka próbek uzyskanych ścieżek przebytych przez wirtualnego robota w 20-minutowych eksperymentach w różnych warunkach: od lewej do prawej przedstawiony jest właściwy eksperyment w pętli zamkniętej, eksperyment z robotem "pustym MEA" (w tym eksperymencie kontrolnym nie ma żadnych komórek na MEA) oraz eksperyment z robotem w otwartej pętli (szybkość stymulacji jest stała, a nie koduje informacji z czujnika). Reprezentatywne ślady potwierdzają, że dwukierunkowa interakcja między elementami neuronalnymi i sztucznymi jest niezbędna w celu uzyskania dobrych osiągów nawigacyjnych robota. Mimo to robot doświadcza kilku uderzeń o przeszkody.

Na rysunku 2 wydajność nawigacji robota, wyrażona w pikselach przebytych między kolejnymi uderzeniami, jest pokazana w różnych warunkach. Pierwsze dwie kolumny przedstawiają rozkład odległości przebytych w eksperymentach kontrolnych wymienionych powyżej (konfiguracje "pustego MEA" i otwartej pętli), podczas gdy trzecia i czwarta kolumna przedstawiają wydajność bez i z, odpowiednio, dostarczeniem stymulacji tężcowej po każdym uderzeniu o przeszkodę. Wprowadzenie stymulacji tężcowej (por. procedura, punkt 7.2) znacznie poprawia odległość przebytą między dwoma kolejnymi uderzeniami, poprawiając w ten sposób wydajność nawigacyjną robota ³⁵.

Na rysunku 3 przedstawiono wydajność nawigacji robota w różnych warunkach dekodowania. W tym celu przyjęto inną konfigurację areny. Pomogło to w ilościowym określeniu udanej nawigacji robota w obrębie areny ³⁶: jak opisano w kroku 4.1 procedury, robotowi prezentowana jest seria krótkich ścieżek. Wskaźnik sukcesu to po prostu stosunek liczby pomyślnie przekroczonych ścieżek do liczby prezentowanych ścieżek. W szczególności podczas eksperymentów przeprowadzono identyfikację w czasie rzeczywistym impulsów i izolowanych skoków. Paradygmaty dekodowania różnią się od siebie ze względu na względną wagę wybuchów i izolowanych skoków (por. Procedura, punkty 3.5-3.6 i Dyskusja).

Rysunek 1: Sieć neuronowa i robot mają dwukierunkową wymianę informacji. Rysunek przedstawia trzy reprezentatywne ścieżki przebyte przez robota w ciągu 20 minut eksperymentu. W szczególności jasnozielone obszary są wolne, w których robot może się poruszać, podczas gdy ciemnozielone piksele reprezentują nieprzekraczalne przeszkody, które robot może dostrzec za pomocą czujników odległości. W każdej próbie robot zaczyna w lewej górnej części areny i przemieszcza się do swojej końcowej pozycji, przedstawionej jako duża różowa kropka. Mniejsze czarne kropki reprezentują uderzenia w przeszkodę, podczas gdy ścieżka oznaczona kolorami wskazuje ewolucję ruchu robota w czasie. Kolorowy pasek po prawej stronie wyraża czas, jaki upłynął od początku eksperymentu w minutach. (A) Ścieżka przebyta podczas eksperymentu w pętli zamkniętej. (B) Ścieżka przebyta podczas "pustego" eksperymentu MEA (na powierzchni MEA nie hoduje się żadnych komórek). (C) Ścieżka przebyta podczas eksperymentu w pętli otwartej (szybkość stymulacji jest stała przez cały czas trwania eksperymentu). Kliknij tutaj, aby zobaczyć większą wersję rysunku.

Ryc. 2: Na wyniki wydajności ma wpływ stymulacja w pętli zamkniętej i tężcowa. Wykres ten przedstawia rozkład odległości pokonywanych przez robota pomiędzy kolejnymi trafieniami w różnych warunkach. W szczególności pierwsze dwa rozkłady reprezentują eksperymenty kontrolne ("Pusty" dla nagrań bez neuronów platerowanych na MEA, "Otwarta pętla" (OL) dla eksperymentu z "ślepym" robotem). Ostatnie dwie kolumny reprezentują stan "zamkniętej pętli" bez (CL) i z (CL + TS) protokołem uczenia się realizowanym poprzez stymulację tężcową (TS), dostarczanym do kultury po uderzeniu w przeszkodę. W każdym polu środkowy segment poziomy reprezentuje medianę rozkładu, pusty kwadrat wartość średnią, środkowy pasek rozciąga się do pierwszego i^{trzeciego kwartyla}, a wąsy rozciągają się do 5^{. i} 95. percentyla. Wartości odstające są reprezentowane jako diamenty. Statystyki zostały przeprowadzone przy użyciu jednokierunkowej analizy wariancji rang Kruskalla-Wallisa: porównanie parami Studenta-Newmana-Keulsa pokazuje, że wszystkie wartości mediany różnią się znacząco, przy p < 0,05.

Rysunek 3: Dekodowanie wpływa na wydajność robota. Powyższy wykres przedstawia prawdopodobieństwo, dla danego algorytmu dekodowania, że robot pomyślnie pokona krótką ścieżkę w ograniczonym czasie. Identyfikacja impulsów i izolowanych skoków odbywa się w czasie rzeczywistym podczas samego eksperymentu. W pierwszym przypadku ("Skoki") wszystkie wykryte skoki mają tę samą względną wagę, dla drugiego i trzeciego rozkładu ustalono wagę 0 odpowiednio dla izolowanych szczytów i skoków należących do serii. Ostatnie dwie kolumny reprezentują wyniki uzyskane w przypadku, gdy uwzględniane są wszystkie skoki, ale z różną wagą względną w zależności od ich położenia. W szczególności w czwartej kolumnie izolowanym kolcom przypisano większą względną wagę niż zdarzeniu serii, podczas gdy waga jest odwrócona w przypadku dekodowania w stosunku do danych z piątej kolumny. Na każdym wykresie środkowa linia reprezentuje medianę rozkładu, pusty kwadrat wartość średnią, podczas gdy środkowy słupek rozciąga się do pierwszego i trzeciego kwartyla, a wąsy rozciągają się do 5^{. i} 95^{. percentyla}. Statystyki zostały przeprowadzone przy użyciu jednokierunkowej analizy wariancji rang Kruskalla-Wallisa. Porównanie parami (metoda Studenta-Newmana-Keulsa) pokazuje, że znaczące różnice (p <0,05) można zaobserwować między kolumnami 1 i 4, 2 i 4, 2 i 5, 2 i 3.

Discussion

W artykule przedstawiono architekturę neurorobotyczną opartą na kontrolerze neuronalnym (tj. sieci neuronów pochodzących z kory mózgowej lub hipokampa zarodków szczurów), dwukierunkowo połączonej z wirtualnym robotem. Robot, który posiada czujniki i koła, zmuszony jest do poruszania się po statycznej arenie z przeszkodami, a jego zadanie polega na unikaniu kolizji.

Pierwszym i być może najbardziej krytycznym aspektem opisanej procedury jest przygotowanie samych kultur, ponieważ awaryjność będzie zwykle znacząca nawet w najlepszych warunkach technicznych. Szczegółowy opis technik hodowli wykracza jednak poza zakres niniejszej pracy. Zgodnie z ogólną wskazówką, nagrania powinny mieć miejsce, gdy szybkość wypalania sieci osiągnie stabilny poziom, zwykle po 3 tygodniach in vitro. Przybliżoną wskazówką zdrowych kultur jest obecność spontanicznej aktywności elektrofizjologicznej w kilku kanałach rejestrujących (co najmniej 20 kanałów na 60 dostępnych). Takie kultury charakteryzują się wysokim stopniem wzajemnych połączeń neuronalnych. W takich warunkach aktywność neuronalna zwykle staje się silnie zsynchronizowana, a czasami wykazuje zdarzenia padaczkowe, z intensywnym nagłym wzrostem, po którym następują minutowe ^okresy milczenia. Obie te cechy stanowią problem: nadmierna synchronizacja uniemożliwi rozróżnienie reakcji na bodźce z różnych elektrod, podczas gdy kultury wykazujące aktywność padaczkową zareagują na pierwszy prezentowany bodziec długim wybuchem aktywności, po którym następuje okres milczenia, niezależnie od kolejnych dostarczonych bodźców. Obie te kwestie mogą być znacznie złagodzone przez zastosowanie kultur wzorcowych ³⁵, w których populacja neuronalna jest podzielona na dwie lub więcej słabo powiązanych ze sobą podgrup.

Inną kwestią jest to, że reakcje neuronalne silnie zależą od rozkładu napływających bodźców ^38,39. W eksperymencie z zamkniętą pętlą dostarczona stymulacja jest funkcją odczytów czujnika, które z kolei są konsekwencją ruchu robota, a tym samym samych odpowiedzi neuronalnych. Oznacza to, że nie ma łatwego sposobu na wcześniejsze ustalenie, jakie reakcje zostaną zaobserwowane podczas rzeczywistego eksperymentu. W związku z tym dobór elektrod wejściowo-wyjściowych musi opierać się na kolejnych przybliżeniach. W opisanym protokole zaimplementowany jest dwuetapowy proces (a mianowicie kroki 5.5 i 6.4) w celu określenia mapy połączeń. W pierwszym kroku dostarczana jest regularna sekwencja bodźców, a odpowiedzi na takie bodźce są wykorzystywane do uzyskania pierwszej mapy połączeń i tymczasowego zestawu kanałów nagrywania. Ta konfiguracja jest następnie używana do przeprowadzenia jazdy testowej opisanej w kroku 6.4 i wybrania kanałów nagrywania, które będą monitorowane podczas rzeczywistego eksperymentu.

W sekcji Wyniki przedstawiono reprezentatywny wynik nawigacji oraz natychmiastowe ulepszenia wynikające z wprowadzenia paradygmatu uczenia się. W całym opisie protokołu wymieniono kilka innych możliwych wariantów eksperymentalnych. Na przykład dwa główne systemy kodowania zaimplementowane w HyBrainWare2 (liniowy i stochastyczny) zostały opracowane w celu zbadania dokładnej roli czasowej zmienności danych wejściowych w kodzie neuronowym ³⁸. W przypadku liniowym chwilowa szybkość stymulacji jest funkcją parametrów zdefiniowanych przez użytkownika i zapisów z czujników robota. W przypadku stochastycznym, każda instancja ma określone prawdopodobieństwo, że zostanie wybrana do dostarczenia bodźca. Takie prawdopodobieństwo jest automatycznie obliczane przez HyBrainWare2, tak aby oczekiwane tempo stymulacji odpowiadało temu z poprzedniego przypadku. Możliwość dodania jittera do kodowania liniowego zapewnia płynne przejście między dwoma opisanymi powyżej przypadkami. W ten sam sposób zbadanie różnych kombinacji parametrów w sekcji dekodowania może pomóc rzucić światło na dokładną rolę pękania w sieciach neuronowych in vitro . Prędkość każdego koła robota wzrasta proporcjonalnie do parametru masy za każdym razem, gdy zdarzenie zostanie wykryte w odpowiednim obszarze wyjściowym, podczas gdy współczynnik ekstynkcji wskazuje, ile czasu w ciągu kilku sekund zajmuje jednemu z wkładów utrata 50% jego wartości. Rozpad jest prostym wykładnikiem. Warianty te zostały już uwzględnione w obecnym projekcie HyBrainWare2, ale istnieje o wiele więcej możliwości badawczych, jeśli uda się wprowadzić dodatkowe modyfikacje w oprogramowaniu lub eksperymentalną konfigurację.

Dość istotnym ograniczeniem opisanego tutaj protokołu jest wymóg opracowanego oprogramowania na zamówienie, HyBrainWare2 (dostępnego bezpłatnie na żądanie dla wszystkich zainteresowanych użytkowników). Oprogramowanie to zostało zaprojektowane dla zestawu urządzeń (stymulator, płytka akwizycyjna, wzmacniacz MEA) konkretnego modelu i producenta. Chociaż rzeczywiście możliwe jest dostosowanie go do pracy w różnych konfiguracjach, konwersja będzie wymagała pewnych umiejętności programistycznych. Podobnie, dołączone opcje obejmują tylko ograniczony zestaw wszystkich pytań eksperymentalnych, które można zbadać za pomocą takiej konfiguracji. Na przykład algorytm wykrywania skoków zaimplementowany w prezentowanej architekturze (precyzyjna detekcja skoków czasowych⁴⁰) jest całkowicie zdefiniowany przez kilka zakodowanych na stałe parametrów, które należy zmienić, jeśli przedmiot rejestracji bardzo różni się od zdysocjowanych sieci neuronowych (np. komórek serca lub wycinków). Wreszcie, protokół uczenia się polega na dostarczaniu krótkiej, wysokiej częstotliwości (2 sekundy stymulacji 20 Hz, każdy impuls bodźca jest taki sam, jak te używane do kodowania informacji sensorycznych) stymulacji po każdym uderzeniu w przeszkodę. Jeśli robot uderzy w przeszkodę prawą stroną, stymulacja tężcowa jest dostarczana do elektrody, która zwykle koduje informacje po prawej stronie i to samo dotyczy uderzeń w lewą stronę. Ten protokół jest zakodowany na stałe i nie może być zmieniony przez użytkownika bez modyfikacji oprogramowania wychodzącego.

O ile przedstawiona tu konfiguracja nie jest pierwszym ucieleśnionym układem do hybrydowych eksperymentów w pętli zamkniętej ^{20,23,27,41,42}, o tyle te zaprojektowane w przeszłości koncentrowały się na jednej tezie popartej danymi z ograniczonej liczby analogicznych preparatów. Z drugiej strony, opisany układ został wykorzystany w dużej liczbie eksperymentów (od 2012 r. zarejestrowano ponad 100 kultur) z preparatami różniącymi się modułowością i pochodzeniem, podczas gdy same eksperymenty dotyczyły różnych zagadnień (np. wpływu stymulacji tężcowej i znaczenia pękania, jak przedstawiono w wynikach). W niedalekiej przyszłości przewiduje się nowe sesje eksperymentalne, które mają na celu weryfikację trwałych efektów stymulacji zarówno tężcowej, jak i w pętli zamkniętej oraz związku między regularnością stymulacji a obserwowanymi reakcjami. Kolejną kwestią, którą należy się zająć, jest związek między spontaniczną a obserwowaną aktywnością, z pomysłem dodania nowego algorytmu dekodowania, który uwzględnia historię przeszłej aktywności i stymulacji ⁴³.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Generator bodźców 4002			wielokanałowe
MEA1060-INV-BC			wielokanałowe
TC02			wielokanałowe
NI 6255 Karta akwizycyjna	National Instruments
Microsoft Visual Studio 2008	Microsoft
2078P Multichannel System-National Płytka adaptera instrumentów	Opracowana na Uniwersytecie w Genui (Włochy)
Matlab 2010	Mathworks
HyBrainWare2			HyBrainWare2: Informacje kontaktowe