Eksperymentalna platforma do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

Wykorzystujemy aktywność wzrokowego neuronu inter neuronowego w mózgu muchy, komórki H one, do sterowania silnikami robota mobilnego. Robot umieszczony jest na stale obracającym się stole obrotowym, a aktywność komórki służy do stabilizacji robota względem otoczenia przed ruchami zewnętrznymi. Obrazy ruchu wzorca zarejestrowane przez robota są próbkowane i wysyłane do dwóch monitorów CRT komputera, które są umieszczone przed muchą.

Sygnały z jednej komórki H, mierzone w skokach na sekundę, wskazują prędkość ruchu wzorca. Następnie stosowane są różne prawa sterowania, aby przekształcić zarejestrowane skoki na sekundę w sygnał sterujący dla silników robota. Cześć, nazywam się Navita Josh i pracuję w Holger Crops Lab na wydziale bioinżynierii Imperial College London.

Nazywam się Chris Peterson i również pracuję w Holger Cups Lab. Cześć, nazywam się Holger Cup. Dzisiaj pokażemy Ci procedurę tworzenia interfejsu mózg-maszyna między poszczególnymi komórkami w systemie wzrokowym muchy a robotem.

Używamy tej procedury do testowania wydajności różnych strategii kontroli wykorzystujących sygnały neuronalne do sterowania systemami robotycznymi w warunkach zamkniętych warg. Więc zacznijmy. Aby rozpocząć przygotowywanie muchy, ostudź ją na lodzie, a następnie użyj patyczków koktajlowych, aby przytrzymać skrzydła i przymocuj tył muchy do kawałka dwustronnej taśmy na mikroskopie Następnie użyj wosku B, aby przymocować skrzydła do szkiełka, a także zablokować działanie silnika lotu.

Ten krok wymaga szybkiej i dokładnej obsługi, aby mucha nie rozgrzała się podczas zabiegu. Teraz pod mikroskopem chwyć każdą nogę kleszczami i użyj małych nożyczek, aby odciąć je w stawach znajdujących się najbliżej ciała. Powtórz to dla trąbki.

Aby mucha nie wysychała, otwory należy uszczelnić woskiem. Następnie odetnij jedno ze skrzydeł, a następnie obróć muchę na bok. Usuń wszelkie pozostałe kawałki skrzydła, pozostawiając katrę, zakrywając łzy Hala i uszczelnij otwór woskiem.

Powtórz tę procedurę dla drugiego skrzydła. Aby stymulować neuron docelowy w określony sposób, głowa muchy musi być odpowiednio ustawiona w jednej linii z monitorami komputerowymi. Aby to zrobić, będziesz potrzebować niestandardowego uchwytu, który ma szeroką przestrzeń na ciało muchy i wyrostek na jednym końcu z wycięciem, w którym zostanie umieszczona szyja muchy.

Umieść rozporek na uchwycie z szyjką w wycięciu, dociskając go podczas przyklejania brzucha na miejscu. Teraz umieść uchwyt na muchy w stojaku, aby zobaczyć przód głowy muchy przez mikroskop. Oglądanie muchy za pomocą czerwonego światła i zjawisko optyczne zwane pseudoźrenicą można zobaczyć w każdym oku.

Jeśli pseudoźrenica przyjmie określony kształt, to orientacja głowy muchy jest doskonale określona. Użyj mikromanipulatora, aby prawidłowo zorientować głowę muchy, a następnie użyj wosku, aby przykleić ją do uchwytu. Następnie dociśnij klatkę piersiową płasko do dołu i nawoskuj ją do uchwytu.

Pozwala to na otwarcie tylnej torebki głowy, dzięki czemu elektrody mogą zostać wprowadzone do muchy Mózg użyj mikroskalpela lub cienkiej igły do wstrzykiwań, aby ostrożnie wyciąć okienko w naskórku prawej torebki głowy. Uważaj, aby nie przeciąć tkanki nerwowej tuż pod naskórkiem. Po usunięciu kawałka naskórka dodaj kilka kropli roztworu dzwonka.

Użyj kleszczy, aby usunąć wszelkie pływające włosy, złogi tłuszczu lub tkankę mięśniową, które mogą pokrywać płytkę LOA. Płytkę LOA można rozpoznać po charakterystycznym rozgałęzieniu srebrzystej tchawicy, który pokrywa jej tylną powierzchnię. Wytnij mały otwór w naskórku lewej tylnej kapsułki na głowę, aby ustawić elektrodę odniesienia z przygotowanym lotem.

Zobaczmy, jak ustawić elektrodę rejestrującą. Elektroda rejestrująca musi być umieszczona w bliskiej odległości od neuronu H. Neuron H one reaguje głównie na poziomy ruch od tyłu do przodu prezentowany jego polu recepcyjnemu.

Aby ustawić elektrodę rejestrującą, użyj tchawicy jako wizualnego punktu orientacyjnego. Początkowo umieść elektrodę między najwyższą tchawicą. Pomocne jest użycie wzmacniacza audio do konwersji zarejestrowanych potencjałów elektrycznych na sygnały akustyczne.

Każdy pojedynczy kolec zamienia się w charakterystyczny dźwięk kliknięcia. Im bliżej pojedynczego neuronu znajduje się elektroda, tym wyraźniejszy staje się dźwięk kliknięcia. Aby zidentyfikować neuron H one na podstawie jego preferencji ruchu, stymuluj go ruchem w kierunku poziomym.

Po założeniu elektrody rejestrującej przejdźmy do stymulacji wizualnej i nagrań. Aby rozpocząć, umieść muchę przed dwoma monitorami komputerowymi CRT. Ponieważ system wizualny lotu jest 10 razy szybszy niż ludzie, monitory muszą wyświetlać pozycję 200 klatek na sekundę.

Środki monitorów znajdują się pod kątem plus minus 45 stopni w stosunku do orientacji much. Jak widać z równika oka muchy, każdy monitor ma kąt poniżej plus minus 25 stopni w poziomie i plus minus 19 stopni w płaszczyźnie pionowej. Dane wejściowe do monitorów komputerowych są dostarczane przez dwie kamery wideo zamontowane na małym dwukołowym robocie SRO, który został zmodyfikowany na potrzeby eksperymentu.

Umieść robota na stole obrotowym w cylindrycznym obszarze, którego ściany są wyłożone wzorem pionowo zorientowanych czarno-białych pasków. Obracając stół obrotowy w płaszczyźnie poziomej, ruchy robota są ograniczone tylko do jednego stopnia swobody. Początkowo zarówno gramofon, jak i robot są w stanie spoczynku.

Kiedy gramofon zaczyna się poruszać, jego obrót przenosi robota w tym samym kierunku, a kamery wideo rejestrują względny ruch między robotem a pasiastym wzorem areny. Kamery wideo zasilane bateryjnie w robocie są zamontowane w orientacji plus minus 45 stopni. Przechwytują 200 obrazów na sekundę, aby dopasować się do liczby klatek na sekundę monitorów komputerowych przed dziennikiem lotów.

Obrazy prezentowane na monitorach komputerowych w 200 klatkach na sekundę w rozdzielczości sześciu, 40 na cztery, w skali szarości 80. Podczas gdy mucha obserwuje ruchy zapisu pasiastego wzoru, pasmo przeszło przefiltrowane. Na przykład między 302 kilohercowymi sygnałami elektrycznymi z cyfrową płytką akwizycji wykorzystującą częstotliwość próbkowania co najmniej 10 kiloherców, próg A jest stosowany do pasma przekazywanych przefiltrowanych sygnałów elektrycznych w celu oddzielenia skoków od aktywności w tle.

Przyczynowy filtr półgaussowski jest konwolucjonowany ze skokami, aby uzyskać gładką oszacowaną aktywność impulsową dla komórki H, aby zamknąć pętlę interfejsu mózg-maszyna. Algorytm sterowania służy do przeliczania szybkości skoku jednej komórki H na prędkość robota, która jest przekazywana z powrotem przez interfejs Bluetooth w celu sterowania dwoma silnikami prądu stałego napędzającymi koła robota. Czyste fale znakowe są wybierane jako profile prędkości dla gramofonu.

Fale znakowe mają przesunięcie DC w taki sposób, że gramofon obraca się tylko w kierunku, który stymuluje neuron H jeden w preferowanym kierunku. Cały system sterowania jest skonfigurowany w taki sposób, że stymulacja neuronu H one powoduje, że robot kompensuje ruch gramofonu, jeśli jest prawidłowo ustawiony. Stabilizacja wizualna jest osiągana, gdy przeciwny obrót robota odpowiada obrotowi gramofonu, co skutkuje niewielkim lub zerowym ruchem wzoru na monitorach komputerowych.

Ogólna wydajność systemu zależy od algorytmu sterowania używanego do zamknięcia pętli. Pierwszym testowanym przez nas algorytmem jest kontroler proporcjonalny, w którym zaktualizowana prędkość robota jest proporcjonalna do różnicy prędkości kątowych między robotem omega R a gramofonem Omega P. Różne wartości wzmocnienia statycznego. KP i częstotliwości wejściowe dla sygnału gramofonu omega P są dobrane do testowania wydajności sterownika.

Przykładowe ślady dla omega P i omega R są pokazane tutaj dla KP równa się jeden i częstotliwości wejściowej 0,6 herca dla omega P, robot na zielono podąża za gramofonem na niebiesko z opóźnieniem i mniejszą amplitudą szczytu. Składowa pozioma ruchu wzorca, która stymuluje jedną komórkę H, jest pokazana po prawej stronie na czerwono w częstotliwościach wejściowych sygnału gramofonu. Omega P są wybierane z zakresu od 0,03 do trzech herców i rejestrowany jest odpowiedni sygnał robota omega R.

Oba sygnały są przekształcane w dziedzinę częstotliwości przez szybką czteroletnią transformację, a wartości amplitudy i fazy są obliczane na częstotliwości wejściowej. Wykres wielkości BO d dla regulatora proporcjonalnego o wartości KP równy jeden pokazuje odpowiedź układu na badane częstotliwości wejściowe. Wydajność kontrolera generalnie spada wraz ze wzrostem częstotliwości.

Nieznacznie zwiększone wzmocnienie przy jednym hercu jest wynikiem oscylacji sygnału robota spowodowanych użyciem tylko jednej komórki H, której dynamiczny zakres wyjściowy obejmuje głównie poziomy ruch od tyłu do przodu. Wykres fazy Bodhiego pokazuje opóźnienie fazowe regulatora mniejsze niż PI dla częstotliwości wejściowych mniejszych niż 0,6 herca. Pokazuje to, że kontroler jest stabilny dla częstotliwości mniejszych niż 0,6 Hz i niestabilny dla częstotliwości wejściowych większych lub równych jednemu hercowi.

Wydajność regulatora proporcjonalnego ze statycznym KP porównano ze sterownikiem adaptacyjnym, w którym wartość KP jest aktualizowana co 50 milisekund. Na podstawie szczytowej szybkości skoku. F max obliczone w przedziale czasu T minus 500 milisekund, aby T.As wyniku dużego okna czasowego integracji, regulator proporcjonalny działa lepiej niż regulator adaptacyjny dla testowanego zakresu parametrów, sterownik adaptacyjny miał podobną charakterystykę fazową jak kontroler proporcjonalny, wzór stopniowania wokół gramofonu został usunięty, a środowisko laboratoryjne wykorzystano jako przybliżenie naturalistycznych danych wejściowych wizualnych dla muchy H jednej komórki.

Przeciętnie wykres wielkości Bodhiego dla naturalistycznych danych wejściowych wizualnych wykazał nieco wyższe zyski niż ten z gradacją wizualnych, prawdopodobnie dlatego, że wykorzystywany jest szerszy zakres częstotliwości przestrzennych w naturalistycznych obrazach wizualnych. Charakterystyka wykresu fazy Bodhi dla gradacji w porównaniu z naturalistycznymi danymi wizualnymi była podobna. Właśnie pokazaliśmy, jak stworzyć interfejs mózg-maszyna między komórką a systemem wzrokowym i robotem.

Podczas tej procedury należy wykonać kilka krytycznych kroków. Po pierwsze, unikaj głębokich nacięć podczas otwierania torebki głowy, aby zapobiec uszkodzeniu mózgu. Po drugie, ostrożnie ustaw elektrodę tak, aby nagrywała tylko z jednej komórki, my nagrywamy z jednej komórki H.

Po trzecie, utrzymuj mózg wilgotny przez cały czas i zapobiegaj jego wysuszeniu. Więc to wszystko. Dziękujemy za oglądanie i życzymy powodzenia w eksperymentach.