Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli
8 maja 2021
Prezentujemy protokoły i metody analiz do budowy współadaptacyjnych interfejsów, które strumieniują, parametryzują, analizują i modyfikują sygnały ludzkiego ciała i serca w zamkniętej pętli. Ta konfiguracja łączy sygnały pochodzące z obwodowego i ośrodkowego układu nerwowego osoby z zewnętrznymi bodźcami sensorycznymi, aby pomóc w śledzeniu zmian biofizycznych.
Ogólnym celem tego interfejsu jest zbadanie wpływu wzmocnienia sygnału poli na uzyskanie świadomości cielesnej. Osiąga się to poprzez zaprojektowanie ogólnego interfejsu zamkniętej pętli, który może być używany z różnymi technologiami ubieralnymi w różnych konfiguracjach eksperymentalnych i może być stosowany w różnych populacjach. W niniejszej pracy przedstawiamy ogólny interfejs do przykładowych interfejsów, ich zastosowań oraz ich wpływu na system człowieka.
Pierwszym krokiem projektu jest zastosowanie różnych technologii ubieralnych, które pozwalają na rejestrowanie sygnałów, które pochodzą z różnych poziomów układu nerwowego. Drugim krokiem jest użycie warstwy Lab Streaming w celu uzyskania zsynchronizowanego nagrywania i przesyłania strumieniowego sygnałów w czasie rzeczywistym. W pierwszym kroku dane strumieniowe są pobierane przez kod, opracowany w preferowanym przez nas języku, w którym odbywa się analiza w czasie rzeczywistym i ekstrakcja cech wybranego sygnału.
W związku z tym, na czterech krokach uczestnicy doświadczają sensorycznego wzmocnienia wyodrębnionych funkcji, takich jak słuchowe mapowanie ich tętna do tempa piosenki lub wizualna reprezentacja ich ruchów. Wreszcie, poprzez ciągłe zwiększanie w czasie rzeczywistym informacji o ciele, zamykamy pętlę rozwijającej się interakcji między interfejsem a uczestnikiem. Badania nad tym, w jaki sposób mózg może kontrolować nasze ciała, zaowocowały projektem interfejsów mózg-maszyna.
Które wykorzystują sygnały układu nerwowego do sterowania urządzeniem zewnętrznym, takim jak egzoszkielet lub ramię robota. Prezentujemy tutaj interfejsy zamkniętej pętli, które wykorzystują sygnały układu nerwowego i wzmacniają je za pomocą modułu sensorycznego, aby pomóc uczestnikom w uzyskaniu kontroli nad swoim ciałem. Niektóre zasadnicze cechy naszego projektu to po pierwsze, synchroniczne rejestrowanie danych pochodzących z różnych technologii w celu zbadania różnych poziomów układu nerwowego, a po drugie, przesyłanie danych i analiza danych w celu rozszerzenia w czasie rzeczywistym W obu przykładowych badaniach użyliśmy sprzężenia zwrotnego audio, ale w interfejsie zamkniętej pętli audio tancerze salsy reagowali na tempo muzyki, które było kontrolowane w czasie rzeczywistym, w oparciu o rytm serca.
Aby to osiągnąć, używamy muzycznego języka programowania Max do kontrolowania prędkości odtwarzania plików audio. Czujniki rejestrują tancerzy, bicie serca i przefiltrowane szczyty R serca są generowane za pomocą skryptu Pythona. Te wartości szczytowe są następnie przesyłane w czasie rzeczywistym do Maxa za pomocą otwartego sterowania dźwiękiem.
Najpierw pomogliśmy uczestnikowi założyć kostium do przechwytywania ruchu oparty na diodach LED i przymocować do niego bezprzewodowy kontroler LED. Po włączeniu serwera otwórz przeglądarkę internetową, wprowadź adres IP serwera i zaloguj się. Jeśli ten krok zakończy się pomyślnie, otworzy się menedżer konfiguracji.
Następnie otwórz interfejs systemu przechwytywania ruchu i kliknij Połącz. , aby rozpocząć strumieniowe przesyłanie danych ze znaczników LED. Po nawiązaniu połączenia pozycja znaczników zostanie wyświetlona w wirtualnym świecie interfejsu.
Kliknij prawym przyciskiem myszy szkielet po prawej stronie okna i wybierz nowy szkielet, aby wybrać mapowanie znaczników. Następnie ponownie kliknij prawym przyciskiem myszy szkielet i wybierz generuj szkielet. Upewnij się, że uczestnik pozuje w pozie T.
Jeśli wszystkie kroki zostaną wykonane poprawnie, szkielet zostanie wygenerowany. Aby przesłać strumieniowo dane szkieletu do LSL, wybierz ustawienia i opcje z menu głównego. Otwórz emulator OWL i upewnij się, że kliknąłeś rozpocznij transmisję na żywo.
Następnie pomóż temu samemu uczestnikowi założyć czepek na głowę EEG. Napełnij elektrody żelem o wysokiej przewodności i umieść elektrod. Następnie podłącz je do monitora bezprzewodowego i włącz go.
Otwórz interfejs systemu EEG i wybierz użyj urządzenia Wi-Fi. Wybierz urządzenie i kliknij użyj tego urządzenia, kliknij ikonę głowy. Wybierz protokół, który umożliwia nagrywanie wszystkich 32 czujników i kliknij załaduj.
Upewnij się, że dane strumienia pasują i wszystkie są wyświetlane w interfejsie. Aby zebrać dane dotyczące aktywności serca, użyj jednego z kanałów EEG do podłączenia przedłużacza EEG. Użyj lepkiej elektrody, aby przykleić drugi koniec przedłużenia tuż pod lewą klatką piersiową uczestnika.
Zlokalizuj aplikację LSL systemu przechwytywania ruchu w folderze LSL i uruchom ją, klikając dwukrotnie odpowiednią ikonę. W interfejsie ustaw odpowiedni adres serwera, kliknij link. W przypadku przesyłania strumieniowego danych EEG i EKG nie są wymagane żadne dodatkowe czynności.
Następnie lokalizujemy aplikację rejestratora laboratoryjnego, która również znajduje się w folderze LSL. Uruchom aplikację, klikając ją dwukrotnie. Jeśli nie wszystkie typy danych przechwytywania ruchu i systemu EEG są wyświetlane w rekordzie panelu dla strumieni, kliknij przycisk aktualizuj.
Wybierz katalog i nazwę w panelu lokalizacji przechowywania, a następnie kliknij przycisk Start, aby rozpocząć zbieranie danych. Wykonaj kod MATLAB, Python lub inny, który odbiera, przetwarza i rozszerza dane strumieniowe. LSL umożliwia strumieniowe przesyłanie danych na wiele platform programistycznych.
Posługują się oni celami odpowiadającymi ich prezentacyjnym przykładom opisanym w manuskrypcie. Odwiedź nasz link do usługi GitHub. Na rynku dostępne są różne technologie, które tworzą wyjścia sensoryczne.
Niektóre typowe przykłady to: głośniki, światła, monitory i inne mniej popularne, takie jak urządzenia dotykowe, wibratory, interfejsy smakowe i węchowe. W interfejsie zamkniętej pętli audio udaje nam się cyfrowo zwiększyć tętno. Za pomocą muzycznego języka programowania Max jesteśmy w stanie kontrolować prędkość odtwarzania plików audio.
Przefiltrowane piki serca R, które są drukowane do konsoli, są przesyłane ze skryptu Pythona do Maxa. Tam mierzony jest czas interwału między szczytami i przeliczany na uderzenia na minutę. Dane są skalowane w celu utworzenia zakresu od zera, najwolniejszej możliwej prędkości odtwarzania i maksymalnej prędkości odtwarzania.
W tym kontinuum jeden równa się normalnej prędkości odtwarzania, 0,5 równa się połowie szybkości, a dwa równa się podwójnej prędkości odtwarzania. Projekt interfejsu ogólnego może być używany w różnych populacjach. Jego protokół i przykłady, które są tutaj używane w celu zapewnienia dowodu koncepcji, nie są ograniczone do określonej grupy.
Co więcej, interfejsy zamkniętej pętli zostały zaprojektowane tak, aby można je było intuicyjnie eksplorować i uczyć się. Chociaż nie powinno być potrzeby wykonywania instrukcji w ramach procedury eksperymentalnej. W badaniu interfejsu zamkniętej pętli audio prawdziwej interakcji diadycznej, dwie tancerki salsy wchodziły w interakcję z interfejsem, który wykorzystuje tętno tancerek do zmiany prędkości piosenki.
Tancerze wykonali dobrze przećwiczony układ taneczny i taniec improwizowany. W każdym z nich wykonywali raz oryginalną wersję piosenki, a następnie dwukrotnie jej wersję z odmienionym sercem. Na podstawie zebranych danych szacujemy sygnatury stochastyczne gamma wyodrębnionych mikroimpulsów ruchowych.
Tutaj obserwujemy szacowane funkcje gęstości prawdopodobieństwa serca i dane muzyczne. Figurki dopingowe pokazują zestawy serca, które jest autonomicznym organem, od pierwszego stanu tańczącego piosenkę w jej pierwotnej formie. Do drugiego i trzeciego warunku tańczącego serce zmieniło pieśń.
Lewa figura odpowiada trzem nagraniom tańca spontanicznego, natomiast prawa figura trzem nagraniom tańca rozmyślnego. Na dolnych rysunkach możemy zaobserwować odpowiadające im zestawy odtwarzanego dźwięku. Tutaj zestawy mają przeciwstawny kierunek.
W badaniu audiowizualnego interfejsu zamkniętej pętli sztucznej interakcji diadycznej, sześciu uczestników wchodziło w interakcję z interfejsem, który tworzy ich żywego lustrzanego awatara. Ponadto osadza dźwięki zależne od pozycji bioder. Uczestnicy byli naiwni co do celu badania; Musieli chodzić po pokoju i zastanawiać się, jak kontrolować dźwięk, który niespodziewanie pojawiał się, gdy przechodzili przez obszar zainteresowania.
Rysunki pokazują funkcję gęstości prawdopodobieństwa i odpowiadające jej sygnatury gamma danych o prędkości bioder 60 uczestników kontroli przyjaciela, od C1 do C6, gdy znajdowali się wewnątrz i na zewnątrz obszaru zainteresowania. Wyniki podkreślają spersonalizowane różnice w zachowaniu uczestników zarówno w regionie, jak i poza nim. Empirycznie odkryliśmy, że sygnatury znajdujące się w prawym dolnym rogu płaszczyzny gamma to sygnatury sportowców i tancerzy wykonujących wysoce wykwalifikowane ruchy, sygnatury leżące w lewym górnym obszarze pochodzą z zestawów danych układów nerwowych z patologiami.
Dlatego możemy zauważyć, że sygnatury prędkości bioder w grupie kontrolnej trzeciej i czwartej ujawniają zdrowsze wzorce motoryczne w obrębie objętości. W przeciwieństwie do tego, pozostali uczestnicy wykazują odwrotny wzorzec. Podejście to można wykorzystać zarówno do lepszego zrozumienia związku między ruchami tancerza a dźwiękiem.
Może być również wykorzystany do zbadania nowatorskich podejść do komponowania muzyki, które są prowadzone przez informacje o ciele w czasie rzeczywistym, przekształcając tworzenie muzyki w doświadczenie wzmocnienie sygnału ciała Rozwój i badania nad interfejsami zamkniętej pętli mogą przynieść korzyści kilku zaburzeniom układu nerwowego. Mogą być również wykorzystywane w grach, treningu ruchowym i sporcie.
Przegląd
Niniejszy artykuł przedstawia protokoły tworzenia interfejsów koadaptacyjnych, które analizują i modyfikują sygnały z ciała i serca człowieka w czasie rzeczywistym. Głównym celem jest zwiększenie świadomości cielesnej poprzez augmentację sensoryczną z wykorzystaniem różnych technologii ubieralnych.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauka
- Interakcja człowiek-komputer
- Technologia ubieralna
Wstęp
- Interfejsy w pętli zamkniętej mogą usprawnić interakcję między użytkownikami a technologią.
- Zrozumienie sygnałów układu nerwowego jest kluczowe dla opracowania skutecznych interfejsów.
- Strumieniowanie i analiza danych w czasie rzeczywistym są niezbędne dla augmentacji sensorycznej.
- Różnorodne technologie mogą generować sygnały sensoryczne służące do przekazywania informacji zwrotnej użytkownikowi.
Cel badania
- Zbadanie wpływu wzmocnienia wielokanałowych sygnałów na świadomość ciała.
- Zaprojektowanie uniwersalnego interfejsu, który można zastosować w różnych populacjach i konfiguracjach eksperymentalnych.
- Zbadanie, w jaki sposób wzmocniona informacja zwrotna może poprawić kontrolę nad ruchami ciała.
Zastosowane metody
- Wykorzystanie technologii ubieralnych do rejestracji sygnałów z układu nerwowego.
- Implementacja Lab Streaming Layer w celu zsynchronizowanej rejestracji danych.
- Analiza w czasie rzeczywistym i ekstrakcja cech sygnałów fizjologicznych.
- Wykorzystanie języków programowania, takich jak Max i Python, do przetwarzania i augmentacji danych.
Główne wyniki
- Skuteczna augmentacja częstotliwości akcji serca w czasie rzeczywistym za pomocą sprzężenia zwrotnego w formie dźwiękowej.
- Uczestnicy doświadczyli zwiększonej świadomości ciała dzięki sensorycznemu sprzężeniu zwrotnemu.
- Wykazano możliwość zastosowania uniwersalnego interfejsu w zróżnicowanych grupach populacyjnych.
- Opracowano ramy dla ciągłej interakcji między uczestnikami a interfejsem.
Wnioski
- Interfejsy w pętli zamkniętej mogą znacząco poprawić wrażenia użytkownika oraz kontrolę.
- Przetwarzanie danych w czasie rzeczywistym jest kluczowe dla skutecznej augmentacji sensorycznej.
- Opracowane protokoły mogą zostać zaadaptowane do różnych zastosowań w neuronauce.
Najczęściej zadawane pytania
Znaczenie dla przemysłu
Ten interfejs w pętli zamkniętej umożliwia modulację obwodowych sygnałów fizjologicznych w czasie rzeczywistym, oferując nowatorskie podejście do badania integracji sensoryczno-motorycznej oraz świadomości cielesnej. Poprzez synchronizację multimodalnych biosygnałów i dostarczanie reparametryzowanego sprzężenia zwrotnego, metoda ta wspomaga mechanistyczną redukcję ryzyka w walidacji celów dla terapii neuromodulacyjnych. Jej adaptowalność w różnych populacjach i konfiguracjach eksperymentalnych zwiększa ciągłość translacyjną od etapu odkryć po przedkliniczną ocenę zaburzeń układu nerwowego.
Strategiczne zastosowania w badaniach i rozwoju biofarmaceutycznym
Wczesna faza odkrywania i walidacja celu
- Wartość naukowa: Umożliwia weryfikację hipotez terapeutycznych poprzez badanie wpływu zewnętrznych bodźców sensorycznych na wewnętrzne pętle kontroli somatyczno-sensoryczno-motorycznej.
- Wartość operacyjna: Wspiera ograniczanie ryzyka biologicznego dzięki augmentacji w czasie rzeczywistym sygnałów częstości akcji serca oraz sygnałów kinematycznych w celu oceny funkcjonalnego zaangażowania celu.
Przesiewanie i opracowywanie testów
- Wartość naukowa: Przygotowuje zwalidowane układy biologiczne do dalszych etapów analizy poprzez standaryzację akwizycji biosygnałów w czasie rzeczywistym oraz ekstrakcję cech.
- Wartość operacyjna: Zwiększa powtarzalność testów i precyzję wyników ilościowych dzięki zsynchronizowanemu strumieniowaniu danych przy użyciu Lab Streaming Layer w technologiach ubieralnych.
Badania translacyjne i przedkliniczne
- Wartość naukowa: Ułatwia modelowanie systemów istotnych dla przebiegu chorób poprzez rejestrację spersonalizowanych sygnatur gamma zachowań motorycznych powiązanych z wyuczonymi ruchami lub neuropatologią.
- Wartość operacyjna: Umożliwia podejmowanie decyzji o dalszym rozwoju z uwzględnieniem ryzyka poprzez powiązanie wskaźników świadomości ciała z mierzalnymi zmianami w wynikach augmentacji sygnału.
Integracja potoku i przepływu pracy
Metoda ta integruje się z kontinuum procesów odkrywczych – od testowania hipotez, przez identyfikację związków wiodących, aż po badania przedkliniczne – zapewniając modulację biosygnałów i sprzężenie zwrotne w czasie rzeczywistym.
- Biologia odkrywcza: Wspiera testowanie hipotez i wyjaśnianie ścieżek poprzez analizę wpływu rozszerzonej informacji zwrotnej na spontaniczne i celowe wzorce motoryczne.
- Przesiewanie: Zapewnia gotowość do analizy i wyniki ilościowe dzięki analizie zmienności rytmu serca oraz dynamiki prędkości bioder w czasie rzeczywistym.
- Analityka: Dostarcza wyników statystycznych, takich jak stochastyczne sygnatury gamma i funkcje gęstości prawdopodobieństwa, w celu porównania warunków i podjęcia decyzji o kontynuacji lub przerwaniu badań (go/no-go).
- Badania translacyjne: Zapewnia ciągłość przedkliniczną poprzez identyfikację biomarkerów sprawności motorycznej za pomocą spersonalizowanych sygnatur sygnałowych w interakcjach dyadycznych.
- Wykorzystanie w przedsiębiorstwie: Służy jako platforma wielokrotnego użytku do badania zaburzeń układu nerwowego, treningu ruchowego oraz aplikacji gamingowych w zróżnicowanych populacjach.
Wpływ operacyjny i przedsiębiorstwowy
- Wartość naukowa: Zwiększenie pewności predykcyjnej w walidacji celu poprzez redukcję niejednoznaczności mechanistycznej w pętlach sensoromotorycznych.
- Wartość operacyjna: Standaryzacja, powtarzalność i skalowalność multimodalnego przetwarzania biosygnałów z EEG, systemów przechwytywania ruchu oraz czujników kardiologicznych.
- Wartość strategiczna: Lepsze decyzje typu go/no-go, efektywność kapitałowa oraz zredukowane ryzyko biologiczne w późnych fazach rozwoju neuromodulacji.
- Wpływ na portfolio: Priorytetyzacja skorygowana o ryzyko oraz decyzje o dalszym rozwoju w oparciu o mierzalne zmiany w świadomości ciała i skuteczności augmentacji sygnału.
Kwestie wdrożeniowe
- Wymagana wiedza specjalistyczna z zakresu neuronauki, pozyskiwania biosygnałów za pomocą urządzeń ubieralnych oraz przetwarzania danych w czasie rzeczywistym przy użyciu języka Python i środowiska Max/MSP.
- Wymagane instrumentarium obejmuje bezprzewodowe EEG, systemy przechwytywania ruchu oraz urządzenia sprzężenia zwrotnego audio-wizualnego zdolne do strumieniowania z niskim opóźnieniem.
- Standaryzacja międzyzespołowa wymaga uzgodnienia procedur wstępnego przetwarzania sygnałów, ekstrakcji cech (np. detekcji załamka R) oraz protokołów mapowania sprzężenia zwrotnego.
- Kwestie adaptacyjne obejmują dostosowanie częstotliwości próbkowania i wyrównanie skali czasowej dla różnych modalności biosygnałów (ECG, EEG, kinematyka).
- Ograniczenia praktyczne obejmują złożoność synchronizacji rozbieżnych jednostek sygnałowych oraz zapewnienie komfortu uczestnika podczas długotrwałego korzystania z czujników ubieralnych.
