Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

Ogólnym celem tego interfejsu jest zbadanie wpływu wzmocnienia sygnału poli na uzyskanie świadomości cielesnej. Osiąga się to poprzez zaprojektowanie ogólnego interfejsu zamkniętej pętli, który może być używany z różnymi technologiami ubieralnymi w różnych konfiguracjach eksperymentalnych i może być stosowany w różnych populacjach. W niniejszej pracy przedstawiamy ogólny interfejs do przykładowych interfejsów, ich zastosowań oraz ich wpływu na system człowieka.

Pierwszym krokiem projektu jest zastosowanie różnych technologii ubieralnych, które pozwalają na rejestrowanie sygnałów, które pochodzą z różnych poziomów układu nerwowego. Drugim krokiem jest użycie warstwy Lab Streaming w celu uzyskania zsynchronizowanego nagrywania i przesyłania strumieniowego sygnałów w czasie rzeczywistym. W pierwszym kroku dane strumieniowe są pobierane przez kod, opracowany w preferowanym przez nas języku, w którym odbywa się analiza w czasie rzeczywistym i ekstrakcja cech wybranego sygnału.

W związku z tym, na czterech krokach uczestnicy doświadczają sensorycznego wzmocnienia wyodrębnionych funkcji, takich jak słuchowe mapowanie ich tętna do tempa piosenki lub wizualna reprezentacja ich ruchów. Wreszcie, poprzez ciągłe zwiększanie w czasie rzeczywistym informacji o ciele, zamykamy pętlę rozwijającej się interakcji między interfejsem a uczestnikiem. Badania nad tym, w jaki sposób mózg może kontrolować nasze ciała, zaowocowały projektem interfejsów mózg-maszyna.

Które wykorzystują sygnały układu nerwowego do sterowania urządzeniem zewnętrznym, takim jak egzoszkielet lub ramię robota. Prezentujemy tutaj interfejsy zamkniętej pętli, które wykorzystują sygnały układu nerwowego i wzmacniają je za pomocą modułu sensorycznego, aby pomóc uczestnikom w uzyskaniu kontroli nad swoim ciałem. Niektóre zasadnicze cechy naszego projektu to po pierwsze, synchroniczne rejestrowanie danych pochodzących z różnych technologii w celu zbadania różnych poziomów układu nerwowego, a po drugie, przesyłanie danych i analiza danych w celu rozszerzenia w czasie rzeczywistym W obu przykładowych badaniach użyliśmy sprzężenia zwrotnego audio, ale w interfejsie zamkniętej pętli audio tancerze salsy reagowali na tempo muzyki, które było kontrolowane w czasie rzeczywistym, w oparciu o rytm serca.

Aby to osiągnąć, używamy muzycznego języka programowania Max do kontrolowania prędkości odtwarzania plików audio. Czujniki rejestrują tancerzy, bicie serca i przefiltrowane szczyty R serca są generowane za pomocą skryptu Pythona. Te wartości szczytowe są następnie przesyłane w czasie rzeczywistym do Maxa za pomocą otwartego sterowania dźwiękiem.

Najpierw pomogliśmy uczestnikowi założyć kostium do przechwytywania ruchu oparty na diodach LED i przymocować do niego bezprzewodowy kontroler LED. Po włączeniu serwera otwórz przeglądarkę internetową, wprowadź adres IP serwera i zaloguj się. Jeśli ten krok zakończy się pomyślnie, otworzy się menedżer konfiguracji.

Następnie otwórz interfejs systemu przechwytywania ruchu i kliknij Połącz. , aby rozpocząć strumieniowe przesyłanie danych ze znaczników LED. Po nawiązaniu połączenia pozycja znaczników zostanie wyświetlona w wirtualnym świecie interfejsu.

Kliknij prawym przyciskiem myszy szkielet po prawej stronie okna i wybierz nowy szkielet, aby wybrać mapowanie znaczników. Następnie ponownie kliknij prawym przyciskiem myszy szkielet i wybierz generuj szkielet. Upewnij się, że uczestnik pozuje w pozie T.

Jeśli wszystkie kroki zostaną wykonane poprawnie, szkielet zostanie wygenerowany. Aby przesłać strumieniowo dane szkieletu do LSL, wybierz ustawienia i opcje z menu głównego. Otwórz emulator OWL i upewnij się, że kliknąłeś rozpocznij transmisję na żywo.

Następnie pomóż temu samemu uczestnikowi założyć czepek na głowę EEG. Napełnij elektrody żelem o wysokiej przewodności i umieść elektrod. Następnie podłącz je do monitora bezprzewodowego i włącz go.

Otwórz interfejs systemu EEG i wybierz użyj urządzenia Wi-Fi. Wybierz urządzenie i kliknij użyj tego urządzenia, kliknij ikonę głowy. Wybierz protokół, który umożliwia nagrywanie wszystkich 32 czujników i kliknij załaduj.

Upewnij się, że dane strumienia pasują i wszystkie są wyświetlane w interfejsie. Aby zebrać dane dotyczące aktywności serca, użyj jednego z kanałów EEG do podłączenia przedłużacza EEG. Użyj lepkiej elektrody, aby przykleić drugi koniec przedłużenia tuż pod lewą klatką piersiową uczestnika.

Zlokalizuj aplikację LSL systemu przechwytywania ruchu w folderze LSL i uruchom ją, klikając dwukrotnie odpowiednią ikonę. W interfejsie ustaw odpowiedni adres serwera, kliknij link. W przypadku przesyłania strumieniowego danych EEG i EKG nie są wymagane żadne dodatkowe czynności.

Następnie lokalizujemy aplikację rejestratora laboratoryjnego, która również znajduje się w folderze LSL. Uruchom aplikację, klikając ją dwukrotnie. Jeśli nie wszystkie typy danych przechwytywania ruchu i systemu EEG są wyświetlane w rekordzie panelu dla strumieni, kliknij przycisk aktualizuj.

Wybierz katalog i nazwę w panelu lokalizacji przechowywania, a następnie kliknij przycisk Start, aby rozpocząć zbieranie danych. Wykonaj kod MATLAB, Python lub inny, który odbiera, przetwarza i rozszerza dane strumieniowe. LSL umożliwia strumieniowe przesyłanie danych na wiele platform programistycznych.

Posługują się oni celami odpowiadającymi ich prezentacyjnym przykładom opisanym w manuskrypcie. Odwiedź nasz link do usługi GitHub. Na rynku dostępne są różne technologie, które tworzą wyjścia sensoryczne.

Niektóre typowe przykłady to: głośniki, światła, monitory i inne mniej popularne, takie jak urządzenia dotykowe, wibratory, interfejsy smakowe i węchowe. W interfejsie zamkniętej pętli audio udaje nam się cyfrowo zwiększyć tętno. Za pomocą muzycznego języka programowania Max jesteśmy w stanie kontrolować prędkość odtwarzania plików audio.

Przefiltrowane piki serca R, które są drukowane do konsoli, są przesyłane ze skryptu Pythona do Maxa. Tam mierzony jest czas interwału między szczytami i przeliczany na uderzenia na minutę. Dane są skalowane w celu utworzenia zakresu od zera, najwolniejszej możliwej prędkości odtwarzania i maksymalnej prędkości odtwarzania.

W tym kontinuum jeden równa się normalnej prędkości odtwarzania, 0,5 równa się połowie szybkości, a dwa równa się podwójnej prędkości odtwarzania. Projekt interfejsu ogólnego może być używany w różnych populacjach. Jego protokół i przykłady, które są tutaj używane w celu zapewnienia dowodu koncepcji, nie są ograniczone do określonej grupy.

Co więcej, interfejsy zamkniętej pętli zostały zaprojektowane tak, aby można je było intuicyjnie eksplorować i uczyć się. Chociaż nie powinno być potrzeby wykonywania instrukcji w ramach procedury eksperymentalnej. W badaniu interfejsu zamkniętej pętli audio prawdziwej interakcji diadycznej, dwie tancerki salsy wchodziły w interakcję z interfejsem, który wykorzystuje tętno tancerek do zmiany prędkości piosenki.

Tancerze wykonali dobrze przećwiczony układ taneczny i taniec improwizowany. W każdym z nich wykonywali raz oryginalną wersję piosenki, a następnie dwukrotnie jej wersję z odmienionym sercem. Na podstawie zebranych danych szacujemy sygnatury stochastyczne gamma wyodrębnionych mikroimpulsów ruchowych.

Tutaj obserwujemy szacowane funkcje gęstości prawdopodobieństwa serca i dane muzyczne. Figurki dopingowe pokazują zestawy serca, które jest autonomicznym organem, od pierwszego stanu tańczącego piosenkę w jej pierwotnej formie. Do drugiego i trzeciego warunku tańczącego serce zmieniło pieśń.

Lewa figura odpowiada trzem nagraniom tańca spontanicznego, natomiast prawa figura trzem nagraniom tańca rozmyślnego. Na dolnych rysunkach możemy zaobserwować odpowiadające im zestawy odtwarzanego dźwięku. Tutaj zestawy mają przeciwstawny kierunek.

W badaniu audiowizualnego interfejsu zamkniętej pętli sztucznej interakcji diadycznej, sześciu uczestników wchodziło w interakcję z interfejsem, który tworzy ich żywego lustrzanego awatara. Ponadto osadza dźwięki zależne od pozycji bioder. Uczestnicy byli naiwni co do celu badania; Musieli chodzić po pokoju i zastanawiać się, jak kontrolować dźwięk, który niespodziewanie pojawiał się, gdy przechodzili przez obszar zainteresowania.

Rysunki pokazują funkcję gęstości prawdopodobieństwa i odpowiadające jej sygnatury gamma danych o prędkości bioder 60 uczestników kontroli przyjaciela, od C1 do C6, gdy znajdowali się wewnątrz i na zewnątrz obszaru zainteresowania. Wyniki podkreślają spersonalizowane różnice w zachowaniu uczestników zarówno w regionie, jak i poza nim. Empirycznie odkryliśmy, że sygnatury znajdujące się w prawym dolnym rogu płaszczyzny gamma to sygnatury sportowców i tancerzy wykonujących wysoce wykwalifikowane ruchy, sygnatury leżące w lewym górnym obszarze pochodzą z zestawów danych układów nerwowych z patologiami.

Dlatego możemy zauważyć, że sygnatury prędkości bioder w grupie kontrolnej trzeciej i czwartej ujawniają zdrowsze wzorce motoryczne w obrębie objętości. W przeciwieństwie do tego, pozostali uczestnicy wykazują odwrotny wzorzec. Podejście to można wykorzystać zarówno do lepszego zrozumienia związku między ruchami tancerza a dźwiękiem.

Może być również wykorzystany do zbadania nowatorskich podejść do komponowania muzyki, które są prowadzone przez informacje o ciele w czasie rzeczywistym, przekształcając tworzenie muzyki w doświadczenie wzmocnienie sygnału ciała Rozwój i badania nad interfejsami zamkniętej pętli mogą przynieść korzyści kilku zaburzeniom układu nerwowego. Mogą być również wykorzystywane w grach, treningu ruchowym i sporcie.