Name: Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli (Wideo) | JoVE Journal
Uploaded: 2021-05-08T14:30:00.000+00:00
Duration: 11 min 54 s
Description: Poznaj metody tworzenia interfejsów zamkniętej pętli do analizy sygnałów fizjologicznych w czasie rzeczywistym. Protokoły te umożliwiają wzmocnienie świadomości ciała poprzez sensoryczną augmentację sygnałów peryferyjnych.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Dziękujemy studentom, którzy poświęcili swój czas, aby pomóc w przeprowadzeniu tych badań; Kan Anant i PhaseSpace Inc. za dostarczenie nam zdjęć i filmów niezbędnych do opisania konfiguracji; oraz Neuroelectronics za umożliwienie nam korzystania z materiałów z kanału www.youtube.com/c/neuroelectrics/ i ich instrukcji. Na koniec dziękujemy prof. Thomasowi Papathomasowi z Rutgers Center for Cognitive Science za profesjonalne wsparcie na etapie składania tego manuskryptu, Nancy Lurie Marks Family Foundation Career Development Award dla EBT oraz Gerondelis Foundation Award dla VK.
WKŁADY 
Konceptualizacja, VK i EBT; metodyka, EBT; oprogramowanie, VK, EBT, SK.; walidacja, VK i SK; analiza formalna, VK; śledztwa, VK, EBT, SK; zasobów ludzkich, EBT; selekcja danych, VK; pisanie – przygotowanie oryginalnego projektu, EBT; pisanie – recenzowanie i redagowanie, VK, SK.; wizualizacja, VK i EBT.; nadzór, EBT.; administracja projektowa, EBT.; pozyskanie finansowania, EBT Wszyscy autorzy zapoznali się z opublikowaną wersją manuskryptu i wyrazili na nią zgodę.

Badanie zostało zatwierdzone przez Rutgers Institutional Study Board (IRB) zgodnie z deklaracją helsińską.
1. Uczestnicy
<ol>
	<li>Zdefiniuj populację, która ma być badana, i zaproś ją do udziału w badaniu. Obecny interfejs może być używany w różnych populacjach. Ten protokół i przykłady użyte w tym dokumencie w celu zapewnienia dowodu słuszności koncepcji nie są ograniczone do określonej grupy.</li>
	<li>Uzyskać pisemną świadomą zgodę zatwierdzonego przez IRB protokołu zgodnie z Deklaracją Helsińską.</li>
	<li>Poproś uczestnika lub opiekuna o podpisanie formularza przed rozpoczęciem eksperymentu.</li>
</ol>
2. Konfiguracja interfejsu zamkniętej pętli
<ol>
	<li>Konfiguracja sprzętu kinematycznego-PNS
	<ol>
		<li>Pomóż uczestnikowi starannie założyć kostium do przechwytywania ruchu oparty na diodach LED (tułów i głowa, pokazany na Rysunek 3, kroki 1 i 5) towarzyszący używanemu systemowi przechwytywania ruchu. Znaczniki LED kostiumu będą śledzone przez kamery systemu w celu oszacowania położenia poruszającego się ciała w przestrzeni.</li>
		<li>Połącz bezprzewodowy kontroler LED (znany również jako sterownik LED) systemu z LED kostiumu, podłączając go do odpowiedniego portu. Włącz urządzenie i ustaw je w trybie przesyłania strumieniowego.</li>
		<li>Włącz serwer systemu motion-capture.</li>
		<li>Otwórz przeglądarkę internetową, odwiedź adres serwera i zaloguj się (dane logowania muszą być podane przez firmę przy zakupie produktu).</li>
		<li>Skalibruj system zgodnie z potrzebami (na przykład skalibruj system, jeśli używasz urządzenia po raz pierwszy, w przeciwnym razie przejdź do kroku 2.1.17).</li>
		<li>Otwórz narzędzie do kalibracji systemu przechwytywania ruchu i wybierz opcję Kreator kalibracji.</li>
		<li>Upewnij się, że wpis numeru serwera w polu tekstowym w lewym górnym rogu interfejsu jest poprawny i kliknij przycisk Kontynuuj.</li>
		<li>Podłącz różdżkę do pierwszego portu kontrolera LED i włącz kontroler, a następnie kliknij Kontynuuj. Po podłączeniu różdżki jej znaczniki LED zostaną włączone i pojawią się na wyświetlaczu, w kamerze view.</li>
		<li>Umieść różdżkę na środku pola widzenia kamery, potwierdź, że może być nagrywana przez kamery i kliknij przycisk Kontynuuj.</li>
		<li>Przesuwaj różdżkę po całej przestrzeni, trzymając ją w pionie i rysując cylindry. Upewnij się, że ruch jest rejestrowany za każdym razem przez co najmniej 3 kamery i jest rejestrowany w polu widzenia każdej kamery, co sprawia, że jest zielony. Zrób to dla wszystkich kamer.</li>
		<li>Gdy pole widzenia każdej kamery zostanie w pełni zarejestrowane (jest całe zielone), kliknij przycisk Kontynuuj i poczekaj na wykonanie obliczeń kalibracyjnych. 
		UWAGA: Po zakończeniu kalibracji lokalizacja kamery wraz ze znacznikami LED będzie widoczna na wyświetlaczu, ponieważ są one fizycznie umieszczone w pomieszczeniu. W tym momencie użytkownik może wznowić kalibrację, ponieważ została ona zakończona, lub kontynuować wyrównywanie systemu.</li>
		<li>Trzymaj różdżkę pionowo i umieść stronę z diodą LED bliżej końca różdżki na ziemi, gdzie należy ustawić początek przestrzeni 3D (punkt (0,0,0)).</li>
		<li>Trzymaj różdżkę stabilnie, aż zostanie zarejestrowana. Po zarejestrowaniu ekran na zielono. Punkt wskazujący początek układu odniesienia w przestrzeni pojawi się na interfejsie, a następna oś wyrównania, oś x, zostanie podświetlona na zielono.</li>
		<li>Przesuń różdżkę, zachowując tę samą orientację (pionowo), w punkcie osi x i trzymaj ją stabilnie, aż zostanie zarejestrowana.</li>
		<li>Powtórz te czynności dla osi z. Po zarejestrowaniu punktu osi z kalibracja jest zakończona.</li>
		<li>Kliknij przycisk Zakończ, aby zakończyć kalibrację.</li>
		<li>Otwórz interfejs systemu motion-capture i kliknij Połącz, aby rozpocząć strumieniowe przesyłanie danych ze znaczników LED. Po nawiązaniu połączenia pozycja znaczników zostanie wyświetlona w wirtualnym świecie interfejsu.</li>
		<li>Stwórz wirtualny szkielet (automatycznie oszacuj pozycje kości ciała na podstawie danych o położeniu zebranych ze znaczników LED kostiumu, jak pokazano <silna klasa="xfig">Rysunek 8 krok 2).</li>
		<li>Kliknij prawym przyciskiem myszy Szkielety po prawej stronie okna i wybierz Nowy szkielet.</li>
		<li>Wybierz Mapowanie znaczników, a następnie wybierz odpowiedni plik (dostarczony przez firmę na podstawie używanej wersji interfejsu). Następnie kliknij przycisk OK.</li>
		<li>Poproś uczestnika, aby pozostał stabilny w pozycji T (wyprostowana postawa z rękami otwartymi po bokach).</li>
		<li>Kliknij prawym przyciskiem myszy szkielet i wybierz Generuj szkielet bez treningu.</li>
		<li>Jeśli wszystkie kroki zostaną wykonane poprawnie, szkielet zostanie wygenerowany. Poproś uczestnika, aby się poruszył i sprawdził, jak dokładnie wirtualny szkielet podąża za ruchami uczestnika.</li>
		<li>Aby przesłać strumieniowo dane szkieletu do LSL, wybierz Ustawienia i Opcje z menu głównego.</li>
		<li>Otwórz emulator Owl i kliknij "uruchom" Transmisja na żywo.</li>
	</ol>
	</li>
	<li>Konfiguracja aparatury EEG - CNS
	<ol>
		<li>Pomóż temu samemu uczestnikowi założyć czepek EEG.</li>
		<li>Umieść elektrody żelowe (tradycyjne elektrody żelowe używane z nasadką EEG) na nasadce na głowę, a 2 lepkie elektrody (elektrody, które działają jak naklejki) z tyłu prawego ucha dla czujników CMS i DRL.</li>
		<li>W razie potrzeby napełnij elektrody żelem o wysokiej przewodności, aby poprawić przewodność między czujnikiem a skórą głowy.</li>
		<li>Połącz elektrod na żelowych rurkach i dwóch lepkich elektrodach.</li>
		<li>Przyklej monitor bezprzewodowy z tyłu nasadki głowy i podłącz elektrod.</li>
		<li>Włącz monitor.</li>
		<li>Otwórz interfejs systemu EEG.</li>
		<li>Wybierz opcję Użyj urządzenia Wi-Fi i kliknij opcję Skanuj w poszukiwaniu urządzeń.</li>
		<li>Wybierz NE Wi-Fi i Użyj tego urządzenia.</li>
		<li>Kliknij ikonę głowy, wybierz protokół, który pozwala na nagrywanie wszystkich 32 czujników, a następnie kliknij Załaduj.</li>
		<li>Upewnij się, że przesyłane strumieniowo dane każdego kanału są wyświetlane w interfejsie.</li>
	</ol>
	</li>
	<li>Konfiguracja aparatury EKG - ANS
	<ol>
		<li>Postępuj zgodnie z dokładnymi krokami przedstawionymi w 2.2, ale użyj kanału O1, aby połączyć się z rozszerzeniem tętna (HR).</li>
		<li>Użyj lepkiej elektrody, aby przykleić drugi koniec przedłużenia tuż pod lewą klatką piersiową.</li>
	</ol>
	</li>
	<li>Przygotowanie LSL do zsynchronizowanego zapisu i strumieniowania danych kinematycznych.
	<ol>
		<li>Uruchom aplikację LSL dla systemu motion-capture, klikając dwukrotnie odpowiednią ikonę. Zlokalizuj aplikację w następującej ścieżce folderu LSL: LSL\labstreaminglayer-master\Apps\PhaseSpace.</li>
		<li>W interfejsie ustaw odpowiedni adres serwera.</li>
		<li>Następnie wybierz opcję File and Load configuration (Konfiguracja pliku i obciążenia).</li>
		<li>Wybierz odpowiedni plik konfiguracyjny (musi być dostarczony przez firmę na podstawie używanej wersji produktu)</li>
		<li>Kliknij przycisk Połącz. Jeśli nie zostaną popełnione żadne błędy, nie zostanie wyświetlony żaden komunikat o błędzie.</li>
	</ol>
	</li>
	<li>Przygotuj LSL do zsynchronizowanego zapisu i przesyłania strumieniowego danych EEG i EKG. W przypadku tego sprzętu nie są wymagane żadne dodatkowe kroki.</li>
	<li>Konfiguracja LSL
	<ol>
		<li>Uruchom aplikację LabRecorder, klikając dwukrotnie plik znajdujący się w ścieżce LSL\labstreaminglayer-master\Apps\LabRecorder folderu LSL.</li>
		<li>Kliknij przycisk Aktualizuj. Jeśli wszystkie instrukcje zostaną poprawnie wykonane, wszystkie typy danych systemu motion-capture i EEG będą widoczne na panelu Nagrywaj dla strumieni.</li>
		<li>Wybierz katalog i nazwę danych w panelu Lokalizacja przechowywania.</li>
		<li>Kliknij przycisk Start. Zbieranie danych z systemu motion-capture i EEG rozpocznie się synchronicznie.</li>
		<li>Na końcu nagrania kliknij przycisk Zatrzymaj. Jeśli nagrywanie się powiodło, dane będą znajdować się w wcześniej wybranym katalogu. Otwórz pliki, aby upewnić się, że zawierają one zapisane informacje.</li>
	</ol>
	</li>
	<li>Analizy i monitorowanie systemu człowieka w czasie rzeczywistym.
	<ol>
		<li>Wykonaj kod MATLAB, Python lub inny, który odbiera, przetwarza i rozszerza przesyłane strumieniowo dane. Przykładowe kody odpowiadające reprezentatywnym przykładom opisanym w poniższych sekcjach można znaleźć tutaj: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE</li>
	</ol>
	</li>
	<li>Generowanie rozszerzonego sensorycznego sprzężenia zwrotnego
	<ol>
		<li>Wytwórz wyjście sensoryczne za pomocą odpowiedniego urządzenia (np. głośników, monitora, między innymi).</li>
	</ol>
	</li>
</ol>
3. Procedura eksperymentalna
<ol>
	<li>Postępuj zgodnie z procedurą eksperymentalną zdefiniowaną przez konfigurację, jeśli istnieje. 
	UWAGA: Interfejsy zamkniętej pętli zostały zaprojektowane tak, aby można je było intuicyjnie eksplorować i uczyć się. W związku z tym w większości przypadków nie są potrzebne żadne instrukcje.</li>
</ol>

Metody objęte zakresem:
•US20190333629A1 "Metody diagnostyki i leczenia zaburzeń neurologicznych"
•EP3229684B1 "Procédés de mesure d'un mouvement physiologiquement pertinent"
•US20190261909A1 "System i metoda określania ilości woli u badanego"
•US202110989122 "System i metoda pomiaru ruchu istotnego z fizjologicznego punktu widzenia"

W artykule przedstawiono koncepcję sterowania proxy za pomocą współadaptacyjnych, interaktywnych, multimodalnych interfejsów w zamkniętej pętli, które wykorzystywają, parametryzują i reparametryzują sygnał peryferyjny osoby w kontekście wymiany diadycznej. Naszym celem było scharakteryzowanie stochastycznych zmian w fluktuacjach biorytmów danej osoby i parametryzacja tej zmiany. Ponadto naszym celem było systematyczne kierowanie stochastycznymi sygnaturami ich biorytmów w kierunku docelowych poziomów reżimów szumu do sygnału w czasie zbliżonym do rzeczywistego.
Przedstawiliśmy ogólny protokół budowy interfejsu zamkniętej pętli, który spełniał 5 podstawowych elementów: 1) gromadzenie wielu danych cielesnych pochodzących z OUN, PNS i ANS przy użyciu różnych instrumentów i technologii; 2) zsynchronizowane nagrywanie i przesyłanie strumieniowe danych; 3) analizę wybranych sygnałów w czasie rzeczywistym; 4) tworzenie augmentacji sensorycznej (dźwiękowej, wizualnej itp.) za pomocą cech fizjologicznych wyodrębnionych dla sygnałów cielesnych; oraz 5) ciągłe śledzenie ludzkiego systemu i równoległe wzmacnianie sensoryczne zamyka pętlę interakcji między człowiekiem a systemem.
Ogólny protokół został zastosowany na dwóch przykładowych interfejsach. Pierwsza z nich bada diadyczną wymianę między dwoma ludzkimi agentami, a druga między człowiekiem a agentem awatarem. Te dwa rodzaje diad zostały wykorzystane do udowodnienia słuszności koncepcji, że sygnał peryferyjny może być systematycznie zmieniany w czasie rzeczywistym i że te zmiany stochastyczne można precyzyjnie śledzić. Jedna diada składała się z dwóch uczestników wchodzących w fizyczną interakcję, podczas gdy druga polegała na interakcji uczestnika z wirtualnym agentem w postaci renderowanego w 3D awatara wyposażonego w ruchy osoby i zmienione warianty tych ruchów w czasie rzeczywistym. Takie zmiany zostały wywołane przez interaktywne manipulacje napędzane przez słuchowe i/lub wzrokowe bodźce sensoryczne w otoczeniu rozszerzonych doznań. Zarówno w rzeczywistej, jak i sztucznej diadzie wykazaliśmy możliwość zdalnego przesuwania sygnałów obwodowych, w tym biorytmów ciała i autonomicznych sygnałów z bicia serca.
Przedstawiliśmy nowe protokoły eksperymentalne do badania takich zmian w eferentnej zmienności motorycznej, gdy strumienie sygnałów kinestetycznych są manipulowane i ponownie parametryzowane w czasie zbliżonym do rzeczywistego. Ta informacja o ponownym wejściu (reaferencja kinestetyczna48) okazała się cenna dla zmiany wydajności systemów w czasie rzeczywistym. Niosą one ze sobą informacje o konsekwencjach sensorycznych działania, które możemy precyzyjnie śledzić za pomocą metod, które tutaj przedstawiliśmy.
Pokazaliśmy również typy danych i metody statystyczne, które można ustandaryzować w naszych analizach. Dostarczyliśmy wiele narzędzi do wizualizacji, aby zademonstrować zmiany w czynnościach fizjologicznych w czasie rzeczywistym, które naturalnie ewoluują w różnych kontekstach, z empirycznie kierowanym wnioskowaniem statystycznym, które nadaje się do interpretacji sygnałów samodzielnie generowanych i kontrolowanych przez układ nerwowy. Co ważne, zmiany, które zostały wywołane przez kontroler proxy, były płynne, a jednocześnie wymierne, co potwierdza pogląd, że aktywność peryferyjna jest przydatna na więcej niż jeden sposób. Chociaż możemy wdrożyć te metody za pomocą dostępnych na rynku bezprzewodowych czujników do noszenia, możemy systematycznie indukować zmiany w wydajności, które można uchwycić w rytmach biofizycznych bez obciążania systemu. Ważne jest, aby przełożyć nasze metody na arenę kliniczną i wykorzystać je jako poligon doświadczalny do opracowania nowych modeli interwencji (np. jak w przypadku wykorzystania rzeczywistości rozszerzonej w autyzmie 49). W takich modelach będziemy w stanie śledzić i określać ilościowo sensoryczne konsekwencje naturalistycznych działań danej osoby, ponieważ bodźce sensoryczne są precyzyjnie manipulowane, a dane wyjściowe są parametryzowane i ponownie parametryzowane w czasie zbliżonym do rzeczywistego.
Oferujemy ten protokół jako ogólny model do wykorzystania różnych czynności biorytmicznych generowanych samodzielnie przez ludzki układ nerwowy i wykorzystywanych nieinwazyjnie za pomocą bezprzewodowych urządzeń do noszenia. Chociaż w niniejszej pracy użyliśmy zestawu biosensorów do rejestracji EEG, EKG i kinematyki, metody rejestrowania, synchronizacji i analizy sygnałów są ogólne. Dzięki temu interfejs może zawierać inne technologie. Co więcej, protokoły mogą być modyfikowane w celu uwzględnienia innych naturalistycznych działań i kontekstów, które rozciągają się na dziedzinę medycyny. Ponieważ dążyliśmy do naturalnych zachowań, opracowana przez nas konfiguracja może być używana w zabawnych sytuacjach (np. z udziałem dzieci i rodziców).
Wiele zaburzeń układu nerwowego mogłoby skorzystać na takim zabawnym podejściu do problemu kontroli. W obu typach interakcji diadycznych, które tutaj pokazaliśmy, uczestnicy mogli dążyć do świadomego kontrolowania muzyki, podczas gdy kontroler proxy wykorzystuje wyjście peryferyjne do nieświadomego manipulowania i systematycznego przesuwania jej sygnatur. Ponieważ naukowcy spędzili lata na empirycznym mapowaniu płaszczyzny parametrów Gamma i odpowiadających im momentów Gamma w przestrzeni w różnych grupach wiekowych (od noworodków do 78 roku życia)19,50,51,52,53 i stanach (autyzm, choroba Parkinsona, udar, stan śpiączki i deaferencja), dla różnych poziomów kontroli (dobrowolny, automatyczny, spontaniczny, mimowolny i autonomiczny)25, 47,54, mają empirycznie zmierzone kryteria wskazujące, gdzie w przestrzeniach Gamma powinny znajdować się sygnatury stochastyczne dla dobrej kontroli predykcyjnej. Wcześniejsze badania wykazały również, że wiemy, gdzie znajdują się parametry w obecności spontanicznego przypadkowego szumu pochodzącego z samodzielnie generowanych rytmów ludzkiego układu nerwowego 7,19,55,56. W ramach schematu optymalizacyjnego minimalizującego biorytmiczny szum motoryczny, możemy zatem dążyć do kierowania sygnałami w taki sposób, aby osiągnąć docelowe obszary przestrzeni Gamma, w których kształt i sygnatury dyspersyjne rodziny PDF każdej osoby sprzyjają wysokiemu stosunkowi sygnału do szumu i wartościom predykcyjnym. W tym sensie nie tracimy danych brutto i raczej efektywnie je wykorzystujemy, aby skierować system w kierunku pożądanego poziomu hałasu w danej sytuacji.
Interakcje diadyczne są wszechobecne w warunkach klinicznych lub szkoleniowych. Mogą one wystąpić między trenerem a uczestnikiem szkolenia; lekarza i pacjenta; terapeuta kliniczny i pacjent; Mogą one również występować w warunkach badawczych, które obejmują naukę translacyjną i angażują badacza i uczestnika. Jedną z zalet obecnych protokołów jest to, że chociaż są one przeznaczone dla diad, są również spersonalizowane. W związku z tym możliwe jest dostosowanie interakcji współadaptacyjnych do najlepszych możliwości i predyspozycji danej osoby, zgodnie z jej zakresami ruchu, zakresami czasu przetwarzania sensorycznego i przy jednoczesnym uwzględnieniu zakresów amplitudy sygnałów w całej hierarchii funkcjonalnej układu nerwowego danej osoby. W miarę jak trajektoria stochastyczna wyłania się i ewoluuje w czasie, możliwe jest również ustalenie współczynników prawdopodobieństwa sygnatur i wykorzystanie tych szeregów czasowych do prognozowania kilku nadchodzących wydarzeń wraz z możliwymi konsekwencjami sensorycznymi.
Wreszcie, interfejsy zamkniętej pętli mogą być stosowane nawet w świecie sztuki. Mogą one zaoferować artystom performatywnym nowe możliwości generowania sterowanych obliczeniowo form tańca współczesnego, tańców technologicznych oraz nowych form wizualizacji i sonifikacji ekspresji cielesnej. W takich kontekstach ciało tancerza może zostać przekształcone w instrument sterowany sensorycznie, aby elastycznie eksplorować różne modalności sensoryczne poprzez sonifikację i wizualizację samodzielnie generowanych działań biorytmicznych, jak wykazano we wcześniejszych pracach w tej dziedzinie 40,41,43,46. Taki występ mógłby wzmocnić rolę tancerza na scenie i pozwolić publiczności doświadczyć subtelnych sygnałów cielesnych poza widzialnym ruchem.
Kilka aspektów tej technologii wymaga dalszego rozwoju i testów, aby zoptymalizować ich wykorzystanie w czasie rzeczywistym. Synchroniczne przesyłanie strumieniowe wymaga szybkiej mocy procesora/karty graficznej i pojemności pamięci, aby naprawdę wykorzystać koncepcję zysku czasu i bycia o krok do przodu w przewidywaniu sensorycznych konsekwencji trwających poleceń motorycznych. Częstotliwość próbkowania sprzętu powinna być porównywalna, aby móc naprawdę wyrównać sygnały, przeprowadzić właściwą fuzję sensoryczną i zbadać przekazywanie informacji przez różne kanały układu nerwowego. To tylko niektóre z ograniczeń obecnych w tym nowym interfejsie.
Ogólnie rzecz biorąc, praca ta oferuje nową koncepcję poprawy kontroli naszego układu cielesnego przy jednoczesnym zastosowaniu środków podprogowych, które mimo to pozwalają na systematyczne, ustandaryzowane pomiary wyników zmian stochastycznych.

<table><tbody><tr><td>Enobio 32</td><td>Enobio</td><td></td><td>Sprzęt do zbierania danych EEG</td></tr><tr><td>Enobio Rozszerzenie EKG</td><td>Enobio</td><td></td><td>Sprzęt do zbierania danych EKG</td></tr><tr><td>LabStreamingLayer (LSL)</td><td></td><td></td><td>Synchronizacja i przesyłanie strumieniowe danych</td></tr><tr><td>Matlab</td><td>Mathwork</td><td></td><td>Analiza i przetwarzanie danych</td></tr><tr><td>Max</td><td>Cycling'74</td><td></td><td>Sonification informacji o ciele</td></tr><tr><td>NIC.2</td><td>Enobio</td><td></td><td>Oprogramowanie do zbierania danych EEG i EKG</td></tr><tr><td>PhaseSpace Impulse</td><td>PhaseSpace</td><td></td><td>Sprzęt do zbierania danych kinematycznych (pozycja, prędkość, przyspieszenie)</td></tr><tr><td>Python3</td><td>Python</td><td></td><td>Analiza i przetwarzanie danych</td></tr><tr><td>Recap</td><td>PhaseSpace</td><td></td><td>Oprogramowanie do zbierania danych kinematycznych (pozycja, prędkość, przyspieszenie)</td></tr></tbody></table>

sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

Real-Time Proxy-Control of Re-Parameterized Peripheral Signals using a Close-Loop Interface

Dziedziny, które rozwijają metody substytucji sensorycznej i wspomagania sensorycznego, mają na celu kontrolowanie celów zewnętrznych za pomocą sygnałów z ośrodkowego układu nerwowego (OUN). Rzadziej jednak spotykane są protokoły, które aktualizują sygnały zewnętrzne generowane samodzielnie przez interaktywne ciała w ruchu. Istnieje niedostatek metod, które łączą biorytmy ciała, serca i mózgu jednego poruszającego się czynnika, aby sterować biorytmami innego poruszającego się czynnika podczas wymiany diadycznej. Jednym z wyzwań związanych z dokonaniem takiego wyczynu była złożoność konfiguracji wykorzystującej multimodalne sygnały biologiczne o różnych jednostkach fizycznych, różnych skalach czasowych i zmiennej częstotliwości próbkowania.
W ostatnich latach, pojawienie się biosensorów do noszenia, które mogą nieinwazyjnie wykorzystywać wiele sygnałów jednocześnie, otworzyło możliwość ponownej parametryzacji i aktualizacji sygnałów peryferyjnych współpracujących diad, a także poprawiło interfejsy mózg i/lub ciało-maszyna. Tutaj prezentujemy interfejs koadaptacyjny, który aktualizuje odprowadzający sygnał somatyczno-motoryczny (w tym kinematykę i tętno) za pomocą bioczujników; Parametryzuje stochastyczne sygnały biologiczne, sonifikuje to wyjście i przekazuje je z powrotem w ponownie sparametryzowanej formie jako wejście reafferentowe Visuo/audio-kinesthetic. Ilustrujemy metody przy użyciu dwóch rodzajów interakcji, jednej z udziałem dwóch ludzi, a drugiej z udziałem człowieka i jego awatara wchodzących w interakcję w czasie zbliżonym do rzeczywistego. Omawiamy nowe metody w kontekście możliwych nowych sposobów pomiaru wpływu bodźców zewnętrznych na wewnętrzną kontrolę somatyczno-sensoryczno-motoryczną.

Na podstawie protokołu przedstawionego w poprzedniej sekcji można zbudować różne interfejsy, które mogą być zastosowane w różnych populacjach w licznych celach. Niektóre możliwe warianty opisano w sekcji „Warianty przedstawionego interfejsu w zamkniętej pętli” w materiałach uzupełniających.
W tej sekcji przedstawiamy reprezentatywne wyniki dla 2 przykładowych interfejsów z pętlą sprzężenia zwrotnego, które zostały przygotowane zgodnie z protokołem opisanym w poprzedniej sekcji. Układ, procedura eksperymentalna oraz uczestnicy tych badań są szczegółowo omówione w sekcjach „Przykład 1: Audio interfejs z pętlą sprzężenia zwrotnego w rzeczywistej interakcji dyadycznej” oraz „Przykład 2: Audio-wizualny interfejs z pętlą sprzężenia zwrotnego w sztucznej interakcji dyadycznej” pliku uzupełniającego.
Wyniki audio interfejsu w pętli zamkniętej podczas rzeczywistej interakcji dyadycznej 
W badaniu „Audio close-loop interface of a real dyadic interaction” (szczegółowo omówionym w sekcji „Example 1: Audio Close-loop Interface of a Real Dyadic Interaction” materiałów uzupełniających) zastosowano zastępczy interfejs sterujący, przedstawiony na Rysunku 4, który wykorzystuje sygnał tętna tancerki do modyfikacji odtwarzanej muzyki. W czasie rzeczywistym przeprowadzono przetwarzanie sygnału w celu wyznaczenia momentu uderzenia serca, a następnie przesłano tę informację do systemu Max, aby zmienić tempo wykonywanego utworu. W ten sposób odtworzono utwór zmodyfikowany przez sygnały biofizyczne. Proces ten doprowadził do dalszych zmian w ruchach oraz sygnałach tętna.
<img alt="Schemat systemu w pętli zamkniętej: akwizycja danych, analiza HR/IBI, mapowanie tempa utworu, odtwarzanie dźwięku." class="xfigimg" src="/files/ftp_upload/61943/61943fig04.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 4"> 
Rycina 4: Interfejs w pętli zamkniętej oparty na sygnale audio. 1. Urządzenie ubieralne ECG-HR monitoruje aktywność tancerki salsy podczas wykonywania układów i przesyła sygnały do interfejsu z częstotliwością 500Hz. 2. Nasz interfejs analizuje dane ECG w czasie rzeczywistym. W każdej ramce filtruje surowe dane, wyodrębnia załamki R kompleksu QRS i przesyła wykryte piki do programu MAX. 3. Interfejs zewnętrzny synchronizuje tempo dźwięku z tempem rytmu serca. 4. Zmodyfikowany utwór jest odtwarzany tancerzom. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig04large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.</a>
Dwoje tancerzy salsy wchodziło w interakcję z interfejsem i wykonało dobrze przećwiczoną rutynę, obejmującą choreografię oraz taniec improwizowany spontanicznie. Tancerze musieli wykonać utwór raz w wersji oryginalnej oraz raz w wersji łączącej oryginalne tempo utworu z przesyłanym w czasie rzeczywistym strumieniem tętna. Tę drugą wersję, wykonaną dwukrotnie, określamy jako zmianę 1 i 2 utworu.
W poniższej analizie wykorzystaliśmy zarejestrowane sygnały serca i dźwięku. Wyekstrahowano piki z obu sygnałów w celu oszacowania serii MMS (patrz sekcja „Micro-movements Spikes” w pliku uzupełniającym), które zachowują fluktuacje o wysokiej częstotliwości, jak pokazano na Rysunku 5.
<img alt="Wykresy analizy danych tętna i amplitudy sygnału audio przedstawiające procesy filtrowania, przesunięcia średniej oraz MMS." class="xfigimg" src="/files/ftp_upload/61943/61943fig05.jpg" data-altupdatedat="1788304762000" data-alt="Rycina 5"> 
Rycina 5: Szacowanie serii MMS w systemie audio z zamkniętą pętlą sprzężenia zwrotnego. Szeregi czasowe EKG są wykorzystywane do wyodrębnienia szczytów RR oraz odchyleń amplitudy od całkowitej (szacowanej) średniej amplitudy uzyskanych szczytów R (dane z przesuniętą średnią). Następnie stosuje się normalizację zgodnie z równaniem 1 (patrz Plik uzupełniający, sekcja „Micro-Movement Spikes”), aby uzyskać serie MMS. Analogiczne metody są stosowane do przetwarzania przebiegów fal audio i odtwarzania utworu zgodnie z wynikami osiąganymi przez osobę w czasie rzeczywistym. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig05large.jpg" target="_blank">Kliknij tutaj, aby zobaczyć większą wersję tej ryciny.</a>
Szeregi MMS zostały dobrze scharakteryzowane jako ciągły proces losowy, dobrze reprezentowany przez ciągłą rodzinę rozkładów prawdopodobieństwa Gamma. Metoda największej wiarygodności (MLE) uznała tę ciągłą rodzinę rozkładów za najlepiej dopasowaną do obu zestawów danych (patrz wyjaśnienie w sekcji „Rozkład Gamma” w Materiałach uzupełniających oraz Rysunku uzupełniającym 2). Ten rodzaj procesu losowego został wykorzystany do śledzenia przesunięć w stochastycznych sygnaturach biorytmów generowanych samoistnie przez biosygnały z ludzkiego układu nerwowego.
Na podstawie empirycznie oszacowanych parametrów kształtu i skali rozkładu Gamma wyznaczamy momenty rozkładu Gamma: średnią, wariancję, skośność oraz kurtozę (szczegóły analizy znajdują się w sekcji „Stochastic Analysis” materiałów uzupełniających). Następnie przedstawiamy wyrysowaną funkcję gęstości prawdopodobieństwa (PDF). Rycina 6 skupia się wyłącznie na sygnale serca i muzyce, jednak zastosowane metody można w podobny sposób odnieść do innych biorytmów generowanych przez sygnały kinematyczne przedstawione w 41.
PDF sygnałów serca i muzyki przedstawiono na Rysunku 6A-B, gdzie wyróżniono różnice między zbiorami danych dla dwóch warunków: rutyny celowej oraz improwizacji spontanicznej. Dla każdego warunku podkreślono przesunięcia w sygnaturach stochastycznych wywołane czasowymi zmianami utworu. Początkowo tancerze tańczą do oryginalnej piosenki. Następnie, gdy rytm bicia serca zmienia się w czasie rzeczywistym, sonifikowane fluktuacje tego sygnału prowadzą tancerzy do podążania za zmianami czasowymi utworu.
Zostały one oznaczone jako zmiana 1 i zmiana 2. Te systematyczne przesunięcia są opisane przez parametry Gamma. Następnie, wykorzystując empirycznie oszacowane parametry kształtu i skali, otrzymaliśmy cztery odpowiadające im momenty Gamma dla rytmu serca oraz śpiewu. Są one przedstawione na Rysunku 6C dla sygnałów serca (góra) i śpiewu (dół).
<img alt="Analiza MMS tętna i muzyki; wykresy PDF gamma; wykres czterech momentów; wariancja, skośność, średnia." class="xfigimg" src="/files/ftp_upload/61943/61943fig06.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 6"> 
Rysunek 6: Indukowanie systematycznych zmian w empirycznie oszacowanych PDF Gamma oraz ich stochastycznych trajektoriach Czterech Momentów Gamma z wykonania pod kontrolą zastępczą przy użyciu systemu Audio Close-loop. (A) PDF z ciągów MMS dla każdego typu danych (ECG na górze i plik audio na dole) dla każdego z kontekstów tanecznych: spontanicznej improwizacji i zaplanowanego układu. Legendy to: Imp Or (improwizacja oryginalna) oznaczająca warunki bazowe na początku sesji; Imp Alt1 oznaczająca improwizację podczas zmiany 1; Imp Alt2 oznaczająca improwizację podczas zmiany 2. (B) Analogicznie, dla zaplanowanego, wyćwiczonego układu: Rout Or oznacza układ oryginalny; Rout Alt1 oznacza zmianę układu 1; Rout Alt2 oznacza zmianę układu 2. Panele w (C) pokazują systematyczne przesunięcia momentów Gamma w miarę jak sygnały audio z utworów oraz sygnały z serca przesuwają się tandemowo i w czasie rzeczywistym. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig06large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Przesunięcie sygnatur można zaobserwować na tych panelach (wykresy momentów PDF i Gamma), co demonstruje, że przedstawione metody pozwalają uchwycić adaptację serca do zmian w pieśni, które kontroler zastępczy (proxy controller) generuje w czasie rzeczywistym. Wraz ze zmianą rytmów pieśni zmieniają się również stochastyczne sygnatury serca, a przejście tych sygnatur jest spójne pod względem kierunku (co jest również wynikiem w 41, gdzie badaliśmy parametry kształtu i skali). Podobnie, gdy przesuwają się sygnatury serca, przesuwają się również sygnatury pieśni. Te efekty odzwierciedlenia – gdzie jeden element wpływa na drugi i gdy jeden przesuwa się konsekwentnie w określonym kierunku, drugi robi to samo – wynikają z pętli sprzężenia zwrotnego interfejsu tego kontrolera zastępczego. Wyniki podkreślają użyteczność takiej konfiguracji i stanowią dowód koncepcji (proof of concept), że możemy systematycznie zmieniać autonomiczne biorytmy osoby w kontekście wymiany diadycznej.
Równoległe przesunięcia w sygnaturach stochastycznych zarówno pieśni, jak i sygnałów cielesnych, wykazują, że koadaptacja całego systemu (uczestnika i interfejsu) jest możliwa z wykorzystaniem sygnałów peryferyjnych. Proces ten przebiega płynnie poza świadomością osoby i stanowi dowód koncepcji dla idei zdalnego i systematycznego przesuwania biosygnałów osoby w odpowiedzi na wybrany zewnętrzny feedback sensoryczny. Podsumowując, możemy kierować przesunięciami sygnatur stochastycznych w tym ciągłym procesie losowym. Zastosowane metody umożliwiają uchwycenie zmian oraz tempa ich przebiegu wzdłuż trajektorii stochastycznych, które byliśmy w stanie konstruować niemal w czasie rzeczywistym.
Aby określić istotność statystyczną przesunięć, zastosowano nieparametryczną analizę wariancji (ANOVA), test Kruskala-Wallisa, a następnie post hoc testy wielokrotnych porównań. Porównano sygnatury MMS danych z serca w sześciu warunkach. Rysunek 7 przedstawia wielokrotne porównania danych MMS z serca oraz odpowiadającą im tabelę testu Kruskala-Wallisa. Wykres wielokrotnych porównań wskazuje na istotną różnicę między stanem bazowym oryginalnego tańca rutynowego (Rout. Or) a stanem bazowym oryginalnego tańca improwizowanego (Imp. Or). Należy również zauważyć, że pierwsze modyfikacje, Rout. Alt1 i Imp. Alt1, przesuwają się w stronę rozkładów o porównywalnych średnich; to samo dotyczy drugich modyfikacji, podczas gdy wariancja, skośność i kurtoza przesuwają się w przestrzeni momentów Gamma (Rysunek 6C).
<img alt="Diagram analizy Kruskala-Wallisa i tabela ANOVA, przedstawiające warunki danych i wyniki statystyczne." class="xfigimg" src="/files/ftp_upload/61943/61943fig07.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 7"> 
Rysunek 7: Wyniki nieparametrycznego testu Kruskala-Wallisa i testów post hoc dla porównań wielokrotnych. Wyniki nieparametrycznej analizy ANOVA (test Kruskala-Wallisa) zastosowanej do danych MMS serca w celu porównania sześciu warunków. Wykres przedstawia porównania wielokrotne dla 6 przypadków, wskazując istotną różnicę między warunkami „Rout. Or” a „Imp. Or”. Tabela przedstawia wyniki testu Kruskala-Wallisa. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig07large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Wyniki interfejsu audio-wizualnej pętli sprzężenia zwrotnego w sztucznej interakcji dyadycznej 
W badaniu „Interfejs audio-wizualnej pętli sprzężenia zwrotnego w sztucznej interakcji dyadycznej” (szczegółowo przedstawionym w sekcji „Przykład 2: Interfejs audio-wizualnej pętli sprzężenia zwrotnego w sztucznej interakcji dyadycznej” w Materiałach dodatkowych), 6 uczestników wchodziło w interakcję z interfejsem przedstawionym na Rysunkach 8, który tworzy ich lustrzany awatar odwzorowujący ruchy danej osoby. Interfejs implementuje dźwięki zależne od pozycji w obszarze otaczającym osobę podczas interakcji. Uczestnicy nie byli zapoznani z celem badania. Musieli poruszać się po pomieszczeniu i odkryć, w jaki sposób kontrolować dźwięk, który niespodziewanie pojawiał się podczas przechodzenia przez RoI (obszary zainteresowania) zdefiniowane przez kontroler pośredniczący.
<img alt="Proces przechwytywania ruchu, oprogramowanie PhaseSpace, analiza danych w Matlab, modelowanie 3D, reprezentacja w czasie rzeczywistym." class="xfigimg" src="/files/ftp_upload/61943/61943fig08.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 8"> 
Rysunek 8: Wizualna reprezentacja interfejsu audio-wizualnego. 1. System przechwytywania ruchu jest wykorzystywany do pozyskiwania obwodowych danych kinematycznych. 2. System gromadzi pozycje czujników (w naszym przykładzie diod LED), aby oszacować szkielet – pozycje kości. 3. Pozycje kości są następnie wyrównywane w opracowanym przez nas interfejsie w programie MATLAB przy użyciu autorskiego modelu kinematyki bezpośredniej. 4. Wyrównane pozycje są wykorzystywane do mapowania informacji o szkielecie na renderowany awatar 3D. 5. Mapowanie strumieniowanych danych na awatar odbywa się w czasie rzeczywistym, co stwarza wrażenie patrzenia na lustrzane odbicie osoby. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig08large.jpg" target="_blank">Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.</a>
Rysunek 9 przedstawia wyniki interfejsu audiowizualnego dla warunku 1 (zob. Plik uzupełniający w celu zapoznania się z pozostałymi warunkami), w którym położenie biodra aktywuje utwór, gdy biodro znajduje się w obszarze RoI. Rysunek ten prezentuje sygnatury PDF i Gamma (patrz sekcja „Typy danych i analizy” w materiale uzupełniającym) danych o prędkości biodra 6 różnych uczestników z grupy kontrolnej (C1 do C6) podczas przebywania wewnątrz i na zewnątrz objętości RoI. Przedstawione tutaj wyniki podkreślają zindywidualizowane różnice w tempie adaptacji poszczególnych uczestników. Są one wskazane przez przesunięcia sygnatur stochastycznych oraz indywidualne wyniki pojawiające się wewnątrz lub na zewnątrz objętości RoI. Na przykład można zauważyć, że dopasowanie PDF do histogramów częstotliwości MMS pochodzących z amplitudy prędkości bioder uczestników C3 i C4 było bardziej symetryczne (wyższa wartość kształtu) i mniej zaszumione (niższa wartość skali) podczas przebywania wewnątrz objętości. W przeciwieństwie do nich, pozostali uczestnicy wykazują odwrotny wzorzec.
Empirycznie ustaliliśmy, że sygnatury w prawym dolnym rogu należą do sportowców i tancerzy wykonujących wysoce wyspecjalizowane ruchy. Sygnatury znajdujące się w lewym górnym obszarze pochodzą z zestawów danych układów nerwowych z patologiami, takich jak rozpoznane zaburzenia widma autyzmu ADHD22,32 oraz od uczestnika z deaferentacją21. W kontekście zmieniających się wzorców wzdłuż trajektorii stochastycznej wyznaczamy wartości mediany kształtu i skali, aby zdefiniować prawy dolny kwadrant (RLQ) oraz lewy górny kwadrant (LUQ), w których monitorujemy ogólną jakość stosunku sygnału do szumu poprzez akumulację tych informacji w czasie. Uwzględnia to dynamiczną aktualizację wartości median definiujących te kwadranty w miarę, jak osoba dostosowuje generowane wewnętrznie biorytmy do tych kontrolowanych zewnętrznie przez proxy, lecz zależnych od wewnętrznych rytmów danej osoby.
<img alt="Funkcje gęstości prawdopodobieństwa i stochastyczne sygnatury rozkładu gamma, wykres porównawczy danych." class="xfigimg" src="/files/ftp_upload/61943/61943fig09.jpg" data-altupdatedat="1788304762000" data-alt="Rysunek 9"> 
Rysunek 9: Empirycznie oszacowane PDF rozkładu Gamma i sygnatury Gamma biorytmów ciała podczas interakcji z wykorzystaniem systemu Audio-Visual Close-Loop. Wykorzystując szeregi MMS pochodne prędkości bioder każdego uczestnika (C1 - C6), zastosowano metodę MLE w celu dopasowania najlepszego PDF z 95% przedziałami ufności. Każdy uczestnik jest reprezentowany przez inny symbol, natomiast warunki są oznaczone różnymi kolorami. Rodzina PDF rozkładu Gamma wewnątrz objętości (in) różni się od tej poza objętością (out). Oprócz empirycznie oszacowanych PDF rozkładu Gamma, na płaszczyźnie parametrów Gamma przedstawiono również oszacowane parametry kształtu i skali dla każdej osoby. <a href="https://www.jove.com/files/ftp_upload/61943/61943fig09large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
Tabela 1 przedstawia wartości p uzyskane z surowych danych (prędkość) oraz danych MMS, porównując wyniki w różnych warunkach, gdy część ciała osoby znajduje się wewnątrz RoI vs. na zewnątrz RoI. Wyniki przedstawione w tabeli zostały oszacowane przy użyciu nieparametrycznego testu ANOVA Kruskala-Wallisa.
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>Test Kruskala-Wallisa</td>
			<td>Dane o prędkości</td>
			<td>MMS</td>
		</tr>
		<tr>
			<td>C1</td>
			<td>0</td>
			<td>1,34 e-05</td>
		</tr>
		<tr>
			<td>C2</td>
			<td>0</td>
			<td>4,72E-15</td>
		</tr>
		<tr>
			<td>C3</td>
			<td>0</td>
			<td>8,59E-34</td>
		</tr>
		<tr>
			<td>C4</td>
			<td>2,70E-21</td>
			<td>3,16E-04</td>
		</tr>
		<tr>
			<td>C5</td>
			<td>0</td>
			<td>1,11E-09</td>
		</tr>
		<tr>
			<td>C6</td>
			<td>0</td>
			<td>5,95E-05</td>
		</tr>
	</tbody>
</table>
Tabela 1: Wyniki nieparametrycznego testu ANOAVA-Kruskal-Wallis. Wyniki testu Kruskala-Wallisa porównujące rejestracje wewnątrz i na zewnątrz Rol dla danych MMS oraz danych prędkości. Test zastosowano oddzielnie dla danych każdego uczestnika (C1 - C6).
Pliki uzupełniające. <a href="https://www.jove.com/files/ftp_upload/61943/61943_R1-supplementary.zip" target="_blank">Prosimy kliknąć tutaj, aby pobrać te pliki.</a>

Prezentujemy protokoły i metody analiz do budowy współadaptacyjnych interfejsów, które strumieniują, parametryzują, analizują i modyfikują sygnały ludzkiego ciała i serca w zamkniętej pętli. Ta konfiguracja łączy sygnały pochodzące z obwodowego i ośrodkowego układu nerwowego osoby z zewnętrznymi bodźcami sensorycznymi, aby pomóc w śledzeniu zmian biofizycznych.

Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

The fields that develop methods for sensory substitution and sensory augmentation have aimed to control external goals using signals from the central ...

Ogólnym celem tego interfejsu jest zbadanie wpływu wzmocnienia sygnału poli na uzyskanie świadomości cielesnej. Osiąga się to poprzez zaprojektowanie ogólnego interfejsu zamkniętej pętli, który może być używany z różnymi technologiami ubieralnymi w różnych konfiguracjach eksperymentalnych i może być stosowany w różnych populacjach. W niniejszej pracy przedstawiamy ogólny interfejs do przykładowych interfejsów, ich zastosowań oraz ich wpływu na system człowieka.Pierwszym krokiem projektu jest zastosowanie różnych technologii ubieralnych, które pozwalają na rejestrowanie sygnałów, które pochodzą z różnych poziomów układu nerwowego. Drugim krokiem jest użycie warstwy Lab Streaming w celu uzyskania zsynchronizowanego nagrywania i przesyłania strumieniowego sygnałów w czasie rzeczywistym. W pierwszym kroku dane strumieniowe są pobierane przez kod, opracowany w preferowanym przez nas języku, w którym odbywa się analiza w czasie rzeczywistym i ekstrakcja cech wybranego sygnału.W związku z tym, na czterech krokach uczestnicy doświadczają sensorycznego wzmocnienia wyodrębnionych funkcji, takich jak słuchowe mapowanie ich tętna do tempa piosenki lub wizualna reprezentacja ich ruchów. Wreszcie, poprzez ciągłe zwiększanie w czasie rzeczywistym informacji o ciele, zamykamy pętlę rozwijającej się interakcji między interfejsem a uczestnikiem. Badania nad tym, w jaki sposób mózg może kontrolować nasze ciała, zaowocowały projektem interfejsów mózg-maszyna.Które wykorzystują sygnały układu nerwowego do sterowania urządzeniem zewnętrznym, takim jak egzoszkielet lub ramię robota. Prezentujemy tutaj interfejsy zamkniętej pętli, które wykorzystują sygnały układu nerwowego i wzmacniają je za pomocą modułu sensorycznego, aby pomóc uczestnikom w uzyskaniu kontroli nad swoim ciałem. Niektóre zasadnicze cechy naszego projektu to po pierwsze, synchroniczne rejestrowanie danych pochodzących z różnych technologii w celu zbadania różnych poziomów układu nerwowego, a po drugie, przesyłanie danych i analiza danych w celu rozszerzenia w czasie rzeczywistym W obu przykładowych badaniach użyliśmy sprzężenia zwrotnego audio, ale w interfejsie zamkniętej pętli audio tancerze salsy reagowali na tempo muzyki, które było kontrolowane w czasie rzeczywistym, w oparciu o rytm serca.Aby to osiągnąć, używamy muzycznego języka programowania Max do kontrolowania prędkości odtwarzania plików audio. Czujniki rejestrują tancerzy, bicie serca i przefiltrowane szczyty R serca są generowane za pomocą skryptu Pythona. Te wartości szczytowe są następnie przesyłane w czasie rzeczywistym do Maxa za pomocą otwartego sterowania dźwiękiem.Najpierw pomogliśmy uczestnikowi założyć kostium do przechwytywania ruchu oparty na diodach LED i przymocować do niego bezprzewodowy kontroler LED. Po włączeniu serwera otwórz przeglądarkę internetową, wprowadź adres IP serwera i zaloguj się. Jeśli ten krok zakończy się pomyślnie, otworzy się menedżer konfiguracji.Następnie otwórz interfejs systemu przechwytywania ruchu i kliknij Połącz. , aby rozpocząć strumieniowe przesyłanie danych ze znaczników LED. Po nawiązaniu połączenia pozycja znaczników zostanie wyświetlona w wirtualnym świecie interfejsu.Kliknij prawym przyciskiem myszy szkielet po prawej stronie okna i wybierz nowy szkielet, aby wybrać mapowanie znaczników. Następnie ponownie kliknij prawym przyciskiem myszy szkielet i wybierz generuj szkielet. Upewnij się, że uczestnik pozuje w pozie T.Jeśli wszystkie kroki zostaną wykonane poprawnie, szkielet zostanie wygenerowany. Aby przesłać strumieniowo dane szkieletu do LSL, wybierz ustawienia i opcje z menu głównego. Otwórz emulator OWL i upewnij się, że kliknąłeś rozpocznij transmisję na żywo.Następnie pomóż temu samemu uczestnikowi założyć czepek na głowę EEG. Napełnij elektrody żelem o wysokiej przewodności i umieść elektrod. Następnie podłącz je do monitora bezprzewodowego i włącz go.Otwórz interfejs systemu EEG i wybierz użyj urządzenia Wi-Fi. Wybierz urządzenie i kliknij użyj tego urządzenia, kliknij ikonę głowy. Wybierz protokół, który umożliwia nagrywanie wszystkich 32 czujników i kliknij załaduj.Upewnij się, że dane strumienia pasują i wszystkie są wyświetlane w interfejsie. Aby zebrać dane dotyczące aktywności serca, użyj jednego z kanałów EEG do podłączenia przedłużacza EEG. Użyj lepkiej elektrody, aby przykleić drugi koniec przedłużenia tuż pod lewą klatką piersiową uczestnika.Zlokalizuj aplikację LSL systemu przechwytywania ruchu w folderze LSL i uruchom ją, klikając dwukrotnie odpowiednią ikonę. W interfejsie ustaw odpowiedni adres serwera, kliknij link. W przypadku przesyłania strumieniowego danych EEG i EKG nie są wymagane żadne dodatkowe czynności.Następnie lokalizujemy aplikację rejestratora laboratoryjnego, która również znajduje się w folderze LSL. Uruchom aplikację, klikając ją dwukrotnie. Jeśli nie wszystkie typy danych przechwytywania ruchu i systemu EEG są wyświetlane w rekordzie panelu dla strumieni, kliknij przycisk aktualizuj.Wybierz katalog i nazwę w panelu lokalizacji przechowywania, a następnie kliknij przycisk Start, aby rozpocząć zbieranie danych. Wykonaj kod MATLAB, Python lub inny, który odbiera, przetwarza i rozszerza dane strumieniowe. LSL umożliwia strumieniowe przesyłanie danych na wiele platform programistycznych.Posługują się oni celami odpowiadającymi ich prezentacyjnym przykładom opisanym w manuskrypcie. Odwiedź nasz link do usługi GitHub. Na rynku dostępne są różne technologie, które tworzą wyjścia sensoryczne.Niektóre typowe przykłady to: głośniki, światła, monitory i inne mniej popularne, takie jak urządzenia dotykowe, wibratory, interfejsy smakowe i węchowe. W interfejsie zamkniętej pętli audio udaje nam się cyfrowo zwiększyć tętno. Za pomocą muzycznego języka programowania Max jesteśmy w stanie kontrolować prędkość odtwarzania plików audio.Przefiltrowane piki serca R, które są drukowane do konsoli, są przesyłane ze skryptu Pythona do Maxa. Tam mierzony jest czas interwału między szczytami i przeliczany na uderzenia na minutę. Dane są skalowane w celu utworzenia zakresu od zera, najwolniejszej możliwej prędkości odtwarzania i maksymalnej prędkości odtwarzania.W tym kontinuum jeden równa się normalnej prędkości odtwarzania, 0,5 równa się połowie szybkości, a dwa równa się podwójnej prędkości odtwarzania. Projekt interfejsu ogólnego może być używany w różnych populacjach. Jego protokół i przykłady, które są tutaj używane w celu zapewnienia dowodu koncepcji, nie są ograniczone do określonej grupy.Co więcej, interfejsy zamkniętej pętli zostały zaprojektowane tak, aby można je było intuicyjnie eksplorować i uczyć się. Chociaż nie powinno być potrzeby wykonywania instrukcji w ramach procedury eksperymentalnej. W badaniu interfejsu zamkniętej pętli audio prawdziwej interakcji diadycznej, dwie tancerki salsy wchodziły w interakcję z interfejsem, który wykorzystuje tętno tancerek do zmiany prędkości piosenki.Tancerze wykonali dobrze przećwiczony układ taneczny i taniec improwizowany. W każdym z nich wykonywali raz oryginalną wersję piosenki, a następnie dwukrotnie jej wersję z odmienionym sercem. Na podstawie zebranych danych szacujemy sygnatury stochastyczne gamma wyodrębnionych mikroimpulsów ruchowych.Tutaj obserwujemy szacowane funkcje gęstości prawdopodobieństwa serca i dane muzyczne. Figurki dopingowe pokazują zestawy serca, które jest autonomicznym organem, od pierwszego stanu tańczącego piosenkę w jej pierwotnej formie. Do drugiego i trzeciego warunku tańczącego serce zmieniło pieśń.Lewa figura odpowiada trzem nagraniom tańca spontanicznego, natomiast prawa figura trzem nagraniom tańca rozmyślnego. Na dolnych rysunkach możemy zaobserwować odpowiadające im zestawy odtwarzanego dźwięku. Tutaj zestawy mają przeciwstawny kierunek.W badaniu audiowizualnego interfejsu zamkniętej pętli sztucznej interakcji diadycznej, sześciu uczestników wchodziło w interakcję z interfejsem, który tworzy ich żywego lustrzanego awatara. Ponadto osadza dźwięki zależne od pozycji bioder. Uczestnicy byli naiwni co do celu badania; Musieli chodzić po pokoju i zastanawiać się, jak kontrolować dźwięk, który niespodziewanie pojawiał się, gdy przechodzili przez obszar zainteresowania.Rysunki pokazują funkcję gęstości prawdopodobieństwa i odpowiadające jej sygnatury gamma danych o prędkości bioder 60 uczestników kontroli przyjaciela, od C1 do C6, gdy znajdowali się wewnątrz i na zewnątrz obszaru zainteresowania. Wyniki podkreślają spersonalizowane różnice w zachowaniu uczestników zarówno w regionie, jak i poza nim. Empirycznie odkryliśmy, że sygnatury znajdujące się w prawym dolnym rogu płaszczyzny gamma to sygnatury sportowców i tancerzy wykonujących wysoce wykwalifikowane ruchy, sygnatury leżące w lewym górnym obszarze pochodzą z zestawów danych układów nerwowych z patologiami.Dlatego możemy zauważyć, że sygnatury prędkości bioder w grupie kontrolnej trzeciej i czwartej ujawniają zdrowsze wzorce motoryczne w obrębie objętości. W przeciwieństwie do tego, pozostali uczestnicy wykazują odwrotny wzorzec. Podejście to można wykorzystać zarówno do lepszego zrozumienia związku między ruchami tancerza a dźwiękiem.Może być również wykorzystany do zbadania nowatorskich podejść do komponowania muzyki, które są prowadzone przez informacje o ciele w czasie rzeczywistym, przekształcając tworzenie muzyki w doświadczenie wzmocnienie sygnału ciała Rozwój i badania nad interfejsami zamkniętej pętli mogą przynieść korzyści kilku zaburzeniom układu nerwowego. Mogą być również wykorzystywane w grach, treningu ruchowym i sporcie.

real-time-proxy-control-re-parameterized-peripheral-signals-using

Research

JoVE Journal

Behavior

Zachowanie

Wykorzystujemy interfejs maszyna-mucha w pętli zamkniętej do badania ogólnych zasad kontroli neuronalnej.

Platforma eksperymentalna do badania wydajności interfejsów mózg-maszyna w pętli zamkniętej

Protokoły zamkniętej pętli stają się coraz bardziej powszechne we współczesnej elektrofizjologii. Przedstawiamy prosty, wszechstronny i niedrogi sposób wykonywania złożonych protokołów elektrofizjologicznych w korowych neuronach piramidowych in vitro, przy użyciu komputera stacjonarnego i cyfrowej płytki akwizycyjnej.

Elektrofizjologia w czasie rzeczywistym: wykorzystanie protokołów zamkniętej pętli do badania dynamiki neuronów i nie tylko

W miarę jak rozwój protetyki zmierza w kierunku naturalnej kontroli, wykorzystanie wrodzonej zdolności osób po amputacji do uczenia się nowych umiejętności motorycznych może umożliwić biegłość. Ten manuskrypt opisuje ustrukturyzowany protokół rehabilitacji, który obejmuje naśladowanie, powtarzanie i strategie uczenia się przez wzmacnianie, w celu poprawy wielofunkcyjnej kontroli protetycznej.

Ustrukturyzowany protokół rehabilitacji w celu poprawy wielofunkcyjnej kontroli protetycznej: studium przypadku

Korzystając z robotycznego urządzenia izokinetycznego z pomiarami elektromiografii (EMG), ten protokół ilustruje, że ruch izokinetyczny sam w sobie może poprawić wiarygodność pomiarów kąta zaczepienia u pacjentów po udarze z łagodną spastycznością zginaczy łokcia.

Izokinetyczne urządzenie robotyczne poprawiające niezawodność test-retest i międzyoceniający pomiary odruchu rozciągania u pacjentów po udarze mózgu ze spastycznością

Poniższy manuskrypt opisuje nowatorską metodę rozwoju biologicznego, zamkniętego systemu neuronowego sprzężenia zwrotnego, zwanego kompozytowym regeneracyjnym interfejsem nerwów obwodowych (C-RPNI). Konstrukt ten ma zdolność integracji z nerwami obwodowymi w celu wzmocnienia odprowadzających sygnałów motorycznych, jednocześnie zapewniając aferentne sensoryczne sprzężenie zwrotne.

Wytwarzanie kompozytowego regeneracyjnego interfejsu nerwów obwodowych (C-RPNI) u dorosłego szczura

Ten manuskrypt dostarcza innowacyjnej metody rozwoju biologicznego interfejsu nerwów obwodowych, zwanego Muscle Cuff Regenerative Peripheral Nerve Interface (MC-RPNI).  Ten konstrukt chirurgiczny może wzmacniać sygnały odprowadzające motoryczne nerwu obwodowego, aby ułatwić dokładne wykrywanie intencji motorycznej i potencjalną kontrolę urządzeń egzoszkieletowych.

Regeneracyjny interfejs nerwów obwodowych mankietu mięśniowego do wzmacniania nienaruszonych sygnałów nerwów obwodowych

Ta praca opisuje system eksperymentów online, który zapewnia wizualizację eksperymentów, w tym wizualizację teorii, koncepcji i formuł, wizualizację procesu eksperymentalnego za pomocą trójwymiarowych (3D) wirtualnych stanowisk testowych oraz wizualizację systemu kontroli i monitorowania za pomocą widżetów, takich jak wykresy i kamery.

Interaktywny i zwizualizowany system eksperymentów online dla edukacji i badań inżynierskich

Uznane metody immunochemiczne do pomiaru przekaźników peptydowych in vivo polegają na mikrodializie lub masowym pobieraniu płynów w celu uzyskania próbki do analizy offline. Cierpią one jednak z powodu ograniczeń czasoprzestrzennych. Niniejszy protokół opisuje wytwarzanie i zastosowanie pojemnościowego bioczujnika immunosondy, który pokonuje ograniczenia istniejących technik.

Czasowo-rozdzielczy pomiar dynamiki neuropeptydów in vivo za pomocą pojemnościowej immunosondy w sercu świni

APTrack to wtyczka oprogramowania opracowana dla platformy Open Ephys, która umożliwia wizualizację danych w czasie rzeczywistym i śledzenie potencjałów czynnościowych neuronów w pętli elektrycznej. Z powodzeniem zastosowaliśmy to w mikroneurografii dla ludzkich nocyceptorów z włókna C oraz mysich nocyceptorów z włókna C i Aδ.

Śledzenie progów elektrycznych w czasie rzeczywistym do translacyjnych badań nad bólem

Opracowanie skutecznego systemu interfejsu mózg-maszyna-(BMI) do przywracania i rehabilitacji dwunożnej lokomocji wymaga dokładnego dekodowania intencji użytkownika.  W tym miejscu przedstawiamy nowatorski protokół eksperymentalny i technikę zbierania danych do jednoczesnego nieinwazyjnego nabywania aktywności neuronalnej, aktywności mięśni i kinematyki całego ciała podczas różnych zadań i warunków lokomocyjnych.

Jednoczesna elektroencefalografia skóry głowy (EEG), elektromiografia (EMG) i segmentalny zapis inercyjny całego ciała do multimodalnego dekodowania neuronalnego

Poznaj metody tworzenia interfejsów zamkniętej pętli do analizy sygnałów fizjologicznych w czasie rzeczywistym. Protokoły te umożliwiają wzmocnienie świadomości ciała poprzez sensoryczną augmentację sygnałów peryferyjnych.

Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

Przeglądaj więcej filmów