Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

Vilelmini Kalampratsidou; Steven Kemper; Elizabeth B. Torres

doi:10.3791/61943

Method Article

Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

DOI:

10.3791/61943

⸱

May 8th, 2021

Vilelmini Kalampratsidou¹^,² , Steven Kemper³ , Elizabeth B. Torres¹^,²^,⁴^,⁵^,⁶

¹Center for Cognitive Science, Rutgers University, ²Department of Computer Science, Rutgers University, ³Music Department, Mason Gross School of the Arts, Rutgers University, ⁴Psychology Department, Rutgers University, ⁵Sensory Motor Integration Lab, Rutgers University, ⁶Computational Biomedicine Imaging and Modelling Center, Rutgers University

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Prezentujemy protokoły i metody analiz do budowy współadaptacyjnych interfejsów, które strumieniują, parametryzują, analizują i modyfikują sygnały ludzkiego ciała i serca w zamkniętej pętli. Ta konfiguracja łączy sygnały pochodzące z obwodowego i ośrodkowego układu nerwowego osoby z zewnętrznymi bodźcami sensorycznymi, aby pomóc w śledzeniu zmian biofizycznych.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dziedziny, które rozwijają metody substytucji sensorycznej i wspomagania sensorycznego, mają na celu kontrolowanie celów zewnętrznych za pomocą sygnałów z ośrodkowego układu nerwowego (OUN). Rzadziej jednak spotykane są protokoły, które aktualizują sygnały zewnętrzne generowane samodzielnie przez interaktywne ciała w ruchu. Istnieje niedostatek metod, które łączą biorytmy ciała, serca i mózgu jednego poruszającego się czynnika, aby sterować biorytmami innego poruszającego się czynnika podczas wymiany diadycznej. Jednym z wyzwań związanych z dokonaniem takiego wyczynu była złożoność konfiguracji wykorzystującej multimodalne sygnały biologiczne o różnych jednostkach fizycznych, różnych skalach czasowych i zmiennej częstotliwości próbkowania.

W ostatnich latach, pojawienie się biosensorów do noszenia, które mogą nieinwazyjnie wykorzystywać wiele sygnałów jednocześnie, otworzyło możliwość ponownej parametryzacji i aktualizacji sygnałów peryferyjnych współpracujących diad, a także poprawiło interfejsy mózg i/lub ciało-maszyna. Tutaj prezentujemy interfejs koadaptacyjny, który aktualizuje odprowadzający sygnał somatyczno-motoryczny (w tym kinematykę i tętno) za pomocą bioczujników; Parametryzuje stochastyczne sygnały biologiczne, sonifikuje to wyjście i przekazuje je z powrotem w ponownie sparametryzowanej formie jako wejście reafferentowe Visuo/audio-kinesthetic. Ilustrujemy metody przy użyciu dwóch rodzajów interakcji, jednej z udziałem dwóch ludzi, a drugiej z udziałem człowieka i jego awatara wchodzących w interakcję w czasie zbliżonym do rzeczywistego. Omawiamy nowe metody w kontekście możliwych nowych sposobów pomiaru wpływu bodźców zewnętrznych na wewnętrzną kontrolę somatyczno-sensoryczno-motoryczną.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Naturalny kontroler zamkniętej pętli
Informacje sensomotoryczne przepływają w sposób ciągły między mózgiem a ciałem, tworząc dobrze zorganizowane, skoordynowane zachowania. Takie zachowania mogą być badane, skupiając się wyłącznie na działaniach osoby, jak w stylu monologu (Rysunek 1A) lub podczas złożonych dynamicznych działań dzielonych między dwoma agentami w diadzie, jak w stylu dialogu (Rysunek 1B). Jeszcze trzecią opcją jest ocena takich złożonych interakcji za pomocą kontrolera proxy, w kontekście interfejsu zamkniętej pętli człowiek-komputer (Rysunek 1C). Taki interfejs może śledzić fluktuacje ruchów w poszczególnych momentach wnoszone przez każdego agenta w diadzie, a także rodzaj spójności, która sama wyłania się z ich synchronicznych interakcji, pomagając sterować rytmem diady w pożądany sposób.

figure-introduction-1
Rysunek 1: Różne formy kontroli. (A) Interfejsy kontrolowane przez mózg opierają się na relacjach w pętli między mózgiem osoby a jej własnym ciałem, które może się samoregulować i wchodzić w interakcje w stylu "monologu". Ten tryb próbuje kontrolować samodzielnie generowane ruchy lub może również mieć na celu sterowanie urządzeniami zewnętrznymi. (B) Kontrola stylu "dialogu" jest wprowadzona dla dwóch tancerzy, którzy wchodzą ze sobą w interakcje, a poprzez fizyczne porywanie i zmienianie się, aby uzyskać kontrolę nad swoimi ruchami. (C) Kontrola dialogów "strony trzeciej" nad diadą jest wprowadzana za pośrednictwem interfejsu komputerowego, który wykorzystuje w tandemie sygnały biologiczne od obu tancerzy, parametryzuje je i przekazuje z powrotem do tancerzy w ponownie sparametryzowanej formie, wykorzystując dźwięk i/lub obraz jako formy przewodnictwa sensorycznego. Reparametryzacja w przedstawionych tutaj przykładach została osiągnięta za pomocą dźwiękowego lub wizualnego sprzężenia zwrotnego, wzmocnionego przez kinestetyczną moc motoryczną jednego z tancerzy w czasie rzeczywistym, aby wpłynąć na drugiego; lub obu tancerzy, zmieniających się w jakiś naprzemienny wzór. Kliknij tutaj, aby zobaczyć większą wersję tej figury.

Ogólnym celem tej metody jest pokazanie, że możliwe jest okiełznanie, parametryzacja i re-parametryzacja chwila po chwili fluktuacji w biorytmicznych aktywnościach ciał w ruchu, ponieważ dwa czynniki angażują się w wymianę diadyczną, która może obejmować dwóch ludzi lub człowieka i jego/jej samoporuszającego się awatara.

Badania nad tym, jak mózg może kontrolować działania i przewidywać ich konsekwencje sensoryczne, wygenerowały wiele linii teoretycznych dociekań w przeszłości^1,²^,³ i stworzyły różne modele kontroli neuromotorycznej4^,⁵^,⁶^,⁷^,⁸. Jednym z kierunków badań w tej multidyscyplinarnej dziedzinie było opracowanie interfejsów mózg-maszyna lub mózg-komputer w zamkniętej pętli. Tego typu konfiguracje oferują sposoby wykorzystania i dostosowania sygnałów OUN do sterowania urządzeniem zewnętrznym, takim jak ramię robota⁹^,¹⁰^,¹¹, egzoszkielet¹², kursor na ekranie komputera¹³ (między innymi). Wszystkie te zewnętrzne urządzenia mają tę wspólną cechę, że nie posiadają one własnej inteligencji. Zamiast tego mózg próbujący je kontrolować, a częścią problemu, z którym boryka się mózg, jest nauczenie się, jak przewidywać konsekwencje ruchów, które generuje w tych urządzeniach (np. ruchy kursora, ruchy ramienia robota itp.), jednocześnie generując inne ruchy wspierające, które przyczyniają się do ogólnego sensorycznego sprzężenia zwrotnego w postaci reafkonferencji kinestetycznej. Często nadrzędnym celem tych interfejsów była pomoc osobie stojącej za tym mózgiem w ominięciu urazu lub zaburzenia, w odzyskaniu transformacji swoich intencjonalnych myśli w wolicjonalnie kontrolowane działania fizyczne urządzenia zewnętrznego. Rzadziej jednak spotykane jest rozwijanie interfejsów, które próbują sterować ruchami ciał w ruchu.

Wiele oryginalnych badań nad interfejsami mózg-maszyna skupia się na kontroli ośrodkowego układu nerwowego (OUN) nad częściami ciała, które mogą wykonywać działania ukierunkowane na cel⁹^,¹⁴^,¹⁵^,¹⁶^,¹⁷. Istnieją jednak inne sytuacje, w których wykorzystanie sygnałów pochodzących z aktywności obwodowych układów nerwowych (PNS), w tym autonomicznych układów nerwowych (ANS), jest wystarczająco pouczające, aby wpływać i sterować sygnałami czynników zewnętrznych, w tym innego człowieka lub awatara, a nawet wchodzących w interakcje ludzi (jak w Rysunek 1C). W przeciwieństwie do robotycznego ramienia lub kursora, drugi agent w tym przypadku ma inteligencję napędzaną przez mózg (w przypadku awatara, który został wyposażony w ruchy osoby, lub innego agenta, w przypadku wchodzącej w interakcję ludzkiej diady).

Układ, który tworzy środowisko współadaptacyjnego interfejsu zamkniętej pętli z wymianą diadyczną, może być przydatny do interwencji w zaburzeniach układu nerwowego, w których mózg nie może wolicjonalnie kontrolować własnego ciała w ruchu według własnego uznania, mimo że nie został fizycznie zerwany most między OUN a PNS. Może się tak zdarzyć z powodu hałaśliwych sygnałów peryferyjnych, w wyniku których pętle sprzężenia zwrotnego, które pomagają mózgowi w ciągłym monitorowaniu i dostosowywaniu własnych, samodzielnie generowanych biorytmów, mogły zostać zakłócone. Ten scenariusz występuje u pacjentów z chorobą Parkinsona¹⁸^,¹⁹ lub u uczestników z zaburzeniami ze spektrum autyzmu z nadmiernym hałasem w ich wyjściu motorycznym. Rzeczywiście, w obu przypadkach określiliśmy ilościowo wysoki poziom stosunku szumu do sygnału w powracających sygnałach kinestetycznych wyprowadzony na podstawie prędkości ich zamierzonych ruchów²⁰^,²¹^,²² oraz z heart²³. W takich przypadkach próba opanowania kontroli mózgu nad sygnałami zewnętrznymi, przy jednoczesnej próbie kontrolowania ciała w ruchu, może skutkować samoreaktywnym sygnałem z re-entrant (re-afferent) strumienia informacji, który mózg otrzymuje z ciągłego (odprowadzającego) strumienia motorycznego na peryferiach. Rzeczywiście, fluktuacje z chwili na chwilę obecne w takim samodzielnie generowanym strumieniu motorycznym zawierającym ważne informacje przydatne do pomocy w przewidywaniu sensorycznych konsekwencji celowych działań²⁴. Kiedy to sprzężenie zwrotne jest zakłócane przez szum, trudno jest przewidywalnie zaktualizować sygnały sterujące i połączyć celowe plany z działaniami fizycznymi.

Gdybyśmy rozszerzyli taką pętlę sprzężenia zwrotnego na innego agenta i kontrolowali interakcje osoby i agenta za pośrednictwem trzeciej strony (Rysunek 1C), moglibyśmy mieć szansę na wzajemne sterowanie swoimi działaniami w czasie zbliżonym do rzeczywistego. Dostarczyłoby nam to dowodu na słuszność koncepcji, że musielibyśmy rozszerzyć pojęcie współadaptacyjnych interfejsów mózg-ciało lub mózg-maszyna, aby leczyć zaburzenia układu nerwowego, które skutkują słabą realizacją woli fizycznej z intencji umysłowej.

Celowe działania mają konsekwencje, które są precyzyjnie scharakteryzowane przez stochastyczne sygnatury motoryczne, które są zależne od kontekstu i umożliwiają wnioskowanie o poziomach intencji mentalnych z dużą pewnością²⁵^,²⁶. Tak więc zaletą nowej metody, która wykorzystuje wymianę diadyczną, w porównaniu z wcześniejszymi, skoncentrowanymi na osobie podejściami do mózgu maszyny lub interfejsów mózg-komputer, jest to, że możemy wzmocnić sygnały kontrolne, aby uwzględnić biorytmy ciała i serca, które zachodzą w dużej mierze poniżej świadomości osoby, na różnych poziomach intencji. W ten sposób tłumimy reaktywne zakłócenia, które świadoma kontrola ma tendencję do wywoływania w procesie adaptacji sterowania kursorem mózgu¹⁷. Możemy dodać więcej pewności do procesu predykcyjnego, parametryzując różne sygnały, do których mamy dostęp. W związku z tym istnieją wcześniejsze prace wykorzystujące sygnały mózgowe i cielesne w tandemie²⁷^,²⁸^,²⁹; Jednak prace dotyczące interakcji diadycznych wychwytywanych przez sygnały mózgowo-cielesne pozostają nieliczne. Co więcej, w zachowanej literaturze nie ma jeszcze rozróżnienia między celowymi segmentami działania wykonywanymi z pełną świadomością a ruchami przejściowymi, które spontanicznie pojawiają się jako konsekwencja celowych ruchów ³⁰^,³¹. Tutaj dokonujemy tego rozróżnienia w kontekście wymiany diadycznej i oferujemy nowe sposoby badania tej dychotomii³², podając jednocześnie przykłady choreograficznych (celowych) i improwizowanych (spontanicznych) ruchów w przestrzeni tanecznej.

Ze względu na opóźnienia w transdukcji i transmisji w procesach integracji i transformacji sensoryczno-motorycznej³³, konieczne jest posiadanie takiego kodu predykcyjnego, aby nauczyć się przewidywać nadchodzące bodźce sensoryczne z dużą pewnością. W tym celu ważne jest, aby móc scharakteryzować ewolucję stosunku szumu do sygnału pochodzącego z sygnałów w stale aktualizowanym strumieniu kinestetycznym reafferentowym. Potrzebujemy wtedy protokołów, aby systematycznie mierzyć zmiany w zmienności motorycznej. Zmienność jest nieodłącznie obecna w wahaniach z chwili na chwilę wychodzącego strumienia silnika odprowadzającego³⁴. Ponieważ sygnały te są niestacjonarne i wrażliwe na zmiany kontekstowe³⁵^,³⁶, możliwe jest parametryzowanie zmian, które zachodzą wraz ze zmianami kontekstu zadań. Aby zminimalizować zakłócenia powodowane przez sygnały reaktywne, które wyłaniają się ze świadomej kontroli OUN, i wywołać wymierne zmiany w odprowadzającym strumieniu motorycznym PNS, wprowadzamy tutaj interfejs proxy w pętli zamkniętej, który pośrednio zmienia sensoryczne sprzężenie zwrotne, rekrutując sygnał peryferyjny, który zmienia się w dużej mierze poniżej samoświadomości osoby. Następnie pokazujemy sposoby systematycznego mierzenia zmian, które następują po manipulacjach sensorycznych, używając analiz stochastycznych, które można zobrazować proces, który interfejs bliskiej pętli proxy pośrednio wywołuje w obu agentach.

Przedstawiamy kontroler zamkniętej pętli proxy
Zmienność czuciowo-motoryczna obecna w sygnałach obwodowych stanowi bogate źródło informacji, które kieruje wydajnością układu nerwowego, podczas gdy uczenie się, adaptacja i uogólnianie odbywają się w różnych kontekstach³⁷. Sygnały te częściowo pojawiają się jako produkt uboczny OUN próbującego wolicjonalnie kontrolować działania, ale nie są bezpośrednim celem kontrolera. Ponieważ osoba w naturalny sposób wchodzi w interakcje z innymi, sygnały peryferyjne mogą być wykorzystywane, standaryzowane i ponownie parametryzowane; Oznacza to, że ich zmiany mogą być parametryzowane i systematycznie zmieniane, gdy zmienia się odprowadzający strumień motoryczny, który w sposób ciągły wraca do systemu jako reafferencja kinestetyczna. W takich ustawieniach możemy wizualizować przesunięcia stochastyczne, rejestrując z dużą precyzją bogaty sygnał, który w przeciwnym razie byłby tracony na rzecz typów uśredniania wielkich wykonywanych przez bardziej tradycyjne techniki.

Aby osiągnąć charakterystykę zmian w ramach nowej platformy statystycznej, wprowadzamy tutaj protokoły, ustandaryzowane typy danych i analitykę, które pozwalają na integrację zewnętrznych bodźców sensorycznych (słuchowych i wizualnych) z wewnętrznie generowanymi sygnałami motorycznymi, podczas gdy osoba naturalnie wchodzi w interakcję z inną osobą lub z wersją awatara osoby. W tym sensie, ponieważ naszym celem jest kontrolowanie sygnałów peryferyjnych (a nie modyfikowanie sygnałów OUN w celu bezpośredniego sterowania zewnętrznym urządzeniem lub nośnikiem), tworzymy ten interfejs bliskiej pętli proxy (Rysunek 2). Naszym celem jest scharakteryzowanie zmian w sygnałach stochastycznych PNS, ponieważ wpływają one na te w OUN.

figure-introduction-2
Rysunek 2: Sterowanie zastępcze interakcji diadycznej za pomocą multimodalnego interfejsu w zamkniętej pętli. (A) Pośrednia kontrola dwóch tancerzy (salsa taneczna) za pomocą komputerowego interfejsu koadaptacyjnego vs. (B) interaktywna sztuczna diada osoba-awatar kontrolowana przez wykorzystanie sygnałów obwodowego układu nerwowego i ponowne sparametryzowanie ich jako dźwięków i/lub jako danych wizualnych. (C) Koncepcja sonifikacji wykorzystująca nowy znormalizowany typ danych (skoki mikroruchów, MMS) wywodzący się z chwila po chwili fluktuacji amplitudy/czasu sygnałów biorytmicznych przekształconych w wibracje, a następnie w dźwięk. Z fizyki zapożyczamy pojęcia kompresji i rozrzedzeń wytwarzanych przez kamerton, który wysyła falę dźwiękową jako mierzalne wibracje. Schematy fal dźwiękowych przedstawionych jako ciśnienie modulowane w czasie równolegle do stężeń skoków w celu sonifikacji. Przykład sygnału fizycznego, który ma przejść przez proponowany rurociąg od MMS do wibracji i sonifikacji. Używamy sygnału tętna jako danych wejściowych do interfejsu. Powoduje to uwzględnienie wahań amplitudy sygnału dostosowanych do początku ruchu co 4 sekundy ruchu i zbudowanie ciągów MMS reprezentujących wibracje. Ciągi kolców z MMS są znormalizowane od [0,1]. Kolor kolców, zgodnie z kolorowym paskiem, reprezentuje intensywność sygnału. Następnie sonifikujemy te wibracje za pomocą Max. Ten sonifikowany sygnał może być użyty do odtworzenia w A lub do zmiany interakcji z awatarem w B. Co więcej, w B możliwe jest osadzenie dźwięku w otoczeniu i wykorzystanie pozycji ciała do odtworzenia dźwięku w obszarze zainteresowania (RoI) lub do modulacji cech audio w funkcji odległości od RoI, prędkości lub przyspieszenia części ciała zakotwiczonej w innej części ciała podczas przechodzenia obok RoI. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Sygnały PNS mogą być wykorzystywane nieinwazyjnie za pomocą technologii czujników do noszenia, które rejestrują multimodalne strumienie odprowadzające z różnych funkcjonalnych warstw układu nerwowego, od autonomicznych do dobrowolnych³². Następnie możemy mierzyć w czasie zbliżonym do rzeczywistego zmiany w takich strumieniach i wybierać te, których zmiany poprawiają stosunek sygnału do szumu. Ten odprowadzający sygnał motoryczny może być następnie wzmocniony innymi formami wskazówek sensorycznych (np. słuchowymi, wzrokowymi itp.) Ponieważ sygnały PNS są w pełni świadome, łatwiej jest nimi manipulować bez większego oporu ³⁸. W związku z tym używamy ich, aby pomóc w kierowaniu wydajnością danej osoby w sposób, który może być mniej stresujący dla ludzkiego systemu.

Budowanie interfejsu
Przedstawiamy projekt sterowania proxy, w którym pośredniczy współadaptacyjny interfejs multimodalny w zamkniętej pętli. Ten interfejs steruje multisensorycznymi informacjami zwrotnymi w czasie rzeczywistym. Rysunek 3 przedstawia ogólny projekt.

Interfejs zamkniętej pętli charakteryzuje się 5 głównymi krokami. Pierwszym krokiem jest multimodalne gromadzenie danych z wielu urządzeń ubieralnych. Drugim krokiem jest synchronizacja strumieni multimodalnych za pośrednictwem platformy LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) opracowanej przez grupę MoBI ³⁹. Trzecim krokiem jest strumieniowe przesyłanie struktury danych LSL do interfejsu Pythona, MATLABA lub innego języka programowania w celu zintegrowania sygnałów i empirycznej parametryzacji cech fizjologicznych (istotnych dla naszej konfiguracji eksperymentalnej) w czasie rzeczywistym. Czwartym krokiem jest ponowna parametryzacja wybranych cech wyodrębnionych z ciągłego strumienia badanego sygnału cielesnego i wzmocnienie go za pomocą wybranej modalności sensorycznej (np. wzrokowej, słuchowej, kinestetycznej itp.) w celu odtworzenia go w postaci dźwięków lub obrazów, w celu wzmocnienia, zastąpienia lub wzmocnienia modalności sensorycznej, która jest problematyczna w układzie nerwowym danej osoby. Wreszcie, piątym krokiem jest ponowna ocena sygnatur stochastycznych sygnałów generowanych przez system w czasie rzeczywistym, aby wybrać, która modalność sensoryczna przenosi stochastyczne przesunięcia fluktuacji ciała do reżimu wysokiej pewności (minimalizacji szumów) w przewidywaniu sensorycznych konsekwencji zbliżającego się działania. Ta pętla jest odtwarzana w sposób ciągły przez cały czas trwania eksperymentu z naciskiem na wybrany sygnał, jednocześnie przechowując pełną wydajność do kolejnych analiz (jak pokazano na schematach Rysunek 3 i zobacz⁴⁰^,⁴¹^,⁴²^,⁴³^,⁴⁴^,⁴⁵^,⁴⁶^,⁴⁷ dla przykładu analiz a posteriori).

figure-introduction-3
Rysunek 3: Architektura koncepcji multimodalnego interfejsu zamkniętej pętli sterowanej peryferyjnie. Zbierane są różne sygnały cielesne - dane kinematyczne, aktywność serca i mózgu (krok 1). LSL służy do synchronicznej korejestracji i przesyłania strumieniowego danych pochodzących z różnych urządzeń do interfejsu (krok 2). Kod Python/MATLAB/C# służy do ciągłej parametryzacji fluktuacji sygnałów przy użyciu ustandaryzowanego typu danych i wspólnej skali, która umożliwia wybór źródła wskazówek sensorycznych najbardziej odpowiedniego do tłumienia niepewności systemu (krok 3). To ulepszenie transmisji sygnału w czasie rzeczywistym przez wybrane kanały umożliwia następnie ponowną parametryzację sygnału sensorycznego ponownego wejścia w celu zintegrowania z ciągłym strumieniem silnika i wzmocnienia utraconego lub uszkodzonego strumienia wejściowego (krok substytucji sensorycznej 4). Ciągła ponowna ocena zamyka pętlę (krok 5) i zapisujemy wszystkie dane do dodatkowych analiz w przyszłości. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Poniższe sekcje prezentują ogólny protokół budowy interfejsu zamkniętej pętli (jak opisano w Rysunek 3) i opisują reprezentatywne wyniki dwóch eksperymentalnych interfejsów (szczegółowo przedstawionych w Materiałach Uzupełniających) obejmujących fizyczną interakcję diadyczną między dwoma tancerzami (prawdziwy system zamkniętej pętli) i wirtualną interakcję diadyczną między osobą a awatarem (sztuczny system zamkniętej pętli).

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badanie zostało zatwierdzone przez Rutgers Institutional Study Board (IRB) zgodnie z deklaracją helsińską.

1. Uczestnicy

Zdefiniuj populację, która ma być badana, i zaproś ją do udziału w badaniu. Obecny interfejs może być używany w różnych populacjach. Ten protokół i przykłady użyte w tym dokumencie w celu zapewnienia dowodu słuszności koncepcji nie są ograniczone do określonej grupy.
Uzyskać pisemną świadomą zgodę zatwierdzonego przez IRB protokołu zgodnie z Deklaracją Helsińską.
Poproś uczestnika lub opiekuna o podpisanie formularza przed rozpoczęciem eksperymentu.

2. Konfiguracja interfejsu zamkniętej pętli

Konfiguracja sprzętu kinematycznego-PNS
1. Pomóż uczestnikowi starannie założyć kostium do przechwytywania ruchu oparty na diodach LED (tułów i głowa, pokazany na Rysunek 3, kroki 1 i 5) towarzyszący używanemu systemowi przechwytywania ruchu. Znaczniki LED kostiumu będą śledzone przez kamery systemu w celu oszacowania położenia poruszającego się ciała w przestrzeni.
2. Połącz bezprzewodowy kontroler LED (znany również jako sterownik LED) systemu z LED kostiumu, podłączając go do odpowiedniego portu. Włącz urządzenie i ustaw je w trybie przesyłania strumieniowego.
3. Włącz serwer systemu motion-capture.
4. Otwórz przeglądarkę internetową, odwiedź adres serwera i zaloguj się (dane logowania muszą być podane przez firmę przy zakupie produktu).
5. Skalibruj system zgodnie z potrzebami (na przykład skalibruj system, jeśli używasz urządzenia po raz pierwszy, w przeciwnym razie przejdź do kroku 2.1.17).
6. Otwórz narzędzie do kalibracji systemu przechwytywania ruchu i wybierz opcję Kreator kalibracji.
7. Upewnij się, że wpis numeru serwera w polu tekstowym w lewym górnym rogu interfejsu jest poprawny i kliknij przycisk Kontynuuj.
8. Podłącz różdżkę do pierwszego portu kontrolera LED i włącz kontroler, a następnie kliknij Kontynuuj. Po podłączeniu różdżki jej znaczniki LED zostaną włączone i pojawią się na wyświetlaczu, w kamerze view.
9. Umieść różdżkę na środku pola widzenia kamery, potwierdź, że może być nagrywana przez kamery i kliknij przycisk Kontynuuj.
10. Przesuwaj różdżkę po całej przestrzeni, trzymając ją w pionie i rysując cylindry. Upewnij się, że ruch jest rejestrowany za każdym razem przez co najmniej 3 kamery i jest rejestrowany w polu widzenia każdej kamery, co sprawia, że jest zielony. Zrób to dla wszystkich kamer.
11. Gdy pole widzenia każdej kamery zostanie w pełni zarejestrowane (jest całe zielone), kliknij przycisk Kontynuuj i poczekaj na wykonanie obliczeń kalibracyjnych.
  UWAGA: Po zakończeniu kalibracji lokalizacja kamery wraz ze znacznikami LED będzie widoczna na wyświetlaczu, ponieważ są one fizycznie umieszczone w pomieszczeniu. W tym momencie użytkownik może wznowić kalibrację, ponieważ została ona zakończona, lub kontynuować wyrównywanie systemu.
12. Trzymaj różdżkę pionowo i umieść stronę z diodą LED bliżej końca różdżki na ziemi, gdzie należy ustawić początek przestrzeni 3D (punkt (0,0,0)).
13. Trzymaj różdżkę stabilnie, aż zostanie zarejestrowana. Po zarejestrowaniu ekran na zielono. Punkt wskazujący początek układu odniesienia w przestrzeni pojawi się na interfejsie, a następna oś wyrównania, oś x, zostanie podświetlona na zielono.
14. Przesuń różdżkę, zachowując tę samą orientację (pionowo), w punkcie osi x i trzymaj ją stabilnie, aż zostanie zarejestrowana.
15. Powtórz te czynności dla osi z. Po zarejestrowaniu punktu osi z kalibracja jest zakończona.
16. Kliknij przycisk Zakończ, aby zakończyć kalibrację.
17. Otwórz interfejs systemu motion-capture i kliknij Połącz, aby rozpocząć strumieniowe przesyłanie danych ze znaczników LED. Po nawiązaniu połączenia pozycja znaczników zostanie wyświetlona w wirtualnym świecie interfejsu.
18. Stwórz wirtualny szkielet (automatycznie oszacuj pozycje kości ciała na podstawie danych o położeniu zebranych ze znaczników LED kostiumu, jak pokazano Rysunek 8 krok 2).
19. Kliknij prawym przyciskiem myszy Szkielety po prawej stronie okna i wybierz Nowy szkielet.
20. Wybierz Mapowanie znaczników, a następnie wybierz odpowiedni plik (dostarczony przez firmę na podstawie używanej wersji interfejsu). Następnie kliknij przycisk OK.
21. Poproś uczestnika, aby pozostał stabilny w pozycji T (wyprostowana postawa z rękami otwartymi po bokach).
22. Kliknij prawym przyciskiem myszy szkielet i wybierz Generuj szkielet bez treningu.
23. Jeśli wszystkie kroki zostaną wykonane poprawnie, szkielet zostanie wygenerowany. Poproś uczestnika, aby się poruszył i sprawdził, jak dokładnie wirtualny szkielet podąża za ruchami uczestnika.
24. Aby przesłać strumieniowo dane szkieletu do LSL, wybierz Ustawienia i Opcje z menu głównego.
25. Otwórz emulator Owl i kliknij "uruchom" Transmisja na żywo.
Konfiguracja aparatury EEG - CNS
1. Pomóż temu samemu uczestnikowi założyć czepek EEG.
2. Umieść elektrody żelowe (tradycyjne elektrody żelowe używane z nasadką EEG) na nasadce na głowę, a 2 lepkie elektrody (elektrody, które działają jak naklejki) z tyłu prawego ucha dla czujników CMS i DRL.
3. W razie potrzeby napełnij elektrody żelem o wysokiej przewodności, aby poprawić przewodność między czujnikiem a skórą głowy.
4. Połącz elektrod na żelowych rurkach i dwóch lepkich elektrodach.
5. Przyklej monitor bezprzewodowy z tyłu nasadki głowy i podłącz elektrod.
6. Włącz monitor.
7. Otwórz interfejs systemu EEG.
8. Wybierz opcję Użyj urządzenia Wi-Fi i kliknij opcję Skanuj w poszukiwaniu urządzeń.
9. Wybierz NE Wi-Fi i Użyj tego urządzenia.
10. Kliknij ikonę głowy, wybierz protokół, który pozwala na nagrywanie wszystkich 32 czujników, a następnie kliknij Załaduj.
11. Upewnij się, że przesyłane strumieniowo dane każdego kanału są wyświetlane w interfejsie.
Konfiguracja aparatury EKG - ANS
1. Postępuj zgodnie z dokładnymi krokami przedstawionymi w 2.2, ale użyj kanału O1, aby połączyć się z rozszerzeniem tętna (HR).
2. Użyj lepkiej elektrody, aby przykleić drugi koniec przedłużenia tuż pod lewą klatką piersiową.
Przygotowanie LSL do zsynchronizowanego zapisu i strumieniowania danych kinematycznych.
1. Uruchom aplikację LSL dla systemu motion-capture, klikając dwukrotnie odpowiednią ikonę. Zlokalizuj aplikację w następującej ścieżce folderu LSL: LSL\labstreaminglayer-master\Apps\PhaseSpace.
2. W interfejsie ustaw odpowiedni adres serwera.
3. Następnie wybierz opcję File and Load configuration (Konfiguracja pliku i obciążenia).
4. Wybierz odpowiedni plik konfiguracyjny (musi być dostarczony przez firmę na podstawie używanej wersji produktu)
5. Kliknij przycisk Połącz. Jeśli nie zostaną popełnione żadne błędy, nie zostanie wyświetlony żaden komunikat o błędzie.
Przygotuj LSL do zsynchronizowanego zapisu i przesyłania strumieniowego danych EEG i EKG. W przypadku tego sprzętu nie są wymagane żadne dodatkowe kroki.
Konfiguracja LSL
1. Uruchom aplikację LabRecorder, klikając dwukrotnie plik znajdujący się w ścieżce LSL\labstreaminglayer-master\Apps\LabRecorder folderu LSL.
2. Kliknij przycisk Aktualizuj. Jeśli wszystkie instrukcje zostaną poprawnie wykonane, wszystkie typy danych systemu motion-capture i EEG będą widoczne na panelu Nagrywaj dla strumieni.
3. Wybierz katalog i nazwę danych w panelu Lokalizacja przechowywania.
4. Kliknij przycisk Start. Zbieranie danych z systemu motion-capture i EEG rozpocznie się synchronicznie.
5. Na końcu nagrania kliknij przycisk Zatrzymaj. Jeśli nagrywanie się powiodło, dane będą znajdować się w wcześniej wybranym katalogu. Otwórz pliki, aby upewnić się, że zawierają one zapisane informacje.
Analizy i monitorowanie systemu człowieka w czasie rzeczywistym.
1. Wykonaj kod MATLAB, Python lub inny, który odbiera, przetwarza i rozszerza przesyłane strumieniowo dane. Przykładowe kody odpowiadające reprezentatywnym przykładom opisanym w poniższych sekcjach można znaleźć tutaj: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
Generowanie rozszerzonego sensorycznego sprzężenia zwrotnego
1. Wytwórz wyjście sensoryczne za pomocą odpowiedniego urządzenia (np. głośników, monitora, między innymi).

3. Procedura eksperymentalna

Postępuj zgodnie z procedurą eksperymentalną zdefiniowaną przez konfigurację, jeśli istnieje.
UWAGA: Interfejsy zamkniętej pętli zostały zaprojektowane tak, aby można je było intuicyjnie eksplorować i uczyć się. W związku z tym w większości przypadków nie są potrzebne żadne instrukcje.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Istnieją różne interfejsy, które mogą być zbudowane na podstawie protokołu przedstawionego w poprzedniej sekcji i mogą być stosowane na różnych populacjach do wielu celów. Niektóre możliwe warianty są opisane w sekcji "Warianty prezentowanego interfejsu zamkniętej pętli" materiału dodatkowego.

W tej sekcji pokazujemy reprezentatywne wyniki 2 przykładowych interfejsów zamkniętej pętli, które są zgodne z protokołem opisanym w poprzedniej sekcji. Konfiguracja, procedura eksperymentalna i uczestnicy tych badań są szczegółowo wyjaśnieni w sekcjach "Przykład 1: Audio Close-loop Interface of a Real Dyadic Interaction" i "Example 2: Audio-visual Close-loop Interface of an Artificial Dyadic Interaction" w Pliku Uzupełniającym.

Wyniki interfejsu audio w zamkniętej pętli rzeczywistej interakcji diadycznej
W badaniu "Audio close-loop interface of a real diadic interaction" (szczegółowo przedstawionym w sekcji "Example 1: Audio Close-loop Interface of a Real Dyadic Interaction" w Supplementary Material), użyliśmy interfejsu sterowania proxy, zilustrowanego w Rysunek 4, który wykorzystuje sygnał serca tancerki do zmiany tańczonej muzyki. W czasie rzeczywistym przeprowadziliśmy przetwarzanie sygnału, aby wyodrębnić czas bicia serca i przesyłaliśmy te informacje do systemu Max, aby zmienić prędkość wykonywanej piosenki. W ten sposób odtworzyliśmy piosenkę, zmienioną przez sygnały biofizyczne. Proces ten doprowadził do dalszych zmian w ruchach i sygnałach bicia serca.

figure-results-1
Rysunek 4: Interfejs zamkniętej pętli oparty na dźwięku. 1. Urządzenie do noszenia na ciele EKG-HR monitoruje aktywność tancerki salsy podczas wykonywania jej układów i przekazuje sygnały do interfejsu z częstotliwością 500 Hz. 2. Nasz interfejs analizuje dane EKG w czasie rzeczywistym. W każdej klatce filtruje surowe dane, wyodrębnia piki R kompleksu QRS; i przesyła strumieniowo detekcję piku do MAX. 3. Interfejs innej firmy łączy szybkość dźwięku z szybkością tętna. 4. Zmieniona piosenka jest odtwarzana tancerzom. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Dwie tancerki salsy weszły w interakcję z interfejsem i wykonały dobrze przećwiczony układ, inscenizując choreografię i spontanicznie improwizowany taniec. Tancerze musieli raz wykonać oryginalną wersję piosenki, a wersja łączyła oryginalne tempo piosenki ze strumieniem bicia serca w czasie rzeczywistym. Odnosimy się do późniejszej wersji, która została wykonana dwukrotnie jako zmiana 1 i 2 utworu.

W analizie przedstawionej poniżej, użyliśmy nagranego sygnału serca i dźwięku. Piki dwóch sygnałów wyodrębnionych w celu oszacowania ciągów MMS (patrz sekcja "Skoki mikroruchów" w pliku dodatkowym), które zachowują fluktuacje o wysokiej częstotliwości, jak pokazano na rysunku Rysunek 5.

figure-results-2
Rysunek 5: Oszacowanie liczby pociągów MMS w systemie zamkniętej pętli audio. Szeregi czasowe EKG służą do wyodrębnienia pików RR i odchyleń amplitudy od ogólnej (szacowanej) średniej amplitudy uzyskanych pików R (dane przesunięte średnio). Następnie normalizacja za pomocą równania 1 (patrz Plik uzupełniający, sekcja "Skoki mikroruchów") jest używana do uzyskania ciągów MMS. Podobne metody są używane do obsługi przebiegów dźwiękowych i odtwarzania utworu zgodnie z wydajnością danej osoby w czasie rzeczywistym. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Pociągi MMS zostały dobrze scharakteryzowane jako ciągły proces losowy, dobrze reprezentowany przez ciągłą rodzinę rozkładów prawdopodobieństwa Gamma. MLE uznało tę ciągłą rodzinę rozkładów za najlepiej pasującą do obu zestawów danych (patrz wyjaśnienie w sekcji "Rozkład gamma" materiału uzupełniającego i rysunku uzupełniającego 2). Ten rodzaj losowego procesu został wykorzystany do śledzenia zmian w stochastycznych sygnaturach biorytmów generowanych przez sygnały biologiczne z ludzkiego układu nerwowego.

Z empirycznie oszacowanych parametrów kształtu i skali Gamma otrzymujemy momenty Gamma, średnią, wariancję, skośność i kurtozę (zobacz szczegóły analizy w sekcji "Analiza stochastyczna" materiału uzupełniającego). Następnie nanosimy na wykres szacowany plik PDF. Rysunek 6 skupia się tylko na sygnale serca i muzyce, ale metody te mają zastosowanie podobnie do innych biorytmów generowanych przez sygnały kinematyczne przedstawione w ⁴¹.

PDF z sygnałem serca i muzyki są pokazane w Rysunek 6A-B, gdzie podkreślamy różnice między zestawami danych dwóch stanów, celowej rutyny i spontanicznej improwizacji. Dla każdego warunku podkreślamy przesunięcia w sygnaturach stochastycznych wywołane zmianami czasowymi utworu. Początkowo tańczą do oryginalnej piosenki. Następnie, gdy bicie serca zmienia rytm w czasie rzeczywistym, sonifikowane fluktuacje tego sygnału prowadzą tancerzy do podążania za czasowymi zmianami piosenki.

Są one oznaczone jako zmiana 1 i zmiana 2. Te systematyczne przesunięcia są opisane przez parametry Gamma. Następnie, korzystając z empirycznie oszacowanych parametrów kształtu i skali, uzyskaliśmy cztery odpowiadające im momenty Gamma dla bicia serca i pieśni. Są one wyświetlane w Rysunek 6C dla sygnałów serca (na górze) i piosenki (na dole).

figure-results-3
Rysunek 6: Wywoływanie systematycznych zmian w empirycznie oszacowanych PDF-ach Gamma i ich stochastycznych trajektoriach Czterech Momentów Gamma z występu pod kontrolą proxy przy użyciu Systemu Zamkniętej Pętli Audio. (A) Pliki PDF z pociągów MMS każdego typu danych (EKG na górze i plik audio na dole) dla każdego z kontekstów tanecznych, spontanicznej improwizacji i celowego układu. Legendy to Imp Or (improwizacja oryginalna) oznaczająca stan wyjściowy na początku sesji; Imp Alt1 oznaczający improwizację podczas zmiany 1; Imp Alt2 oznaczający improwizację podczas przemiany 2. (B) Podobnie, dla rozmyślnie przećwiczonej rutyny, Rout Or oznacza rutynową oryginalną; Trasa Alt1 oznacza rutynową zmianę 1; Trasa Alt2 oznacza rutynową zmianę 2. Panele w (C) pokazują systematyczne zmiany w momentach gamma, ponieważ zarówno sygnały dźwiękowe z piosenek, jak i te z serca zmieniają się w tandemie i w czasie rzeczywistym. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Przesunięcie sygnatur można docenić w tych panelach (wykresy PDF i momentów Gamma), pokazując w ten sposób, że przedstawione metody mogą uchwycić adaptację serca do zmian w piosence, które kontroler proxy wytwarza w czasie rzeczywistym. Gdy piosenki zmieniają rytm, zmieniają się również sygnatury stochastyczne serca, a przejście sygnatur stochastycznych jest spójne w kierunku (co jest również odkryciem w ⁴¹, gdzie badaliśmy parametry kształtu i skali). Podobnie, gdy zmieniają się podpisy serca, zmieniają się również podpisy piosenki. To odbicie lustrzane - jeden wpływa na drugi, a gdy jeden konsekwentnie przesuwa się w kierunku w innym kierunku - podąża za naturą bliskiej pętli tego interfejsu kontrolera proxy. Wyniki podkreślają użyteczność tego układu i dostarczają dowodu na to, że możemy systematycznie zmieniać autonomiczne biorytmy danej osoby w kontekście wymiany diadycznej.

Równoległe przesunięcia w sygnaturach stochastycznych zarówno piosenek, jak i sygnałów cielesnych, pokazują, że koadaptacja całego systemu (uczestnika i interfejsu) jest możliwa przy użyciu sygnałów peryferyjnych. Proces ten płynnie zachodzi pod świadomością osoby i oferuje dowód koncepcji dla pomysłów na zdalne i systematyczne przesuwanie sygnałów biologicznych osoby zgodnie z zewnętrznym sensorycznym sprzężeniem zwrotnym wyboru. Podsumowując, możemy kierować przesuwaniem sygnatur stochastycznych w tym ciągłym losowym procesie. Metody te pozwalają na uchwycenie zmian i ich tempa wzdłuż trajektorii stochastycznych, które udało nam się zbudować w czasie zbliżonym do rzeczywistego.

Aby ustalić statystyczną istotność zmian, używamy nieparametrycznej ANOVA, testu Kruskala-Wallisa, a następnie wielokrotnych porównań post hoc. Porównujemy sygnatury MMS danych dotyczących serca wśród sześciu schorzeń. Rysunek 7 pokazuje wielokrotne porównanie danych MMS dotyczących serca i odpowiadającej im tabeli Kruskala-Wallisa. Wykres wielokrotnych porównań wskazuje, że istnieje znacząca różnica między warunkami wyjściowymi oryginalnego tańca układowego (Rout. Or) oraz warunek wyjściowy oryginalnego tańca improwizowanego (Imp. Or). Należy również zauważyć, że pierwsze zmiany, Rout. Alt1 i Imp. Alt1 przesuwają się do rozkładów o porównywalnych średnich i to samo dotyczy drugich zmian, podczas gdy wariancja, skośność i kurtoza przesuwają się w przestrzeni momentów gamma (Rysunek 6C).

figure-results-4
Rysunek 7: Wyniki z nieparametrycznych testów post hoc Kruskala-Wallisa i wielokrotnych porównań. Wyniki nieparametrycznej ANOVA (test Kruskala-Wallisa) zastosowano do MMS danych dotyczących serca w celu porównania sześciu stanów. Wykres pokazuje wielokrotne porównanie 6 przypadków, wskazując na istotną różnicę między "Pogromem. Lub" i "Chochlik. Lub" warunki. Tabela przedstawia wyniki testu Kruskala Wallisa. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Wyniki audiowizualnego interfejsu zamkniętej pętli sztucznej interakcji diadycznej
W badaniu "Audiowizualny interfejs zamkniętej pętli sztucznej interakcji diadycznej" (szczegółowo przedstawionym w sekcji "Przykład 2: Audiowizualny interfejs zamkniętej pętli sztucznej interakcji diadycznej" w materiałach uzupełniających), 6 uczestników wchodziło w interakcję z interfejsem, zilustrowanym na rysunkach 8, który tworzy ich lustrzany awatar renderujący własne ruchy osoby. Interfejs osadza dźwięki zależne od pozycji w obszarze otaczającym osobę podczas interakcji. Uczestnicy byli naiwni co do celu badania. Musieli chodzić po pokoju i zastanawiać się, jak kontrolować dźwięk, który niespodziewanie pojawiał się, gdy przechodzili obok RoI (obszarów zainteresowania) zdefiniowanych przez kontroler proxy.

figure-results-5
Rysunek 8: Wizualna reprezentacja interfejsu audiowizualnego. 1. System przechwytywania ruchu jest wykorzystywany do pozyskiwania peryferyjnych danych kinematycznych. 2. System zbiera pozycje czujników (w naszym przykładzie diod LED) w celu oszacowania pozycji szkieletu na kościach. 3. Pozycje kości są następnie wyrównywane w naszym interfejsie opracowanym przez MATLAB przy użyciu naszego własnego modelu kinematyki do przodu. 4. Wyrównane pozycje są używane do mapowania informacji o szkielecie na nasz renderowany awatar 3D. 5. Mapowanie przesyłanych strumieniowo danych do awatara odbywa się w czasie rzeczywistym, co stwarza wrażenie patrzenia na lustrzany obraz osoby. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 9 pokazuje wyniki interfejsu audiowizualnego warunku 1 (więcej warunków znajdziesz w pliku uzupełniającym), gdzie lokalizacja biodra aktywuje piosenkę, gdy poprzednia znajduje się w RoI. Rysunek ten przedstawia sygnatury PDF i Gamma (patrz sekcja "Typy danych i analizy" materiałów uzupełniających) danych dotyczących prędkości bioder 6 różnych uczestników kontroli (od C1 do C6), gdy znajdowali się wewnątrz i na zewnątrz woluminu RoI. Przedstawione tutaj wyniki podkreślają spersonalizowane różnice w tempie adaptacji poszczególnych uczestników. Wskazują na to przesunięcia sygnatur stochastycznych oraz indywidualne wyniki pojawiające się wewnątrz lub na zewnątrz wolumenu RoI. Na przykład możemy zauważyć, że dopasowanie PDF do histogramów częstotliwości MMS wyprowadzonych z amplitudy prędkości bioder C3 i C4, było bardziej symetryczne (wyższa wartość kształtu) i mniej hałaśliwe (niższa wartość skali), gdy znajdowało się wewnątrz głośności. W przeciwieństwie do tego, pozostali uczestnicy wykazują odwrotny wzorzec.

Empirycznie odkryliśmy, że podpisy w prawym dolnym rogu to podpisy sportowców i tancerzy, wykonujących ruchy o wysokich umiejętnościach. Sygnatury znajdują się w lewym górnym rogu, pochodzą ze zbiorów danych układów nerwowych z patologiami, takimi jak te z diagnozą zaburzeń ze spektrum autyzmu ADHD²²^,³² oraz te należące do uczestnika bez afektu²¹. W kontekście przesuwających się wzorców wzdłuż trajektorii stochastycznej uzyskujemy mediany wartości kształtu i skali, aby zdefiniować prawy dolny kwadrant (RLQ) i lewy górny kwadrant (LUQ), w których śledzimy ogólną jakość stosunku sygnału do szumu, gromadząc te informacje w czasie. Uwzględnia to aktualizację wartości mediany, dynamicznie definiując te ćwiartki, gdy osoba dostosowuje swoje wewnętrznie generowane biorytmy do tych kontrolowanych zewnętrznie przez proxy, ale zależnych od wewnętrznych biorytmów tej osoby.

figure-results-6
Rysunek 9: Empirycznie oszacowane PDF-y gamma i sygnatury gamma biorytmów ciała podczas interakcji przy użyciu Audiowizualnego Systemu Zamkniętej Pętli. Korzystając z ciągów MMS uzyskanych na podstawie prędkości bioder każdego uczestnika (C1 - C6), użyliśmy MLE, aby dopasować najlepszy plik PDF z 95% przedziałami ufności. Każdy uczestnik jest reprezentowany przez inny symbol, podczas gdy warunki są reprezentowane przez różne kolory. Rodzina plików PDF Gamma, gdy znajdują się w woluminie (wejściu), różni się od rodziny znajdujących się poza woluminem (wyjściowym). Oprócz empirycznie oszacowanych plików PDF Gamma, szacowane parametry kształtu i skali Gamma są również wyświetlane dla każdej osoby na płaszczyźnie parametrów Gamma. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Tabela 1 pokazuje wartości p uzyskane z surowych danych (prędkość) i MMS, porównując wynik w różnych warunkach, gdy część ciała osoby znajduje się wewnątrz RoI vs. poza RoI. Wyniki przedstawione w tabeli zostały oszacowane za pomocą nieparametrycznego testu Kruskala-Wallisa ANOVA.

Test Kruskala Wallisa	Dane dotyczące prędkości	Mms
Klasa C1	0	1.34 e-05
Klasa C2	0	4.72E-15
Zobacz materiał C3	0	8.59E-34
Zobacz materiał C4	2.70E-21	3.16E-04
Zobacz materiał C5	0	1.11E-09
Zobacz materiał C6	0	5.95E-05

Tabela 1: Dane wyjściowe nieparametrycznego testu ANOAVA-Kruskal-Wallis. Wyniki testu Kruskala Wallisa porównujące nagrania wnętrza i zewnątrz Rol dla MMS oraz dane dotyczące prędkości. Test przeprowadzamy na danych każdego uczestnika (C1 - C6) z osobna.

Pliki uzupełniające. Kliknij tutaj, aby pobrać te pliki.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W artykule przedstawiono koncepcję sterowania proxy za pomocą współadaptacyjnych, interaktywnych, multimodalnych interfejsów w zamkniętej pętli, które wykorzystywają, parametryzują i reparametryzują sygnał peryferyjny osoby w kontekście wymiany diadycznej. Naszym celem było scharakteryzowanie stochastycznych zmian w fluktuacjach biorytmów danej osoby i parametryzacja tej zmiany. Ponadto naszym celem było systematyczne kierowanie stochastycznymi sygnaturami ich biorytmów w kierunku docelowych poziomów reżimów szumu do sygnału w czasie zbliżonym do rzeczywistego.

Przedstawiliśmy ogólny protokół budowy interfejsu zamkniętej pętli, który spełniał 5 podstawowych elementów: 1) gromadzenie wielu danych cielesnych pochodzących z OUN, PNS i ANS przy użyciu różnych instrumentów i technologii; 2) zsynchronizowane nagrywanie i przesyłanie strumieniowe danych; 3) analizę wybranych sygnałów w czasie rzeczywistym; 4) tworzenie augmentacji sensorycznej (dźwiękowej, wizualnej itp.) za pomocą cech fizjologicznych wyodrębnionych dla sygnałów cielesnych; oraz 5) ciągłe śledzenie ludzkiego systemu i równoległe wzmacnianie sensoryczne zamyka pętlę interakcji między człowiekiem a systemem.

Ogólny protokół został zastosowany na dwóch przykładowych interfejsach. Pierwsza z nich bada diadyczną wymianę między dwoma ludzkimi agentami, a druga między człowiekiem a agentem awatarem. Te dwa rodzaje diad zostały wykorzystane do udowodnienia słuszności koncepcji, że sygnał peryferyjny może być systematycznie zmieniany w czasie rzeczywistym i że te zmiany stochastyczne można precyzyjnie śledzić. Jedna diada składała się z dwóch uczestników wchodzących w fizyczną interakcję, podczas gdy druga polegała na interakcji uczestnika z wirtualnym agentem w postaci renderowanego w 3D awatara wyposażonego w ruchy osoby i zmienione warianty tych ruchów w czasie rzeczywistym. Takie zmiany zostały wywołane przez interaktywne manipulacje napędzane przez słuchowe i/lub wzrokowe bodźce sensoryczne w otoczeniu rozszerzonych doznań. Zarówno w rzeczywistej, jak i sztucznej diadzie wykazaliśmy możliwość zdalnego przesuwania sygnałów obwodowych, w tym biorytmów ciała i autonomicznych sygnałów z bicia serca.

Przedstawiliśmy nowe protokoły eksperymentalne do badania takich zmian w eferentnej zmienności motorycznej, gdy strumienie sygnałów kinestetycznych są manipulowane i ponownie parametryzowane w czasie zbliżonym do rzeczywistego. Ta informacja o ponownym wejściu (reaferencja kinestetyczna⁴⁸) okazała się cenna dla zmiany wydajności systemów w czasie rzeczywistym. Niosą one ze sobą informacje o konsekwencjach sensorycznych działania, które możemy precyzyjnie śledzić za pomocą metod, które tutaj przedstawiliśmy.

Pokazaliśmy również typy danych i metody statystyczne, które można ustandaryzować w naszych analizach. Dostarczyliśmy wiele narzędzi do wizualizacji, aby zademonstrować zmiany w czynnościach fizjologicznych w czasie rzeczywistym, które naturalnie ewoluują w różnych kontekstach, z empirycznie kierowanym wnioskowaniem statystycznym, które nadaje się do interpretacji sygnałów samodzielnie generowanych i kontrolowanych przez układ nerwowy. Co ważne, zmiany, które zostały wywołane przez kontroler proxy, były płynne, a jednocześnie wymierne, co potwierdza pogląd, że aktywność peryferyjna jest przydatna na więcej niż jeden sposób. Chociaż możemy wdrożyć te metody za pomocą dostępnych na rynku bezprzewodowych czujników do noszenia, możemy systematycznie indukować zmiany w wydajności, które można uchwycić w rytmach biofizycznych bez obciążania systemu. Ważne jest, aby przełożyć nasze metody na arenę kliniczną i wykorzystać je jako poligon doświadczalny do opracowania nowych modeli interwencji (np. jak w przypadku wykorzystania rzeczywistości rozszerzonej w autyzmie ⁴⁹). W takich modelach będziemy w stanie śledzić i określać ilościowo sensoryczne konsekwencje naturalistycznych działań danej osoby, ponieważ bodźce sensoryczne są precyzyjnie manipulowane, a dane wyjściowe są parametryzowane i ponownie parametryzowane w czasie zbliżonym do rzeczywistego.

Oferujemy ten protokół jako ogólny model do wykorzystania różnych czynności biorytmicznych generowanych samodzielnie przez ludzki układ nerwowy i wykorzystywanych nieinwazyjnie za pomocą bezprzewodowych urządzeń do noszenia. Chociaż w niniejszej pracy użyliśmy zestawu biosensorów do rejestracji EEG, EKG i kinematyki, metody rejestrowania, synchronizacji i analizy sygnałów są ogólne. Dzięki temu interfejs może zawierać inne technologie. Co więcej, protokoły mogą być modyfikowane w celu uwzględnienia innych naturalistycznych działań i kontekstów, które rozciągają się na dziedzinę medycyny. Ponieważ dążyliśmy do naturalnych zachowań, opracowana przez nas konfiguracja może być używana w zabawnych sytuacjach (np. z udziałem dzieci i rodziców).

Wiele zaburzeń układu nerwowego mogłoby skorzystać na takim zabawnym podejściu do problemu kontroli. W obu typach interakcji diadycznych, które tutaj pokazaliśmy, uczestnicy mogli dążyć do świadomego kontrolowania muzyki, podczas gdy kontroler proxy wykorzystuje wyjście peryferyjne do nieświadomego manipulowania i systematycznego przesuwania jej sygnatur. Ponieważ naukowcy spędzili lata na empirycznym mapowaniu płaszczyzny parametrów Gamma i odpowiadających im momentów Gamma w przestrzeni w różnych grupach wiekowych (od noworodków do 78 roku życia)19,50,51,52,53 i stanach (autyzm, choroba Parkinsona, udar, stan śpiączki i deaferencja), dla różnych poziomów kontroli (dobrowolny, automatyczny, spontaniczny, mimowolny i autonomiczny)²⁵^,^47,54, mają empirycznie zmierzone kryteria wskazujące, gdzie w przestrzeniach Gamma powinny znajdować się sygnatury stochastyczne dla dobrej kontroli predykcyjnej. Wcześniejsze badania wykazały również, że wiemy, gdzie znajdują się parametry w obecności spontanicznego przypadkowego szumu pochodzącego z samodzielnie generowanych rytmów ludzkiego układu nerwowego 7,19,55,56. W ramach schematu optymalizacyjnego minimalizującego biorytmiczny szum motoryczny, możemy zatem dążyć do kierowania sygnałami w taki sposób, aby osiągnąć docelowe obszary przestrzeni Gamma, w których kształt i sygnatury dyspersyjne rodziny PDF każdej osoby sprzyjają wysokiemu stosunkowi sygnału do szumu i wartościom predykcyjnym. W tym sensie nie tracimy danych brutto i raczej efektywnie je wykorzystujemy, aby skierować system w kierunku pożądanego poziomu hałasu w danej sytuacji.

Interakcje diadyczne są wszechobecne w warunkach klinicznych lub szkoleniowych. Mogą one wystąpić między trenerem a uczestnikiem szkolenia; lekarza i pacjenta; terapeuta kliniczny i pacjent; Mogą one również występować w warunkach badawczych, które obejmują naukę translacyjną i angażują badacza i uczestnika. Jedną z zalet obecnych protokołów jest to, że chociaż są one przeznaczone dla diad, są również spersonalizowane. W związku z tym możliwe jest dostosowanie interakcji współadaptacyjnych do najlepszych możliwości i predyspozycji danej osoby, zgodnie z jej zakresami ruchu, zakresami czasu przetwarzania sensorycznego i przy jednoczesnym uwzględnieniu zakresów amplitudy sygnałów w całej hierarchii funkcjonalnej układu nerwowego danej osoby. W miarę jak trajektoria stochastyczna wyłania się i ewoluuje w czasie, możliwe jest również ustalenie współczynników prawdopodobieństwa sygnatur i wykorzystanie tych szeregów czasowych do prognozowania kilku nadchodzących wydarzeń wraz z możliwymi konsekwencjami sensorycznymi.

Wreszcie, interfejsy zamkniętej pętli mogą być stosowane nawet w świecie sztuki. Mogą one zaoferować artystom performatywnym nowe możliwości generowania sterowanych obliczeniowo form tańca współczesnego, tańców technologicznych oraz nowych form wizualizacji i sonifikacji ekspresji cielesnej. W takich kontekstach ciało tancerza może zostać przekształcone w instrument sterowany sensorycznie, aby elastycznie eksplorować różne modalności sensoryczne poprzez sonifikację i wizualizację samodzielnie generowanych działań biorytmicznych, jak wykazano we wcześniejszych pracach w tej dziedzinie 40,41,43,46. Taki występ mógłby wzmocnić rolę tancerza na scenie i pozwolić publiczności doświadczyć subtelnych sygnałów cielesnych poza widzialnym ruchem.

Kilka aspektów tej technologii wymaga dalszego rozwoju i testów, aby zoptymalizować ich wykorzystanie w czasie rzeczywistym. Synchroniczne przesyłanie strumieniowe wymaga szybkiej mocy procesora/karty graficznej i pojemności pamięci, aby naprawdę wykorzystać koncepcję zysku czasu i bycia o krok do przodu w przewidywaniu sensorycznych konsekwencji trwających poleceń motorycznych. Częstotliwość próbkowania sprzętu powinna być porównywalna, aby móc naprawdę wyrównać sygnały, przeprowadzić właściwą fuzję sensoryczną i zbadać przekazywanie informacji przez różne kanały układu nerwowego. To tylko niektóre z ograniczeń obecnych w tym nowym interfejsie.

Ogólnie rzecz biorąc, praca ta oferuje nową koncepcję poprawy kontroli naszego układu cielesnego przy jednoczesnym zastosowaniu środków podprogowych, które mimo to pozwalają na systematyczne, ustandaryzowane pomiary wyników zmian stochastycznych.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Metody objęte zakresem:

•US20190333629A1 "Metody diagnostyki i leczenia zaburzeń neurologicznych"

•EP3229684B1 "Procédés de mesure d'un mouvement physiologiquement pertinent"

•US20190261909A1 "System i metoda określania ilości woli u badanego"

•US202110989122 "System i metoda pomiaru ruchu istotnego z fizjologicznego punktu widzenia"

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dziękujemy studentom, którzy poświęcili swój czas, aby pomóc w przeprowadzeniu tych badań; Kan Anant i PhaseSpace Inc. za dostarczenie nam zdjęć i filmów niezbędnych do opisania konfiguracji; oraz Neuroelectronics za umożliwienie nam korzystania z materiałów z kanału www.youtube.com/c/neuroelectrics/ i ich instrukcji. Na koniec dziękujemy prof. Thomasowi Papathomasowi z Rutgers Center for Cognitive Science za profesjonalne wsparcie na etapie składania tego manuskryptu, Nancy Lurie Marks Family Foundation Career Development Award dla EBT oraz Gerondelis Foundation Award dla VK.

WKŁADY
Konceptualizacja, VK i EBT; metodyka, EBT; oprogramowanie, VK, EBT, SK.; walidacja, VK i SK; analiza formalna, VK; śledztwa, VK, EBT, SK; zasobów ludzkich, EBT; selekcja danych, VK; pisanie – przygotowanie oryginalnego projektu, EBT; pisanie – recenzowanie i redagowanie, VK, SK.; wizualizacja, VK i EBT.; nadzór, EBT.; administracja projektowa, EBT.; pozyskanie finansowania, EBT Wszyscy autorzy zapoznali się z opublikowaną wersją manuskryptu i wyrazili na nią zgodę.

Materials

List of materials used in this article
Name	Company	Comments
Enobio 32	Enobio	Sprzęt do zbierania danych EEG
Enobio Rozszerzenie EKG	Enobio	Sprzęt do zbierania danych EKG
LabStreamingLayer (LSL)		Synchronizacja i przesyłanie strumieniowe danych
Matlab	Mathwork	Analiza i przetwarzanie danych
Max	Cycling'74	Sonification informacji o ciele
NIC.2	Enobio	Oprogramowanie do zbierania danych EEG i EKG
PhaseSpace Impulse	PhaseSpace	Sprzęt do zbierania danych kinematycznych (pozycja, prędkość, przyspieszenie)
Python3	Python	Analiza i przetwarzanie danych
Recap	PhaseSpace	Oprogramowanie do zbierania danych kinematycznych (pozycja, prędkość, przyspieszenie)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).">Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).">Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).">Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).">Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).">Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).">Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).">Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).">Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42(2003).">Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42(2003).
Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).">Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).">Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).">Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).">Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).">Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).">Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).">Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).">Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757(2013).">Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757(2013).
Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).">Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8(2016).">Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8(2016).
Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).">Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32(2013).">Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32(2013).
MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).">Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).">Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).">Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).">Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).">Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).">Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121(2014).">Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121(2014).
IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).">Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).">Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).">Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
Neuroscience. Sixth edition. , Oxford University Press. (2018).">Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).">Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50(2013).">Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50(2013).
Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).">Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
Progress in Motor Control. , Springer. 229-254 (2016).">Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).">Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444(2014).">Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444(2014).
Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).">Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).">Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).">Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).">Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).">Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).">Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).">Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9(2016).">Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9(2016).
Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).">Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).">Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).">Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8(2016).">Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8(2016).
How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).">Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22(2016).">Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22(2016).
Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).">Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).">Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422(2016).">Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422(2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli

In This Article

Summary

Abstract

Introduction

Protocol

Results

Discussion

Disclosures

Acknowledgements

Materials

References

Reprints and Permissions

Tags

Related Articles