Prezentujemy protokoły i metody analiz do budowy współadaptacyjnych interfejsów, które strumieniują, parametryzują, analizują i modyfikują sygnały ludzkiego ciała i serca w zamkniętej pętli. Ta konfiguracja łączy sygnały pochodzące z obwodowego i ośrodkowego układu nerwowego osoby z zewnętrznymi bodźcami sensorycznymi, aby pomóc w śledzeniu zmian biofizycznych.
Artykuł metodologiczny
Sterowanie proxy w czasie rzeczywistym ponownie sparametryzowanych sygnałów peryferyjnych za pomocą interfejsu zamkniętej pętli
W tym artykule
Podsumowanie
Streszczenie
Dziedziny, które rozwijają metody substytucji sensorycznej i wspomagania sensorycznego, mają na celu kontrolowanie celów zewnętrznych za pomocą sygnałów z ośrodkowego układu nerwowego (OUN). Rzadziej jednak spotykane są protokoły, które aktualizują sygnały zewnętrzne generowane samodzielnie przez interaktywne ciała w ruchu. Istnieje niedostatek metod, które łączą biorytmy ciała, serca i mózgu jednego poruszającego się czynnika, aby sterować biorytmami innego poruszającego się czynnika podczas wymiany diadycznej. Jednym z wyzwań związanych z dokonaniem takiego wyczynu była złożoność konfiguracji wykorzystującej multimodalne sygnały biologiczne o różnych jednostkach fizycznych, różnych skalach czasowych i zmiennej częstotliwości próbkowania.
W ostatnich latach, pojawienie się biosensorów do noszenia, które mogą nieinwazyjnie wykorzystywać wiele sygnałów jednocześnie, otworzyło możliwość ponownej parametryzacji i aktualizacji sygnałów peryferyjnych współpracujących diad, a także poprawiło interfejsy mózg i/lub ciało-maszyna. Tutaj prezentujemy interfejs koadaptacyjny, który aktualizuje odprowadzający sygnał somatyczno-motoryczny (w tym kinematykę i tętno) za pomocą bioczujników; Parametryzuje stochastyczne sygnały biologiczne, sonifikuje to wyjście i przekazuje je z powrotem w ponownie sparametryzowanej formie jako wejście reafferentowe Visuo/audio-kinesthetic. Ilustrujemy metody przy użyciu dwóch rodzajów interakcji, jednej z udziałem dwóch ludzi, a drugiej z udziałem człowieka i jego awatara wchodzących w interakcję w czasie zbliżonym do rzeczywistego. Omawiamy nowe metody w kontekście możliwych nowych sposobów pomiaru wpływu bodźców zewnętrznych na wewnętrzną kontrolę somatyczno-sensoryczno-motoryczną.
Wprowadzenie
Naturalny kontroler w pętli zamkniętej
Informacje sensoryczno-motoryczne przepływają nieustannie między mózgiem a ciałem, aby wytworzyć dobrze zorganizowane, skoordynowane zachowania. Takie zachowania można badać, skupiając się wyłącznie na działaniach danej osoby, podobnie jak w stylu monologu (Rysunek 1A), lub podczas złożonych działań dynamicznych dzielonych przez dwóch agentów w diadzie, podobnie jak w stylu dialogu (Rysunek 1B). Trzecią opcją jest ocena takich złożonych interakcji poprzez kontroler zastępczy w kontekście interfejsu człowiek-komputer w pętli zamkniętej (Rysunek 1C). Taki interfejs może śledzić chwilowe wahania ruchów generowane przez każdego agenta w diadzie oraz rodzaj spójności, która samoistnie wyłania się z ich synchronicznych interakcji, pomagając sterować rytmami diady w pożądany sposób.
Rysunek 1: Różne formy kontroli. (A) Interfejsy sterowane własnym mózgiem opierają się na relacjach pętli zamkniętej między mózgiem osoby a jej własnym ciałem, co pozwala na samoregulację i samą interakcję w stylu „monologu”. Tryb ten służy do próby kontroli ruchów generowanych samodzielnie lub może mieć na celu sterowanie urządzeniami zewnętrznymi. (B) Sterowanie w stylu „dialogu” zostało wprowadzone dla dwóch tancerzy, którzy wchodzą ze sobą w interakcje i poprzez fizyczne dostrojenie oraz naprzemienność działań dążą do uzyskania kontroli nad ruchami drugiej osoby. (C) Sterowanie dialogowe diady przez „stronę trzecią” jest realizowane za pośrednictwem interfejsu komputerowego, który jednocześnie wykorzystuje biosygnały obu tancerzy, parametryzuje je i przesyła z powrotem do tancerzy w formie reparametryzowanej, wykorzystując dźwięk i/lub obraz jako formy przewodnictwa sensorycznego. Reparametryzacja w przedstawionych tutaj przykładach została osiągnięta za pomocą sprzężenia zwrotnego dźwiękowego lub wizualnego, wzmocnionego w czasie rzeczywistym kinestetycznym wyjściem ruchowym jednego z tancerzy w celu wywarcia wpływu na drugiego; lub obu tancerzy, działających naprzemiennie w określonym schemacie. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Ogólnym celem tej metody jest wykazanie, że możliwe jest wykorzystanie, parametryzacja i reparametryzacja chwilowych fluktuacji w aktywnościach biorytmicznych ciał w ruchu, gdy dwaj agenci uczestniczą w wymianie dyadycznej, która może obejmować dwie osoby lub osobę i jej samoruchomy awatar.
Badania nad tym, w jaki sposób mózg może kontrolować działania i przewidywać ich sensoryczne konsekwencje, doprowadziły w przeszłości do wielu nurtów zapytań teoretycznych1,2,3 i pozwoliły opracować różne modele kontroli neuromotorycznej4,5,6,7,8. Jeden z kierunków badań w tej multidyscyplinarnej dziedzinie obejmował rozwój interfejsów mózg-maszyna lub mózg-komputer o zamkniętej pętli sprzężenia zwrotnego. Tego typu układy oferują sposoby wykorzystania i adaptacji sygnałów z OUN do sterowania zewnętrznym urządzeniem, takim jak ramię robotyczne9,10,11, egzoszkielet12 czy kursor na ekranie komputera13 (między innymi). Wszystkie te urządzenia zewnętrzne łączy cecha, że nie posiadają one własnej inteligencji. Posiada ją natomiast mózg próbujący nimi sterować, a częścią problemu, przed którym staje mózg, jest nauka przewidywania konsekwencji ruchów generowanych w tych urządzeniach (np. ruchów kursora, ruchów ramienia robotycznego itp.) przy jednoczesnym generowaniu innych ruchów wspomagających, które przyczyniają się do ogólnego sensoryczno-motorycznego sprzężenia zwrotnego w postaci reafferencji kinestetycznej. Często nadrzędnym celem tych interfejsów było pomoc osobie sterującej w obejściu skutków urazu lub zaburzenia, aby odzyskała ona zdolność przekształcania intencjonalnych myśli w kontrolowane wolicjonalnie akty fizyczne zewnętrznego urządzenia. Rzadziej jednak rozwijano interfejsy, które próbują sterować ruchami ciał będących w ruchu.
Znaczna część pierwotnych badań nad interfejsami mózg-maszyna koncentrowała się na kontroli ośrodkowego układu nerwowego (OUN) nad częściami ciała zdolnymi do wykonywania działań ukierunkowanych na cel9,14,15,16,17. Istnieją jednak inne sytuacje, w których wykorzystanie sygnałów pochodzących z aktywności obwodowego układu nerwowego (OUN), w tym autonomicznego układu nerwowego (AUN), dostarcza wystarczających informacji, aby wpływać na sygnały zewnętrznych agentów i sterować nimi, wliczając w to innego człowieka, awatara lub nawet wchodzących ze sobą w interakcję ludzi (jak na Rysunku 1C). W przeciwieństwie do ramienia robotycznego lub kursora, drugi agent w tym przypadku posiada inteligencję sterowaną przez mózg (w przypadku awatara, któremu nadano ruchy danej osoby, lub innego agenta w przypadku wchodzącej w interakcję diady ludzkiej).
Układ tworzący środowisko koadaptacyjnego interfejsu w pętli zamkniętej z wymianą dyadyczną może być przydatny w interwencjach w przypadku zaburzeń układu nerwowego, w których mózg nie jest w stanie kontrolować w sposób dowolny ruchu własnego ciała, mimo że połączenie między OUN a OUN nie zostało fizycznie przerwane. Może to wynikać z zakłóceń sygnałów obwodowych, w wyniku czego pętle sprzężenia zwrotnego, które wspomagają mózg w ciągłym monitorowaniu i korygowaniu generowanych przez niego biorytmów, mogły zostać zaburzone. Scenariusz ten występuje u pacjentów z chorobą Parkinsona18,19 lub u osób z zaburzeniami spektrum autyzmu z nadmiernym szumem w sygnałach wyjściowych układu motorycznego. Rzeczywiście, w obu przypadkach wykazaliśmy wysokie wartości stosunku szumu do sygnału w powracających sygnałach kinestetycznych pochodzących z prędkości zamierzonych ruchów20,21,22 oraz z serca23. W takich przypadkach próba opanowania sterowania sygnałami zewnętrznymi za pomocą mózgu, przy jednoczesnej próbie kontrolowania ciała w ruchu, może prowadzić do powstania sygnału autoreaktywnego z powrotnego (re-aferentnego) strumienia informacji, który mózg otrzymuje z ciągłego (eferentnego) strumienia motorycznego na obwodzie. W rzeczywistości chwilowe wahania występujące w takim generowanym przez organizm eferentnym strumieniu motorycznym zawierają istotne informacje przydatne do przewidywania sensorycznych skutków celowych działań24. Gdy sprzężenie zwrotne to jest zakłócone przez szum, aktualizacja sygnałów sterujących w sposób przewidywalny oraz powiązanie zamierzonych planów z aktami fizycznymi staje się utrudnione.
Gdybyśmy rozszerzyli taką pętlę sprzężenia zwrotnego na innego agenta i kontrolowali interakcje między osobą a agentem za pośrednictwem strony trzeciej (Rysunek 1C), moglibyśmy uzyskać możliwość kierowania wzajemnymi wynikami działań niemal w czasie rzeczywistym. Dostarczyłoby to dowodu koncepcji niezbędnego do rozszerzenia pojęcia koadaptacyjnych interfejsów mózg-ciało lub mózg-maszyna w celu leczenia schorzeń układu nerwowego, które skutkują utrudzoną realizacją fizycznej woli wynikającej z intencji mentalnej.
Celowe działania niosą za sobą konsekwencje, które są precyzyjnie charakteryzowane przez stochastyczne sygnatury motoryczne zależne od kontekstu, umożliwiające z wysoką pewnością wnioskowanie o poziomach intencji mentalnych25,26. Zatem zaletą nowej metody wykorzystującej wymianę dyadyczną w stosunku do wcześniejszych podejść skoncentrowanych na osobie w interfejsach mózg-maszyna lub mózg-komputer jest to, że możemy rozszerzyć sygnały sterujące o biorytmy cielesne i serca, które zachodzą w dużej mierze poza świadomością danej osoby, przy różnych poziomach intencji. W ten sposób tłumimy interferencję reaktywną, którą kontrola świadoma ma tendencję wywoływać w procesie adaptacji sterowania kursorem za pomocą mózgu17. Możemy zwiększyć pewność procesu predykcyjnego poprzez parametryzację różnych dostępnych sygnałów. W tym duchu istnieją wcześniejsze prace wykorzystujące tandemowo sygnały mózgowe i cielesne27,28,29; jednak prace obejmujące interakcje dyadyczne rejestrowane przez sygnały mózgowo-cielesne pozostają nieliczne. Co więcej, w istniejącej literaturze nie określono jeszcze rozróżnienia między celowymi segmentami działania wykonywanymi przy pełnej świadomości a ruchami przejściowymi, które pojawiają się spontanicznie jako konsekwencja ruchów celowych30,31. W niniejszej pracy wprowadzamy to rozróżnienie w kontekście wymiany dyadycznej i proponujemy nowe sposoby badania tej dychotomii32, przedstawiając jednocześnie przykłady ruchów choreograficznych (celowych) vs. improwizowanych (spontanicznych) w przestrzeni tańca.
Ze względu na opóźnienia w transdukcji i transmisji w procesach integracji i transformacji sensoryczno-motorycznej33, konieczne jest posiadanie takiego kodu predykcyjnego, aby nauczyć się z wysoką pewnością antycypować nadchodzące bodźce sensoryczne. W tym celu istotne jest umożliwienie charakterystyki ewolucji stosunku szumu do sygnału pochodzącego z sygnałów w stale aktualizowanym potoku reafferentnym kinestetycznym. Następnie niezbędne są protokoły do systematycznego pomiaru zmian w zmienności motorycznej. Zmienność jest immanentnie obecna w chwilowych fluktuacjach wychodzącego potoku motorycznego efferentnego34. Ponieważ sygnały te są niestacjonarne i wrażliwe na zmienność kontekstową35,36, możliwe jest parametryzowanie zmian zachodzących przy modyfikacjach kontekstu zadań. Aby zminimalizować zakłócenia ze strony sygnałów reaktywnych wynikających ze świadomej kontroli ośrodkowego układu nerwowego (OUN) oraz wywołać mierzalne zmiany w efferentnym potoku motorycznym obwodowego układu nerwowego (OUN), wprowadzamy tutaj pośredni interfejs pętli zamkniętej (proxy close-loop interface), który pośrednio zmienia sprzężenie zwrotne sensoryczne poprzez rekrutację sygnału peryferyjnego, który zmienia się w dużej mierze poza świadomością osoby. Następnie przedstawiamy sposoby systematycznego pomiaru zmian następujących po manipulacjach sensorycznych, wykorzystując analizy stochastyczne umożliwiające wizualizację procesu, który pośrednio wywołuje interfejs pętli zamkniętej u obu agentów.
Wprowadzenie zastępczego kontrolera w pętli zamkniętej
Zmienność sensoryczno-motoryczna obecna w sygnałach obwodowych stanowi bogate źródło informacji kierujących działaniem układów nerwowych podczas uczenia się, adaptacji i generalizacji w różnych kontekstach37. Sygnały te powstają częściowo jako produkt uboczny prób OUN w celu świadomego kontrolowania działań, jednak nie są one bezpośrednim celem kontrolera. Podczas naturalnych interakcji człowieka z innymi osobami sygnały obwodowe mogą być wykorzystywane, standaryzowane i przeparametryzowane; oznacza to, że ich wariacje mogą zostać sparametryzowane i systematycznie przesunięte, w miarę jak zmienia się eferentny strumień motoryczny, który nieustannie powraca do systemu jako reafferencja kinestetyczna. W takich warunkach możemy wizualizować przesunięcia stochastyczne, przechwytując z wysoką precyzją bogaty sygnał, który w przeciwnym razie zostałby utracony w wyniku uśredniania stosowanego w bardziej tradycyjnych technikach.
Aby zrealizować charakterystykę zmian w ramach nowej platformy statystycznej, wprowadzamy tutaj protokoły, zestandaryzowane typy danych oraz analizy umożliwiające integrację zewnętrznych bodźców sensorycznych (słuchowych i wzrokowych) z wewnętrznie generowanymi sygnałami motorycznymi, podczas gdy osoba naturalnie wchodzi w interakcję z innym człowiekiem lub awatarem tej osoby. W tym sensie, ponieważ dążymy do kontrolowania sygnałów obwodowych (zamiast modyfikować sygnały OUN w celu bezpośredniego sterowania zewnętrznym urządzeniem lub mediami), określamy to mianem interfejsu proxy w pętli zamkniętej (Rysunek 2). Naszym celem jest charakterystyka zmian w stochastycznych sygnałach OOB, w stopniu, w jakim wpływają one na sygnały w OUN.
Rycina 2: Sterowanie zastępcze (proxy) w interakcji diadycznej z wykorzystaniem wielomodalnego interfejsu w pętli zamkniętej. (A) Pośrednie sterowanie dwojgiem tancerzy (tańczących salsę) poprzez komputerowy interfejs koadaptacyjny w porównaniu z (B) interaktywną sztuczną diadą osoba-awatar, sterowaną poprzez wykorzystanie sygnałów obwodowego układu nerwowego i ich reparametryzację w formie dźwięków i/lub danych wizualnych. (C) Koncepcja sonifikacji z wykorzystaniem nowego standaryzowanego typu danych (kolce mikroruchów, MMS) pochodzących z chwilowych fluktuacji amplitudy/czasu sygnałów biorytmicznych, przekształconych w wibracje, a następnie w dźwięk. Z fizyki zapożyczono pojęcia zagęszczeń i rozrzedzeń generowanych przez kamerton emitujący falę dźwiękową jako mierzalne wibracje. Schematy fal dźwiękowych przedstawione jako ciśnienie modulowane w czasie równolegle do koncentracji kolców w celu sonifikacji. Przykład sygnału fizycznego poddanego proponowanemu procesowi od MMS do wibracji i sonifikacji. Jako wejście do interfejsu wykorzystano sygnał tętna. System ten pobiera fluktuacje amplitudy sygnału zsynchronizowane z początkiem ruchu co 4 sekundy ruchu i buduje ciągi MMS reprezentujące wibracje. Ciągi kolców z MMS są standaryzowane w zakresie [0,1]. Kolor kolców, zgodnie z paskiem kolorów, reprezentuje intensywność sygnału. Następnie wibracje te są sonifikowane za pomocą programu Max. Ten zsonifikowany sygnał może być wykorzystany do odtwarzania w punkcie A lub do modyfikowania interakcji z awatarem w punkcie B. Ponadto w punkcie B możliwe jest osadzenie dźwięku w środowisku i wykorzystanie pozycji ciała do odtworzenia dźwięku w regionie zainteresowania (RoI) lub modulowanie cech audio jako funkcji odległości od RoI, prędkości lub przyspieszenia części ciała zakotwiczonej w innej części ciała podczas przemieszczania się obok RoI. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Sygnały PNS mogą być wykorzystywane nieinwazyjnie za pomocą technologii zintegrowanych czujników, które współrejestrują multimodalne strumienie efferentne z różnych warstw funkcjonalnych układów nerwowych, od autonomicznego po dobrowolny32. Możemy wówczas mierzyć w czasie niemal rzeczywistym zmiany w takich strumieniach i wybierać te, których zmiany poprawiają stosunek sygnału do szumu. Ten efferentny sygnał ruchowy może być następnie wspierany innymi formami przewodnictwa sensorycznego (np. słuchowym, wizualnym itp.). Ponieważ sygnały PNS wymykają się pełnej świadomości, łatwiej jest nimi manipulować bez wywoływania dużego oporu 38. W związku z tym wykorzystujemy je do pomagania w kierowaniu działaniami danej osoby w sposób, który może być mniej stresujący dla ludzkiego organizmu.
Budowa interfejsu
Przedstawiamy projekt sterowania pośredniego za pomocą zamkniętego w pętli, koadaptacyjnego interfejsu multimodalnego. Interfejs ten steruje wielozmysłową informacją zwrotną w czasie rzeczywistym. Rysunek 3 przedstawia ogólny schemat konstrukcyjny.
Interfejs z pętlą zamkniętą charakteryzuje się 5 głównymi etapami. Pierwszym etapem jest multimodalne gromadzenie danych z wielu urządzeń ubieralnych. Drugim etapem jest synchronizacja strumieni multimodalnych za pomocą platformy LabStreamingLayer (LSL, https://github.com/sccn/labstreaminglayer) opracowanej przez grupę MoBI 39. Trzecim etapem jest przesyłanie struktury danych LSL do interfejsu w języku Python, MATLAB lub innym języku programowania, aby zintegrować sygnały i empirycznie sparametryzować cechy fizjologiczne (istotne dla naszej konfiguracji eksperymentalnej) w czasie rzeczywistym. Czwarty etap polega na ponownej parametryzacji wybranych cech wyekstrahowanych z ciągłego strumienia badanego sygnału cielesnego i wzmocnieniu go za pomocą wybranej modalności sensorycznej (np. wzrokowej, słuchowej, kinestetycznej itp.) w celu odtworzenia go w formie dźwięków lub obrazów, aby wspomóc, zastąpić lub usprawnić modalność sensoryczną, która jest zaburzona w układzie nerwowym danej osoby. Wreszcie, piątym etapem jest ponowna ocena stochastycznych sygnatur sygnałów generowanych przez system w czasie rzeczywistym, aby wybrać, która modalność sensoryczna sprowadza stochastyczne przesunięcia fluktuacji cielesnych do zakresu wysokiej pewności (minimalizacja szumów) w przewidywaniu sensorycznych następstw nadchodzącej akcji. Pętla ta jest realizowana w sposób ciągły przez cały czas trwania eksperymentu z koncentracją na wybranym sygnale, przy jednoczesnym zapisywaniu pełnego przebiegu do późniejszych analiz (jak przedstawiono na schematach na Rysunku 3 oraz patrz40,41,42,43,44,45,46,47 w celu uzyskania przykładu analiz a posteriori).
Rycina 3: Architektura koncepcji multimodalnego interfejsu pętli zamkniętej sterowanego obwodowo. Zbierane są różne sygnały organizmu – dane kinematyczne, aktywność serca i mózgu (krok 1). LSL jest wykorzystywany do synchronicznej koregistracji i przesyłania danych z różnych urządzeń do interfejsu (krok 2). Kod w językach Python/MATLAB/C# służy do ciągłej parametryzacji fluktuacji sygnałów przy użyciu ustandaryzowanego typu danych i wspólnej skali, co umożliwia wybór źródła prowadzenia sensorycznego najskuteczniejszego w redukcji niepewności systemu (krok 3). To wzmocnienie transmisji sygnału w czasie rzeczywistym poprzez wybrany kanał lub kanały pozwala następnie na reparametryzację powrotnego sygnału sensorycznego w celu jego integracji z ciągłym strumieniem motorycznym i uzupełnienia utraconego lub uszkodzonego strumienia wejściowego (etap substytucji sensorycznej, krok 4). Ciągła ponowna ocena zamyka pętlę (krok 5), a wszystkie dane są zapisywane do późniejszych dodatkowych analiz. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Poniższe sekcje przedstawiają ogólny protokół budowy interfejsu w pętli zamkniętej (opisany na Rysunku 3) oraz opisują reprezentatywne wyniki dwóch interfejsów eksperymentalnych (szczegółowo przedstawionych w materiałach uzupełniających), obejmujące fizyczną interakcję dyadyczną między dwoma tancerzami (rzeczywisty system w pętli zamkniętej) oraz wirtualną interakcję dyadyczną między osobą a awatarem (sztuczny system w pętli zamkniętej).
Protokół
Badanie zostało zatwierdzone przez Rutgers Institutional Study Board (IRB) zgodnie z deklaracją helsińską.
1. Uczestnicy
- Zdefiniuj populację, która ma być badana, i zaproś ją do udziału w badaniu. Obecny interfejs może być używany w różnych populacjach. Ten protokół i przykłady użyte w tym dokumencie w celu zapewnienia dowodu słuszności koncepcji nie są ograniczone do określonej grupy.
- Uzyskać pisemną świadomą zgodę zatwierdzonego przez IRB protokołu zgodnie z Deklaracją Helsińską.
- Poproś uczestnika lub opiekuna o podpisanie formularza przed rozpoczęciem eksperymentu.
2. Konfiguracja interfejsu zamkniętej pętli
- Konfiguracja sprzętu kinematycznego-PNS
- Pomóż uczestnikowi starannie założyć kostium do przechwytywania ruchu oparty na diodach LED (tułów i głowa, pokazany na Rysunek 3, kroki 1 i 5) towarzyszący używanemu systemowi przechwytywania ruchu. Znaczniki LED kostiumu będą śledzone przez kamery systemu w celu oszacowania położenia poruszającego się ciała w przestrzeni.
- Połącz bezprzewodowy kontroler LED (znany również jako sterownik LED) systemu z LED kostiumu, podłączając go do odpowiedniego portu. Włącz urządzenie i ustaw je w trybie przesyłania strumieniowego.
- Włącz serwer systemu motion-capture.
- Otwórz przeglądarkę internetową, odwiedź adres serwera i zaloguj się (dane logowania muszą być podane przez firmę przy zakupie produktu).
- Skalibruj system zgodnie z potrzebami (na przykład skalibruj system, jeśli używasz urządzenia po raz pierwszy, w przeciwnym razie przejdź do kroku 2.1.17).
- Otwórz narzędzie do kalibracji systemu przechwytywania ruchu i wybierz opcję Kreator kalibracji.
- Upewnij się, że wpis numeru serwera w polu tekstowym w lewym górnym rogu interfejsu jest poprawny i kliknij przycisk Kontynuuj.
- Podłącz różdżkę do pierwszego portu kontrolera LED i włącz kontroler, a następnie kliknij Kontynuuj. Po podłączeniu różdżki jej znaczniki LED zostaną włączone i pojawią się na wyświetlaczu, w kamerze view.
- Umieść różdżkę na środku pola widzenia kamery, potwierdź, że może być nagrywana przez kamery i kliknij przycisk Kontynuuj.
- Przesuwaj różdżkę po całej przestrzeni, trzymając ją w pionie i rysując cylindry. Upewnij się, że ruch jest rejestrowany za każdym razem przez co najmniej 3 kamery i jest rejestrowany w polu widzenia każdej kamery, co sprawia, że jest zielony. Zrób to dla wszystkich kamer.
- Gdy pole widzenia każdej kamery zostanie w pełni zarejestrowane (jest całe zielone), kliknij przycisk Kontynuuj i poczekaj na wykonanie obliczeń kalibracyjnych.
UWAGA: Po zakończeniu kalibracji lokalizacja kamery wraz ze znacznikami LED będzie widoczna na wyświetlaczu, ponieważ są one fizycznie umieszczone w pomieszczeniu. W tym momencie użytkownik może wznowić kalibrację, ponieważ została ona zakończona, lub kontynuować wyrównywanie systemu. - Trzymaj różdżkę pionowo i umieść stronę z diodą LED bliżej końca różdżki na ziemi, gdzie należy ustawić początek przestrzeni 3D (punkt (0,0,0)).
- Trzymaj różdżkę stabilnie, aż zostanie zarejestrowana. Po zarejestrowaniu ekran na zielono. Punkt wskazujący początek układu odniesienia w przestrzeni pojawi się na interfejsie, a następna oś wyrównania, oś x, zostanie podświetlona na zielono.
- Przesuń różdżkę, zachowując tę samą orientację (pionowo), w punkcie osi x i trzymaj ją stabilnie, aż zostanie zarejestrowana.
- Powtórz te czynności dla osi z. Po zarejestrowaniu punktu osi z kalibracja jest zakończona.
- Kliknij przycisk Zakończ, aby zakończyć kalibrację.
- Otwórz interfejs systemu motion-capture i kliknij Połącz, aby rozpocząć strumieniowe przesyłanie danych ze znaczników LED. Po nawiązaniu połączenia pozycja znaczników zostanie wyświetlona w wirtualnym świecie interfejsu.
- Stwórz wirtualny szkielet (automatycznie oszacuj pozycje kości ciała na podstawie danych o położeniu zebranych ze znaczników LED kostiumu, jak pokazano Rysunek 8 krok 2).
- Kliknij prawym przyciskiem myszy Szkielety po prawej stronie okna i wybierz Nowy szkielet.
- Wybierz Mapowanie znaczników, a następnie wybierz odpowiedni plik (dostarczony przez firmę na podstawie używanej wersji interfejsu). Następnie kliknij przycisk OK.
- Poproś uczestnika, aby pozostał stabilny w pozycji T (wyprostowana postawa z rękami otwartymi po bokach).
- Kliknij prawym przyciskiem myszy szkielet i wybierz Generuj szkielet bez treningu.
- Jeśli wszystkie kroki zostaną wykonane poprawnie, szkielet zostanie wygenerowany. Poproś uczestnika, aby się poruszył i sprawdził, jak dokładnie wirtualny szkielet podąża za ruchami uczestnika.
- Aby przesłać strumieniowo dane szkieletu do LSL, wybierz Ustawienia i Opcje z menu głównego.
- Otwórz emulator Owl i kliknij "uruchom" Transmisja na żywo.
- Konfiguracja aparatury EEG - CNS
- Pomóż temu samemu uczestnikowi założyć czepek EEG.
- Umieść elektrody żelowe (tradycyjne elektrody żelowe używane z nasadką EEG) na nasadce na głowę, a 2 lepkie elektrody (elektrody, które działają jak naklejki) z tyłu prawego ucha dla czujników CMS i DRL.
- W razie potrzeby napełnij elektrody żelem o wysokiej przewodności, aby poprawić przewodność między czujnikiem a skórą głowy.
- Połącz elektrod na żelowych rurkach i dwóch lepkich elektrodach.
- Przyklej monitor bezprzewodowy z tyłu nasadki głowy i podłącz elektrod.
- Włącz monitor.
- Otwórz interfejs systemu EEG.
- Wybierz opcję Użyj urządzenia Wi-Fi i kliknij opcję Skanuj w poszukiwaniu urządzeń.
- Wybierz NE Wi-Fi i Użyj tego urządzenia.
- Kliknij ikonę głowy, wybierz protokół, który pozwala na nagrywanie wszystkich 32 czujników, a następnie kliknij Załaduj.
- Upewnij się, że przesyłane strumieniowo dane każdego kanału są wyświetlane w interfejsie.
- Konfiguracja aparatury EKG - ANS
- Postępuj zgodnie z dokładnymi krokami przedstawionymi w 2.2, ale użyj kanału O1, aby połączyć się z rozszerzeniem tętna (HR).
- Użyj lepkiej elektrody, aby przykleić drugi koniec przedłużenia tuż pod lewą klatką piersiową.
- Przygotowanie LSL do zsynchronizowanego zapisu i strumieniowania danych kinematycznych.
- Uruchom aplikację LSL dla systemu motion-capture, klikając dwukrotnie odpowiednią ikonę. Zlokalizuj aplikację w następującej ścieżce folderu LSL: LSL\labstreaminglayer-master\Apps\PhaseSpace.
- W interfejsie ustaw odpowiedni adres serwera.
- Następnie wybierz opcję File and Load configuration (Konfiguracja pliku i obciążenia).
- Wybierz odpowiedni plik konfiguracyjny (musi być dostarczony przez firmę na podstawie używanej wersji produktu)
- Kliknij przycisk Połącz. Jeśli nie zostaną popełnione żadne błędy, nie zostanie wyświetlony żaden komunikat o błędzie.
- Przygotuj LSL do zsynchronizowanego zapisu i przesyłania strumieniowego danych EEG i EKG. W przypadku tego sprzętu nie są wymagane żadne dodatkowe kroki.
- Konfiguracja LSL
- Uruchom aplikację LabRecorder, klikając dwukrotnie plik znajdujący się w ścieżce LSL\labstreaminglayer-master\Apps\LabRecorder folderu LSL.
- Kliknij przycisk Aktualizuj. Jeśli wszystkie instrukcje zostaną poprawnie wykonane, wszystkie typy danych systemu motion-capture i EEG będą widoczne na panelu Nagrywaj dla strumieni.
- Wybierz katalog i nazwę danych w panelu Lokalizacja przechowywania.
- Kliknij przycisk Start. Zbieranie danych z systemu motion-capture i EEG rozpocznie się synchronicznie.
- Na końcu nagrania kliknij przycisk Zatrzymaj. Jeśli nagrywanie się powiodło, dane będą znajdować się w wcześniej wybranym katalogu. Otwórz pliki, aby upewnić się, że zawierają one zapisane informacje.
- Analizy i monitorowanie systemu człowieka w czasie rzeczywistym.
- Wykonaj kod MATLAB, Python lub inny, który odbiera, przetwarza i rozszerza przesyłane strumieniowo dane. Przykładowe kody odpowiadające reprezentatywnym przykładom opisanym w poniższych sekcjach można znaleźć tutaj: https://github.com/VilelminiKala/CloseLoopInterfaceJOVE
- Generowanie rozszerzonego sensorycznego sprzężenia zwrotnego
- Wytwórz wyjście sensoryczne za pomocą odpowiedniego urządzenia (np. głośników, monitora, między innymi).
3. Procedura eksperymentalna
- Postępuj zgodnie z procedurą eksperymentalną zdefiniowaną przez konfigurację, jeśli istnieje.
UWAGA: Interfejsy zamkniętej pętli zostały zaprojektowane tak, aby można je było intuicyjnie eksplorować i uczyć się. W związku z tym w większości przypadków nie są potrzebne żadne instrukcje.
Wyniki
Na podstawie protokołu przedstawionego w poprzedniej sekcji można zbudować różne interfejsy, które mogą być zastosowane w różnych populacjach w licznych celach. Niektóre możliwe warianty opisano w sekcji „Warianty przedstawionego interfejsu w zamkniętej pętli” w materiałach uzupełniających.
W tej sekcji przedstawiamy reprezentatywne wyniki dla 2 przykładowych interfejsów z pętlą sprzężenia zwrotnego, które zostały przygotowane zgodnie z protokołem opisanym w poprzedniej sekcji. Układ, procedura eksperymentalna oraz uczestnicy tych badań są szczegółowo omówione w sekcjach „Przykład 1: Audio interfejs z pętlą sprzężenia zwrotnego w rzeczywistej interakcji dyadycznej” oraz „Przykład 2: Audio-wizualny interfejs z pętlą sprzężenia zwrotnego w sztucznej interakcji dyadycznej” pliku uzupełniającego.
Wyniki audio interfejsu w pętli zamkniętej podczas rzeczywistej interakcji dyadycznej
W badaniu „Audio close-loop interface of a real dyadic interaction” (szczegółowo omówionym w sekcji „Example 1: Audio Close-loop Interface of a Real Dyadic Interaction” materiałów uzupełniających) zastosowano zastępczy interfejs sterujący, przedstawiony na Rysunku 4, który wykorzystuje sygnał tętna tancerki do modyfikacji odtwarzanej muzyki. W czasie rzeczywistym przeprowadzono przetwarzanie sygnału w celu wyznaczenia momentu uderzenia serca, a następnie przesłano tę informację do systemu Max, aby zmienić tempo wykonywanego utworu. W ten sposób odtworzono utwór zmodyfikowany przez sygnały biofizyczne. Proces ten doprowadził do dalszych zmian w ruchach oraz sygnałach tętna.
Rycina 4: Interfejs w pętli zamkniętej oparty na sygnale audio. 1. Urządzenie ubieralne ECG-HR monitoruje aktywność tancerki salsy podczas wykonywania układów i przesyła sygnały do interfejsu z częstotliwością 500Hz. 2. Nasz interfejs analizuje dane ECG w czasie rzeczywistym. W każdej ramce filtruje surowe dane, wyodrębnia załamki R kompleksu QRS i przesyła wykryte piki do programu MAX. 3. Interfejs zewnętrzny synchronizuje tempo dźwięku z tempem rytmu serca. 4. Zmodyfikowany utwór jest odtwarzany tancerzom. Kliknij tutaj, aby zobaczyć powiększoną wersję tej ryciny.
Dwoje tancerzy salsy wchodziło w interakcję z interfejsem i wykonało dobrze przećwiczoną rutynę, obejmującą choreografię oraz taniec improwizowany spontanicznie. Tancerze musieli wykonać utwór raz w wersji oryginalnej oraz raz w wersji łączącej oryginalne tempo utworu z przesyłanym w czasie rzeczywistym strumieniem tętna. Tę drugą wersję, wykonaną dwukrotnie, określamy jako zmianę 1 i 2 utworu.
W poniższej analizie wykorzystaliśmy zarejestrowane sygnały serca i dźwięku. Wyekstrahowano piki z obu sygnałów w celu oszacowania serii MMS (patrz sekcja „Micro-movements Spikes” w pliku uzupełniającym), które zachowują fluktuacje o wysokiej częstotliwości, jak pokazano na Rysunku 5.
Rycina 5: Szacowanie serii MMS w systemie audio z zamkniętą pętlą sprzężenia zwrotnego. Szeregi czasowe EKG są wykorzystywane do wyodrębnienia szczytów RR oraz odchyleń amplitudy od całkowitej (szacowanej) średniej amplitudy uzyskanych szczytów R (dane z przesuniętą średnią). Następnie stosuje się normalizację zgodnie z równaniem 1 (patrz Plik uzupełniający, sekcja „Micro-Movement Spikes”), aby uzyskać serie MMS. Analogiczne metody są stosowane do przetwarzania przebiegów fal audio i odtwarzania utworu zgodnie z wynikami osiąganymi przez osobę w czasie rzeczywistym. Kliknij tutaj, aby zobaczyć większą wersję tej ryciny.
Szeregi MMS zostały dobrze scharakteryzowane jako ciągły proces losowy, dobrze reprezentowany przez ciągłą rodzinę rozkładów prawdopodobieństwa Gamma. Metoda największej wiarygodności (MLE) uznała tę ciągłą rodzinę rozkładów za najlepiej dopasowaną do obu zestawów danych (patrz wyjaśnienie w sekcji „Rozkład Gamma” w Materiałach uzupełniających oraz Rysunku uzupełniającym 2). Ten rodzaj procesu losowego został wykorzystany do śledzenia przesunięć w stochastycznych sygnaturach biorytmów generowanych samoistnie przez biosygnały z ludzkiego układu nerwowego.
Na podstawie empirycznie oszacowanych parametrów kształtu i skali rozkładu Gamma wyznaczamy momenty rozkładu Gamma: średnią, wariancję, skośność oraz kurtozę (szczegóły analizy znajdują się w sekcji „Stochastic Analysis” materiałów uzupełniających). Następnie przedstawiamy wyrysowaną funkcję gęstości prawdopodobieństwa (PDF). Rycina 6 skupia się wyłącznie na sygnale serca i muzyce, jednak zastosowane metody można w podobny sposób odnieść do innych biorytmów generowanych przez sygnały kinematyczne przedstawione w 41.
PDF sygnałów serca i muzyki przedstawiono na Rysunku 6A-B, gdzie wyróżniono różnice między zbiorami danych dla dwóch warunków: rutyny celowej oraz improwizacji spontanicznej. Dla każdego warunku podkreślono przesunięcia w sygnaturach stochastycznych wywołane czasowymi zmianami utworu. Początkowo tancerze tańczą do oryginalnej piosenki. Następnie, gdy rytm bicia serca zmienia się w czasie rzeczywistym, sonifikowane fluktuacje tego sygnału prowadzą tancerzy do podążania za zmianami czasowymi utworu.
Zostały one oznaczone jako zmiana 1 i zmiana 2. Te systematyczne przesunięcia są opisane przez parametry Gamma. Następnie, wykorzystując empirycznie oszacowane parametry kształtu i skali, otrzymaliśmy cztery odpowiadające im momenty Gamma dla rytmu serca oraz śpiewu. Są one przedstawione na Rysunku 6C dla sygnałów serca (góra) i śpiewu (dół).
Rysunek 6: Indukowanie systematycznych zmian w empirycznie oszacowanych PDF Gamma oraz ich stochastycznych trajektoriach Czterech Momentów Gamma z wykonania pod kontrolą zastępczą przy użyciu systemu Audio Close-loop. (A) PDF z ciągów MMS dla każdego typu danych (ECG na górze i plik audio na dole) dla każdego z kontekstów tanecznych: spontanicznej improwizacji i zaplanowanego układu. Legendy to: Imp Or (improwizacja oryginalna) oznaczająca warunki bazowe na początku sesji; Imp Alt1 oznaczająca improwizację podczas zmiany 1; Imp Alt2 oznaczająca improwizację podczas zmiany 2. (B) Analogicznie, dla zaplanowanego, wyćwiczonego układu: Rout Or oznacza układ oryginalny; Rout Alt1 oznacza zmianę układu 1; Rout Alt2 oznacza zmianę układu 2. Panele w (C) pokazują systematyczne przesunięcia momentów Gamma w miarę jak sygnały audio z utworów oraz sygnały z serca przesuwają się tandemowo i w czasie rzeczywistym. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Przesunięcie sygnatur można zaobserwować na tych panelach (wykresy momentów PDF i Gamma), co demonstruje, że przedstawione metody pozwalają uchwycić adaptację serca do zmian w pieśni, które kontroler zastępczy (proxy controller) generuje w czasie rzeczywistym. Wraz ze zmianą rytmów pieśni zmieniają się również stochastyczne sygnatury serca, a przejście tych sygnatur jest spójne pod względem kierunku (co jest również wynikiem w 41, gdzie badaliśmy parametry kształtu i skali). Podobnie, gdy przesuwają się sygnatury serca, przesuwają się również sygnatury pieśni. Te efekty odzwierciedlenia – gdzie jeden element wpływa na drugi i gdy jeden przesuwa się konsekwentnie w określonym kierunku, drugi robi to samo – wynikają z pętli sprzężenia zwrotnego interfejsu tego kontrolera zastępczego. Wyniki podkreślają użyteczność takiej konfiguracji i stanowią dowód koncepcji (proof of concept), że możemy systematycznie zmieniać autonomiczne biorytmy osoby w kontekście wymiany diadycznej.
Równoległe przesunięcia w sygnaturach stochastycznych zarówno pieśni, jak i sygnałów cielesnych, wykazują, że koadaptacja całego systemu (uczestnika i interfejsu) jest możliwa z wykorzystaniem sygnałów peryferyjnych. Proces ten przebiega płynnie poza świadomością osoby i stanowi dowód koncepcji dla idei zdalnego i systematycznego przesuwania biosygnałów osoby w odpowiedzi na wybrany zewnętrzny feedback sensoryczny. Podsumowując, możemy kierować przesunięciami sygnatur stochastycznych w tym ciągłym procesie losowym. Zastosowane metody umożliwiają uchwycenie zmian oraz tempa ich przebiegu wzdłuż trajektorii stochastycznych, które byliśmy w stanie konstruować niemal w czasie rzeczywistym.
Aby określić istotność statystyczną przesunięć, zastosowano nieparametryczną analizę wariancji (ANOVA), test Kruskala-Wallisa, a następnie post hoc testy wielokrotnych porównań. Porównano sygnatury MMS danych z serca w sześciu warunkach. Rysunek 7 przedstawia wielokrotne porównania danych MMS z serca oraz odpowiadającą im tabelę testu Kruskala-Wallisa. Wykres wielokrotnych porównań wskazuje na istotną różnicę między stanem bazowym oryginalnego tańca rutynowego (Rout. Or) a stanem bazowym oryginalnego tańca improwizowanego (Imp. Or). Należy również zauważyć, że pierwsze modyfikacje, Rout. Alt1 i Imp. Alt1, przesuwają się w stronę rozkładów o porównywalnych średnich; to samo dotyczy drugich modyfikacji, podczas gdy wariancja, skośność i kurtoza przesuwają się w przestrzeni momentów Gamma (Rysunek 6C).
Rysunek 7: Wyniki nieparametrycznego testu Kruskala-Wallisa i testów post hoc dla porównań wielokrotnych. Wyniki nieparametrycznej analizy ANOVA (test Kruskala-Wallisa) zastosowanej do danych MMS serca w celu porównania sześciu warunków. Wykres przedstawia porównania wielokrotne dla 6 przypadków, wskazując istotną różnicę między warunkami „Rout. Or” a „Imp. Or”. Tabela przedstawia wyniki testu Kruskala-Wallisa. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Wyniki interfejsu audio-wizualnej pętli sprzężenia zwrotnego w sztucznej interakcji dyadycznej
W badaniu „Interfejs audio-wizualnej pętli sprzężenia zwrotnego w sztucznej interakcji dyadycznej” (szczegółowo przedstawionym w sekcji „Przykład 2: Interfejs audio-wizualnej pętli sprzężenia zwrotnego w sztucznej interakcji dyadycznej” w Materiałach dodatkowych), 6 uczestników wchodziło w interakcję z interfejsem przedstawionym na Rysunkach 8, który tworzy ich lustrzany awatar odwzorowujący ruchy danej osoby. Interfejs implementuje dźwięki zależne od pozycji w obszarze otaczającym osobę podczas interakcji. Uczestnicy nie byli zapoznani z celem badania. Musieli poruszać się po pomieszczeniu i odkryć, w jaki sposób kontrolować dźwięk, który niespodziewanie pojawiał się podczas przechodzenia przez RoI (obszary zainteresowania) zdefiniowane przez kontroler pośredniczący.
Rysunek 8: Wizualna reprezentacja interfejsu audio-wizualnego. 1. System przechwytywania ruchu jest wykorzystywany do pozyskiwania obwodowych danych kinematycznych. 2. System gromadzi pozycje czujników (w naszym przykładzie diod LED), aby oszacować szkielet – pozycje kości. 3. Pozycje kości są następnie wyrównywane w opracowanym przez nas interfejsie w programie MATLAB przy użyciu autorskiego modelu kinematyki bezpośredniej. 4. Wyrównane pozycje są wykorzystywane do mapowania informacji o szkielecie na renderowany awatar 3D. 5. Mapowanie strumieniowanych danych na awatar odbywa się w czasie rzeczywistym, co stwarza wrażenie patrzenia na lustrzane odbicie osoby. Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.
Rysunek 9 przedstawia wyniki interfejsu audiowizualnego dla warunku 1 (zob. Plik uzupełniający w celu zapoznania się z pozostałymi warunkami), w którym położenie biodra aktywuje utwór, gdy biodro znajduje się w obszarze RoI. Rysunek ten prezentuje sygnatury PDF i Gamma (patrz sekcja „Typy danych i analizy” w materiale uzupełniającym) danych o prędkości biodra 6 różnych uczestników z grupy kontrolnej (C1 do C6) podczas przebywania wewnątrz i na zewnątrz objętości RoI. Przedstawione tutaj wyniki podkreślają zindywidualizowane różnice w tempie adaptacji poszczególnych uczestników. Są one wskazane przez przesunięcia sygnatur stochastycznych oraz indywidualne wyniki pojawiające się wewnątrz lub na zewnątrz objętości RoI. Na przykład można zauważyć, że dopasowanie PDF do histogramów częstotliwości MMS pochodzących z amplitudy prędkości bioder uczestników C3 i C4 było bardziej symetryczne (wyższa wartość kształtu) i mniej zaszumione (niższa wartość skali) podczas przebywania wewnątrz objętości. W przeciwieństwie do nich, pozostali uczestnicy wykazują odwrotny wzorzec.
Empirycznie ustaliliśmy, że sygnatury w prawym dolnym rogu należą do sportowców i tancerzy wykonujących wysoce wyspecjalizowane ruchy. Sygnatury znajdujące się w lewym górnym obszarze pochodzą z zestawów danych układów nerwowych z patologiami, takich jak rozpoznane zaburzenia widma autyzmu ADHD22,32 oraz od uczestnika z deaferentacją21. W kontekście zmieniających się wzorców wzdłuż trajektorii stochastycznej wyznaczamy wartości mediany kształtu i skali, aby zdefiniować prawy dolny kwadrant (RLQ) oraz lewy górny kwadrant (LUQ), w których monitorujemy ogólną jakość stosunku sygnału do szumu poprzez akumulację tych informacji w czasie. Uwzględnia to dynamiczną aktualizację wartości median definiujących te kwadranty w miarę, jak osoba dostosowuje generowane wewnętrznie biorytmy do tych kontrolowanych zewnętrznie przez proxy, lecz zależnych od wewnętrznych rytmów danej osoby.
Rysunek 9: Empirycznie oszacowane PDF rozkładu Gamma i sygnatury Gamma biorytmów ciała podczas interakcji z wykorzystaniem systemu Audio-Visual Close-Loop. Wykorzystując szeregi MMS pochodne prędkości bioder każdego uczestnika (C1 - C6), zastosowano metodę MLE w celu dopasowania najlepszego PDF z 95% przedziałami ufności. Każdy uczestnik jest reprezentowany przez inny symbol, natomiast warunki są oznaczone różnymi kolorami. Rodzina PDF rozkładu Gamma wewnątrz objętości (in) różni się od tej poza objętością (out). Oprócz empirycznie oszacowanych PDF rozkładu Gamma, na płaszczyźnie parametrów Gamma przedstawiono również oszacowane parametry kształtu i skali dla każdej osoby. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Tabela 1 przedstawia wartości p uzyskane z surowych danych (prędkość) oraz danych MMS, porównując wyniki w różnych warunkach, gdy część ciała osoby znajduje się wewnątrz RoI vs. na zewnątrz RoI. Wyniki przedstawione w tabeli zostały oszacowane przy użyciu nieparametrycznego testu ANOVA Kruskala-Wallisa.
| Test Kruskala-Wallisa | Dane o prędkości | MMS |
| C1 | 0 | 1,34 e-05 |
| C2 | 0 | 4,72E-15 |
| C3 | 0 | 8,59E-34 |
| C4 | 2,70E-21 | 3,16E-04 |
| C5 | 0 | 1,11E-09 |
| C6 | 0 | 5,95E-05 |
Tabela 1: Wyniki nieparametrycznego testu ANOAVA-Kruskal-Wallis. Wyniki testu Kruskala-Wallisa porównujące rejestracje wewnątrz i na zewnątrz Rol dla danych MMS oraz danych prędkości. Test zastosowano oddzielnie dla danych każdego uczestnika (C1 - C6).
Pliki uzupełniające. Prosimy kliknąć tutaj, aby pobrać te pliki.
Dyskusja
W artykule przedstawiono koncepcję sterowania proxy za pomocą współadaptacyjnych, interaktywnych, multimodalnych interfejsów w zamkniętej pętli, które wykorzystywają, parametryzują i reparametryzują sygnał peryferyjny osoby w kontekście wymiany diadycznej. Naszym celem było scharakteryzowanie stochastycznych zmian w fluktuacjach biorytmów danej osoby i parametryzacja tej zmiany. Ponadto naszym celem było systematyczne kierowanie stochastycznymi sygnaturami ich biorytmów w kierunku docelowych poziomów reżimów szumu do sygnału w czasie zbliżonym do rzeczywistego.
Przedstawiliśmy ogólny protokół budowy interfejsu zamkniętej pętli, który spełniał 5 podstawowych elementów: 1) gromadzenie wielu danych cielesnych pochodzących z OUN, PNS i ANS przy użyciu różnych instrumentów i technologii; 2) zsynchronizowane nagrywanie i przesyłanie strumieniowe danych; 3) analizę wybranych sygnałów w czasie rzeczywistym; 4) tworzenie augmentacji sensorycznej (dźwiękowej, wizualnej itp.) za pomocą cech fizjologicznych wyodrębnionych dla sygnałów cielesnych; oraz 5) ciągłe śledzenie ludzkiego systemu i równoległe wzmacnianie sensoryczne zamyka pętlę interakcji między człowiekiem a systemem.
Ogólny protokół został zastosowany na dwóch przykładowych interfejsach. Pierwsza z nich bada diadyczną wymianę między dwoma ludzkimi agentami, a druga między człowiekiem a agentem awatarem. Te dwa rodzaje diad zostały wykorzystane do udowodnienia słuszności koncepcji, że sygnał peryferyjny może być systematycznie zmieniany w czasie rzeczywistym i że te zmiany stochastyczne można precyzyjnie śledzić. Jedna diada składała się z dwóch uczestników wchodzących w fizyczną interakcję, podczas gdy druga polegała na interakcji uczestnika z wirtualnym agentem w postaci renderowanego w 3D awatara wyposażonego w ruchy osoby i zmienione warianty tych ruchów w czasie rzeczywistym. Takie zmiany zostały wywołane przez interaktywne manipulacje napędzane przez słuchowe i/lub wzrokowe bodźce sensoryczne w otoczeniu rozszerzonych doznań. Zarówno w rzeczywistej, jak i sztucznej diadzie wykazaliśmy możliwość zdalnego przesuwania sygnałów obwodowych, w tym biorytmów ciała i autonomicznych sygnałów z bicia serca.
Przedstawiliśmy nowe protokoły eksperymentalne do badania takich zmian w eferentnej zmienności motorycznej, gdy strumienie sygnałów kinestetycznych są manipulowane i ponownie parametryzowane w czasie zbliżonym do rzeczywistego. Ta informacja o ponownym wejściu (reaferencja kinestetyczna48) okazała się cenna dla zmiany wydajności systemów w czasie rzeczywistym. Niosą one ze sobą informacje o konsekwencjach sensorycznych działania, które możemy precyzyjnie śledzić za pomocą metod, które tutaj przedstawiliśmy.
Pokazaliśmy również typy danych i metody statystyczne, które można ustandaryzować w naszych analizach. Dostarczyliśmy wiele narzędzi do wizualizacji, aby zademonstrować zmiany w czynnościach fizjologicznych w czasie rzeczywistym, które naturalnie ewoluują w różnych kontekstach, z empirycznie kierowanym wnioskowaniem statystycznym, które nadaje się do interpretacji sygnałów samodzielnie generowanych i kontrolowanych przez układ nerwowy. Co ważne, zmiany, które zostały wywołane przez kontroler proxy, były płynne, a jednocześnie wymierne, co potwierdza pogląd, że aktywność peryferyjna jest przydatna na więcej niż jeden sposób. Chociaż możemy wdrożyć te metody za pomocą dostępnych na rynku bezprzewodowych czujników do noszenia, możemy systematycznie indukować zmiany w wydajności, które można uchwycić w rytmach biofizycznych bez obciążania systemu. Ważne jest, aby przełożyć nasze metody na arenę kliniczną i wykorzystać je jako poligon doświadczalny do opracowania nowych modeli interwencji (np. jak w przypadku wykorzystania rzeczywistości rozszerzonej w autyzmie 49). W takich modelach będziemy w stanie śledzić i określać ilościowo sensoryczne konsekwencje naturalistycznych działań danej osoby, ponieważ bodźce sensoryczne są precyzyjnie manipulowane, a dane wyjściowe są parametryzowane i ponownie parametryzowane w czasie zbliżonym do rzeczywistego.
Oferujemy ten protokół jako ogólny model do wykorzystania różnych czynności biorytmicznych generowanych samodzielnie przez ludzki układ nerwowy i wykorzystywanych nieinwazyjnie za pomocą bezprzewodowych urządzeń do noszenia. Chociaż w niniejszej pracy użyliśmy zestawu biosensorów do rejestracji EEG, EKG i kinematyki, metody rejestrowania, synchronizacji i analizy sygnałów są ogólne. Dzięki temu interfejs może zawierać inne technologie. Co więcej, protokoły mogą być modyfikowane w celu uwzględnienia innych naturalistycznych działań i kontekstów, które rozciągają się na dziedzinę medycyny. Ponieważ dążyliśmy do naturalnych zachowań, opracowana przez nas konfiguracja może być używana w zabawnych sytuacjach (np. z udziałem dzieci i rodziców).
Wiele zaburzeń układu nerwowego mogłoby skorzystać na takim zabawnym podejściu do problemu kontroli. W obu typach interakcji diadycznych, które tutaj pokazaliśmy, uczestnicy mogli dążyć do świadomego kontrolowania muzyki, podczas gdy kontroler proxy wykorzystuje wyjście peryferyjne do nieświadomego manipulowania i systematycznego przesuwania jej sygnatur. Ponieważ naukowcy spędzili lata na empirycznym mapowaniu płaszczyzny parametrów Gamma i odpowiadających im momentów Gamma w przestrzeni w różnych grupach wiekowych (od noworodków do 78 roku życia)19,50,51,52,53 i stanach (autyzm, choroba Parkinsona, udar, stan śpiączki i deaferencja), dla różnych poziomów kontroli (dobrowolny, automatyczny, spontaniczny, mimowolny i autonomiczny)25, 47,54, mają empirycznie zmierzone kryteria wskazujące, gdzie w przestrzeniach Gamma powinny znajdować się sygnatury stochastyczne dla dobrej kontroli predykcyjnej. Wcześniejsze badania wykazały również, że wiemy, gdzie znajdują się parametry w obecności spontanicznego przypadkowego szumu pochodzącego z samodzielnie generowanych rytmów ludzkiego układu nerwowego 7,19,55,56. W ramach schematu optymalizacyjnego minimalizującego biorytmiczny szum motoryczny, możemy zatem dążyć do kierowania sygnałami w taki sposób, aby osiągnąć docelowe obszary przestrzeni Gamma, w których kształt i sygnatury dyspersyjne rodziny PDF każdej osoby sprzyjają wysokiemu stosunkowi sygnału do szumu i wartościom predykcyjnym. W tym sensie nie tracimy danych brutto i raczej efektywnie je wykorzystujemy, aby skierować system w kierunku pożądanego poziomu hałasu w danej sytuacji.
Interakcje diadyczne są wszechobecne w warunkach klinicznych lub szkoleniowych. Mogą one wystąpić między trenerem a uczestnikiem szkolenia; lekarza i pacjenta; terapeuta kliniczny i pacjent; Mogą one również występować w warunkach badawczych, które obejmują naukę translacyjną i angażują badacza i uczestnika. Jedną z zalet obecnych protokołów jest to, że chociaż są one przeznaczone dla diad, są również spersonalizowane. W związku z tym możliwe jest dostosowanie interakcji współadaptacyjnych do najlepszych możliwości i predyspozycji danej osoby, zgodnie z jej zakresami ruchu, zakresami czasu przetwarzania sensorycznego i przy jednoczesnym uwzględnieniu zakresów amplitudy sygnałów w całej hierarchii funkcjonalnej układu nerwowego danej osoby. W miarę jak trajektoria stochastyczna wyłania się i ewoluuje w czasie, możliwe jest również ustalenie współczynników prawdopodobieństwa sygnatur i wykorzystanie tych szeregów czasowych do prognozowania kilku nadchodzących wydarzeń wraz z możliwymi konsekwencjami sensorycznymi.
Wreszcie, interfejsy zamkniętej pętli mogą być stosowane nawet w świecie sztuki. Mogą one zaoferować artystom performatywnym nowe możliwości generowania sterowanych obliczeniowo form tańca współczesnego, tańców technologicznych oraz nowych form wizualizacji i sonifikacji ekspresji cielesnej. W takich kontekstach ciało tancerza może zostać przekształcone w instrument sterowany sensorycznie, aby elastycznie eksplorować różne modalności sensoryczne poprzez sonifikację i wizualizację samodzielnie generowanych działań biorytmicznych, jak wykazano we wcześniejszych pracach w tej dziedzinie 40,41,43,46. Taki występ mógłby wzmocnić rolę tancerza na scenie i pozwolić publiczności doświadczyć subtelnych sygnałów cielesnych poza widzialnym ruchem.
Kilka aspektów tej technologii wymaga dalszego rozwoju i testów, aby zoptymalizować ich wykorzystanie w czasie rzeczywistym. Synchroniczne przesyłanie strumieniowe wymaga szybkiej mocy procesora/karty graficznej i pojemności pamięci, aby naprawdę wykorzystać koncepcję zysku czasu i bycia o krok do przodu w przewidywaniu sensorycznych konsekwencji trwających poleceń motorycznych. Częstotliwość próbkowania sprzętu powinna być porównywalna, aby móc naprawdę wyrównać sygnały, przeprowadzić właściwą fuzję sensoryczną i zbadać przekazywanie informacji przez różne kanały układu nerwowego. To tylko niektóre z ograniczeń obecnych w tym nowym interfejsie.
Ogólnie rzecz biorąc, praca ta oferuje nową koncepcję poprawy kontroli naszego układu cielesnego przy jednoczesnym zastosowaniu środków podprogowych, które mimo to pozwalają na systematyczne, ustandaryzowane pomiary wyników zmian stochastycznych.
Oświadczenia
Metody objęte zakresem:
•US20190333629A1 "Metody diagnostyki i leczenia zaburzeń neurologicznych"
•EP3229684B1 "Procédés de mesure d'un mouvement physiologiquement pertinent"
•US20190261909A1 "System i metoda określania ilości woli u badanego"
•US202110989122 "System i metoda pomiaru ruchu istotnego z fizjologicznego punktu widzenia"
Podziękowania
Dziękujemy studentom, którzy poświęcili swój czas, aby pomóc w przeprowadzeniu tych badań; Kan Anant i PhaseSpace Inc. za dostarczenie nam zdjęć i filmów niezbędnych do opisania konfiguracji; oraz Neuroelectronics za umożliwienie nam korzystania z materiałów z kanału www.youtube.com/c/neuroelectrics/ i ich instrukcji. Na koniec dziękujemy prof. Thomasowi Papathomasowi z Rutgers Center for Cognitive Science za profesjonalne wsparcie na etapie składania tego manuskryptu, Nancy Lurie Marks Family Foundation Career Development Award dla EBT oraz Gerondelis Foundation Award dla VK.
WKŁADY
Konceptualizacja, VK i EBT; metodyka, EBT; oprogramowanie, VK, EBT, SK.; walidacja, VK i SK; analiza formalna, VK; śledztwa, VK, EBT, SK; zasobów ludzkich, EBT; selekcja danych, VK; pisanie – przygotowanie oryginalnego projektu, EBT; pisanie – recenzowanie i redagowanie, VK, SK.; wizualizacja, VK i EBT.; nadzór, EBT.; administracja projektowa, EBT.; pozyskanie finansowania, EBT Wszyscy autorzy zapoznali się z opublikowaną wersją manuskryptu i wyrazili na nią zgodę.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Enobio 32 | Enobio | Sprzęt do zbierania danych EEG | |
| Enobio Rozszerzenie EKG | Enobio | Sprzęt do zbierania danych EKG | |
| LabStreamingLayer (LSL) | Synchronizacja i przesyłanie strumieniowe danych | ||
| Matlab | Mathwork | Analiza i przetwarzanie danych | |
| Max | Cycling'74 | Sonification informacji o ciele | |
| NIC.2 | Enobio | Oprogramowanie do zbierania danych EEG i EKG | |
| PhaseSpace Impulse | PhaseSpace | Sprzęt do zbierania danych kinematycznych (pozycja, prędkość, przyspieszenie) | |
| Python3 | Python | Analiza i przetwarzanie danych | |
| Recap | PhaseSpace | Oprogramowanie do zbierania danych kinematycznych (pozycja, prędkość, przyspieszenie) |
Bibliografia
- Kawato, M., Wolpert, D. Internal models for motor control. Novartis Foundation Symposium. 218, 291-304 (1998).
- Wolpert, D. M., Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks. 11 (7-8), 1317-1329 (1998).
- Wolpert, D. M., Miall, R. C., Kawato, M. Internal models in the cerebellum. Trends in Cognitive Sciences. 2 (9), 338-347 (1998).
- Todorov, E., Jordan, M. I. Optimal feedback control as a theory of motor coordination. Nature Neuroscience. 5 (11), 1226-1235 (2002).
- Todorov, E. Optimality principles in sensorimotor control. Nature Neuroscience. 7 (9), 907-915 (2004).
- Torres, E. B. Theoretical Framework for the Study of Sensori-motor Integration. , University of California, San Diego. (2001).
- Harris, C. M., Wolpert, D. M. Signal-dependent noise determines motor planning. Nature. 394 (20), 780-784 (1998).
- Torres, E. B., Zipser, D. Reaching to Grasp with a Multi-jointed Arm (I): A Computational Model. Journal of Neurophysiology. 88, 1-13 (2002).
- Carmena, J. M., et al. Learning to control a brain-machine interface for reaching and grasping by primates. PLoS Biology. 1 (2), 42(2003).
- Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
- Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
- Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
- Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
- Hwang, E. J., Andersen, R. A. Cognitively driven brain machine control using neural signals in the parietal reach region. 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010, 3329-3332 (2010).
- Andersen, R. A., Kellis, S., Klaes, C., Aflalo, T. Toward more versatile and intuitive cortical brain-machine interfaces. Current Biology. 24 (18), 885-897 (2014).
- Contreras-Vidal, J. L., et al. Powered exoskeletons for bipedal locomotion after spinal cord injury. Journal of Neural Engineering. 13 (3), 031001(2016).
- Choi, K., Torres, E. B. Intentional signal in prefrontal cortex generalizes across different sensory modalities. Journal of Neurophysiology. 112 (1), 61-80 (2014).
- Yanovich, P., Isenhower, R. W., Sage, J., Torres, E. B. Spatial-orientation priming impedes rather than facilitates the spontaneous control of hand-retraction speeds in patients with Parkinson's disease. PLoS One. 8 (7), 66757(2013).
- Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
- Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Human Neuroscience. 7, 8(2016).
- Torres, E. B., Cole, J., Poizner, H. Motor output variability, deafferentation, and putative deficits in kinesthetic reafference in Parkinson's disease. Frontiers in Human Neuroscience. 8, 823(2014).
- Torres, E. B., et al. Autism: the micro-movement perspective. Frontiers in Integrative Neuroscience. 7, 32(2013).
- Ryu, J., Vero, J., Torres, E. B. MOCO '17: Proceedings of the 4th International Conference on Movement Computing. , ACM. 1-8 (2017).
- Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
- Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
- Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
- Gramann, K., et al. Cognition in action: imaging brain/body dynamics in mobile humans. Reviews in the Neurosciences. 22 (6), 593-608 (2011).
- Makeig, S., Gramann, K., Jung, T. P., Sejnowski, T. J., Poizner, H. Linking brain, mind and behavior. International Journal of Psychophysiology. 73 (2), 95-100 (2009).
- Ojeda, A., Bigdely-Shamlo, N., Makeig, S. MoBILAB: an open source toolbox for analysis and visualization of mobile brain/body imaging data. Frontiers in Human Neuroscience. 8, 121(2014).
- Casadio, M., et al. IEEE International Conference on Rehabilitation Robotics. , IEEE Xplore. ed IEEE (2019).
- Pierella, C., Sciacchitano, A., Farshchiansadegh, A., Casadio, M., Mussaivaldi, S. A. 7th IEEE International Conference on Biomedical Robotics and Biomechatronics. , IEEE Xplore. (2018).
- Torres, E. B. Two classes of movements in motor control. Experimental Brain Research. 215 (3-4), 269-283 (2011).
- Purves, D. Neuroscience. Sixth edition. , Oxford University Press. (2018).
- Torres, E. B. Signatures of movement variability anticipate hand speed according to levels of intent. Behavioral and Brain Functions. 9, 10(2013).
- Torres, E. B. The rates of change of the stochastic trajectories of acceleration variability are a good predictor of normal aging and of the stage of Parkinson's disease. Frontiers in Integrative Neuroscience. 7, 50(2013).
- Torres, E. B., Vero, J., Rai, R. Statistical Platform for Individualized Behavioral Analyses Using Biophysical Micro-Movement Spikes. Sensors (Basel). 18 (4), (2018).
- Torres, E. B. Progress in Motor Control. , Springer. 229-254 (2016).
- Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
- Gramann, K., Jung, T. P., Ferris, D. P., Lin, C. T., Makeig, S. Toward a new cognitive neuroscience: modeling natural brain dynamics. Frontiers in Human Neuroscience. 8, 444(2014).
- Kalampratsidou, V., Torres, E. B. Bodily Signals Entrainment in the Presence of Music. Proceedings of the 6th International Conference on Movement and Computing. , (2019).
- Kalampratsidou, V., Torres, E. B. Sonification of heart rate variability can entrain bodies in motion. Proceedings of the 7th International Conference on Movement and Computing. , Article 2 (2020).
- Kalampratsidou, V. Co-adaptive multimodal interface guided by real-time multisensory stochastic feedback. , Rutgers University-School of Graduate Studies. (2018).
- Kalampratsidou, V., Kemper, S., Torres, E. B. Real time streaming and closed loop co-adaptive interface to steer multi-layered nervous systems performance. 48th Annual Meeting of Society for Neuroscience. , (2018).
- Kalampratsidou, V., Torres, E. B. Body-brain-avatar interface: a tool to study sensory-motor integration and neuroplasticity. Fourth International Symposium on Movement and Computing, MOCO. 17, (2017).
- Kalampratsidou, V., Torres, E. B. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors (Basel). 18 (9), (2018).
- Kalampratsidou, V., Zavorskas, M., Albano, J., Kemper, S., Torres, E. B. Dance from the heart: A dance performance of sounds led by the dancer's heart. Sixth International Symposium on Movement and Computing. , (2019).
- Kalampratsidou, V., Torres, E. B. Outcome measures of deliberate and spontaneous motions. Proceedings of the 3rd International Symposium on Movement and Computing. , 9(2016).
- Von Holst, E., Mittelstaedt, H. Perceptual Processing: Stimulus equivalence and pattern recognition. Dodwell, P. C. , Appleton-Century-Crofts. 41-72 (1950).
- Torres, E. B., Yanovich, P., Metaxas, D. N. Give spontaneity and self-discovery a chance in ASD: spontaneous peripheral limb variability as a proxy to evoke centrally driven intentional acts. Frontiers in Integrative Neuroscience. 7, 46(2013).
- Torres, E. B. Objective Biometric Methods for the Diagnosis and Treatment of Nervous System Disorders. , Academmic Press, Elsevier. (2018).
- Torres, E. B., et al. Toward Precision Psychiatry: Statistical Platform for the Personalized Characterization of Natural Behaviors. Frontiers in Neurology. 7, 8(2016).
- Wu, D., et al. How doing a dynamical analysis of gait movement may provide information about Autism. APS March Meeting Abstracts. , (2017).
- Torres, E. B., et al. Characterization of the statistical signatures of micro-movements underlying natural gait patterns in children with Phelan McDermid syndrome: towards precision-phenotyping of behavior in ASD. Frontiers in Integrative Neuroscience. 10, 22(2016).
- Kalampratsidou, V. Peripheral Network Connectivity Analyses for the Real-Time Tracking of Coupled Bodies in Motion. Sensors. , (2018).
- Brincker, M., Torres, E. B. Noise from the periphery in autism. Frontiers in Integrative Neuroscience. 7, 34(2013).
- Torres, E. B., Denisova, K. Motor noise is rich signal in autism research and pharmacological treatments. Scientific Reports. 6, 37422(2016).
Przedruki i uprawnienia
