$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Interesujące Cię parametry
Istnieje wiele parametrów ruchu, które możemy wyodrębnić z trajektorii biofizycznych sygnałów cyfrowych generowanych przez układ nerwowy danej osoby. Tutaj skupiamy się na przebiegach elektroencefalogramu EEG (reprezentatywnych dla ośrodkowego układu nerwowego, wyjścia OUN), ruchach ciała (reprezentatywnych dla obwodowych układów nerwowych, wyjście PNS) i sygnałach serca (reprezentatywnych dla autonomicznych układów nerwowych, wyjście ANS).
Dla sygnałów związanych z CNS i ANS używamy fluktuacji amplitudy szczytowej przebiegów EEG i EKG (μV) zamienionych na bezjednostkowe (standaryzowane) skoki mikroruchów (MMS) (patrz poniżej). W przypadku sygnałów związanych z PNS używamy trajektorii środka masy (COM) i szeregów czasowych ich profili prędkości (m/s), aby wyprowadzić odpowiedni niejednostkowy MMS. Po zebraniu MMS możemy zintegrować je w wykres ważony-nieskierowany, oparty na zestawie par analiz sygnałów z czujników i poziomów funkcjonowania układów nerwowych. Ten krok umożliwia nam wykorzystanie analiz łączności sieciowej na połączonych sygnałach. Następnie tworzymy interpretowalne grafy14,15 przedstawiające zmiany w samoistnie powstającej topologii sieci. W szczególności, gdy porównamy te wykresy w trzech zadaniach wskazywania i/lub chodzenia, możemy zaobserwować, jak sygnały biofizyczne reagują na zewnętrzny rytm w sposób pasywny (tj. gdy uderzenia metronomu spontanicznie porywają biorytm) i w sposób aktywny (tj. gdy uczestnik celowo próbuje nadawać tempo wskazywaniu ręką lub ruchom chodu w rytm metronomu). Możemy również badać wzorce transmisji informacji między węzłami sieci reprezentującymi poziomy funkcjonowania OUN, PNS i ANS.
Analizy stochastyczne na MMS z wielofunkcyjnych warstw sygnałów biofizycznych
Sygnały biofizyczne pozyskiwane z sieci czujników na całym ciele powodują powstawanie szeregów czasowych szczytów i dolin, które różnią się amplitudą i czasem. MMS tych sygnałów biofizycznych16 to fluktuacje amplitudy i czasu pików, przy czym amplitudy są normalizowane do wartości niejednostkowej w zakresie rzeczywistego przedziału [0,1], umożliwiając w ten sposób integrację i porównanie sygnałów z różnych warstw funkcjonalnych układu nerwowego: CNS, PNS i ANS. Te rozbieżne warstwy funkcjonalności wymagają różnych poziomów kontroli neuromotorycznej i mają różne zakresy amplitudy u poszczególnych osób. Mają również różne czasy między okresami szczytu. Podczas gdy normalizacja MMS zachowuje czas pierwotnych szczytów, wychwytuje również zmiany amplitudy. Taką normalizację uzyskuje się przez podzielenie każdej lokalnej amplitudy piku przez sumę amplitudy piku i średnią sygnałów próbkowanych w obrębie dwóch sąsiednich lokalnych minimów otaczających pik:

Te ciągłe skoki w przedziale [0,1] liczb rzeczywistych zachowują informacje o fluktuacjach czasu i amplitudy, jednocześnie umożliwiając nam traktowanie szeregów czasowych jako procesu losowego. Następnie przyjmujemy proces Gamma w ramach ogólnej kategorii procesów losowych Poissona, powszechnie stosowanych w dziedzinie neuronauki obliczeniowej do analizy skoków binarnych.
Te metody analityczne zostały szczegółowo wyjaśnione gdzie indziej3,14,17,18 i zobacz Rysunek 6 dla wyjaśnienia procesu analitycznego i proponowanej wizualizacji ułatwiającej interpretację kliniczną. W tym przypadku używamy płaszczyzny parametrów Gamma rozpiętej przez parametry kształtu i skali plików PDF Gamma, które empirycznie szacujemy na podstawie przebiegów MMS. Wykreślamy również punkty odpowiadających im momentów Gamma na czterowymiarowym wykresie, przy czym średnia, wariancja i skośność obejmują trzy wymiary, a kurtoza jest reprezentowana w rozmiarze markera, którego używamy do oznaczania stochastycznych podpisów osoby.
Dla każdego zadania, dane o pikach MMS pochodzące z biofizycznych szeregów czasowych są zbierane i dopasowywane do pliku PDF Gamma przy użyciu szacowania maksymalnego prawdopodobieństwa (MLE) z 95% przedziałami ufności dla każdego parametru Gamma: kształt oznacza kształt rozkładu, a skala oznacza dyspersję (stosunek szumu do sygnału). W związku z tym z dużą pewnością szacujemy, że jest to najlepsza ciągła rodzina plików PDF, która rejestruje fluktuacje biorytmów układu nerwowego danej osoby na różnych poziomach funkcjonalności, których wymagają te zadania. Te warstwy funkcjonalne obejmują zarówno abstrakcyjne umiejętności poznawcze i zdolności pamięciowe na wysokim poziomie, jak i dobrowolną kontrolę neuromotoryczną i spontaniczne ruchy konsekwentne wynikające z zadań ukierunkowanych na cel. Badamy również ruchy automatyczne i zdolność systemu do fizycznego porywania za pomocą uderzeń metronomu na minutę.

Rysunek 6: Statystyczna procedura analityczna na potrzeby rozwoju dynamicznych biomarkerów cyfrowych i aplikacji do rozwoju przyszłych aplikacji (APP). (A) Środek masy (COM) Trajektoria pozycyjna 3D podczas chodzenia osoby. (B) Wahania prędkości COM z pikami amplitudy zaznaczonymi czerwoną kropką. (C) Standaryzowany MMS z wahań szczytów prędkości COM (czerwone kropki) w przedziale [0,1] wartości rzeczywistych. (D) Histogramy częstotliwości pików MMS (czerwone kropki w MMS). (E) Funkcje gęstości prawdopodobieństwa (PDF) pasujące do histogramu częstotliwości ewoluującego w czasie od bezpamięciowego, najbardziej losowego, wykładniczego rozkładu (czerwony) do przejściowego rozkładu skośnego (niebieski), do Gaussa (predykcyjny) z niską dyspersją (GOAL, zielone kółko). Ten idealny rozkład (kolor zielony) pojawia się u młodych sportowców i wyznacza cel dla predykcyjnych przypadków o wysokim stosunku sygnału do szumu. (F) Oszacowanie maksymalnego prawdopodobieństwa (MLE) użyte do dopasowania najlepszego pliku PDF (z 95% pewnością) do danych empirycznych. Wynikowe wartości parametrów lokalizują na płaszczyźnie parametru Gamma ewoluujące sygnatury stochastyczne (proces Gamma) wynikające z fluktuacji prędkości COM: "kształt logarytmu" reprezentuje kształt rozkładu w zakresie od wykładniczego przez skośny do symetrycznego (idealny Gaussowski); "Skala logarytmiczna" to stosunek szumu do sygnału (dyspersja) implikujący rodzaj kinestetycznego sprzężenia zwrotnego, które mózg (najprawdopodobniej) otrzymuje22,23. Kolory reprezentują stany stochastyczne, które dynamicznie ewoluują w czasie. (G) Odległość prawdopodobieństwa (odległość metryczna Wassersteina7) od idealnego CELU niskiego stosunku szumu do sygnału (niska dyspersja) i wysokiej przewidywalności (rozkład symetryczny) występującego w neurotypach; z dala od słabego sprzężenia zwrotnego (losowego szumu) występującego u bardziej zaawansowanych pacjentów z PD, cierpiących na aferynd24,25,26,27, schizofrenia28 i osoby autystyczne3,18,22,29. (H) Uproszczona wizualizacja przedstawiająca te stochastyczne stany ewoluujące w czasie opiera się na relacji prawa potęgowego między parametrami kształtu i skali. Takie wizualizacje do przyszłego tworzenia aplikacji mogą dostarczać w czasie rzeczywistym, łatwe do zrozumienia, kliniczne informacje zwrotne dla PWP i zespołu opieki zdrowotnej w celu poprawy precyzji oceny i planowania leczenia. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Wyniki z różnych trybów danych
Na potrzeby tego artykułu przeanalizowaliśmy dane trzech osób z grupy PWP i trzech zdrowych uczestników z danymi demograficznymi przedstawionymi w Tabeli 1. Trzy PWP zostały wybrane spośród 10 zarejestrowanych przez nas PWP, aby reprezentować przypadek z łagodną chorobą Parkinsona (ujednolicona skala oceny choroby Parkinsona [UPDRS] wynik 16), umiarkowany przypadek (wynik UPDRS 25) i ciężki przypadek (wynik UPDRS 44). Dwóch zdrowych uczestników zostało wybranych spośród 15 zdrowych osób, które zarejestrowaliśmy, ponieważ najbardziej pasowały do PWP pod względem wieku i płci; Jeden zdrowy uczestnik został wybrany z młodszej grupy wiekowej, aby stanowić idealne zdrowe odniesienie do porównania.
Rozdział
Rozdział
Rozdział
| uczestnik | nieporządek | płeć | wiek | ZasilaczUPDRS a |
| 1 | PWP (Polskie Biuro Prasowe | Z | Rozdział 64 | Rozdział 44 |
| cyfra arabska | PWP (Polskie Biuro Prasowe | M | 65 | 25 |
| 3 | PWP (Polskie Biuro Prasowe | M | Rozdział 64 | 16 |
| 4 | żaden | M | 26 | N/a |
| 5 | żaden | Z | 65 | N/a |
| 6 | żaden | M | 67 | N/a |
| aMaksymalny wynik: 108. | | | |
Tabela 1: Dane demograficzne uczestników.
W teście poznawczym i pamięciowym (ruch pióra) zarejestrowano trajektorie pozycyjne ruchów pióra, a prędkość liniową wyodrębniono w celu wyprowadzenia szeregu czasowego amplitudy prędkości. Następnie MMS z fluktuacji amplitudy prędkości zostały wyprowadzone dla każdego zadania rysunkowego. Pacjentów pogrupowano według mediany wyników rankingowych Towarzystwa Zaburzeń Ruchowych −UPDRS (MDS-UPDRS), przy czym najwyższe nasilenie PD wskazywało na najwyższy wynik rankingowy powyżej mediany wartości kohorty. Trzech reprezentatywnych uczestników z każdej grupy, dla których wyznaczono medianę rankingu wyników, wykorzystuje się do przedstawienia wyników w odniesieniu do trzech reprezentatywnych kontroli. Jedna grupa kontrolna to młody (26-letni mężczyzna) reprezentujący idealny stan kontroli neuromotorycznej w młodości. Pozostałe dwa to zdrowe środki kontrolujące starzenie się; jedna 65-letnia kobieta i jeden 67-letni mężczyzna. Rysunek 7 przedstawia trajektorie COM, a Rysunek 8 przedstawia odpowiadające im procesy Gamma z MMS pochodzące z jego profili prędkości trajektorii.

Rysunek 7: Przykładowe trajektorie COM podsumowujące trajektorie 17 lokalizacji ciała podczas wykonywania wybranych testów rysunkowych poznawczych z rzeczywistymi zdigitalizowanymi śladami. Przykładowe wyniki podczas ćwiczeń figury zespolonej Bensona (zadania 1 i 7) oraz testów tworzenia szlaków (zadania 2−5). (A) Figura zespolona Bensona użyta w tym protokole. (B) Test szlaku z cyframi i literami, którego celem jest połączenie ich w ustalonej kolejności poprzez narysowanie linii wzdłuż uporządkowanej ścieżki (zadanie 4 – Szlak B). (C) Próbki śladów długopisu figury kompleksu Bensona i trajektorii COM 3D od 65-letniej kobiety z grupy kontrolnej (niebieski) i PWP z wynikiem MDS-UPDRS wynoszącym 44 (czerwony). Lewa strona pokazuje wyniki, gdy uczestnik natychmiast skopiował rysunek (zadanie 1), a prawa strona to moment, gdy uczestnik przypomniał sobie rysunek po 10 minutach opóźnienia (zadanie 7). W obu przypadkach ciągłe rysowanie wraz z podnoszeniem pióra jest rejestrowane w celu pokazania różnic wynikających z wahania itp. (D) Wykonanie kontroli vs. PWP w zadaniach Szlak A (zadanie 3) i Szlak B (zadanie 5). Zwróć uwagę na zmiany w trajektoriach COM i rzeczywistych rysunkach. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Rysunek 8 pokazuje wyniki najlepiej dopasowanego MLE Gamma-PDF z 95% pewnością dla zdrowych uczestników i pacjentów uczestniczących. W każdym zadaniu rysunkowym pacjenci dzielili się na warstwy poza grupą kontrolną. Co więcej, podzielili się na warstwy w swojej grupie i zróżnicowali się zgodnie z medianą wyników MDS-UPDRS. Każdy pacjent jest reprezentowany jako momenty empirycznie oszacowanego pliku PDF na górnych panelach, podczas gdy dolne panele przedstawiają krzywe PDF dla każdego uczestnika. Na różnych panelach czytelnik może docenić rodzinę plików PDF rozmieszczonych przez każdą osobę w różnych zadaniach. Porównaj to podejście z uniwersalnymi (zakładanymi) modelami parametrycznymi. Rysunek 8D pokazuje ciągły rysunek figury zegara (zadanie 6) uchwycony przez końcówkę pióra (w tym podnoszenie pióra).

Rycina 8: Skoki mikroruchów (MMS) stratyfikują kohorty i budują konfigurowalne, spersonalizowane dynamiczne biomarkery cyfrowe do zadań poznawczych. Fluktuacje z chwili na chwilę (MMS bez jednostek) pochodzące z trajektorii 3D COM podczas testów poznawczych unikalnie lokalizują każdego uczestnika wzdłuż mapy stochastycznej. COM podsumowuje 17 trajektorii pozycji w całym ciele, rejestrując ruchy jednocześnie, podczas gdy osoba wykonuje zadania poznawcze i rysuje na tablecie cyfrowym. (A) Momenty Gamma zostały empirycznie oszacowane podczas testu Trail B (zadanie 5) łączącego litery i cyfry (średnia oś x, odchylenie standardowe oś y; skośność osi z i rozmiar znacznika kurtozy) z oszacowania maksymalnego prawdopodobieństwa z 95% pewnością na górnym panelu. Każdy znacznik reprezentuje unikalną lokalizację osoby w przestrzeni prawdopodobieństwa. Każdy punkt oznacza unikalny, rozłączny plik PDF pokazany na dolnym panelu, dzieląc w ten sposób medianę wyników rankingowych UPDRS PWP (legendy). (B) Zadanie skopiowania złożonej figury Bensona (zadanie 1). (C) Zadanie rysowania zegara (zadanie 6). (D) rzeczywiste rysunki zegara uchwycone przez cyfrowo utrwalone pióro pokazujące ciągły ślad (włączając w to podnoszenie pióra). Wszystkie kinematyki pióra i całego ciała w ruchu są synchronicznie rejestrowane za pomocą EEG-EKG (nie pokazano) w celu empirycznego wyprowadzenia wielowarstwowych (poznawczych, dobrowolnych, spontanicznych, automatycznych, autonomicznych) sygnatur stochastycznych. To spersonalizowane podejście (proces Gamma) kontrastuje z "uniwersalnym modelem", który zakłada teoretyczny plik PDF i poprzez średnie końcowe wygładza jako "szum" ważne wahania amplitudy i czasu przebiegów. Skoki mikroruchów (MMS) i podejście oparte na procesie Gamma stratyfikują kohorty i budują interpretowalne spersonalizowane biomarkery cyfrowe do zadań poznawczych. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Następnie prezentujemy wyniki ruchów ciała (dobrowolne wskazywanie vs. automatyczne chodzenie). Ruchy rysunkowe nie wymagają takiego samego poziomu ukierunkowania na cel, jak zadanie wskazywania celu (tj. zadania 10−12). Aby móc ocenić poziomy kontroli wolicjonalnej, następnie korzystamy z zadania polegającego na wskazaniu celu przestrzennego. Tak jak poprzednio, używamy trajektorii z COM podsumowujących ruchy kinematyczne 17 pozycji czujników (rysunek 9). Najpierw bierzemy szereg czasowy amplitudy prędkości, a następnie wyprowadzamy MMS z chwilowych wahań amplitudy. Lewy panel na rysunku 10 przedstawia wyniki analiz stochastycznych podczas zadania wskazywania na linię bazową (zadanie 10). Środkowy panel na rysunku 10 pokazuje wyniki zadania wskazywania, gdy metronom jest ustawiony na 35 uderzeń na minutę, bez instruowania uczestnika o jego obecności (zadanie 11). Prawy panel w Rysunek 10 pokazuje wyniki z przypadku, w którym uczestnicy zostali poinstruowani, aby dostosować swoje ruchy wskazujące do rytmu metronomu (zadanie 12).

Rysunek 9: Trójwymiarowe trajektorie COM podczas zadań wskazujących w trzech różnych kontekstach, regularne wskazywanie w celu wykonania pomiaru linii bazowej (zadanie 10), wskazywanie, gdy metronom bije w tle z prędkością 35 uderzeń na minutę bez ostrzegania uczestnika o obecności metronomu (zadanie 11) oraz wskazywanie w obecności tego samego rytmu metronomu, ale po poinstruowaniu uczestnika, aby wykonywał ruchy zgodnie z rytmem metronomu (zadanie 12). A) Wyniki działania uczestnika kontroli. (B) Wyniki PWP w grupie o najniższej ocenie dotkliwości zgodnie z medianą rankingu wyników MDS-UPDRS całej kohorty. (C) PWP w grupie o średnim zakresie ciężkości. (D) PWP w grupie o najwyższym nasileniu. Należy zwrócić uwagę na pogorszenie trajektorii COM wraz ze wzrostem wyników MDS-UPDRS. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Wyniki procesu Gamma są pokazane w Rysunek 10, dzięki czemu można rozróżnić każdy podtyp PWP i śledzić zmiany w sygnaturach stochastycznych z kontekstu na kontekst.
Zadanie wskazujące ujawniło wrażliwość tych analiz na sytuacje kontekstowe. W przypadku tego samego zadania wskazującego, zmiany w warunku metronomu wywołały różne sygnatury stochastyczne między warunkami. W szczególności możemy zaobserwować zmianę w biorytmach COM, gdy spontanicznie (bez instrukcji) porywały się z rytmem metronomu w stosunku do stanu, w którym uczestnik został poinstruowany, aby celowo nadawać tempo ruchom wskazującym do rytmu metronomu. Zadanie to wykazało, że na początku ruchów górnej części ciała poziomy dobrowolnej kontroli różnią się w zależności od PWP w zależności od różnych wyników MSD-UPDRS. W szczególności, im niższy wynik, tym niższy stosunek szumu do sygnału (wartość parametru skali) na płaszczyźnie parametru Gamma wynosi (Rysunek 10A) i tym bardziej symetryczna jest wartość kształtu PDF. Ta uporządkowana zależność między medianą uszeregowanych wyników UPDRS a danymi cyfrowymi została zmieniona wraz z obecnością metronomu i dalej rozróżniona między spontanicznymi (niepoinstruowanymi) i celowymi (poinstruowanymi) warunkami wskazywania.

Rysunek 10: Dynamiczna cyfrowa ocena trzech konkretnych zadań wskazujących. Dane wyjściowe procesu gamma z MMS pochodzące z fluktuacji szeregów czasowych prędkości COM rozróżniają się w obrębie i między PWP a grupami kontrolnymi podczas trzech zadań wskazujących (zadania 10−12). (A) Płaszczyzna parametru Gamma pokazuje różnice między PWP a sterowaniem. (B) Dla każdego warunku wskazującego, momenty Gamma oszacowane empirycznie na podstawie procesu Gamma, rozróżnia się PWP i kontrole; A w każdej grupie podpisy stochastyczne dzielą uczestników na różne punkty. Każdy kontekst zadania zmienia położenie punktu na mapie. (C) Rodzina plików PDF rozróżnia również każdego uczestnika, każdą grupę i ujawnia statystyczne zróżnicowanie między kontekstami zadań dla wskazywania ukierunkowanego na cel. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Następnie zapytaliśmy, czy te wpływy różnych warunków na dobrowolne wskazywanie rozciągają się na automatyczne ruchy chodu. W tym celu wykonaliśmy ten sam protokół, co powyżej, tj. za pomocą metronomu, podczas gdy uczestnik chodził po pokoju. Rytm metronomu został w tym przypadku ustawiony na 12 uderzeń na minutę. Rysunek 11 pokazuje trajektorie COM dla kontroli i medianę PWP uszeregowaną według wyników MDS-UPDRS. Wyniki analizy stochastycznej zadania chodu przedstawiono na rysunku Rysunek 12.

Rysunek 11: Dynamiczna cyfrowa ocena trzech konkretnych zadań związanych z chodzeniem. Zadanie chodzenia w celu ustalenia stosunku szumu do sygnału wahań amplitudy prędkości, wyprowadzonych z trajektorii 3D COM z 17 miejsc na ciele. (A) trajektorie 3D COM u uczestnika kontrolnego, podczas gdy osoba porusza się tam i z powrotem podczas naturalnego chodzenia (zadanie 13); chodzenie w obecności metronomu bez instrukcji, w celu zmierzenia spontanicznego porywania się na uderzenia metronomu (zadanie 14); i chodzenie, celowo dostosowując tempo oddechu do rytmów metronomu, zgodnie z instrukcją (zadanie 15). (B) PWP z niższym wynikiem UPDRS w rankingu. (C) PWP z wyższym wynikiem UPDRS pogarsza trajektorię COM 3D. (D) PWP z najwyższym wynikiem UPDRS wykazuje bardzo zaburzone trajektorie COM. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Ryc. 12: Zdolność do spontanicznego i instruowanego porywania fizycznego podczas chodzenia. Cyfrowy biomarker zadania chodzenia oparty na MDS-UPDRS. (A) Stratyfikacja PWP podczas naturalnego chodzenia zgodnie z wynikami mediany. (B) Metronom spontanicznie przesuwa stochastyczne sygnatury. (C) Instruowany chód w rytm metronomu ponownie zmienia sygnatury. (D-F) Płaszczyzna parametrów logarytmu gamma lokalizuje grupy według różnych kształtów i skali plików PDF (stosunek szumu do sygnału) z bardziej hałaśliwymi i przypadkowymi fluktuacjami w PWP. (G-I) Empirycznie oszacowane pliki PDF przedstawione na powyższych panelach D-F obejmują rodzinę, która zmienia się wraz z kontekstem w sposób unikalny dla każdej osoby. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Ponieważ wszystkie zadania poznawcze i pamięciowe mogą być wykonywane, podczas gdy kamera internetowa komputera rejestruje twarz, możliwe jest użycie OpenPose, oprogramowania do uczenia maszynowego o otwartym kodzie źródłowym, które jest powszechnie dostępne dla badaczy35, i wyodrębnić informacje o twarzy, które mogą być wykorzystane do wnioskowania o informacjach związanych z sentymentem lub treścią emocjonalną. Często w chorobie Parkinsona mimika twarzy zmniejsza się, ponieważ wyczerpanie dopaminy może ostatecznie skutkować niskim napięciem mięśniowym. W tym przypadku proces Gamma może być również wykorzystany do określenia obszarów twarzy, które są najbardziej aktywne podczas danego zadania, lub do zbadania treści emocjonalnej poprzez ustalenie przejść obszarowych między emocjami. Rysunek 13 pokazuje przykład takich analiz z wykorzystaniem wideo z twarzy uczestnika podczas zadań 16 i 17. 70 punktów używanych do uchwycenia mikroruchów twarzy jest umieszczonych w korespondencji ze znanymi obszarami nerwów trójdzielnych V1 (29), V2 (14), V3 (27)8 (Rysunek 13A), aby ocenić, na przykład w tym przypadku, który obszar zmienia się maksymalnie podczas przejścia z neutralnej twarzy do uśmiechu. Ten rodzaj analizy może być systematycznie stosowany do badania innych niemotorycznych aspektów PD, w tym depresji i komunikacji społecznej w ogóle.
Aby skompensować niepewne przybliżenie kamery, naturalny ruch człowieka i rzeczywisty rozmiar twarzy, normalizujemy twarz w następujący sposób: Zakładając, że kamera jest nieruchoma, mapujemy każdą twarz na "powierzchnię jednostki" z x̄', ȳ' = 0 i wariancją jednostek. Dla każdej klatki w filmie normalizujemy każdy punkt x' = x- x̄, y' = y- ȳ i skalujemy każdą współrzędną o wariancję ogólnej maski dla danej klatki, aby uzyskać wariancję jednostkową dla każdej maski. Następnie traktujemy każdy punkt w szeregu czasowym twarzy jako odchylenia od poprzedniej maski, ponieważ zakładamy, że twarz nie odkształca się plastycznie podczas nagrania. Wynikiem jest 70-kanałowy szereg czasowy współrzędnych pozycji (Rysunek 13B). Fluktuacje amplitudy prędkości wyodrębnione z przepływów pozycyjnych i prędkości powodujących powstanie tych szeregów czasowych są konwertowane na MMS i wprowadzane do procesu Gamma, ujawniając w ten sposób pliki PDF i ich przesunięcia z emocjonalnymi przejściami (Rysunek 13C). Na przykład przejście od neutralnego wyrazu twarzy do uśmiechu wydaje się niezauważalne w Rysunek 13B, jednak stochastyczne przesunięcia ujawniają strefę V2 jako najbardziej wrażliwą, maksymalnie zmieniając PDF.

Rysunek 13: Analizy sentymentu na podstawie danych wideo przechwyconych za pomocą OpenPose. (A) Obszary twarzy według nerwu trójdzielnego, który przenosi ogólne somatyczne włókna doprowadzające (GSA). Włókna te unerwiają skórę twarzy poprzez podziały okulistyczne (V1), szczękowe (V2) i żuchwowe (V3) używane tutaj do badania przejść między mimiką twarzy (neutralny vs. uśmiech). (B) Korzystając z kilku minut filmu zarejestrowanego za pomocą dostępnych na rynku kamer wideo, możliwe jest wyodrębnienie informacji o twarzy za pomocą OpenPose i renderowanie 70 punktów na twarzy zgodnie z obszarami V1, V2, V3 (kody kolorów jak w panelu A). MMS z tych szeregów czasowych są następnie wprowadzane do procesu Gamma, a parametry skali i kształtu Gamma są empirycznie szacowane dla każdego warunku. (C) Analizy ujawniają, że obszar V2 jest w tym przypadku maksymalnie dotknięty przejściem od neutralnego do uśmiechu, dla tej konkretnej osoby, jako że zmiana w PDF jest największa. Kliknij tutaj aby zobaczyć większą wersję tego rysunku.

Rysunek 14: Integracja cyfrowych sygnałów biofizycznych z wielu warstw układu nerwowego przy użyciu ważonych wykresów nieskierowanych i metod teorii informacji. Łączność sieciowa par wzajemnych informacji między wszystkimi sygnałami EEG, ruchu (magnetometr) i EKG. (A) Reprezentatywny pomiar łączności zdrowego uczestnika podczas trzech zadań chodzenia - zadanie 13 kontrola (po lewej), zadanie 14 spontaniczne rozmieszczenie metronomu (środek) i zadanie 15 oddychanie w tempie instruowanym (po prawej). Każdy węzeł reprezentuje sygnał pojedynczego czujnika; kolor linii reprezentuje poziom MI, gdzie jaśniejszy kolor oznacza wyższą łączność; kolor węzła reprezentuje średni wskaźnik MI sygnału tego czujnika ze wszystkimi innymi czujnikami. Skala kolorów jest ustawiona tak, aby była taka sama we wszystkich zadaniach i wszystkich uczestnikach i jest arbitralnie ustawiana tak, aby miała najjaśniejszy kolor dla maksymalnej wartości MI we wszystkich zadaniach i uczestnikach oraz aby miała najciemniejszy kolor dla minimalnej wartości MI we wszystkich zadaniach i uczestnikach. Łączność zdrowego uczestnika wykazuje najsilniejsze połączenie między węzłami mózgu i ciała. (B) PWP z miarą łączności UPDRS 16, o takim samym schematycznym układzie jak w panelu A, wykazuje mniejszą gęstość połączeń niż sieć zdrowego uczestnika. (C) PWP z miarą łączności UPDRS 44, z tym samym schematycznym układem, co w panelu A, pokazuje najrzadszy wzorzec połączeń w mózgu i ciele. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Następnie ustalamy ilość informacji przekazywanych przez te biorytmy. W tym celu stosujemy podejście teoretyczne oparte na informacji opracowane przez Shannon19, wykorzystujące wzajemną informację (MI) pomiędzy każdą parą sygnałów sensorów (tj. czujnik EEG, czujnik ruchu, czujnik EKG). W tym celu uzyskaliśmy amplitudy MMS z każdego typu przebiegu.
MI między dwoma czujnikami ocenia poziom niepewności zredukowany w sygnale jednego czujnika, wprowadzając informacje o sygnale drugiego czujnika; gdy MI jest wysoki, oznacza to, że oba sygnały są silnie połączone, a gdy jest niski, oznacza to, że oba sygnały są w większości niezależne. W szczególności MI jest obliczane jako:

where
jest znormalizowaną wartością histogramu rozkładu wartości dla sygnału X, a
jest znormalizowaną wartością histogramu łącznego rozkładu wartości dla sygnału X i Y. Pojemniki do pobierania próbek ustawiono na przyrost w zakresie 0,05, od 0,5 do maksymalnej wartości amplitudy. Szczegóły dotyczące wyprowadzania tego wzoru można znaleźć w wielu publikacjach z zakresu teorii informacji z zastosowaniem w analizach klinicznych20,21.
Ogólnie rzecz biorąc, zdrowy uczestnik wykazywał bardziej połączoną sieć podczas trzech zadań związanych z chodzeniem, podczas gdy pacjenci mieli rzadsze połączenie, jak pokazano na Rysunek 13. Nie tylko transmisja informacji przez sieć, w której wzajemne informacje pochodziły z samowykrywanych biorytmów, jest znacznie niższa w PWP; co ważniejsze, istnieją zasadnicze różnice we wzorcach transmisji zawału mięśnia sercowego między stanami, które różnią się w zależności od pacjenta. W tym miejscu możemy dalej wykorzystywać metryki łączności z analiz sieciowych, aby podsumować cechy topologiczne tych rozwijających się sieci i jako takie dostarczyć dodatkowych wskaźników fizycznej zdolności porywania, odzwierciedlając również poziomy komunikacji między mózgiem, ciałem i sercem, gdy występuje fizyczne porywanie związane z metronomem w porównaniu z nim.