Method Article

Multimodalny zestaw narzędzi do przechwytywania ruchu do ulepszonej analizy koordynacji międzysegmentalnej u dzieci z porażeniem mózgowym i typowo rozwijającymi się

DOI:

10.3791/69604

⸱

December 16th, 2025

 ,  ,  , 
1Department of Physical Therapy, University of North Florida, 2School of Physical Education and Sport of Ribeirão Preto, University of São Paulo, 3Department of Clinical and Applied Movement Sciences, University of North Florida

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Niniejsze badanie wprowadza zestaw narzędzi łączący technologie przechwytywania ruchu do analizy sygnałów kinematycznych oraz ilościowego określenia wzorców koordynacji całego ciała z wykresami kątowo-kątowych. Zaprojektowany, aby pokonać wyzwania tradycyjnych systemów opartych na markerach, zestaw narzędzi wspiera elastyczność w środowiskach badawczych, klinicznych i terenowych, rozwijając indywidualną opiekę i oceny funkcjonalne dzieci z niepełnosprawnościami ruchowymi.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Trójwymiarowe systemy przechwytywania ruchu oparte na markerach są złotym standardem w ocenie wzorców kinematycznych ruchu człowieka, oferując precyzyjne określenie pozycji segmentów i stawów. Jednak tradycyjne systemy oparte na markerach stawiają przed sobą kilka wyzwań, szczególnie u dzieci z niepełnosprawnościami neurologicznymi i nieprawidłowościami przetwarzania sensorycznego, takimi jak te obserwowane u dzieci z porażeniem mózgowym. Te wyzwania utrudniają stosowanie markerów kinematycznych i ograniczają szczegółowe analizy wzorców ruchu. Najnowsze osiągnięcia w systemach przechwytywania ruchu bez markerów, wykorzystujących estymację pozycji człowieka opartej na głębokim uczeniu, pozwoliły nam zbadać opłacalne alternatywy dla tradycyjnych systemów optycznych oraz późniejszych metod przetwarzania danych. Opracowano zintegrowany zestaw narzędzi, łączący wiele technologii przechwytywania ruchu: sprzęt kinematyczny klasy badawczej, klastry kinematyczne, jednostki pomiarowe inercjalne, trójwymiarowe (3D) systemy bez markerów oraz dwuwymiarowe (2D) systemy bez markerów z komercyjnie dostępnymi kamerami (za pośrednictwem MediaPipe). W niniejszym badaniu przedstawiamy wyniki 3D opartego na markerach kontra 2D bezmarkerowego przechwytywania ruchu, co jest głównym bieżącym problemem w badaniach biomechanicznych u ludzi, aby opisać wzorce koordynacyjne za pomocą wykresów kątów i kątów bioder i kolan. Podejście cyklograficzne zostało wybrane, ponieważ oferuje solidne i łatwo interpretowalne ramy do analizy koordynacji poprzez sprzężony ruch między segmentami ciała. Dwoje typowo rozwijających się dzieci oraz dwoje dzieci z porażeniem mózgowym wykonywało funkcjonalny wzorzec ruchu, czyli zadanie siedząc-na-stanie. Wyniki przedstawione tutaj wykazały wykonalność integracji systemów multimodalnych do analiz kinematycznych, zapewniając elastyczność w badaniach i środowiskach klinicznych. Ponadto nowatorskie podejście open-source przedstawione w tej pracy odpowiada na wyzwania stawiane przez wiele grup pacjentów z problemami przetwarzania sensorycznego, umożliwiając zaawansowany i indywidualny plan opieki.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Trójwymiarowe oceny kinematycznego przechwytywania ruchu dostarczyły wiarygodnych informacji w zakresie ilościowego określania oczekiwanych i nieprawidłowych wzorców ruchu. Takie informacje są kluczowe przy projektowaniu planów rehabilitacji1 oraz ustalaniu podejść bezpieczeństwa do kontaktu pacjentów ze sprzętem klinicznym (np. 2,3). W przypadku dzieci z niepełnosprawnościami neurologicznymi, te oceny kinematyczne mogą zapewnić lepszą opiekę, uwzględniając zmiany w wzorcach koordynacji w różnych czynnościach funkcjonalnych, takich jak chod4, zadanie siedząc-do-stania5 oraz górna kończyna osiągająca6.

Chociaż trójwymiarowe (3D) oceny kinematyczne są uznawane za złoty standard dokładnej analizy przechwytywania ruchu7, umieszczenie markerów kinematycznych na skórze jest wymagane, aby zapewnić dokładną ilościową identyfikację ruchów segmentów i stawów. Ta ocena oparta na markerach wymaga znajomości konkretnych punktów anatomicznych dla osób wykonujących tę ocenę, a także tolerancji i akceptacji taśm przymocowanych do skóry osób poddawanych badaniu. Podczas gdy pierwszego można się nauczyć, drugiego jest problemem u kilku grup pacjentów. Na przykład dzieci z urazem mózgu lub porażeniem mózgowym mogą wykazywać zaburzenia związane z przetwarzaniem informacji sensorycznych 8,9,10. To zaburzenie może objawić się nadwrażliwością, uniemożliwiając klinicystom i badaczom stosowanie markerów kinematycznych na skórę dzieci, co z kolei może utrudniać ilościowe określenie zmian w zdolnościach ruchowych i efektywny, indywidualny plan opieki.

Oprócz problemu umieszczania markerów na skórze u pacjentów, większość systemów pomiarowych stosowanych w badaniach kinematycznych nie jest przystępna cenowo, jest ograniczona do laboratoriów i dostępna wyłącznie dla wysoko wykwalifikowanego personelu, co czyni je niepraktycznymi do rutynowego zastosowania klinicznego. Jednak obecne postępy w technologii przechwytywania ruchu wspierają inne podejścia do rejestrowania danych kinematycznych. Na przykład automatyczne oszacowanie ludzkiej pozycji za pomocą technik głębokiego uczenia przyciągnęło uwagę badaczy widzenia komputerowego. Te techniki przechwytywania ruchu bez markerów mogą stanowić obiecujące rozwiązanie dla wyzwań technicznych i praktycznych związanych z analizą ruchu opartą na markerach11. Zamiast polegać na śledzeniu markerów, to podejście wykorzystuje wytrenowane sieci neuronowe do oszacowania pozycji całego punktu orientacyjnego12. Ten rozwój zwiększa ogólną efektywność i elastyczność technologii rozpoznawania postawy człowieka.

Jest dobrze udokumentowane, że relacje kinematyczne między segmentami ciała mogą ujawniać ukryte mechanizmy kontrolne wspierające zmienność wzorców ruchu. Chociaż do pomiaru koordynacji między odcinkami13 można stosować kilka metod, wykresy kąt-kąt (cyklogramy) pozwalają na interpretowalne kwantyfikowanie sprzężonego ruchu między segmentami/stawami w określonym czasie14,15. Ponieważ wiele dzieci z porażeniem mózgowym doświadcza trudności z wykonywaniem wzorców ruchu całego ciała z powodu upośledzonej selektywnej kontroli motorycznej16, zdecydowaliśmy się zbadać prosty, lecz złożony mechanizm kontroli17, czyli ruch siedząc-do-stający. Celem tego badania było wykazanie wykonalności otwartoźródłowego zestawu narzędzi łączącego technologie motion capture, aby ułatwić kinematyczne oceny wzorców koordynujących u dzieci z niepełnosprawnościami.

W tej pracy wykorzystamy cyklogramy biodra i kolana do wykazania koordynacji między tułowiem/miednicą a segmentami uda/trzonkiem, wykorzystując stawy biodrowe i kolanowe jako reprezentatywne sprzężenia międzysegmentowe istotne dla biomechaniki siedzenia do stania. Koordynacja biodra i kolana została wybrana, ponieważ obejmuje pierwotne sprzężenie stawowe, które napędza pionowy postęp środka masy podczas zadania siedzącego do stania, co jest funkcjonalnie kluczowym ruchem dla dzieci z niepełnosprawnościami, które często polegają na kompensacyjnych strategiach kończyn dolnych z powodu zaburzonej selektywnej kontroli motorycznej wpływającej na synergie stawów. Integracja różnych technologii (od sprzętu kinematycznego 3D klasy badawczej po komercyjnie dostępne kamery) w jednym narzędziu przetwarzającym umożliwia elastyczność wykorzystania od środowisk badawczych po teren i środowiska kliniczne. Zestaw narzędziowy umożliwia również szczegółowe oceny kinematyczne, gdy rozmieszczenie markerów nie jest możliwe z powodu nieprawidłowości przetwarzania sensorycznego u dzieci z niepełnosprawnościami za pomocą funkcji przetwarzania sygnału bez markerów.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badanie to zostało przeprowadzone jako seria przypadków, wykorzystując reprezentatywne wyniki od czwórki dzieci do wykazania wykonalności protokołu, a nie wnioskowania statystycznego. W badaniu uczestniczyło dwoje dzieci rozwijających się typowo (chłopiec 4 lata, 100 cm, 14,5 kg; chłopiec 10 lat, 144 cm, 40,8 kg) oraz dwoje dzieci z porażeniem mózgowym. W badaniu uczestniczyło Gross Motor Function Classification System III (dziewczynka 4 lata, 93 cm, 13,8 kg; chłopiec 4 lata, 102 cm, 16,7 kg). Rodzice/opiekunowie prawni oraz dzieci wyrazili świadomą zgodę/zgodę przed udziałem, zgodnie z naszym protokołem badawczym zatwierdzonym przez Instytucjonalną Radę Recenzyjną (IRB-FY2024-33).

UWAGA: Chociaż protokół ten opisuje procedury zarówno dla systemów 3D opartych na markerach, jak i 2D bezmarkerowych systemów motion capture, głównym celem badania jest wdrożenie podejścia 2D bez markerów, które stanowi podstawowe kliniczne i praktyczne zastosowanie tej pracy. Główna implementacja obecnego protokołu wymaga systemu rejestracji ruchu opartego na markerach (minimum 8 kamer) do akwizycji kinematycznych 3D oraz jednej kamery RGB (minimalna rozdzielczość 1920 × 1080 pikseli, 50 Hz) ustawionej prostopadle do płaszczyzny strzałkowej do dwuwymiarowego rejestrowania bez markerów. Metoda ta nadaje się do kontrolowanych środowisk klinicznych lub laboratoryjnych, przy odpowiednim oświetleniu (> 500 luksów) i minimalnym zakłóceniu tła. Aby poprawić odporność w nieidealnych środowiskach, zestaw narzędzi vailá integruje narzędzia do wstępnego przetwarzania (np. maskowanie drawboxa, kadrowanie/zmianę rozmiaru wideo), które pozwalają użytkownikom izolować uczestnika od rozpraszaczy w tle lub dostosować nieoptymalne kadrowanie kamery. Kluczowe ograniczenia to mniejsza dokładność dla podejścia z jedną kamerą i bez markerów dla dzieci wykazujących znaczące ruchy poza płaszczyzną, ponieważ to podejście nie jest w stanie uchwycić informacji o głębokości lub ruchach poza polem widzenia kamery. Użytkownicy powinni upewnić się, że uczestnicy pozostają w określonej objętości przechwytu i utrzymują wyrównanie płaszczyzny strzałkowej podczas wykonywania zadania, aby zoptymalizować wydajność śledzenia bez markerów.

1. Testy wstępne

  1. Włącz i rozgrzej system kamery do rejestrowania ruchu na podczerwień oraz kamerę wideo. System rejestrowania ruchu w podczerwieni wymaga około 30-60 minut rozgrzewania, aby osiągnąć stabilizację termiczną przed kalibracją i zbieraniem danych. Zweryfikowaj częstotliwość próbkowania na 100Hz (kamery na podczerwień dla systemów markerowych) i 50Hz (kamera wideo dla systemu bez markerów).
  2. Usuń i/lub zakryj obiekty odbijające z objętości rejestrującej.

2. Rozmieszczenie kamery

  1. System oparty na markerach (system kamery 3D)
    1. Kamery pozycjonują około 1,5-2,5 m od centrum obszaru ruchu, zamontowane na wysokości od 0,5 do 2,5 m. Upewnij się, że kamery są równomiernie rozmieszczone wokół objętości rejestracji, aby zoptymalizować widoczność markerów i zminimalizować zasłonę podczas zadania typu siedząc-to-stand. Alternatywne podnoszenia pozycji kamery, aby poprawić dokładność triangulacji i zmniejszyć zakłócenia w linii widzenia.
    2. Każdy punkt w objętości docelowej (gdzie dziecko wykona zadanie) musi być widoczny przez co najmniej dwie kamery przez cały czas, zgodnie ze standardowymi zaleceniami dotyczącymi optymalnego przechwytywania danych 3D. Zdefiniuj objętość przechwytu na podstawie antropometrii uczestników pediatrycznych oraz ocenianego zadania.
      UWAGA: Przestrzeń robocza była wyśrodkowana na wysokości około 0,80 m nad podłogą.
    3. Wykorzystaj narzędzia oprogramowania opartego na markerach, aby dopracować trzy główne ustawienia optyczne (zoom, przysłona, ostrość), aby zapewnić niskie rezydualności kalibracji i wysoką spójność śledzenia markerów we wszystkich próbach.
  2. System bez markerów (kamera 2D)
    1. Umieść kamerę boczną w odległości 3,0 m od uczestnika (lub bliżej, jeśli to możliwe, pod warunkiem, że całe ciało obiektu jest widoczne przez cały czas trwania zadania, od siedzenia do stania), wycentrowane na wysokości miednicy, gdy uczestnik stoi, prostopadle do płaszczyzny strzałkowej.
    2. Wypoziomuj oś optyczną (bez rolowania) i wyrównaj linię środkową obrazu z centralnym obszarem stawu biodrowego.
    3. Konfiguruj kamerę z stałymi parametrami obrazowania dla wszystkich nagrań.
      1. Ustaw region akwizycji na obszar zainteresowania 1920 × 1200 px, aby zdefiniować efektywną rozdzielczość. Używaj obiektywu ogniskowego 20 mm i utrzymuj stałą przysłonę (wystarczający kontrast między środowiskiem a uczestnikiem) przez cały eksperyment.
      2. Ustaw liczbę klatek na 50 Hz i ustaw czas migawki na 5 ms. Zastosuj następujące ustawienia sprzętowe i nie modyfikuj ich podczas zbierania danych: wzmocnienie 9,998, gamma 0,4, poziom czerni 0, nasycenie 1.
      3. Wyłącz wszystkie automatyczne regulacje ekspozycji i balansu bieli, aby zapobiec dryfowi czasowemu w wyglądzie obrazu.
        UWAGA: Aby dostosować ostrość, można użyć znaku z krótką frazą napisaną czcionką Calibri, pogrubioną formą, rozmiar 48, umieszczoną tam, gdzie uczestnik wykona zadanie. W polu widzenia aparatu litery powinny być ostre, bez widocznego rozmycia.
    4. Przy użyciu dowolnego obiektywu o zauważalnych zniekształceniach przygotuj Charuco/Checkerboard18,19 do kalibracji/odkształcenia (opcjonalnie dla ściśle strzałkowych, stacjonarnych zadań).
      UWAGA: Zarówno systemy kamer wideo oparte na markerach, jak i bezmarkerowe użyte są na Rysunku 1.

Rysunek 1
Rysunek 1: Zbliżenie dwóch systemów kamer użytych w tym badaniu. Zastosowano kamerę podczerwieni systemu 3D (po lewej), w której system stanowiło 12 kamer do podejścia opartego na markerach, a jedna kamera wideo (po prawej) do podejścia bez markerów. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

3. Synchronizacja

UWAGA: Ten krok jest potrzebny tylko przy jednoczesnym korzystaniu z różnych systemów. Synchronizacja między systemami nie jest konieczna, gdy używa się tylko jednego systemu kinematycznego (2D lub 3D).

  1. Podłącz LockLab (lub równoważną jednostkę sterującą/synchronizacyjną), aby wysłać wyzwalacz tranzystor-tranzystor logiczny (TTL) do obu systemów na początku każdego testu.
  2. Jeśli wyzwalacze sprzętowe są niedostępne, użyj lampy lampowej LED (preferowa) lub dźwiękowego klaśnięcia zarejestrowanego przez oba systemy do późniejszego wyrównania.

4. Kalibracja objętości rejestrowania (system oparty na markerach)

  1. Wizualnie sprawdź pole widzenia kamer (zarówno kamer na podczerwień, jak i wideo), aby usunąć niepotrzebne obiekty z każdego widoku. W oprogramowaniu systemu opartego na markerach maskuje się obiekty odbijające, których nie można było usunąć z pola widzenia kamery (np. inne kamery).
  2. Wykonaj kalibrację różdżki w miejscu, gdzie zadanie zostanie wykonane. Przesuwaj różdżkę przez cały objętość przechwytu, aby mieć pewność, że cała przestrzeń jest pokryta. Akceptować kalibrację tylko wtedy, gdy dokładność przestrzenna ≤ 1 mm (średnia reszta).
    UWAGA: Sprawdź, czy co najmniej trzy kamery jednocześnie oglądają różdżkę kalibracyjną podczas tego procesu. Przesuwaj różdżkę przez objętość przechwytywania z prędkością zbliżoną do ruchu oczekiwanego w zadaniu eksperymentalnym: W zadaniach o dużej prędkości poruszaj różdżką szybko; Przy wolniejszych ruchach machaj różdżką wolniej. Po zakończeniu kalibracji sprawdź wskaźniki oprogramowania pod kątem kamer, które nie uchwyciły wystarczającej liczby zdjęć różdżki, i wykonaj dodatkowe ukierunkowane ruchy różdżką w polu widzenia tych kamer przed zakończeniem kalibracji. Błędy pozostałości po kalibracji różdżki zwykle wynoszą od 0,3 do 0,8 mm, gdy przejście różdżki jest płynne, objętość przechwytu jest równomiernie oświetlona, a wszystkie aparaty mają niezakłócony widok.
  3. Ustaw początek objętości, umieszczając rurkę kalibracyjną w wyznaczonym miejscu początkowym w wyznaczonym obszarze testowym. Zdefiniuj planinę podłogi zgodnie z instrukcjami producenta.

5. Umieszczanie markerów (system oparty na markerach)

  1. Umieść markery retrorefleksyjne zgodnie z modelem Plug-in Gait 20,21,22 (Rysunek 2) przez wykwalifikowanego egzaminatora.
  2. Sprawdź widoczność obustronnych markerów bioder, kolan i tułowia podczas krótkiego ruchu testowego przed zbieraniem statycznego testu (wymaganego w systemach opartych na markerach 3D).

Rysunek 2
Rysunek 2: Model chodu typu plug-in dostosowany do niniejszego badania. Standardowy zestaw markerów został zastosowany do określenia kończyn dolnych, miednicy, tułowia i segmentów głowy. Markery kończyn górnych zostały usunięte, aby skupić się wyłącznie na kinematyce dolnej części ciała i tułowia. Ta adaptacja zachowuje integralność oryginalnego modelu Plug-in Gait pełnego ciała, wykluczając ruch ramion z analizy. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

6. Przewodniczący i środowisko

  1. Użyj krzesła bez podłokietników i dostosuj wysokość siedziska tak, aby kąt bioder i kolan wynosił ~90°, z stopami płasko na podłodze. Zapisz wysokość miejsca (cm) dla każdego uczestnika.
  2. Zapewnienie jednolitego oświetlenia; Unikaj podświetlenia i zasłon w widoku strzałkowym. Zadbaj o jednolite, kontrastowe tło.

7. Szkolenie uczestników i bezpieczeństwo

  1. Potwierdzaj, że pliki nagrań nie zawierają żadnych identyfikowalnych informacji (jedynie nieidentyfikowalne kody alfanumeryczne dla każdego uczestnika).
  2. W przypadku prób typu sit-to-stand upewnij się, że uczestnicy znają właściwe instrukcje i procedury.
    1. Instruuj uczestników rozwijających się typowo (TD), aby trzymali ręce na biodrach.
    2. Dla dzieci z porażeniem mózgowym (GMFCS III) zapewnij wsparcie manualne w razie potrzeby, aby osiągnąć pionową postawę bez kompromisów w bezpieczeństwie.
      UWAGA: Chociaż pacjenci pediatryczni mogą wymagać wsparcia manualnego, aby zapewnić bezpieczeństwo i wykonanie zadań, należy zadbać o minimalizację zatkania segmentów ciała lub markerów, ponieważ może to obniżyć jakość danych.
    3. Ruch zawołaj werbalnie ("w górę") i pozwól na samodzielnie wybraną komfortową prędkość podczas prób siedzącej-stojącej.

8. Pozyskiwanie prób

  1. Przed uchwyceniem prób dynamicznych wykonaj statyczny test kalibracyjny, w którym uczestnik stoi w pozycji neutralnej z nogami na szerokość ramion i ramionami pod kątem 90° abdukcji.
    1. Upewnij się, że wszystkie markery są widoczne dla co najmniej dwóch kamer; Sprawdź w oprogramowaniu do akwizycji systemu opartego na markerach, że ≥ 95% markerów jest wykrywanych we wszystkich kamerach. Rekord 2-3 sekund. Jedna klatka z perspektywą 3D musi mieć wszystkie znaczniki.
    2. W oprogramowaniu systemu opartym na markerach zastosuj statyczny model Plug-in Gait, aby zdefiniować centra stawów i układy współrzędnych segmentów. Zweryfikować prawidłowe dopasowanie modelu, analizując wizualizację szkieletu 3D i potwierdzając anatomicznie wiarygodne położenie centrum stawów.
      UWAGA: Ten statyczny test dostarcza parametrów modelu biomechanicznego wymaganych do dalszego przetwarzania dynamicznego 3D. W tym etapie należy wprowadzić antropometryczne miary uczestnika (np. wagę, wzrost, długość nóg itp.) do oprogramowania systemu opartego na markerach. Gdy podczas badania statycznego potrzebne jest wsparcie ręczne dla pacjentów pediatrycznych, należy zachować ostrożność, aby uniknąć okluzji markerów, która może zaburzyć jakość danych.
  2. Rekord trzech prób z siedzenia na stojąco,23 na uczestnika. Okres odpoczynku między próbami może być dostosowany do potrzeb uczestnika, ponieważ nie jest to zadanie wymagające fizycznie.
  3. Stosuj ustandaryzowaną konwencję nazewnictwa plików, obejmującą grupę (np. TD, CP), alfanumeryczne identyfikatory uczestnika oraz numer próby.
  4. W oprogramowaniu systemu opartym na markerach rekonstruuje się trajektorie markerów za pomocą skalibrowanego systemu kamery.
    1. Oznacz każdy marker zgodnie z nazewnictwem zestawu markerów Plug-in Gait. Do krótkich zasłon używaj automatycznego wypełniania luk (maksymalny rozmiar szczeliny: 10 klatek).
    2. Sprawdź dokładność etykietowania, oglądając szkielet wizualnie w perspektywie 3D. Gdy wszystkie markery zostaną poprawnie oznaczone, a trajektorie są ciągłe, eksportuj próbę jako plik .c3d do analizy w narzędziu vailá .
  5. Zapisuj dane optyczne jako .c3d oraz klatki wideo lub strumieniowanie jako pliki bezstratne lub o wysokiej przepływności.

9. Przetwarzanie danych

UWAGA: Toolbox vailá (v0.10.21)24 jest wieloplatformowy (Windows, macOS, Linux) i wymaga Pythona 3.12 lub nowszego. Moduły analizy bez markerów (np. MediaPipe25) są zoptymalizowane do efektywnego działania na standardowych procesorach, zapewniając dostępność w środowiskach klinicznych bez specjalistycznego sprzętu. Karta graficzna obsługująca CUDA jest opcjonalna i używana tylko wtedy, gdy użytkownik wybierze alternatywne silniki o wysokiej prędkości (np. YOLO-Pose) dla szybszego przetwarzania. Aby uzyskać szczegółowe polecenia wykonawcze, przewodniki krok po kroku oraz pełną dokumentację, użytkownicy są kierowani do zasobów online i zintegrowanych plików pomocy zestawu narzędzi, dostępnych pod adresem: https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis.

  1. Podejście oparte na markerach: W oprogramowaniu systemu opartego na markerach przetwarza się próby statyczne i dynamiczne. Zastosuj model dynamicznego chodu wtyczkowego do oznaczonych trajektorii markerów (patrz krok 7.4), aby obliczyć szeregi czasowe kąta łączenia.
    1. Wyeksportuj przetworzone dane próbne jako plik .c3d. Upewnij się, że obliczone szeregi czasowe kąta stawu (np. kąty biodra, kolana, kostki) są uwzględnione w eksporcie.
    2. Zaimportuj przetworzony plik .c3d do skrzynki narzędzi vailá za pomocą funkcji vaila.load_c3d(). Toolbox automatycznie wyodrębnia wstępnie obliczone dane szeregowe o kątach łączenia z pliku.
    3. Zastosuj dolnoprzepustowy filtr Butterwortha o zerowym opóźnieniu rzędu 4 (odcięcie 6 Hz) do danych kątów stawu za pomocą zintegrowanych funkcji filtrowania (opisanego w kroku 9.2.4 poniżej), aby zapewnić spójne przetwarzanie danych bezmarkerowych.
    4. Następnie w vailá przeprowadza się kolejne analizy (np. generowanie cyklogramów, obliczanie metryk koordynacyjnych).
  2. Podejście bez markerów: Załaduj moduł estymacji pozycji MediaPipe (v0.10.21) w ramach vailá. Ustaw następujące parametry: static_image_mode = Fałszywe, model_complexity = 1-2 (użyj poziomu 2, gdy zasoby GPU/CPU pozwalają na większą dokładność), smooth_landmarks = Prawda, min_detection_confidence = 0,6, min_tracking_confidence = 0,6.
    UWAGA: Alternatywne ramy do estymacji pozycji, takie jak OpenPose, można tu wykorzystać.
    1. Przetworz każdą klatkę wideo, aby wyodrębnić punkty orientacyjne MediaPipe 33 (Rysunek 3). Odrzucać klatki z pewnością detekcji poniżej progu lub stosować interpolację dla brakujących danych.
      UWAGA: MediaPipe wykrywa 33 punkty orientacyjne ciała, w tym twarz, tułów i punkty kluczowe (Rysunek 3). W obecnym protokole użyto tylko punktów orientacyjnych tułowia i dolnej części ciała istotnych dla analizy pozycji siedzącej do stania: Ramię [punkty orientacyjne 11 (lewe ramię) i 12 (prawe ramię)], biodro [punkty orientacyjne 23 (lewe biodro) i 24 (prawe biodro)], kolano [punkty orientacyjne 25 (lewe kolano) i 26 (prawe kolano)] oraz kostka [punkty orientacyjne 27 (lewa kostka) i 28 (prawa kostka)]. Te punkty orientacyjne są automatycznie wykrywane na podstawie wideo RGB i szacowane na podstawie cech wizualnych (zamiast pozycji markerów retrorefleksyjnych stosowanych w modelu Plug-in Gait).
    2. Potwierdź, że wszystkie kluczowe punkty orientacyjne (bark, biodro, kolano, kostka) są wykrywane z pewnością ≥ 0,7.
    3. (Opcjonalnie) Jeśli zniekształcenie obiektywu jest istotne, odzniekształc klatki za pomocą parametrów kalibracyjnych (macierz kamery i współczynniki zniekształceń) przed uruchomieniem MediaPipe.
    4. YOLO-Pose: Równolegle załaduj moduł YOLO-Pose zintegrowany w vailá.
      1. Konfiguruj model z domyślnymi wagami do wykrywania szkieletu ludzkiego (zestaw punktów kluczowych zgodny z formatem COCO). Każda klatka jest przetwarzana w celu wykrywania kluczowych punktów szkieletowych za pomocą szkieletu YOLO, zoptymalizowanego pod kątem solidnych wyników przy rozmyciu ruchu, zasłonach lub złożonych tłach.
      2. Stosuj filtry wygładzające czasowe, aby zmniejszyć drgania klatka do klatki i wyrównać wykryte punkty kluczowe z systemem współrzędnych używanym w MediaPipe.
      3. Dla filtra wygładzania temporalnego należy zastosować dolnoprzepustowy filtr Butterwortha rzędu 4 rzędu o częstotliwości odcięcia 6 Hz (ruchy siedzącej-stojącej mają dominującą zawartość częstotliwości poniżej 5 Hz) do wszystkich danych z zakresu czasowych kątów złącznych, zarówno opartych na markerach, jak i bezmarkerowych, aby usunąć szumy wysokie częstotliwości przy zachowaniu sygnału ruchu.
      4. Zaimplementuj ten filtr, używając funkcji scipy.signal.butter() i scipy.signal.filtfilt() w Pythonie, stosując zerowe filtrowanie do przodu i do tyłu, aby uniknąć przesunięcia czasowych.
    5. Obsługa danych w vailá: Eksport trajektorii przełomowych z obu potoków (MediaPipe i YOLO-Pose) w standaryzowanym formacie .csv lub .json. Przechowuj metadane (numer klatki, znacznik czasu, pewność wykrywania) razem z współrzędnymi punktu kluczowego. Zapewnia to porównywalność między metodami oraz powtarzalność analiz.
  3. Definicje współrzędnych i kąty stawów: Zdefiniuj kąty zgięcia biodra i kolana na płaszczyźnie strzałkowej z dodatnimi wartościami zgięcia.
    1. Dla danych bez markerów wyprowadz się centrum/segmenty stawów z punktów orientacyjnych MediaPipe (np. biodro: miednica proxy; kolano: kość udowa-piszczelowa; tułów: segment bark-biodro) i oblicz kąty strzałkowe za pomocą spójnego układu współrzędnych stawów.
      UWAGA: Kąty stawów na płaszczyźnie strzałkowej obliczane są geometrycznie na podstawie dwuwymiarowych współrzędnych orientacyjnych. Zestaw narzędziowy vailá oblicza kąt (θ) między dwoma wektorami segmentów (wektor a i wektor b) na podstawie arccosinusa ich iloczynu skalarnego: θ = arccos((a · b) / (|a| |b|)). Zgięcie biodra definiuje się jako kąt między wektorem "tułowia" (wektor łączący punkty orientacyjne MediaPipe 11/12 [bark] i 23/24 [biodro]) a wektorem "uda" (wektor łączący 23/24 [biodro] i 25/26 [kolano]). Zgięcie kolana definiuje się jako kąt pomiędzy wektorem "uda" (wektor łączący 23/24 [biodro] i 25/26 [kolano]) a wektorem "trzpienia" (wektor łączący 25/26 [kolano] i 27/28 [kostka]).
    2. Zastosuj tę samą konwencję znaków i filtrowanie (jeśli jest to potrzebne) dla obu podejść, aby ułatwić porównanie.
  4. Synchronizacja czasowa: Wyrównanie danych z obu podejść za pomocą znacznika czasu wyzwalania LockLab; W przeciwnym razie wyrównaj pierwszą widoczną klatkę flash/clap między strumieniami danych.
    1. W razie potrzeby ponowne próbkowanie szeregów czasowych do wspólnej bazy czasowej przed porównaniem.
  5. Zdefiniuj cykl ruchu:
    1. Zdefiniuj cykl siedzącego do stania od początku pochylenia tułowia do przodu (dodatnia prędkość kątowa płąka) do stabilnej pozycji wyprostowanej u dzieci typowo rozwijających się (prędkość kątowa tułowia ~0 i pełne wyprostowanie kolana) oraz, u dzieci z porażeniem mózgowym, stabilnej pozycji pionowej i najwyższej pozycji markera szyjnego (system oparty na markerze).
    2. U dzieci z porażeniem mózgowym, które mogą nie osiągnąć pełnego wyprostowania (tj. z tułowiem ustawionym do miednicy, biodrem pod kątem 0°, kolanami w pełnym wyprostowaniu), jak u dzieci typowo rozwijających się, definiuj koniec cyklu jako najbardziej wyprostowaną postawę osiągniętą zgodnie ze statyczną próbą stojącą i potwierdzoną przez wizualną kontrolę zapewniającą stabilną postawę przed kolejnym testem.
    3. Nie normalizuj czasu dla reprezentatywnych wykresów; Raportuj rzeczywisty czas trwania zadania na każde badanie. (Analizy normalizowane w czasie mogą być udostępnione jako uzupełnienie, jeśli jest to pożądane.)
  6. Obliczenia cyklogramu i metryki: Narysuj kąty bioder (oś x) vs. kolana (oś y) dla każdego próby, aby wygenerować cyklogramy bioder i kolana.
    1. Eksperymenty nakładkowe i podejścia (oparte na markerach vs. bezmarkerowe) do porównania wizualnego.
    2. Oblicz opcjonalne metryki podsumowujące: zakresy ruchu bioder/kolana, powierzchnię pętli, orientację pętli (kąt osi głównej) oraz długość ścieżki.
    3. Eksportuj przetworzone szeregi czasowe i metryki .csv do analizy statystycznej.

Rysunek 3
Rysunek 3: 33 punkty orientacyjne MediaPipe. W tym badaniu wykorzystaliśmy tylko punkty orientacyjne istotne dla zadania siadzenia do stania, w szczególności punkty orientacyjne 11 i 12 (barki), 23 i 24 (biodra), 25 i 26 (kolana) oraz 27 i 28 (kostki). Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Otwartoźródłowy zestaw narzędzi oparty na Pythonie skutecznie zidentyfikował wzorce koordynacji bioder i kolana zarówno z systemów opartych na markerach, jak i bez markerów u dzieci podczas zadania typu siedząc-stojąc. Aby zapewnić porównanie ilościowe obok cyklogramów wzrokowych, kluczowe podsumowujące wskaźniki (zakres ruchu bioder i kolan) dla reprezentatywnych badań przedstawiono w Tabeli 1. Reprezentatywne wykresy kąta i kąta z typowo rozwijających się dzieci (Rysunek 4A,B

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Celem tych prac było wykazanie wykonalności i zastosowania otwartoźródłowego, multimodalnego zestawu narzędzi zdolnego do integracji systemów rejestracji ruchu opartych na markerach i bez markerów do analizy koordynacji całego ciała w populacjach pediatrycznych. W zastosowaniach reprezentatywnych protokół skutecznie generował cyklogramy biodrowo-kolanowe porównywalne między systemami opartymi na markerach a bezmarkerowymi u typowo rozwijających się dzieci, a także uwypuklił podobieństwa i rozbieżności u dzieci z porażeni...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Chcielibyśmy wyrazić wsparcie finansowe udzielone (dla kierownika projektu: Cesar) w ramach Grantu Badawczego na Pediatryczną Fizjoterapię 2023 od Foundation for Physical Therapy Research, MedNexus Research Innovation Fund oraz grantu Eunice Kennedy Shriver National Institute for Child Health and Human Development (1R03HD114548-01).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Kamera FLIR BlackflyFLIR SystemsModel: BFS-U3-200S6C-CWykorzystywany do 2D przechwytywania ruchu bez markerów (50 Hz, od 1980 i razy; 1200 px)
Kamera PoE HikvisionHikvisionNie maAlternatywne nagrywanie wideo dla 2D przechwytywania bez markerów
LockLab sprzętowy wyzwalaczViconLockLabUżywane do synchronizacji czasowej
Aparat Logitech C920LogitechHD Pro Webcam C920Alternatywna kamera konsumencka do przechwytywania bez markerów
MediaPipeGoogle Researchv0.10.21Używany do szacowania pozycji 2D w czasie rzeczywistym. Dostępne online pod adresem https://ai.google.dev/edge/mediapipe/solutions/guide
Oprogramowanie OpenPoseSpołeczność Carnegie Mellon University / OpenPoseWersja 1.7.0Wykorzystywane do czasowej estymacji pozycji 2D w czasie rzeczywistym
Model typu plug-in Gait na całe ciałoViconModel standardowyWykorzystywany jako model biomechaniczny do umieszczania markerów anatomicznych
Kamery na podczerwień VeroViconSeria VeroUżywany do przechwytywania ruchu opartego na markerach 3D (100 Hz)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tavernese, E., Paoloni, M., Mangone, M., Castelli, E., Santilli, V. Coordination between pelvis and shoulder girdle during walking in bilateral cerebral palsy. Clin Biomech. 32, 142-149 (2016).
  2. Cesar, G. M., Buster, T. W., Gonabadi, A. M., Burnfield, J. M. Muscle demand and kinematic similarities between pediatric-modified motor-assisted elliptical training at fast speed and fast overground walking:Real-world implications for pediatric gait rehabilitation. J Electromyogr Kinesiol. 63, 102639(2022).
  3. Burnfield, J. M., Cesar, G. M., Buster, T. W., Irons, S. L., Nelson, C. A. Kinematic and muscle demand similarities between motor-assisted elliptical training and walking:Implications for pediatric gait rehabilitation. Gait Posture. 51, 194-200 (2017).
  4. Swinnen, E., Van Goten, L., De Koster, B., Degelaen, M. Thorax and pelvis kinematics during walking, a comparison between children with and without cerebral palsy:A systematic review. NeuroRehabilitation. 38 (2), 129-146 (2016).
  5. Boonyong, S., Suriyaamarit, D. The effects of anterior seat inclination on movement time, mechanical work and kinematics during sit-to-stand in children with spastic diplegic cerebral palsy. Disabil Rehabil Assist Technol. 16 (5), 479-482 (2021).
  6. Aboelnasr, E. A., Hegazy, F. A., Altalway, H. A. Kinematic characteristics of reaching in children with hemiplegic cerebral palsy:A comparative study. Brain Inj. 31 (1), 83-89 (2017).
  7. Suo, X., Tang, W., Li, Z. Motion capture technology in sports scenarios:A survey. Sensors. 24 (9), 2947(2024).
  8. Thielen, H., Tuts, N., Welkenhuyzen, L., Huenges Wajer, I. M., Lafosse, C., Gillebert, C. R. Sensory sensitivity after acquired brain injury:A systematic review. J Neuropsychol. 17 (1), 1-31 (2023).
  9. de Sain, A. M., et al. Sensory hypersensitivity after acquired brain injury:The patient perspective. Disabil Rehabil. 46 (16), 3586-3593 (2024).
  10. Pavão, S. L., Rocha, N. A. Sensory processing disorders in children with cerebral palsy. Infant Behav Dev. 46, 1-6 (2017).
  11. Realtime multi-person 2D pose estimation using part affinity fields. Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Proc IEEE Conf Comput Vis Pattern Recognit, 2017, 1302-1310 (2017).
  12. Mathis, A., et al. DeepLabCut:Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  13. Dubois, A., et al. A guide to inter-joint coordination characterization for discrete movements:A comparative study. J Neuroeng Rehabil. 20, 132(2023).
  14. Saegner, K., et al. Inter-joint coordination with and without dopaminergic medication in Parkinson's disease:A case-control study. J Neuroeng Rehabil. 21, 118(2024).
  15. Hallemans, A., Aerts, P. Effects of visual deprivation on intra-limb coordination during walking in children (3-11 years) and adults:Thigh-shank and shank-foot angle-angle plots reveal modulation of loop shape with visual condition. Exp Brain Res. 198 (1), 95-106 (2009).
  16. Yun, G., Huang, M., Cao, J., Hu, X. Selective motor control correlates with gross motor ability, functional balance and gait performance in ambulant children with bilateral spastic cerebral palsy. Gait Posture. 99, 9-13 (2023).
  17. Park, E. S., et al. The characteristics of sit-to-stand transfer in young children with spastic cerebral palsy based on kinematic and kinetic data. Gait Posture. 17 (1), 43-49 (2003).
  18. Bradski, G. The OpenCV library. Dr Dobb's J Softw Tools. 120, 122-125 (2000).
  19. Garrido-Jurado, S., Muñoz-Salinas, R., Madrid-Cuevas, F. J., Marín-Jiménez, M. J. Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognit. 47 (6), 2280-2292 (2014).
  20. Kadaba, M. P., Ramakrishnan, H. K., Wootten, M. E. Measurement of lower extremity kinematics during level walking. J Orthop Res. 8 (3), 383-392 (1990).
  21. Davis, R. B., Õunpuu, S., Tyburski, D., Gage, J. R. A gait analysis data collection and reduction technique. Hum Mov Sci. 10, 575-587 (1991).
  22. Vicon Motion Systems Ltd. Plug-in gait reference guide. , Vicon Motion Systems Ltd. Oxford. https://help.vicon.com/download/attachments/11378719/Plug-in%20Gait%20Reference%20Guide.pdf (2016).
  23. Romin, E., Lindgren, A., Rodby-Bousquet, E., Cloodt, E. Sit-to-stand performance in children with cerebral palsy: A population-based cross-sectional study. BMC Musculoskelet Disord. 25 (1), 460(2024).
  24. vailá: A multimodal toolbox for analysis and integration in biomechanics. Santiago, P. R. P., Chinaglia, A. G., Bedo, B. L. S., Mochida, L. Y., Cesar, G. M. Int Soc Biomech Conf, July 27-31, Stockholm, Sweden, , (2025).
  25. MediaPipe v0.10.21. , MediaPipe. Available at: https://pypi.org/project/mediapipe/ (2025).
  26. Kim, D., et al. Learning-based 3D human kinematics estimation using behavioral constraints from activity classification. Nat Commun. 16 (1), 3454(2025).
  27. Friedrich, M. U., et al. Validation and application of computer vision algorithms for video-based tremor analysis. NPJ Digit Med. 7 (1), 165(2024).
  28. Cappozzo, A., et al. Human movement analysis using stereophotogrammetry. Gait Posture. 21 (2), 186-196 (2005).
  29. Maas, S. A., Göcking, T., Stojan, R., Voelcker-Rehage, C., Kutz, D. F. Synchronization of neurophysiological and biomechanical data in a real-time virtual gait analysis system (GRAIL):A proof-of-principle study. Sensors. 24 (12), 3779(2024).
  30. Wade, L., Needham, L., McGuigan, P., Bilzon, J. L. Applications and limitations of current markerless motion capture methods for clinical gait biomechanics. PeerJ. 10, e13292(2022).
  31. Wade, L., et al. Examination of 2D frontal and sagittal markerless motion capture:Implications for markerless applications. PLoS One. 18 (11), e0293917(2023).
  32. Arbogast, K. B., et al. Consensus head acceleration measurement practices (CHAMP): Origins, methods, transparency and disclosure. Ann Biomed Eng. 50 (11), 1317-1345 (2022).
  33. Yang, J., Park, K. Improving gait analysis techniques with markerless pose estimation based on smartphone location. Bioengineering. 11 (2), 141(2024).
  34. Washabaugh, E. P., Shanmugam, T. A., Ranganathan, R., Krishnan, C. Comparing the accuracy of open-source pose estimation methods for measuring gait kinematics. Gait Posture. 97, 188-195 (2022).
  35. Lee, H., et al. Automated gait analysis based on a marker-free pose estimation model. Sensors. 23 (14), 6489(2023).
  36. Hundza, S. R., et al. Multi-view gait analysis by temporal geometric features of human body parts. Appl Sci. 14 (7), 2824(2024).
  37. Shvets, A., et al. Improving gesture recognition efficiency with MediaPipe and YOLO-Pose. Int Arch Photogramm Remote Sens Spatial Inf Sci. 48, 13-18 (2025).
  38. Gonabadi, A. M., Cesar, G. M., Buster, T. W., Burnfield, J. M. Effect of gap-filling technique and gap location on linear and nonlinear calculations of motion during locomotor activities. Gait Posture. 94, 85-92 (2022).
  39. Cesar, G. M., Buster, T. W., Burnfield, J. M. Cardiorespiratory fitness, balance and walking improvements in an adolescent with cerebral palsy (GMFCS II) and autism after motor-assisted elliptical training. Eur J Physiother. 22 (3), 124-132 (2020).
  40. Basystiuk, O., Rybchak, Z., Zavushchak, I., Marikutsa, U. Evaluation of multimodal data synchronization tools. Comput Des Syst Theory Pract. 6, 104-111 (2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Motion CaptureMarkerless Motion CaptureCerebral PalsyIntersegmental CoordinationHuman Movement AnalysisKinematic PatternsDeep Learning Pose EstimationInertial Measurement UnitsCyclogram ApproachSit To Stand Task

Related Articles