Obiektywny pomiar funkcji mięśni jest wyzwaniem, szczególnie u dzieci. W oparciu o dostępny na rynku cyfrowy czujnik 3D, opracowano przyjazny dla dzieci test do gier, aby ocenić funkcję kończyny górnej na potrzeby badań klinicznych.
Artykuł metodologiczny
Obiektywny pomiar funkcji mięśni jest wyzwaniem, szczególnie u dzieci. W oparciu o dostępny na rynku cyfrowy czujnik 3D, opracowano przyjazny dla dzieci test do gier, aby ocenić funkcję kończyny górnej na potrzeby badań klinicznych.
Postępujący i nieodwracalny zanik mięśni charakteryzuje rdzeniowy zanik mięśni (SMA) i inne podobne choroby związane z zaburzeniami mięśni. Obiektywna ocena funkcji mięśni jest niezbędnym i ważnym, choć wymagającym, warunkiem wstępnym udanych badań klinicznych. Obecne skale ocen klinicznych ograniczają nieprawidłowości ruchowe do pewnych predefiniowanych, gruboziarnistych pojedynczych elementów. Sensor Kinect 3D stał się niedrogą i przenośną technologią wykrywania ruchu, wykorzystywaną do rejestrowania i śledzenia ruchów ludzi w wielu dziedzinach medycznych i badawczych. Opracowano nowatorskie podejście wykorzystujące ten czujnik 3D i zaprojektowano test przypominający grę, aby obiektywnie zmierzyć funkcję kończyny górnej u pacjentów z SMA. Test prototypu był ukierunkowany na zdolność ruchomą stawów. Siedząc w wirtualnej scenie, pacjent został poinstruowany, aby wyprostować, zgiąć i podnieść całe ramię, aby sięgnąć i umieścić niektóre przedmioty. Wyodrębniono i przeanalizowano zarówno kinematykę, jak i czasoprzestrzenną charakterystykę ruchu kończyn górnych, np. kąty wyprostu i zgięcia łokcia, prędkość ręki i przyspieszenie. Pierwsze badanie obejmowało małą kohortę 18 ambulatoryjnych pacjentów z SMA i 19 zdrowych osób z grupy kontrolnej w tym samym wieku i płci. Przeprowadzono kompleksową analizę ruchów ramion; Nie stwierdzono jednak istotnej różnicy między grupami ze względu na niedopasowanie możliwości pacjenta do trudności testu. Na podstawie tych doświadczeń zaprojektowano i wdrożono drugą wersję testu składającą się ze zmodyfikowanej wersji pierwszej gry o zwiększonym poziomie trudności oraz drugiej gry ukierunkowanej na wytrzymałość mięśni. Nowy test nie został jeszcze przeprowadzony w żadnej grupie pacjentów. Nasza praca wykazała potencjalną zdolność czujnika 3D do oceny takiej funkcji mięśni i zasugerowała obiektywne podejście uzupełniające skale oceny klinicznej.
Kompleksowa ocena funkcji mięśni jest krytyczną oceną w wielu chorobach nerwowo-mięśniowych i ważnym warunkiem wstępnym udanych badań klinicznych. Kliniczne skale oceny są coraz częściej używane jako ustandaryzowane narzędzie oceny i jako dobrze ugruntowana miara wyników1. Jednak w dużej mierze opierają się one na subiektywnej ocenie klinicystów i mogą skutkować znacznymi różnicami prowadzącymi do niespójności między i wewnątrz oceniających2 lub wygenerowanych liczb, które nie spełniają kryteriów precyzyjnych pomiarów1. Ponadto wiele chorób nerwowo-mięśniowych w dużej mierze dotyka dzieci, a większość z tych skal ocen jest długa i nudna, co stanowi dodatkowe wyzwanie. Przykładem choroby nerwowo-mięśniowej jest rdzeniowy zanik mięśni (SMA), który jest śmiertelną chorobą nerwowo-mięśniową charakteryzującą się postępującym osłabieniem mięśni3. W zależności od fenotypów klinicznych, niektórzy pacjenci żyją na wózkach inwalidzkich (typ 2), a niektórzy mogą stać i chodzić samodzielnie (typ 3)4. Istnieje coraz większe zapotrzebowanie na bardziej czułe i obiektywne narzędzie do oceny funkcji mięśni pod względem zakresu ruchu stawów, siły mięśni, zmęczenia mięśni i tak dalej, w celu śledzenia postępu choroby i skuteczności leków.
Szybki postęp w technologii wykrywania ruchu umożliwił analizę charakterystyki ruchu przy stosunkowo niskich kosztach, wśród których szeroko zbadano wartość sensora 3D (Kinect) w rejestrowaniu ruchu całego ciała w sposób wolny od markerów. Korzystając ze zintegrowanego czujnika podczerwieni i zaimplementowanych algorytmów uczenia maszynowego, lokalizacje ciała śledzonych osób są wnioskowane na podstawie trójwymiarowych pozycji 20 anatomicznych punktów orientacyjnych zwanych stawami lub punktami ciała, w tym głową, szyją, dłońmi, nadgarstkami, łokciami, ramionami, kręgosłupem, biodrami, kolanami, kostkami i stopami5. Rozdzielczość czasowa wynosi do 30 Hz, co jest wystarczające dla większości ruchów fizycznych, z wyjątkiem niektórych patologicznych objawów motorycznych, takich jak drżenie. Dokładność przestrzenna czujnika 3D została szeroko zweryfikowana za pomocą ground truth6 lub złotego standardu, który jest opartym na znacznikach systemem 3-wymiarowej analizy ruchu7,8,9,10,11,12. Dobra równoczesna trafność i odtwarzalność zostały wykazane w różnych testach, zwłaszcza z widoku frontalnego12 oraz dla ruchów ogólnych7. Aby obiektywnie ocenić funkcję kończyny górnej u dzieci z SMA, zaprojektowaliśmy i wdrożyliśmy test przypominający grę oparty na sensorze 3D do pomiaru możliwości ruchomości stawów.
Test został przeprowadzony w obserwacyjnym, podłużnym badaniu w Uniwersyteckim Szpitalu Dziecięcym w Bazylei (UKBB) zarówno z udziałem dorosłych, jak i dzieci. Więcej danych demograficznych i informacji klinicznych na temat badania można znaleźć w poprzedniej publikacji13,14. Wszystkie procedury zostały zatwierdzone przez lokalną komisję etyczną Ethikkomission UKBB i przeprowadzone zgodnie z zasadami wyrażonymi w Deklaracji Helsińskiej. W przypadku dzieci poniżej wieku zgodnego z prawem wszyscy uczestnicy lub prawnie upoważnieni przedstawiciele wyrazili pisemną świadomą zgodę i przestrzegali protokołu badania zgodnie z Międzynarodową Konferencją Harmonizacji (ICH) i lokalnymi przepisami.
UWAGA: Zaprojektowano i wdrożono prototypową grę "Szafa", której celem było mierzenie zakresu ruchu stawów. Następnie został wyeksportowany jako aplikacja wykonywalna, która może działać w dowolnym systemie operacyjnym Windows 8 lub nowszym, o ile zainstalowane są również niezbędne sterowniki czujników 3D. Prototyp gry oparty na sensorze Kinect v1 lub druga wersja (patrz Dyskusja) oparty na sensorze Kinect v2 może być dostarczony na życzenie (zobacz Dodatkowe pliki kodowania).
1. Konfiguracja i przygotowanie do testu
2. Przeprowadzanie testu
3. Po teście - obsługa danych
Korzystając z powyższej procedury, sporządza się wykresy różnych cech ruchu i analizuje podejścia analityczne, aby uzyskać kompleksowe zrozumienie ruchów.
Na Rysunku 1 przedstawiono śledzenie 9 punktów na górnej części ciała, ograniczone do osi X i Y, co odpowiada dwuwymiarowej projekcji (oś X reprezentuje położenie poziome badanego, oś Y – położenie pionowe, natomiast oś Z – odległość od czujnika 3D). Rysunek 1 pokazuje, co rzeczywiście mierzy czujnik 3D – przestrzenne położenie punktów ciała. Poprzez zestawienie jednego pacjenta z SMA i jednej osoby zdrowej w czterech wizytach, pokazano, że zarówno pacjent, jak i osoba kontrolna wykonywali zadania z wyraźnie rozpoznawalnymi trajektoriami ruchu. Obserwowano pewne cechy zależne od konkretnej osoby, które były spójne we wszystkich wizytach, np. trajektoria ruchu rąk pacjenta. W porównaniu, osoba zdrowa wykazywała stosunkowo mniejsze ruchy tułowia w czasie, co widać na mniejszej gęstości czerwonych, żółtych i różowych linii (odpowiednio punkty głowy, szyi i tułowia). Żadna z dwóch osób nie wykazywała cech asymetrycznego ruchu.
Rycina 2 pokazuje niektóre reprezentatywne cechy wyodrębnione z szeregów czasowych położeń punktów ciała. W porównaniu do Rycina 1, Rysunek 2 daje wyobrażenie o tym, jakie informacje można wydobyć i zwizualizować z surowych danych 3-D z czujników, aby zrozumieć podstawowe cechy ruchu. Rycina 2a jest segmentowanym wykresem toru rąk, pokazującym fazy wyprostu i zgięcia łokcia w dwóch powtórzeniach u jednego podmiotu. Tor ruchu wykazuje dość dobrą zgodność między dwoma powtórzeniami. W przypadku trzech dolnych obiektów obie ręce mają tendencję do przekraczania celu, jednak nie obserwuje się tego zjawiska w odniesieniu do dwóch górnych obiektów. Rycina 2b tworzy histogram prędkości ruchu rąk (podczas ruchu ręki; stan spoczynku jest wykluczony). Nie stwierdza się istotnej różnicy między lewą a prawą ręką u tego podmiotu. Rycina 2c pokazuje całkowite długości ścieżek punktów głowy, szyi i tułowia, które można traktować jako rodzaj ruchu kompensacyjnego tułowia dla każdej pozycji obiektu. Dla obiektów 3 i 8, umieszczonych w wyższym rogu, ruch tułowia jest względnie większy w porównaniu z innymi pozycjami. Ponadto głowa porusza się wyraźniej niż dwie pozostałe punkty. Rysunki 2d, 2e i 2f to wykresy pudełkowe przedstawiające ogólny rozkład ze wszystkich czterech wizyt dla wybranych cech. Dla jasności pokazano tylko pierwszych siedmiu pacjentów, którzy odbyli wszystkie cztery wizyty. Rycina 2d pokazuje całkowitą długość toru ręki podzieloną przez długość ramienia danej osoby, zmierzoną przez czujnik, w celu skompensowania różnic w długości ramion między poszczególnymi osobami. Podczas ruchów wykonywanych w celu chwytania i umieszczania przedmiotów długość toru ręki wynosi około dwukrotności długości ramienia dla jednego przedmiotu; w związku z tym dla 20 przedmiotów całkowita długość toru wynosi około 40-krotności długości ramienia. Obserwuje się oczywiste różnice między osobami, na przykład w kompensacyjnych ruchach tułowia u pacjentów 2 i 3 (Rycina 2e) ani w medianie prędkości ręki między pacjentami 1 a 3 (Rysunek 2f).
Pełna analiza i wyniki związane z badaniami klinicznymi można znaleźć w naszej wcześniejszej publikacji13.

Rycina 1: Przykładowe wykresy śledzenia 9 punktów tułowia górnego podczas testu. Cztery górne wykresy pochodzą od jednego pacjenta z atrofią mięśniową kręgosłupa (SMA), a cztery dolne – od jednego zdrowego uczestnika kontrolnego. Rycina została zmodyfikowana na podstawie naszego poprzedniego opracowania13. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rycina 2: Reprezentatywne wyniki analizy podsumowującej: (a), (b), (c) pochodzą od jednego uczestnika, a (d), (e), (f) to podsumowanie dla pierwszych 7 pacjentów z SMA, którzy ukończyli 4 wizyty. Na wykresach (d), (e) i (f) dolna i górna krawędź pudełka odpowiadają pierwszemu i trzeciemu kwartylowi, a pozioma linia wewnątrz pudełka to mediana. Długość wąsów (pionowych linii wychodzących z pudełka) określana jest jako najniższy punkt w zakresie 1,5 rozstępu międzykwartylowego (IQR) od dolnego kwartyla oraz najwyższy punkt w zakresie 1,5 IQR od górnego kwartyla. Diamenty oznaczają wartości odstające poza wąsami. (a) Wykres śladu rąk z segmentacją. Linie ciągłe reprezentują fazę wyprostu łokcia, gdy ręce sięgają po przedmioty, a linie przerywane – fazę zgięcia łokcia, gdy ręce kładą przedmioty na ciele. Każdy kolor oznacza przedmioty w tej samej pozycji z dwóch kolejnych prób. (b) Histogram prędkości ręki podczas ruchów wyprostu i zgięcia. (c) Całkowite długości ruchów kompensacyjnych z punktów głowy, szyi i tułowia dla każdego pojedynczego przedmiotu. (d) Wykres pudełkowy całkowitej długości toru ruchu ręki dla prawej i lewej ręki odpowiednio w ciągu 4 wizyt. Oś y przedstawia całkowitą długość toru ręki podzieloną przez indywidualną długość ramienia. (e) Wykres pudełkowy całkowitego ruchu kompensacyjnego tułowia, w tym punktów głowy, szyi i tułowia, dla ruchów z prawej i lewej strony odpowiednio w ciągu 4 wizyt. (f) Wykres pudełkowy mediany prędkości ręki podczas ruchu dla prawej i lewej ręki odpowiednio w ciągu 4 wizyt. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Proponowana ocena oparta na technologii Kinect zapewniła obiektywną i kompleksową analizę ruchu, zapewniając jednocześnie przyjazne dla dzieci, tanie i przenośne rozwiązanie w odniesieniu do tradycyjnych skal oceny klinicznej lub zaawansowanych systemów wideo opartych na markerach. W teście w grach, który trwał krócej niż 5 minut, wiele punktów ciała było intensywnie badanych w tym samym czasie, a wiele cech czasoprzestrzennych i kinematycznych było analizowanych z dużą dokładnością, w tym prędkość, kąty stawów i tak dalej. Cała konfiguracja i szkolenie były również znacznie mniej wymagające w porównaniu ze skalami ocen lub systemami wideo.
Najważniejszym krokiem w tym podejściu był projekt testu. Aby uchwycić podstawowe objawy ruchowe, zaprojektowane zadanie powinno obejmować odpowiednie spektrum możliwości i unikać efektów podłogi lub sufitu. W przykładzie tego konkretnego wskazania, typowe objawy fizyczne SMA obejmują osłabienie mięśni, ograniczony zakres stawów, sztywność mięśni, zmęczenie i tak dalej. Proponowany test jest odpowiedni dla tych objawów związanych z ograniczonym zakresem stawów, co było typowe dla pacjentów z SMA typu 2. Niestety, prototyp został przetestowany tylko jako pierwsza próba w planowanym badaniu, w którym rekrutowano tylko pacjentów z SMA typu 3. Ponieważ możliwości tych pacjentów wykraczały poza to, co mógł zmierzyć obecny test (efekt sufitu), nie można było osiągnąć pożądanych wyników. Dla tej grupy pacjentów ambulatoryjnych lepszym pomiarem byłoby zmęczenie mięśni i przenoszenie ciała.
Na podstawie tych doświadczeń zaprojektowano drugą wersję testu składającą się ze zmodyfikowanej wersji gry "Szafa" oraz dodatkowej gry "Boat-Rowing". Zmodyfikowana wersja gry "Szafa" ma trzy poziomy trudności. Na pierwszym poziomie przedmioty są umieszczane blisko ciała, tak aby osoba badana nie musiała w pełni wysuwać ramienia, co jest skierowane do słabej grupy pacjentów, którzy mogą tylko siedzieć na wózku inwalidzkim i nie mogą w pełni wyprostować ramion bez podparcia. Na drugim poziomie przedmioty są umieszczane w odległości całej długości ramienia, co jest ukierunkowane na grupę pacjentów, którzy mogą podnosić i wysuwać ramiona bez żadnego podparcia. Na najtrudniejszym poziomie obiekty są umieszczone nieco poza zasięgiem ramienia; Dlatego podmiot musi przesunąć górny tułów jako przedłużenie. Trzeci poziom jest skierowany do grupy pacjentów ambulatoryjnych, w której mierzy się również ruch osiowy i proksymalny. Podczas fazy pozycjonowania w grze długość ramienia obiektu jest automatycznie mierzona, a następnie wykorzystywana do obliczania lokalizacji obiektów w następnej grze; W związku z tym poziomy trudności są automatycznie dostosowywane do indywidualnych możliwości. Gdy limit możliwości każdej osoby zostanie osiągnięty, a obiekty nie mogą być osiągnięte lub umieszczone, poziom zostanie pominięty automatycznie po określonym czasie lub ręcznie przez operatora poprzez naciśnięcie przycisku "SKIP" na ekranie. Gra "Boat-Rowing" ma na celu wytrzymałość mięśni i wymaga od badanego powtarzania ruchu toczenia ramienia tak szybko, jak to możliwe przez 1 minutę. W przyszłym badaniu druga wersja ma objąć spektrum pacjentów od SMA typu 2 do typu 3, ponieważ zadania mierzą zdolność pacjentów z ograniczoną zdolnością ruchową ramienia do pacjentów z pełną funkcją ramienia i ograniczonym ruchem osiowym.
Drugą stroną projektu testowego jest uwzględnienie efektu podłogi. Ze względu na ograniczoną rozdzielczość przestrzenną i czasową czujnik 3D jest w stanie dokładnie uchwycić tylko ogólne ruchy, takie jak chodzenie, machanie rękami i tak dalej. Do precyzyjnego wykrywania ruchu, w tym stukania w figurę lub obracania ręką, wymagane są bardziej czułe urządzenia cyfrowe, takie jak telefony komórkowe lub urządzenia noszone na nadgarstku. Jak wspomniano, kluczem do sukcesu takiej aplikacji jest zbudowanie prawidłowego dopasowania między podstawowymi objawami chorobowymi, możliwościami urządzenia i zaprojektowanym zadaniem.
Niektóre inne kwestie brane pod uwagę podczas projektowania testu obejmują grupę wiekową, efekt uczenia się, języki i tak dalej. Ponieważ SMA dotyka głównie dzieci, test powinien być tak prosty i przejrzysty, jak to tylko możliwe, przy jednoczesnym zachowaniu atrakcyjnej cechy grywalizacji. W naszym projekcie wykorzystaliśmy postacie z kreskówek oraz ręcznie rysowane przedmioty. Zadanie imitowało zachowanie związane z samodzielnym ubieraniem się, które zwykle nabywają dzieci po dwóch, trzech latach życia. Ruchy były proste, tak aby badani mogli zrozumieć i wykonać test po krótkiej fazie treningu i uniknięto efektów uczenia się, co zostało zmierzone i omówione w naszej poprzedniej publikacji13.
Podczas wykonywania protokołu testowego i analizy danych mogą pojawić się pewne problemy podobnie jak w przypadku innych zastosowań czujników 3D. Problemy te obejmują zakłócenia nasłonecznienia, specjalne ubrania, więcej niż jeden obiekt w polu widzenia i nieregularne czasy próbkowania. Znaleźliśmy jeden przypadek, w którym osoba ubrana w czarne ubrania nie została wykryta przez czujnik 3D w nasłonecznionym pomieszczeniu, nawet jeśli osoba ta nie znajdowała się bezpośrednio w słońcu. Gdy więcej niż jeden obiekt pojawia się i znika z pola widzenia, przypisanie numerów identyfikacyjnych wykrytym szkieletom może skakać, co obciąża analizę. Mimo że teoretycznie czujnik 3D wysyła sygnał z częstotliwością 30 Hz, rzeczywiste wyjście może mieć przerwy do stu ms. Dlatego ważne jest, aby śledzić i eksportować znacznik czasu.
Nasz pierwszy test został przeprowadzony na pierwszej wersji czujnika 3D, która obecnie została zastąpiona przez drugą wersję, a nasza zmodyfikowana wersja jest realizowana w oparciu o tę drugą wersję. Między wersjami podstawowe sterowniki są różne, a także zmienił się interfejs aplikacji (API). Nie ma żadnych innych istotnych różnic podczas migracji aplikacji. Ponieważ obie wersje aplikacji mogą być udostępniane bezpłatnie na żądanie autorów, a sterowniki sensorów można pobrać z witryny internetowej Kinect, nie stanowi to problemu dla użytkownika.
Korzystając z czujnika 3D, opracowaliśmy innowacyjne, ilościowe i obiektywne narzędzie do oceny funkcji kończyn górnych, wykorzystujące przyjazną dla dzieci technologię przypominającą gry. Wykonalność została zbadana i przeanalizowana. Nasze prace wykazały potencjalną moc czujnika 3D jako alternatywnego i uzupełniającego podejścia do oceny ruchu.
Autorzy Xing Chen, Detlef Wolf, Juliane Siebourg-Polster, Christian Czech, Omar Khwaja i Martin Strahm są pracownikami firmy F. Hoffmann-La Roche, która sfinansowała wszystkie badania opisane w tym artykule.
Dziękujemy Bastianowi Strahmowi za udział w demonstracji testowej oraz Laurze Aguiar za korektę tego rękopisu.
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| Microsoft Kinect dla Windows v1 sensor | N/A | Pierwsza wersja testu została opracowana na sensorze Kinect v1, który nie jest już sprzedawany. Ale druga wersja została opracowana na sensorze Kinect v2, który można przetestować w podobny sposób, używając sensora Microsoft Kinect dla Windows v2 (GT3-00003) wraz z adapterem Microsoft Kinect (9J7-00009) | |
| Komputer DELL XPS 2720 All-In-One z systemem operacyjnym Windows 8, 16 GB pamięci RAM, Intel Core i7 i 64-bitowym | DELL | N/A | W naszej konfiguracji użyto komputera typu "wszystko w jednym", ale w rzeczywistości każdy laptop lub komputer, który spełnia następujące wymagania i ma duży ekran, na którym mogą zobaczyć obiekty, będzie działał: system operacyjny Windows 8 lub nowszy; procesor 64-bitowy; dwurdzeniowy procesor 3,2 GHz lub szybszy; dedykowana magistrala USB 3.0; 2 GB pamięci RAM |