Internetowy przewodnik dla klinicystów do nagrywania kompatybilnego wideo ze standaryzowanej kinematyki zadań picia do analizy widzenia komputerowego

Podsumowanie

Zalecano stosowanie kinematycznych parametrów zadania picia w rehabilitacji po udarze kończyn górnych, jednak konwencjonalne podejścia do badań kinematycznych są uważane za niepraktyczne. Obecny protokół opisuje internetowy przewodnik do nagrywania nagrań z zadania picia, które są kompatybilne z komputerowym widzeniem i pozwalają wyodrębnić zalecane metryki kinematyczne.

Streszczenie

Ocena kończyny górnej jest kluczowa dla cyklu rehabilitacji. W ciągu ostatnich dwóch dekad kinematyczna ocena aktywności związanych z piciem okazała się trafna i reaguje na zmiany kliniczne w populacjach rehabilitacyjnych dotkniętych szeroko zakrojonymi chorobami, w tym udarem i chorobami układu mięśniowo-szkieletowego. Te podstawowe badania nad kinematyką zadań picia doprowadziły do konsensusu zarekomendowań dotyczących wdrożenia kinematyki kończyn górnych w badaniach rehabilitacyjnych. Jednak pojawiły się praktyczne obawy, które zagrażają przyjęciu w środowisku badawczym i przełożeniu na praktykę kliniczną. Bariery w wdrożeniu obejmują złożoność techniczną konwencjonalnych metod przechwytywania ruchu do zdobywania kinematyki oraz dokładność protokołów aktywności stojących za kinematyką. Jeśli chodzi o to pierwsze, przełomy w poddziedzinie AI znanej jako widzenie komputerowe znacząco zmniejszają obciążenie techniczne związane z analizą kinematyczną. W odniesieniu do tej drugiej strony prezentujemy obecnie aplikację internetową (aplikację), zaprojektowaną do prowadzenia klinicystów przez nagrywanie wideo wysoce standaryzowanego protokołu czynności związanych z piciem, wykorzystując gotową kamerę stereo, komputer osobisty oraz podstawowe materiały dostępne w ambulatoryjnym środowisku klinicznym. Ponadto demonstrujemy kompatybilność tego nagrania wideo z specjalnie zbudowanym pipeline'em komputerowego widzenia do wydobywania kinematycznych metryk zadania picia. Dzięki ciągłym badaniom walidacyjnym i użyteczności przewidujemy, że takie narzędzie znacząco poprawi dostęp do wysoce standaryzowanych kinematycznych metryk kończyn górnych, które mają przyczynić się do rozwoju badań i opieki klinicznej w populacjach rehabilitacyjnych z uszkodzeniami kończyn górnych.

Wprowadzenie

Większość naszych zadań górnych kończyn w codziennym życiu wymaga obu kończyn. Utrata zdolności kończyn górnych występuje często po urazach neurologicznych, przy czym około 80% osób po udarze^doświadcza deficytów kończyn górnych. Te deficyty są znane z obniżania funkcji i jakości życia². Rehabilitacja pozostaje podstawową interwencją w celu przywrócenia funkcji³, a rehabilitacja została opisana jako cykl oparty na precyzyjnej ocenie⁴. Ocena kinematyczna kończyny górnej zyskała coraz większą uwagę w ciągu ostatnich dwóch dekad. Ta uwaga wynika częściowo z ograniczeń obecnych ocen klinicznych, które dostrzegły wady, takie jak subiektywność ludzkich oceniających oraz słaba rozdzielczość subtelnych zmian⁵.

Kinematyka to poddziedzina biomechaniki polegająca na badaniu ruchu człowieka podczas ruchów ciała, kończyn i stawów. Wśród wcześniejszych badań badania kinematyczne dotyczące zadania picia zdobyły znaczną uwagę środowiska naukowego⁶. Popularność zadania picia w ocenie kinematycznej przypisuje się złożoności ruchu, celowej specyficzności zadania oraz cyklicznemu ruchowi⁷. Oprócz grupy badań u neurotypowych dorosłych i dzieci, zadanie picia było również badane w szerokim spektrum chorób neurologicznych 8,9,10,11. W populacjach po udarach badania te zidentyfikowały ważne wskaźniki kinematyczne, które są prawidłowe, wiarygodne i reagują na zmiany kliniczne 12,13,14. Jednak ocena kinematyczna od dawna uznawana jest za niepraktyczną ze względu na złożone/kosztowne systemy oraz potrzebną wiedzę techniczną¹⁵.

Wraz z rozwojem sztucznej inteligencji praktyczne bariery w ocenie kinematycznej są znacznie zmniejszane. Na przykład wizja komputerowa – poddziedzina AI wydobywająca informacje z obrazów cyfrowych – może być obecnie wykorzystana do stworzenia systemów rejestracji ruchu bez markerów, wykorzystując stosunkowo proste kamery i komputery 16,17,18. Aby wykorzystać te postępy w widzeniu komputerowym, celem niniejszego artykułu metodycznego jest opisanie narzędzia internetowego opracowanego do prowadzenia klinicystów w następujących kwestiach: (i) wdrożeniu ustandaryzowanego protokołu aktywności dla zadania picia oraz (ii) nagrywaniu nagrań wideo z zadania picia zgodnym z workflow widzenia komputerowego do wydobywania metryk kinematycznych. Chociaż te kinematyczne metryki nie są jeszcze częścią standardowej opieki klinicznej, celem niniejszego protokołu jest zaangażowanie klinicystów, którzy chcieliby zintegrować badania biomechaniczne ze swoją praktyką. Oczekiwany wpływ to znacznie lepszy dostęp kliniczny do kinematycznych wskaźników kończyny górnej, które mają wspierać obecne protokoły leczenia rehabilitacyjnego oraz wspierać badania i rozwój nowych protokołów leczenia.

Protokół

Rysunki przedstawione w sekcji reprezentatywnych wyników odpowiadają dwóm oddzielnym studiom przypadków przeprowadzonym zgodnie z Deklaracją Helsińską. Przed zebraniem danych uzyskano świadomą zgodę wszystkich uczestników. Ponieważ te oddzielne studia przypadków obejmowały tylko dwóch uczestników, nie spełniały definicji badań klinicznych według lokalnej Rady Przeglądu Instytucjonalnego; dlatego przypisany numer protokołu IRB nie jest dostępny.

UWAGA: Protokół i powiązana aplikacja webowa dzielą się głównie na trzy etapy, w następujący sposób: (i) konfiguracja przestrzeni roboczej; (ii) działania kalibracyjne; oraz (iii) aktywność dotycząca picia. Infografika (Rysunek 1) przedstawia wizualną ilustrację tych etapów, w tym procesy pracy, z jakimi użytkownicy mogą się spodziewać podczas korzystania z aplikacji internetowej (https://mobile-motion-lab-public.web.app).

Rysunek 1: Infografika podsumowująca protokół. Oprócz zrzutów ekranu z aplikacji internetowej, każdy główny etap zawiera ilustrację, w tym ustawienia przestrzeni roboczej (lewy panel), workflow kalibracji (panel środkowy) oraz workflow zadania picia (prawy panel). Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

1. Konfiguracja przestrzeni roboczej

UWAGA: Ten krok opisuje, jak poprawnie skonfigurować przestrzeń roboczą (Rysunek 2) na kolejną aktywność kalibracyjną i zadanie picia. Prawidłowa konfiguracja jest kluczowa dla zapewnienia standaryzacji i jakości nagrań wideo dla niezawodnego postprzetwarzania i wyodrębniania miar kinematycznych przy użyciu przepływu pracy z zakresu widzenia komputerowego.

1. Pozycja krzeseł, stołu i przedmiotów
   1. Ustaw krzesło o regulowanej wysokości z oparciem tak, aby badany mógł siedzieć z dłońmi opartymi twarzą do dołu na stole i z załamaniem nadgarstków dopasowanym do krawędzi stołu.
   2. Reguluj wysokość siedzenia, aby biodra i kolana osoby były pod kątem około 90°.
   3. Reguluj wysokość stołu, aby ręce wygodnie opierały się po bokach, przy zachowaniu wyprostowanej pozycji siedzącej i z 90° zgięciem łokcia.
2. Rozmieszczenie podkładki do czynności pitnych
   1. Stwórz podkładkę do wydruku (Drinking Task Activity Placement) w menu Resources w aplikacji webowej (https://mobile-motion-lab-public.web.app/resources) oraz papier do drukarki w rozmiarze tabloidu o wymiarach 10 cali x 17 cali.
   2. Wyrównaj przednią krawędź podkładki z krawędzią stołu bezpośrednio przed obiektem. Upewnij się, że pole docelowego kwadratu jest wyśrodkowane względem linii środkowej obiektu.
   3. Przymocuj podkładkę szczelnie do powierzchni stołu taśmą klejącą.
3. Miejsce w pucharze
   1. Połóż plastikowy kubek o pojemności 250 ml na polu podkładki. To umieszcza kubek 30 cm od krawędzi stołu i bezpośrednio przed obiektem. Napełnij kubek 100 ml wody pitnej.
4. Rozmieszczenie kamer
   1. Ustawij aparat stereo (z ogniskową 4 mm), aby uchwycić obiekt i obraz z widoku z przodu z góry. Wymagana jest kamera stereo z kompatybilnym połączeniem z komputerem osobistym z dostępem do sieci (np. połączenie USB ze stacją roboczą w klinice). Zaleca się aparat stereo o większej ogniskowej, aby zminimalizować wpływ zniekształceń obiektywu na nagrane obrazy/wideo. Można użyć standardowego statywu kamery.
      UWAGA: Po kalibracji kamery (co zostanie wykonane w kolejnych etapach), utrzymanie tej kalibracji zależy od utrzymania pozycji kamery. Z tego powodu preferowana jest solidna podstawa aparatu, taka jak statyw montowany na podłodze lub statyw montowany na biurku na solidnej powierzchni, np. stały blat lub stół ciężki.
   2. Dostosuj pozycję aparatu, aby uchwycić docelową objętość, czyli wyimaginowaną kostkę, która całkowicie zawiera obiekt w jego początkowej pozycji, z wystarczającą dozą do pełnego uchwycenia czynności proksymalnej i dalszej górnej kończyny (np. ruch ręki), którą obiekt wykona podczas kolejnych prób aktywności (np. podczas zadania picia).
      1. Chociaż idealne ustawienie aparatu stereo zależy od parametrów wewnętrznych konkretnego urządzenia (tj. rozmiar matrycy obrazu, ogniskowa, pole widzenia), zacznij od ustawienia aparatu stereo około 150 cm od krawędzi stołu (czyli krawędzi stołu najbliżej obiektu) i ustawienia wysokości aparatu na około 100 cm nad powierzchnią stołu.
      2. Z tej pozycji wyjściowej można dalej dostosowywać w razie potrzeby, aby zoptymalizować pozycję kamery i uchwycić wspomnianą docelową głośność. Warto zauważyć, że proces kalibracji aparatu automatycznie uwzględnia zmiany parametrów zewnętrznych kamery (np. przewrót/odchylenie/pochylenie).
5. Oświetlenie
   1. Jeśli to możliwe, zadbaj o to, by pomieszczenie było dobrze oświetlone miękkim, równym światłem. Unikaj silnego podświetlenia, takiego jak jasne światło słoneczne z pobliskiego okna, ponieważ odblaski mogą utrudniać skuteczne wykrycie siatki szachownicy podczas kalibracji.
   2. Unikaj wprowadzania cieni w widoku kamery, ponieważ cienie mogą obniżyć skuteczność kalibracji oraz późniejszą estymację pozycji człowieka za pomocą widzenia komputerowego. Używaj lamp sufitowych lub ustawionych tak, aby zmniejszyć cienie na osobie. Jeśli odblaski są problemem, rozważ modyfikację świateł za pomocą dyfuzorów.

2. Aktywność kalibracji

UWAGA: Ten krok pokazuje, jak pomyślnie zakończyć kalibrację i zapewnić prawidłowe selekcjonowanie obrazów do odpowiedniego miejsca zapisu za pomocą aplikacji internetowej. Kalibracja może być wykonywana raz dziennie przed zbieraniem danych wideo z uczestnikami. Jeśli pozycja kamery zostanie zmieniona z jakiegokolwiek powodu w ciągu dnia, w tym przypadkowych zmian spowodowanych uderzeniem przechodnia w kamerę/statyw, zaleca się nową kalibrację, a wszystkie kolejne czynności nagrane wideo muszą być powiązane z tą nową kalibracją podczas każdego procesu pracy z widzeniem komputerowym.

1. Przygotowanie kalibracji
   1. Stwórz wzór siatki szachownicy do kalibracji, korzystając z pliku do druku (Calibration Checkerboard Printout) z menu Resources w aplikacji webowej (https://mobile-motion-lab-public.web.app/resources).
   2. Wydrukuj czarno-biały wzór siatki w szachownicę na standardowym papierze o wymiarach 8,5 cala x 11 cali. Używaj papieru i opcji drukarki bez błyszczącego wykończenia.
   3. Przymocuj wydruk wzoru siatki szachownicy do płaskiej powierzchni (np. tył clipboardu) i zabezpiecz taśmą. Upewnij się, że taśma nie zasłania żadnej części wzoru szachownicy i upewnij się, że przyklejony wydruk papieru ma minimalne odkształcenia. W przeciwnym razie zasłony lub deformacje wzoru siatki szachownicowej mogą zmniejszyć szanse na pomyślną kalibrację za pomocą rozwiązania komputerowego wizji.
2. Robienie obrazów kalibracyjnych
   1. Otwórz moduł aktywności kalibracji (Calibration Activity Guide) znajdujący się w menu panelu aplikacji webowej (https://mobile-motion-lab-public.web.app/calibrationActivity). Moduł ten został zaprojektowany do prowadzenia procesu kalibracji.
      1. Przeprowadz kalibrację w następujący sposób: (i) oglądanie wideo demonstracji kalibracji; (ii) weryfikację tożsamości kamery stereo; oraz (iii) podgląd transmisji na żywo z kamery stereo przed nagraniem. Na koniec wykonaj nagranie, aby uchwycić aktywność kalibracyjną, która polega na przesuwaniu wzoru szachownicy przez obszar roboczy podczas rejestrowania obrazów.
   2. Przejdź przez przewodnik, aż pojawi się podgląd kamery stereo i ikona Start nagrywania.
   3. Przed rozpoczęciem nagrywania ustaw szachownicę w pozycji początkowej. Na podstawie osoby siedzącej przy stole, jak opisano wcześniej, pozycja początkowa szachownicy polega na trzymaniu wzoru mniej więcej na wysokości klatki piersiowej i prostopadle do powierzchni stołu (Rysunek 3).
   4. Rozpocznij nagrywanie, klikając ikonę Start nagrywania w aplikacji webowej. Po uruchomieniu aplikacja udostępnia 3-sekundowe odliczanie wizualne/audio, po czym następuje kolejna wskazówka wizualna/dźwiękowa wskazująca, kiedy rozpocząć kalibrację.
      UWAGA: Jeśli kalibracja jest wykonywana solo, odliczanie daje użytkownikowi czas na rozpoczęcie nagrywania, a następnie ustawienie wzoru tablicy checkboard przed rozpoczęciem rejestracji.
   5. Po rozpoczęciu kalibracji przesuwaj wzór szachownicy do przodu przez obszar roboczy (w kierunku kamery) w płynny i kontrolowany sposób. Po pełnym przesunięciu wzór do przodu przez przestrzeń roboczą (wyimaginowaną kostkę przeznaczoną dla obiektu i kubka), następnie ruch wsteczny, aby przesunąć wzór do tyłu (z dala od aparatu) w płynny i kontrolowany sposób. Powtarzaj ten ruch do przodu i do tyłu wzoru szachownicy, aż przechwycenie obrazu zostanie zakończone. Całkowity czas trwania przechwytywania obrazu wynosi 10 s.
      1. Unikaj zbyt szybkiego przesuwania wzoru na tablicy w kratkę. Szybkie ruchy mogą powodować rozmycie obrazów zarejestrowanych przez kamerę, a to rozmycie może ograniczać zdolność workflow komputerowego do wydobycia odpowiednich parametrów kalibracyjnych.
         UWAGA: Przypominam, że aplikacja webowa zawiera demonstrację wideo podczas modułu aktywności kalibracyjnej. Alternatywnie, ruch wzoru kalibracyjnego jest również zademonstrowany w filmie Getting Started, który znajduje się na stronie zasobów aplikacji webowej.
3. Przegląd nagrania kalibracyjnego
   1. Przejrzyj nagraną kalibrację. Bezpośrednio po nagraniu aktywności kalibracyjnej w aplikacji webowej wyświetlane jest odtwarzanie wideo. Przejrzyj ten odtwarzacz wideo z dokładną uwagą wobec następujących elementów.
      1. Jakość obrazu: Upewnij się, że cały wzór szachownicy jest w pełni widoczny na całym filmie. Należy unikać rozmycia obrazu tak bardzo, jak to możliwe, a jeśli istnieją znaczne dowody na rozmycie, rozważ ponowne próby nagrania kalibracji z wolniejszymi ruchami wzoru szachownicy. Poprawiając jakość obrazu, kolejne procesy widzenia komputerowego będą miały większe szanse na skuteczne wykrycie wzoru szachownicy, który jest niezbędnym punktem odniesienia do pomiarów głębokości i położenia.
      2. Wyraźna widoczność: Upewnij się, że oświetlenie jest odpowiednie. Unikaj wyraźnych ciemnych cieni lub białych odbłysków, które zasłaniają widok wzoru na tablicy w kratę. Upewnij się, że podczas przechwytywania obrazu nie będą przeszkadzać w linii widzenia kamery (np. gdy przechodzący przez pierwszy plan przechodzi przez postronny obserwator).
         UWAGA: Jako punkt odniesienia do oceny jakości i widoczności obrazu, przykłady filmu kalibracyjnego są dostępne w module aktywności kalibracyjnej oraz w Wideo Rozpoczęcia pracy znajdującym się w menu Zasoby aplikacji webowej.
      3. Spróbuj ponownie, jeśli trzeba. Jeśli masz wątpliwości co do wydajności procesu kalibracji i jakości nagrania wideo kalibracyjnego, wybierz opcję Ponowne spróbowanie, aby ponownie rozpocząć nagrywanie wideo przy kolejnej próbie. W przeciwnym razie przejdź do przesyłania/zapisywania obrazów kalibracyjnych.
4. Zapisywanie obrazów kalibracyjnych
   1. Po pomyślnym zakończeniu czynności kalibracji i nagrywania wybierz ikonę Zapisz Obrazy kalibracyjne . To otworzy okno umożliwiające wybór miejsca zapisu pliku dla obrazów kalibracyjnych. Domyślnie miejsce zapisu pliku jest ustawione jako pulpit z domyślną konwencją nazw plików (np. calibration_[Date]_[Time]_[Camera Type]).
   2. Po zweryfikowaniu zapisu obrazów kalibracyjnych wybierz Potwierdź zapis, aby kontynuować. Po zapisaniu pojawi się komunikat potwierdzający oraz opcje przejścia do kolejnego modułu Przewodnika po czynnościach związanych z zadaniem piciem lub ponownego uruchomienia modułu Przewodnika po czynnościach zadań kalibracji.

3. Zadanie związane z piciem

UWAGA: Ten krok pokazuje, jak prowadzić uczestników przez wykonywanie zadania picia, jak tworzyć nagrania wideo z tego zadania oraz jak zapewnić prawidłowe selekcjonowanie filmów do miejsca zapisu za pomocą aplikacji internetowej.

1. Przygotowanie do czynności związanych z piciem
   1. Ustaw obiekt w odpowiedniej pozycji startowej/końcowej do czynności związanych z piciem. Reguluj wysokość siedzenia, aby obiekt mógł wygodnie siedzieć z biodrami i kolanami pod kątem 90°. Dostosuj wysokość stołu w razie potrzeby. Upewnij się, że badany siedzi wyprostowany na krześle z ramionami rozluźnionymi wzdłuż ciała, łokciami zgiętymi pod kątem 90°, dłońmi wygodnie spoczywającymi na stole na szerokości ramion, zgięciem nadgarstków wyrównanymi z krawędzią stołu, a linia środkowa wyrównana z miejscem kubka na podkładce.
   2. Polec podmiotowi, aby podczas początkowego nagrania używał określonej ręki (prawej lub lewej).
      UWAGA: Kolejne kolejne próby związane z czynnością picia są możliwe za pośrednictwem aplikacji internetowej. Podczas kolejnych prób lateralność ręki może być wskazana w aplikacji webowej, która automatycznie zostanie powiązana z odpowiednimi nazwami plików testów podczas selekcji danych.
   3. Polec badanemu ćwiczyć zajęcie związane z piciem. Uczestnicy mogą wykonać jedną lub dwie próby próbne czynności pitnej (bez rejestracji). Przypomnij badaczowi, że wystarczy mały łyk, zanim odłoży filiżankę i rękę na ich odpowiednie pozycje startowe.
      1. Unikaj nadmiernego przesadnego trenowania w kwestii czynności związanych z piciem. Celem jest uchwycenie zachowania tak, jak miałoby miejsce w rzeczywistym świecie. Jeśli badany prosi o dalsze instrukcje, doradź mu, by rozważył rzeczywistą sytuację w swoim codziennym życiu.
2. Zapisz aktywność w zadaniu picia
   1. Otwórz moduł zadania picia (Drinking Task Activity Guide) znajdujący się w menu panelu aplikacji webowej (https://mobile-motion-lab-public.web.app/drinkingTaskActivity).
      UWAGA: Ten moduł został zaprojektowany jako przewodnik w nagrywaniu wideo uczestnika wykonującego zadanie picia. Proces ten obejmuje następujące czynności: (i) oglądanie przykładowego nagrania czynności związanych z piciem; (ii) weryfikację tożsamości kamery stereo i wpisanie identyfikatora obiektu; (iv) wpisanie boczności ręki przeznaczonej do konkretnego testu, np. prawej lub lewej; oraz (v) podgląd transmisji na żywo z kamery stereo przed nagraniem.
   2. Przed rozpoczęciem nagrywania zorientuj się na odliczanie. Aplikacja mobilna udostępni odliczanie wizualno-dźwiękowe do 3 sekund, po czym następuje sygnał wizualno-dźwiękowy wskazujący, kiedy rozpocząć zadanie picia.
   3. Rozpocznij nagrywanie wideo, klikając ikonę Start nagrywania w aplikacji webowej. Korzystając z odliczania/wskazówek, poproś badanego o wykonanie czynności picia (Rysunek 3). Całkowity czas trwania zadania picia to 20 s.
      UWAGA: Badany musi tylko wziąć mały łyk z kubka, zanim odłoży kubek na wyznaczone miejsce na podkładce, a następnie cofnie rękę na wyznaczone miejsce.
3. Sprawdź nagranie z zadania picia. Bezpośrednio po nagraniu w aplikacji webowej wyświetlane jest odtwarzanie wideo. Przejrzyj ten nagranie wideo ze szczególną uwagą w następujących elementach.
   1. Obiekt w kadrze: Upewnij się, że twarz, tułów, kończyny górne i kubek obiektu są w pełni uchwycone we wszystkich klatkach wideo podczas całego zadania picia.
   2. Brak zakłóceń wzrokowych: Zadbaj o odpowiednie oświetlenie, bez rozpraszających cieni czy odblasków. Unikaj przypadkowego uchwycenia innych osób na pierwszym planie lub tle filmu. W przeciwnym razie szanse na skuteczne zidentyfikowanie interesującego obiektu przez system komputerowego mogą zostać ograniczone.
   3. Wykonanie zadania: Upewnij się, że badany wykonał całe zadanie, w tym podniesienie kubka, wypicie łyka z kubka, przywrócenie kubka do pierwotnej pozycji oraz przywrócenie ciała/rąk do pozycji wyjściowej.
   4. Spróbuj ponownie, jeśli trzeba. Jeśli masz wątpliwości co do jakości nagrania z piciem, wybierz opcję Powtórz, aby ponownie rozpocząć nagrywanie przy kolejnej próbie.
      UWAGA: Opcja Powtórzenie odrzuca poprzednie nagranie wideo. Jeśli nie jest pożądane odrzucenie filmu, unikaj wyboru opcji Próbuj ponownie, lecz przekonuj kolejne próby, jak opisano poniżej.
4. Rejestrowanie dodatkowych prób związanych z czynnością picia
   1. Jeśli dla tego samego uczestnika potrzebne są dodatkowe próby zadania picia, wybierz opcję Powtórz kolejną próbę.
      UWAGA: Moduł Przewodnik po Czynnościach Zadań Alkoholowych został zaprojektowany tak, aby być uruchamiany jako unikalna instancja dla każdego unikalnego przedmiotu (np. moduł należy uruchomić od nowa dla każdego unikalnego przedmiotu).
   2. Kontynuuj nagrywanie i przeglądanie dodatkowych badań dla tego samego badacznika, korzystając z powyższych instrukcji.
      UWAGA: W przypadku powtarzalnych badań z tym samym uczestnikiem, pierwotnie wprowadzony identyfikator i identyfikator kamery będą automatycznie powiązane ze wszystkimi badaniami. W przeciwnym razie każda próba wymaga tylko następujących kroków: (i) wpisania boczności ręki używanej przez badanego, np. prawej lub lewej; (ii) podgląd transmisji na żywo z kamery stereo przed nagraniem; (iii) inicjować nagrywanie wideo podczas czynności związanych z piciem; oraz (iv) przeglądanie/ponowne nagranie w razie potrzeby.
5. Zapisz nagrania wideo
   1. Po nagraniu wszystkich pożądanych prób wybierz Zakończ ze wszystkimi próbami , aby przejść do zapisu plików wideo do wybranego miejsca.
   2. W polu oznaczonym Notatki dodaj wszelkie komentarze istotne dla przyszłego przetwarzania, analizy i interpretacji danych. Wybierz Pakiet i dodaj Notatki , aby przejść dalej.
   3. Wybierz ikonę Zapisz Zadanie Picia Filmów . To otworzy okno z możliwością wyboru miejsca zapisu pliku. Domyślnie miejsce zapisu pliku jest ustawione jako pulpit.
      UWAGA: Po ustawieniu celu zapisu pliku, aplikacja webowa automatycznie kuratoruje dane wideo za pomocą struktury folderów/podfolderów, której nazwy są przypisane na podstawie wcześniejszych danych wejściowych wprowadzonych podczas realizacji przewodnika po aplikacji webowej. W efekcie powstaje główny folder o ustandaryzowanej nazwie (np. subj[identyfikator]__drinktask_[Date]_[Time]_[Camera Type]) oraz podfoldery o ustandaryzowanym nazewnictwie (np. [Laterality]_[Trial Number]_[Frame Rate]), które zawierają odpowiednie filmy dla każdej próby aktywności.
   4. Po zweryfikowaniu zapisu plików wideo wybierz Potwierdź zapis, aby przejść dalej. Po zapisaniu pojawi się komunikat potwierdzający oraz opcja ponownego uruchomienia modułu Przewodnika po Zadaniu Alkoholowym. Jak pokazano w sekcji wyników poniżej, zapisane filmy mogą być następnie połączone z procesem pracy w zakresie widzenia komputerowego, aby wyodrębnić kinematykę.

Wyniki

Główną motywacją dla internetowego przewodnika dla klinicystów jest zmniejszenie barier technicznych, które mogłyby zniechęcać klinicystów do korzystania z widzenia komputerowego do oceny biomechaniki kończyn górnych u pacjentów. Internetowy przewodnik dla klinicystów ma wygenerować dwa główne wyjścia dla użytkownika: (i) serię zsynchronizowanych obrazów wzoru kalibracji szachownicy opartych na podwójnych czujnikach obrazu kamery stereo oraz (ii) dla każdego badania przeprowadzonego przez badanego – parę zsynchronizowanych nagrań z zadaniem standaryzowanego picia (Rysunek 3). Przewodnik internetowy zawiera instrukcje w różnych formatach, w tym pisemne procedury, demonstracje wideo/audio oraz interaktywny wirtualny przegląd przez szkołę. Aby zmniejszyć obciążenie administracyjne, kuratoracja danych jest zautomatyzowana. Dane obrazowe i wideo są zapisywane w preferowanym cyfrowym folderze plików, zgodnie z wskazaniem użytkownika, np. na komputerze stacjonarnym lub w instytucjonalnej chmurze. Dane są automatycznie organizowane w skompresowane foldery, w tym zagnieżdżone podfoldery i standaryzowane nazwy plików oparte na identyfikatorze tematu, dacie/godzinie pozyskania danych, boczności ręki, typie/lateralności kamery oraz numerze próby.

Rysunek 2: Konfiguracja kliniki ambulatoryjnej do nagrywania obrazów i wideo. Kinematykę zadania picia można wyodrębnić z kompatybilnego wideo za pomocą widzenia komputerowego, co można osiągnąć za pomocą przedstawionego zestawu kamery stereo, komputera oraz przedmiotów powszechnie spotykanych w klinice (krzesła, stoły, materiały do druku, clipboardy, kubki, woda pitna). Chociaż dokładne umiejscowienie i orientacja aparatu różnią się w zależności od modelu urządzenia, (A) pokazana jest przybliżona pozycja, (B) którą można dostosować, aby uchwycić oczekiwaną przestrzeń pracy, która w pełni obejmuje ciało i kończyny górne podczas zadania picia. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 3: Kompatybilne obrazy i wideo stworzone przez internetowy przewodnik dla klinicystów. Główne wyniki internetowego przewodnika dla klinicystów obejmują (A) serię zsynchronizowanych obrazów wzoru kalibracji szachownicy oraz (B) parę zsynchronizowanych filmów rejestrujących wyniki wszystkich faz czynności związanych z piciem. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Na podstawie zebranych obrazów i danych wideo można następnie wyodrębnić biomechanikę kończyn górnych podczas zadania picia za pomocą widzenia komputerowego. Co ważne, zbieranie surowych danych i zastosowanie widzenia komputerowego można oddzielić od tego elementu. W wcześniejszej literaturze opisano różne procesy związane z widzeniem komputerowym do zastosowań do takich danych^{16,18 lub} użytkownicy mogą stosować własne, niestandardowe workflow. Na przykład wcześniej opracowaliśmy workflow komputerowego widzenia do szacowania trójwymiarowej postawy człowieka (rysunek 4) i następnie wyodrębniania trzech metryk kinematycznych. Krótko mówiąc, ten workflow w zakresie widzenia komputerowego obejmuje następujące kluczowe kroki: (i) kalibrację w celu wyodrębnienia właściwości kamery wewnętrznej i zewnętrznej do mapowania pikseli na wymiary rzeczywiste; (ii) wykrywanie pozycji człowieka w celu oznaczania lokalizacji pikseli kluczowych punktów anatomicznych ludzkiego ciała na obrazach dwuwymiarowych; (iii) zastosowanie procedury podnoszenia do obliczania informacji trójwymiarowych z dwuwymiarowych obrazów; oraz (iv) zastosowanie filtrów do wygładzania trajektorii, np. średniej kroczącej i filtrów Kalmana. Bardziej szczegółowy opis wykracza poza zakres bieżącej pracy, ale można go znaleźć w poprzedniej pracy¹⁶. Stosując ten przepływ pracy, wyodrębnione metryki kinematyczne ilościowo określają płynność ruchu (np. liczbę jednostek ruchowych, NMU), kompensację (np. przemieszczenie tułowia, TD) oraz czas ruchu (MT), które w badaniach rehabilitacji po udarze wykazano jako prawidłowe, wiarygodne i reagujące na zmiany kliniczne ^5,13,14. W porównaniu do konwencjonalnego systemu przechwytywania ruchu opartego na markerach, ten workflow komputerowego widzenia daje niewielki błąd (_błąd NMU -0,12 jednostki,_błąd TD 3,4 mm i błąd_MT 0,15 s) w porównaniu z szacunkami klinicznie istotnych zmian (3-7 NMU, 20-50 mm TD i 2,5-5 s MT)¹⁶. Aby zilustrować konkretną metrykę kinematyczną, tj. płynność ruchu według NMU (rysunek 5), wykres profilu prędkości nadgarstka podczas zadania picia przedstawia NMU (np. każda jednostka ruchu oznaczona czerwoną gwiazdką) mierzoną podczas studium przypadku osoby z historią udaru (51 lat, dominująca prawa ręka, historia udaru niedokrwiennego prawej rdzenia rdzenia skutkującego łagodną lewą półparezą, Udar >6 miesięcy wcześniej, choroby współistniejące, w tym nadciśnienie i zespół cieśni prawej rękawki).

Rysunek 4: Zastosowanie widzenia komputerowego do obrazów i wideo do wyodrębniania danych o ruchu człowieka. Opisano różne procesy komputerowe widzenia, aby osiągnąć kinematykę zadania picia. (A) Początkowy krok kalibracji wymaga obrazów 2D do odwzorowania pikseli na wymiary rzeczywistego świata, (B) które można przekształcić w współrzędne 3D za pomocą geometrii rzutowej. Następnie, stosując estymację pozycji człowieka do filmów z zadaniem picia, (C) można automatycznie wykrywać 2D punkty kluczowe anatomiczne, które można przekształcić w (D) 3D punkty kluczowe dla różnych obliczeń i wizualizacji metrycznych, np. trajektorii punktów kluczowych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 5: Kinematyczna metryka płynności ruchu podczas zadania picia. Na podstawie trójwymiarowych danych ruchu człowieka z zadania picia można uzyskać różnorodne kinematyczne metryki po udarze. Na podstawie osoby będącej w przewlekłej fazie rekonwalescencji po udarze, z obrazu za pomocą komputerowego obrazu można wyodrębnić kinematyczną metrykę płynności ruchu (np. liczbę jednostek ruchu, NMU, co jest widoczne przez liczbę czerwonych gwiazdek na profilu prędkości nadgarstka), aby odsłonić obiektywną różnicę w funkcji motorycznej między (A) lewą a (B) prawą kończyną górną. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Dyskusja

Kinematyczna ocena zadania picia została zalecona do wykorzystania w badaniach rehabilitacji po udarze⁶. Jednak kwestie praktyczne zostały wskazane jako bariery w wdrażaniu kinematyki w badaniach rehabilitacyjnych, a do tych obaw należą koszty i wymagania techniczne technologii przechwytywania ruchu konwencjonalnie stosowanych do pomiaru biomechaniki człowieka¹⁵. Te obawy w konsekwencji utrudniają przyjmowanie kliniczne i przeniesienie oceny kinematycznej do praktyki klinicznej. Alternatywnie, bardziej praktyczne podejście do wydobycia kinematyki za pomocą widzenia komputerowego można zrealizować za pomocą jednej kamery stereo, komputera osobistego oraz przedmiotów powszechnie spotykanych w ambulatorium¹⁶. Przedstawiamy protokół zaprojektowany dla klinicystów, który wykorzystuje internetowy przewodnik do rejestrowania obrazów i wideo kompatybilnych z procesem pracy komputerowego widzenia, aby wydobyć kinematyczne metryki zadania picia. Długoterminowym celem jest zwiększenie dostępności do tych wskaźników, które zostały wcześniej opracowane i zalecane do wykorzystania w badaniach rehabilitacji po udarze 5,6,12,13,14.

Synchronizacja wideo jest ważna dla podejść dwukamerowych do widzenia komputerowego. Układy z dwoma kamerami naśladują ludzkie oczy, które jednocześnie postrzegają scenę w rzeczywistym świecie z nieco innych perspektyw, co pozwala na postrzeganie głębi. W przypadku widzenia komputerowego odpowiednia synchronizacja jest kluczowa dla dokładności informacji trójwymiarowych (np. położenia ludzkiego nadgarstka w kartezjańskim układzie współrzędnych) określanych na podstawie dwóch dwuwymiarowych źródeł (np. położenie pikseli ludzkiego nadgarstka na zdjęciu). Z naszego doświadczenia wynika, że podwójne aparaty mogą zapewnić rozsądne efekty, gdy są zsynchronizowane z dokładnością do 1 ms¹⁶. Kilka czynników może obniżać synchronizację, w tym niestabilna szybkość klatek kamery, ograniczona szybkość transmisji danych w kablach, nieefektywność oprogramowania oraz ograniczone specyfikacje sprzętowe (np. niska pamięć RAM lub procesory niskiej klasy). Aby złagodzić problemy z synchronizacją, protokół ten wykorzystuje gotową kamerę stereo, która korzysta z mniejszej powierzchni fizycznej i jest zaprojektowana jako urządzenie plug-and-play (np. pojedyncze połączenie USB ze standardowym komputerem osobistym), które automatycznie rejestruje zsynchronizowane obrazy z dwóch wbudowanych czujników obrazu.

Charakterystyka kamery wymaga starannego rozważenia przy każdej aplikacji do widzenia komputerowego. Teoretycznie obrazy o wyższej rozdzielczości i zapisy ruchu człowieka z wyższą liczbą klatek na sekundę oferują więcej danych do wykrywania kluczowych punktów anatomicznych z większą dokładnością przestrzenno-czasową. Jednak nieunikniona jest konieczność równowagi między ilością danych a dostępnymi zasobami obliczeniowymi do ich przetwarzania. Opisany protokół opiera się na kamerze stereo, która nagrywa wideo w rozdzielczości 1280 x 720 pikseli przy częstotliwości 60 Hz, co jest porównywalne z wcześniejszymi badaniami wykorzystującymi widzenie komputerowe do kinematyki zadań pitnych^16,18. W nagrywaniu tych filmów zaobserwowaliśmy wiarygodne sukcesy przy użyciu wyższej klasy komputera konsumenckiego (np. procesor 3,2 GHz z 128 GB RAM) oraz mieszane sukcesy przy użyciu laptopa (np. procesor 2,6 GHz z 16 GB RAM). Przy użyciu komputerów niższej klasy typowym problemem jest brak klatek wideo, które często prezentują się jako wideo wyjściowe z czasem krótszym niż planowane 20 sekund nagrywania. Warto zauważyć, że choć obliczenia danych są częstym winowajcą brakujących klatek wideo, transmisja danych również jest istotna. W środowisku opieki zdrowotnej, na przykład, ustawienia bezpieczeństwa związane z portami dostępu do komputerów (np. pendrive'ami) mogą powodować opóźnienia w transmisji danych, które zakłócają niezawodne nagrywanie wideo.

Zakłócenia w linii widzenia będą wyzwaniem dla kluczowych etapów pracy w zakresie widzenia komputerowego, w tym kalibracji i estymacji pozycji człowieka. Kalibracja opiera się na cyfrowych obrazach wzoru szachownicy o standardowych rozmiarach, co pozwala komputerowi odwzorować piksele obrazu na fizyczne wymiary świata rzeczywistego. Wyraźna wizualizacja wzoru szachownicy zwiększa skuteczność tego mapowania. Zakłócenia wizualne mogą powstać z różnych powodów, w tym między innymi: (i) problemy z oświetleniem (np. jasne odblaski z pobliskiego okna lub ciemne cienie); (ii) nadmiernie szybkie ruchy szachownicy (np. rozmycie obrazu spowodowane długim czasem naświetlania aparatu); lub (iii) niewłaściwych właściwości wewnętrznej kamery (np. nieprawidłowa ogniskowa lub poważne zniekształcenia obiektywu). Estymacja pozycji człowieka wykorzystuje sztuczną inteligencję do automatycznego adnotowania anatomicznych punktów orientacyjnych na podstawie obrazów jednej osoby (estymacja pojedynczej pozy) lub wielu osób (estymacja wielopozycyjną). Jasna wizualizacja człowieka jest wtedy kluczowa dla skuteczności oszacowania pozy. Niektóre zakłócenia wizualne mogą być tolerowane w zależności od parametrów widzenia komputerowego (np. architektura AI, progi predykcji). Jednak aby ocenić przydatność filmu do oceny ludzkiej pozy, należy uważać na następujące pułapki: (i) obecność świadków w przypadku oceny pojedynczej pozy; (ii) segmenty ciała sporadycznie poza polem widzenia kamery; oraz (iii) samozakrycia spowodowane nakładaniem się segmentów ciała.

Oddzielenie zbierania danych od samego procesu przetwarzania komputerowego widzenia niesie zarówno zalety, jak i wady. Istotną wadą jest opóźnienie w dostępie klinicznie istotnych informacji dla klinicystów i pacjentów, aby podejmować decyzje. Potencjalną zaletą jest zmniejszenie zakłóceń interakcji klinicysta z pacjentem. Na przykład, zakładając, że kalibracja jest wykonywana przed wizytą pacjenta, nagranie 10 powtórzeń zadania picia, opisanego w wcześniejszej literaturze¹² , idealnie wymagałoby mniej niż 4 minuty nagrywania wideo plus czas potrzebny na zapoznanie się z protokołem u pacjentów naiwnych. Co więcej, to rozdzielenie może zwiększyć akceptację klinicystów poprzez podział odpowiedzialności za informacje. W ramach tego podziału obowiązków klinicysta przejmuje odpowiedzialność za to, kiedy i dlaczego odbywają się oceny wideo, a data scientists/engineers przejmują odpowiedzialność za udoskonalenie przepływu pracy w zakresie widzenia komputerowego, który odpowiada za dokładne i wiarygodne wskaźniki kliniczne (np. kinematyka zadań związanych z piciem). W rzeczywistości można to porównać do obecnej rzeczywistości wielu testów opartych na krwi (np. pełne panele metaboliczne) oraz obrazowych (np. badania MRI), które są rutynowo zlecane przez klinicystów. Wreszcie, to rozdzielenie może być korzystne w miarę dalszego rozwoju dziedziny AI. Dane wideo zebrane dziś mogą być wielokrotnie analizowane przez bardziej zaawansowane rozwiązania do widzenia komputerowego przyszłości, które mogą wydobyć więcej kinematycznych wskaźników z większą szybkością, dokładnością i niezawodnością.

Naszym celem jest dalsze zwiększanie dostępu do kinematyki kończyn górnych w społeczności rehabilitacyjnej, która obejmuje klinicystów w placówkach ambulatoryjnych, a przewidywalnie także osoby pracujące w domu (np. telerehabilitacja). Ten protokół oraz aplikację internetową należy traktować jako wczesny etap rozwoju, który jak dotąd uwzględniał bardzo skoncentrowaną aktywność (czyli zadanie picia) oraz stosunkowo skoncentrowaną grupę interesariuszy (czyli klinicystów, użytkowników i uczestników, którzy mogą łatwo wykonywać zadanie picia). Przyszłe wersje będą konieczne, aby uwzględnić bardziej zróżnicowaną grupę użytkowników, bardziej zróżnicowane aktywności oraz bardziej zróżnicowane grupy osób (np. osoby z poważnymi deficytami wymagające dostosowania do aktywności). Dodatkowo, przyszły rozwój będzie obejmował ważne punkty kontrolne przed szerokim wdrożeniem, takie jak integracja z elektroniczną dokumentacją medyczną oraz utrzymanie prywatności i poufności pacjenta. Te przyszłe wersje prawdopodobnie również będą wprowadzać nowe technologie i udoskonalać obecnie dostępne technologie. Na przykład obecny protokół zakłada workflow widzenia komputerowego oparty na widzeniu dwuocznym (np. kamery stereo). Logicznym kolejnym rozwojem jest protokół z widzeniem monokularnym (np. prostsze kamery), który może być możliwy do zrealizowania dzięki wykorzystaniu AI trenowanej na zbiorach danych lornecznych. Warto zauważyć, że obecny protokół dostarcza danych obrazowych i wideo kompatybilnych z nowoczesnymi rozwiązaniami do widzenia komputerowego, które już są wypierane pod względem wydajności przez nowsze rozwiązania¹⁸. Opisany tutaj protokół internetowy może pozwolić klinicystom na wdrożenie w swojej praktyce podstaw widzenia komputerowego, które prawdopodobnie znacznie się rozwiną, gdy technologia AI przeniknie do branży medycznej.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Ramię montażowe kamery, dwuczęściowe, pojedyncze przegubowe z platformą kamery	Manfrotto	196B-2	Mocowanie do kamery stereo
Statyw aparatu, kompatybilny ze standardowymi montażowymi 1/4 cala i 3/8 cala	iFootage	CB3 Base	Statyw do montażu kamery stereo
Clipboard, standardowy rozmiar literowy	Nie ma	Nie ma	Powierzchnia do poprawy wzoru kalibracyjnego
Kubek, plastikowy 8 oz	Nie ma	Nie ma	Pojemnik na wodę do zadania pitnego
Krzesło regulowane wysokością, z blokowanymi kołami typu caster	Vermund Larsen A/S	Niepodległość VELA	Katedra przedmiotu
Stół regulowany wysokościowo, z blokującymi kołami krzyżowymi	Midmark Corporation	6215 Prostokątna stacja robocza	Stół do przygotowania do zadania picia
Wydruk tablicy kalibracyjnej	Nie ma	Nie ma	Wzór do wideo Calibraiton
Wydruk podkładki do ćwiczeń do picia,	Nie ma	Nie ma	Podkładka do pomocy przy ustawianiu zadania picia
Kamera stereo, ogniskowa 4mm, bez polaryzatora, kabel USB 3.0 5m	Stereolabs	Zed 2i	Kamera stereo do nagrywania wideo
Taśma	Nie ma	Nie ma	Klej do wydruków