Projektowanie i analiza w celu uproszczenia systemu wykrywania upadków
6 kwietnia 2020
Prezentujemy metodologię opartą na multimodalnych czujnikach do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania upadków i rozpoznawania aktywności człowieka. Celem jest zbudowanie systemu do dokładnego wykrywania upadków, który można łatwo wdrożyć i przyjąć.
Nasza metodologia dodaje ważne etapy, wybór kombinacji czujników, rozmieszczenie i klasyfikację, aby uprościć system wykrywania upadków dzięki dogłębnej analizie. Istnieją wcześniejsze prace, które odnoszą się do niektórych problemów projektowych związanych z wykrywaniem upadków, ale nie ma pracy, która skupiałaby się na holistycznej metodologii przezwyciężania wszystkich tych problemów. Metodologia ta może być również wykorzystywana do rozpoznawania aktywności człowieka w mieszkaniach wspomaganych, ocenie wyników sportowych, fizjoterapii i rehabilitacji.
Podczas tworzenia zestawu danych mogą pojawić się wyzwania związane z synchronizacją, organizacją i niespójnością danych. Należy wziąć pod uwagę kompromis między dokładnym oszacowaniem a złożonością modelu. Procedurę zademonstrują Jose Pablo Nunez Martinez, asystent naukowy oraz Sofia Pacheco Ibanez, studentka inżynierii z naszego laboratorium.
Zacznij od skonfigurowania systemu gromadzenia danych, aby ułatwić gromadzenie i przechowywanie danych podmiotu. Wybierz typy czujników ubieralnych, czujników otoczenia i urządzeń wizyjnych wymaganych jako źródła informacji i przypisz identyfikator dla każdego źródła informacji, liczbę kanałów na źródło, specyfikacje techniczne i częstotliwość próbkowania każdego z nich. Aby połączyć wszystkie źródła informacji z komputerem centralnym lub rozproszonym systemem komputerowym, należy najpierw sprawdzić, czy urządzenia przewodowe są prawidłowo podłączone do jednego komputera klienckiego i czy urządzenia oparte na sieci bezprzewodowej są w pełni naładowane.
Aby skonfigurować każde urządzenie do pobierania danych, należy skonfigurować system akwizycji danych tak, aby zezwalał na przechowywanie danych w chmurze i upewnić się, że system akwizycji danych spełnia odpowiednie właściwości synchronizacji danych i spójności danych. Upewnij się, że wszystkie czujniki zbierają dane w sposób spójny i jednoczesny oraz aby dołączyć etykiety do identyfikacji aktywności i cech obiektu. Zbierz przykładowe dane za pomocą urządzeń i przechowuj je w preferowanym systemie.
Przeszukaj bazę danych i określ, czy wszystkie źródła informacji są zbierane z tą samą częstotliwością próbkowania. Po rozważeniu warunków wymaganych w ograniczeniach nałożonych przez cel systemu, należy skonfigurować środowisko testowe, umieszczając materac lub inne zgodne systemy podłogowe w centrum środowiska, aby zapewnić bezpieczeństwo uczestników. Wszelkie przedmioty należy trzymać w odległości co najmniej jednego metra od materaca i przygotować niezbędne środki ochrony osobistej dla uczestników.
Następnie ustaw odpowiednie kamery i sparuj czujniki podczerwieni wokół materaca, jak pokazano na ilustracji. Zdefiniuj cel systemu wykrywania upadków i rozpoznawania aktywności człowieka na arkuszu planowania i zdefiniuj populację docelową eksperymentu zgodnie z celem systemu. Zdefiniuj rodzaj codziennych czynności, w tym niektóre czynności niezwiązane z upadkami, które wyglądają jak upadki, aby poprawić wykrywanie rzeczywistych upadków.
Przypisz identyfikator do każdej czynności i opisz ją tak szczegółowo, jak to możliwe. Następnie ustaw przedział czasu dla każdej czynności, która ma zostać wykonana. Zdefiniuj rodzaj upadków ludzi i przypisz identyfikator oraz opisz każdy upadek dla każdej czynności wraz z okresem czasu, w którym każdy upadek ma zostać wykonany.
Zastanów się, czy upadki zostaną wygenerowane samodzielnie przez badanych, czy przez innych i zapisz te informacje na arkuszu planowania. Aby zebrać dane dotyczące aktywności i upadku, umieść urządzenia rejestrujące na obiekcie, jak pokazano na ilustracji. Kiedy uczestnik jest gotowy, pod nadzorem eksperta klinicznego lub odpowiedzialnego badacza, rozpocznij zbieranie danych w systemie akwizycji danych i poproś uczestnika o wykonanie sekwencji czynności i upadków nakreślonych w arkuszu planowania, zapisując znaczniki czasu rozpoczęcia i zakończenia każdej czynności lub upadku.
Sprawdź, czy dane ze wszystkich źródeł informacji są zapisywane w chmurze po każdej aktywności lub upadku. Aby przeanalizować zebrane dane dotyczące aktywności i upadków, użyj zestawu danych funkcji dla każdej metody uczenia maszynowego, aby uruchomić krzyżową walidację K-krotności. Użyj typowej metryki oceny, takiej jak dokładność, aby wybrać najlepszy model wytrenowany dla każdej metody.
Następnie otwórz zestaw danych funkcji trenowania w preferowanym oprogramowaniu języka programowania i użyj biblioteki pandas, aby odczytać plik CSV zgodnie ze wskazaniami. Podziel zestaw danych obiektów na pary danych wejściowych/wyjściowych, jak wskazano. Wybierz jedną metodę uczenia maszynowego i ustaw parametry.
Wytrenuj model uczenia maszynowego i oblicz szacowane wartości modelu przy użyciu zestawu danych funkcji testowania. Powtórz krzyżową walidację K-krotności, ile razy K jest określona w K-krotnej krzyżowej walidacji dla każdego wybranego modelu uczenia maszynowego. Należy wybrać odpowiednie miejsca w podejściu multimodalnym, jeżeli dla systemu wymagane jest połączenie dwóch lub więcej źródeł informacji, i wybrać najlepsze źródło informacji dla każdej modalności w systemie.
Utwórz połączony zestaw danych obiektów, korzystając z niezależnych zestawów danych tych źródeł informacji, a następnie wybierz metodę klasyfikacji uczenia maszynowego. Wytrenuj model dla tych połączonych źródeł informacji i powtórz walidację przy użyciu połączonego zestawu danych funkcji. Następnie przygotuj nowy zestaw danych z osobami badanymi w bardziej realistycznych warunkach, korzystając tylko ze źródeł informacji wybranych w poprzedniej analizie.
Graficzna reprezentacja najlepszych wyników uzyskanych dla każdej modalności w zależności od modelu uczenia maszynowego i najlepszej konfiguracji długości okna wyraźnie pokazuje, że podejścia multimodalne uzyskują najlepsze wartości punktów F1 w porównaniu z niektórymi podejściami unimodalnymi. Chociaż w szczególności wykorzystuje się wyłącznie czujniki ubieralne, można uzyskać wydajność podobną do podejścia multimodalnego. Jeśli chodzi o test porównawczy modeli opartych na danych, las losowy prezentuje najlepsze wyniki w prawie wszystkich eksperymentach, podczas gdy wielowarstwowe maszyny perceptronowe i wektory nośne nie są zbyt spójne pod względem wydajności.
Najlepszą wydajność uzyskuje się, gdy pojedynczy czujnik jest używany w pasie, szyi lub ciasnej prawej kieszeni. Najgorzej wypadły czujniki noszone na kostce i lewym nadgarstku. Ponadto czujniki w talii, szyi i ciasnej prawej kieszeni z klasyfikatorem losowych lasów w trzysekundowym rozmiarze okna z 50% zachodzeniem na siebie są najbardziej odpowiednimi czujnikami do noszenia do wykrywania upadków.
Kamera widoku bocznego zapewnia najlepsze wykrywanie upadków, a najlepsza lokalizacja kamery to boczny punkt widzenia przy użyciu losowego lasu w trzysekundowym rozmiarze okna i 50% nakładaniu się. Ponadto klasyfikator losowego modelu lasu wykazuje najlepsze wyniki w zakresie dokładności i wyniku F1 zarówno w multimodalnościach, jak i połączeniu talii i kamery, które plasują się na pierwszej pozycji. W naszych eksperymentach rekrutowaliśmy młodych ludzi bez upośledzeń, ale osoby powinny być wybierane tak, aby były zgodne z celem systemu i populacją docelową korzystającą z systemu.
W oparciu o tę metodologię można projektować i wdrażać proste multimodalne systemy wykrywania upadków. W przypadku adaptacji do świata rzeczywistego zaleca się podejście oparte na uczeniu transferowym i uczeniu głębokim w celu opracowania solidnych systemów.
Przegląd
To badanie przedstawia kompleksową metodologię wykrywania upadków i rozpoznawania aktywności człowieka z wykorzystaniem multimodalnych czujników. Podejście ma na celu poprawę dokładności i łatwość wdrożenia w różnych zastosowaniach, takich jak wspomagane życie i rehabilitacja.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauki
- Rozpoznawanie aktywności ludzkiej
- Technologia czujników
Tło
- Poprzednie prace dotyczyły wykrywania upadków, ale brakowało im holistycznej metodologii.
- Wyzwania obejmują synchronizację, organizację i spójność danych.
- Podejście multimodalne może poprawić dokładność wykrywania.
- Zastosowania obejmują wydajność sportową i terapię fizyczną.
Cel badania
- Rozwój niezawodnego systemu wykrywania upadków.
- Uproszczenie integracji różnych typów czujników.
- Poprawa możliwości rozpoznawania aktywności ludzkiej.
Stosowane metody
- Selekcja i umieszczenie czujników do noszenia i czujników środowiskowych.
- Konfiguracja systemu akwizycji danych do przechowywania w chmurze.
- Zbieranie danych w kontrolowanych warunkach z zachowaniem środków bezpieczeństwa.
- Metody uczenia maszynowego do analizy danych i trenowania modeli.
Główne wyniki
- Podejścia multimodalne dają lepsze wskaźniki wydajności.
- Modele lasów losowych wykazują lepsze wyniki w eksperymentach.
- Pojedyncze umiejscowienia czujników w określonych lokalizacjach ciała są skuteczne.
- Wyzwania dotyczące spójności danych zostały pomyślnie zaadresowane.
Wnioski
- Zaproponowana metodologia jest skuteczna w wykrywaniu upadków.
- Może być dostosowana do różnych zastosowań w zdrowiu i sporcie.
- Przyszłe prace mogą skupić się na doskonaleniu integracji czujników i analizy danych.
Często zadawane pytania
Executive Industry Relevance
This methodology supports early-stage target validation by enabling systematic evaluation of sensor modalities and machine learning approaches for detecting physiological events. It provides a framework for de-risking biomarker discovery through reproducible, multimodal data collection and analysis. The approach enhances predictive confidence in identifying valid biological signals relevant to neurological and musculoskeletal conditions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses through quantitative measurement of fall-related biomechanical and neurological patterns.
- Operational Value: Supports functional target validation by isolating independent variables such as sensor placement and classification method.
- Predictive Value: Improves confidence in lead identification by linking sensor outputs to clinically relevant activity endpoints.
Screening & Assay Development
- Scientific Value: Prepares validated biological systems for downstream screening by establishing standardized data acquisition protocols.
- Operational Value: Ensures assay reproducibility through synchronized, multimodal sensor data collection and cloud-based storage.
- Scalability: Facilitates platform reuse across disease models by enabling transfer learning and deep learning adaptation.
Translational & Preclinical Research
- Translational Continuity: Connects discovery-phase sensor analytics to preclinical validation through consistent human activity recognition outputs.
- Risk-Adjusted Decisions: Supports advancement criteria by quantifying detection accuracy and F1 scores across sensor combinations.
- Biomarker Alignment: Enables correlation of wearable sensor signals with neurological and motor function endpoints.
Pipeline & Workflow Integration
The method integrates into the discovery continuum from hypothesis testing through lead identification to preclinical validation, particularly for neuromuscular and neurophysiological target assessment.
- Discovery Biology: Supports pathway clarification by analyzing sensor-derived features associated with fall and activity patterns.
- Screening: Delivers assay readiness through standardized K-fold cross-validation and accuracy-based model selection.
- Analytics: Generates quantitative dependent variable measurements (accuracy, F1 score) enabling cross-condition comparison and model ranking.
- Translational Research: Connects to preclinical continuity via transfer learning recommendations for robust system adaptation.
- Enterprise Reuse: Positions the sensor configuration and analysis workflow as a reusable capability across therapeutic areas.
Operational & Enterprise Impact
- Scientific Value: Reduces mechanistic ambiguity by isolating the contribution of individual sensors and modalities to detection performance.
- Operational Value: Enhances standardization through defined procedures for sensor ID assignment, sampling rate verification, and data synchronization.
- Strategic Value: Improves go/no-go decisions by identifying optimal sensor-placement-classifier combinations (e.g., waist sensor with random forest).
- Portfolio Impact: Enables risk-adjusted prioritization by quantifying performance tradeoffs between model complexity and estimation accuracy.
Implementation Considerations
- Requires expertise in sensor integration, data synchronization, and machine learning model evaluation.
- Needs instrumentation for multimodal data acquisition including wearable, ambient, and vision-based sensors.
- Demands cross-team standardization of data labeling, storage protocols, and feature extraction procedures.
- Involves adaptation considerations when transferring the system to impaired or elderly populations.
- Involves practical limitations related to environmental setup, subject safety, and real-world variability in activity execution.
