Ocena systemu rozpoznawania aktywności człowieka opartego na smartfonach w codziennym środowisku życia

Summary

Ustandaryzowana metoda oceny została opracowana dla Wearable Mobility Monitoring Systems (WMMS), która obejmuje ciągłe działania w realistycznym codziennym środowisku życia. Testowanie z serią codziennych czynności życiowych może zmniejszyć czułość rozpoznawania aktywności; w związku z tym zachęca się do stosowania realistycznych obwodów testowych w celu prawidłowej oceny wydajności WMMS.

Abstract

Metoda oceny, która obejmuje ciągłą aktywność w codziennym środowisku, została opracowana dla Wearable Mobility Monitoring Systems (WMMS), które próbują rozpoznawać działania użytkowników. Uczestnicy wykonywali wcześniej ustalony zestaw codziennych czynności życiowych w ramach ciągłego obwodu testowego, który obejmował czynności ruchowe (chodzenie, stanie, siedzenie, leżenie, wchodzenie/schodzenie po schodach), codzienne zadania życiowe (czesanie włosów, mycie zębów, przygotowywanie jedzenia, jedzenie, zmywanie naczyń) oraz subtelne zmiany otoczenia (otwieranie drzwi, korzystanie z windy, chodzenie po pochyłościach, pokonywanie podestów schodów, chodzenie na świeżym powietrzu).

Aby ocenić wydajność WMMS na tym torze, piętnastu pełnosprawnych uczestników wykonało zadania, nosząc smartfon na prawej przedniej części miednicy. Aplikacja WMMS wykorzystywała sygnały akcelerometru i żyroskopu ze smartfona do klasyfikowania stanów aktywności. Złoty standard porównawczy zestaw danych został stworzony poprzez nagrywanie wideo każdej próby i ręczne rejestrowanie czasu rozpoczęcia aktywności. Dane Gold Standard i WMMS były analizowane w trybie offline. Dla każdego obwodu obliczono trzy zestawy klasyfikacyjne: (i) mobilność lub bezruch, ii) siedzenie, stanie, leżenie lub chodzenie oraz (iii) siedzenie, stanie, leżenie, chodzenie, wchodzenie po schodach lub mały ruch stojący. Obliczono czułość, swoistość i F-Score dla kategoryzacji aktywności i zmian stanu.

Zestaw klasyfikacyjny mobilny i niemobilny miał czułość 86,30% ± 7,2% i swoistość 98,96% ± 0,6%, podczas gdy drugi zestaw predykcji miał czułość 88,35% ± 7,80% i swoistość 98,51% ± 0,62%. Dla trzeciego zestawu klasyfikacyjnego czułość wynosiła 84,92% ± 6,38%, a swoistość 98,17 ± 0,62. Wyniki F1 w pierwszej, drugiej i trzeciej klasyfikacji wynosiły odpowiednio 86,17 ± 6,3, 80,19 ± 6,36 oraz 78,42 ± 5,96. Pokazuje to, że wydajność WMMS zależy nie tylko od algorytmów, ale także od protokołu oceny. Zademonstrowany protokół może być wykorzystany i dostosowany do oceny systemów rozpoznawania aktywności człowieka w medycynie rehabilitacyjnej, gdzie monitorowanie mobilności może być korzystne w podejmowaniu decyzji klinicznych.

Introduction

Wszechobecne wykrywanie stało się interesującym obszarem badawczym dzięki coraz potężniejszym, małym, tanim urządzeniom obliczeniowym i detekcyjnym ¹. Monitorowanie mobilności za pomocą czujników ubieralnych wzbudziło duże zainteresowanie, ponieważ mikroelektronika na poziomie konsumenckim jest w stanie wykrywać charakterystykę ruchu z dużą dokładnością ¹. Rozpoznawanie aktywności człowieka (HAR) za pomocą czujników noszonych na ciele jest najnowszym obszarem badań, ze wstępnymi badaniami przeprowadzonymi w latach 80. i 90. XX wieku.

Nowoczesne smartfony zawierają niezbędne czujniki i możliwość obliczeń w czasie rzeczywistym do rozpoznawania aktywności mobilności. Analiza w czasie rzeczywistym na urządzeniu pozwala na klasyfikację działań i przesyłanie danych bez interwencji użytkownika lub badacza. Smartfon z oprogramowaniem do analizy mobilności może zapewnić śledzenie kondycji, monitorowanie zdrowia, wykrywanie upadków, automatyzację domu lub pracy oraz samodzielne zarządzanie programami ćwiczeń ⁵. Smartfony można uznać za inercyjne platformy pomiarowe do wykrywania aktywności mobilnej i wzorców ruchomych u ludzi, wykorzystujących generowane cechy sygnału matematycznego obliczane za pomocą wbudowanych wyjść czujników ⁶. Typowe metody generowania cech obejmują podejścia heurystyczne, czasowe, częstotliwościowe i oparte na analizie falkowej ⁷.

Nowoczesne systemy HAR dla smartfonów wykazały wysoką precyzję podczas wykrywania określonych działań ^1,5,6,7. Badania te różnią się metodologią oceny, a także dokładnością, ponieważ większość badań ma własny zestaw treningowy, konfigurację środowiskową i protokół gromadzenia danych. Czułość, swoistość, dokładność, kompletność, precyzja i F-Score są powszechnie używane do opisania jakości przewidywania. Jednak niewiele lub nie ma żadnych informacji na temat metod rozpoznawania "jednoczesnej aktywności" i oceny zdolności do wykrywania zmian aktywności w czasie rzeczywistym ¹ dla systemów HAR, które próbują kategoryzować kilka działań. Metody oceny dokładności systemu HAR różnią się znacznie w zależności od badania. Niezależnie od algorytmu klasyfikacji lub zastosowanych cech, opisy metod oceny złotego standardu są niejasne w przypadku większości badań HAR.

Rozpoznawanie aktywności w codziennym środowisku życia nie zostało dokładnie zbadane. Większość systemów rozpoznawania aktywności opartych na smartfonach jest oceniana w kontrolowany sposób, co prowadzi do protokołu oceny, który może być bardziej korzystny dla algorytmu niż realistyczny w rzeczywistym środowisku. W ramach swojego schematu oceny uczestnicy często wykonują tylko działania przeznaczone do przewidywania, zamiast stosować szeroki zakres realistycznych czynności, które uczestnik musi wykonać po kolei, naśladując rzeczywiste wydarzenia.

Niektóre badania HAR dla smartfonów ^8,9 grupują podobne czynności, takie jak schody i chodzenie, ale wykluczają inne aktywności ze zbioru danych. Dokładność przewidywania jest następnie określana na podstawie tego, jak dobrze algorytm zidentyfikował działania docelowe. Dernbach i in. ⁹ poprosili uczestników o napisanie czynności, którą mieli wykonać przed ruchem, przerywając ciągłe przejścia zmiany stanu. Oceny systemu HAR powinny oceniać algorytm, podczas gdy uczestnik wykonuje naturalne działania w codziennym życiu. Pozwoliłoby to na rzeczywistą ocenę, która replikuje codzienne korzystanie z aplikacji. Realistyczny obwód obejmuje wiele zmian stanu, a także mieszankę działań, których system nie jest możliwy do przewidzenia. Badacz może następnie ocenić reakcję algorytmu na te dodatkowe ruchy, oceniając w ten sposób odporność algorytmu na nietypowe ruchy.

Ten artykuł przedstawia protokół oceny Systemu Monitorowania Mobilności Ubieralnej (WMMS), który wykorzystuje kontrolowany kurs, który odzwierciedla rzeczywiste codzienne środowisko życia. Ocena WMMS może być następnie przeprowadzona w kontrolowanych, ale realistycznych warunkach. W tym protokole używamy WMMS trzeciej generacji, który został opracowany na Uniwersytecie w Ottawie i Ottawa Hospital Research Institute ^11-15. WMMS został zaprojektowany z myślą o smartfonach z trójosiowym akcelerometrem i żyroskopem. Algorytm mobilności uwzględnia zmienność użytkownika, zapewnia zmniejszenie liczby wyników fałszywie dodatnich w celu identyfikacji zmian stanu i zwiększa czułość kategoryzacji działań. Minimalizacja wyników fałszywie dodatnich jest ważna, ponieważ WMMS uruchamia nagrywanie krótkich klipów wideo po wykryciu zmian stanu aktywności, w celu kontekstowej oceny aktywności, która jeszcze bardziej poprawia klasyfikację WMMS. Niepotrzebne nagrywanie wideo powoduje nieefektywność przechowywania i zużycia baterii. Algorytm WMMS jest skonstruowany jako niskoobliczeniowy model uczenia się i oceniany przy użyciu różnych poziomów predykcji, gdzie wzrost poziomu predykcji oznacza wzrost liczby rozpoznawalnych działań.

Protocol

Ten protokół został zatwierdzony przez Radę Etyki Badań Sieci Nauk o Zdrowiu w Ottawie.

1. Przygotowanie

1. Przedstaw uczestnikom zarys badania, odpowiedz na wszelkie pytania i uzyskaj świadomą zgodę. Zapisz charakterystykę uczestnika (np. wiek, płeć, wzrost, wagę, obwód talii, wysokość nóg od przedniego górnego odcinka kręgosłupa biodrowego do kostki przyśrodkowej), kod identyfikacyjny i datę na karcie danych. Upewnij się, że drugi smartfon używany do przechwytywania wideo jest ustawiony na co najmniej 30 klatek na sekundę.
2. Bezpiecznie przymocuj kaburę na telefon do przedniego prawego paska lub pasa spodni uczestnika. Uruchom aplikację na smartfona, która będzie używana do zbierania danych z czujników (tj. rejestrację danych lub aplikację WMMS) na smartfonie do pomiaru mobilności i upewnij się, że aplikacja działa prawidłowo. Umieść smartfon w kaburze, tyłem urządzenia (tylną kamerą) skierowaną na zewnątrz.
3. Rozpocznij cyfrowe nagrywanie wideo na drugim smartfonie. Aby zachować anonimowość, nagraj film porównawczy bez pokazywania twarzy osoby, ale upewnij się, że nagrywasz wszystkie przejścia aktywności. Telefon może być trzymany w ręku.

2. Obwód aktywności

1. Podążaj za uczestnikiem i nagrywaj jego działania na drugim smartfonie, podczas gdy wykonują oni następujące czynności, wypowiadane przez badacza:
   1. Z pozycji stojącej potrząśnij smartfonem, aby wskazać początek badania.
   2. Kontynuuj stanie przez co najmniej 10 sekund. Ta faza stania może być wykorzystana do kalibracji orientacji telefonu ¹⁴.
   3. Podejdź do pobliskiego krzesła i usiądź.
   4. Wstań i idź 60 metrów do windy.
   5. Wstań i poczekaj na windę, a następnie wejdź do windy.
   6. Wjedź windą na drugie piętro.
   7. Odwróć się i wejdź do środowiska domowego.
   8. Wejdź do łazienki i symuluj mycie zębów.
   9. Symuluj czesanie włosów.
   10. Symuluj mycie rąk.
   11. Osusz ręce ręcznikiem.
   12. Idź do kuchni.
   13. Wyjmij naczynia z rusztu i połóż je na blacie.
   14. Napełnij czajnik wodą ze zlewu kuchennego.
   15. Umieść czajnik na elemencie kuchenki.
   16. Umieść chleb w tosterze.
   17. Idź do jadalni.
   18. Usiądź przy stole w jadalni.
   19. Symuluj jedzenie posiłku przy stole.
   20. Wstań i wróć do zlewu kuchennego.
   21. Spłucz naczynia i umieść je na ruszcie.
   22. Idź z kuchni z powrotem do windy.
   23. Wstań i poczekaj na windę, a następnie wejdź do windy.
   24. Wjedź windą na pierwsze piętro.
   25. Idź 50 metrów do klatki schodowej.
   26. Otwórz drzwi i wejdź na klatkę schodową.
   27. Wejdź po schodach (13 stopni, wokół podestu, 13 stopni).
   28. Otwórz drzwi klatki schodowej na korytarz.
   29. Skręć w prawo i idź korytarzem przez 15 metrów.
   30. Odwróć się i idź 15 metrów z powrotem do klatki schodowej.
   31. Otwórz drzwi i wejdź na klatkę schodową.
   32. Zejdź po schodach (13 stopni, wokół podestu, 13 stopni).
   33. Wyjdź z klatki schodowej i wejdź do pokoju.
   34. Połóż się na łóżku.
   35. Wstań i idź 10 metrów do rampy.
   36. Wejdź na rampę, odwróć się, a następnie zejdź po rampie (20 metrów).
   37. Kontynuuj wchodzenie do holu i otwórz drzwi na zewnątrz.
   38. Przejdź 100 metrów utwardzoną ścieżką.
   39. Odwróć się i wróć do pokoju.
   40. Wejdź do pokoju i stań w punkcie wyjścia.
   41. Kontynuuj stanie, a następnie potrząśnij smartfonem, aby wskazać koniec próby.

3. Zakończenie próby

1. Zatrzymaj smartfon do nagrywania wideo i poproś uczestnika o wyjęcie i zwrócenie smartfona i kabury. Zatrzymaj rejestrowanie danych lub aplikację WMMS w smartfonie. Skopiuj pozyskane pliki danych ruchu i plik wideo z obu telefonów do komputera w celu przetworzenia końcowego.

4. Przetwarzanie końcowe

1. Zsynchronizuj czas między wideo a nieprzetworzonymi danymi z czujnika, określając czas rozpoczęcia potrząsania. Ten ruch potrząsania odpowiada wyraźnemu sygnałowi akcelerometru i klatce wideo. Sprawdź, czy nie ma błędu synchronizacji, odejmując czas zakończenia potrząsania od czasu rozpoczęcia potrząsania dla źródeł danych czujnika i wideo. Różnice czasowe między tymi dwoma zestawami danych powinny być podobne.
2. Określ rzeczywiste czasy zmiany stanu na podstawie wideo o złotym standardzie, rejestrując różnicę czasu od czasu początkowego potrząśnięcia do klatki wideo przy przejściu między działaniami. Użyj oprogramowania do edycji wideo, aby uzyskać czas z dokładnością do 0.033 sekundy (tj. 30 klatek na sekundę). Oprogramowanie WMMS służy do generowania porównywalnych zmian stanu na podstawie danych z czujników.
3. Wygeneruj dwa zestawy danych, jeden z rzeczywistymi działaniami, a drugi z przewidywanymi działaniami, oznaczając aktywność dla każdej klatki wideo (na podstawie czasu zmiany stanu), a następnie obliczając przewidywaną aktywność w każdym czasie klatki wideo na podstawie danych wyjściowych WMMS. W przypadku oceny wydajności WMMS należy obliczyć wyniki prawdziwie dodatnie, fałszywie ujemne, prawdziwie ujemne i fałszywie dodatnie między aktywnością złotego standardu a przewidywaną aktywnością WMMS. Użyj tych parametrów, aby obliczyć miary czułości, swoistości i wyników F-score.
   Uwaga: Ustawienie tolerancji 3 przedziałów danych po obu stronach analizowanego okna może być używane do określania wyników zmiany stanu, a 2 przedziałów danych do wyników klasyfikacji. Na przykład, ponieważ w tym badaniu dla WMMS użyto 1-sekundowych okien danych, zbadano 3 sekundy przed i po bieżącym oknie, tak aby kolejne zmiany w ramach tej tolerancji były ignorowane. Wzięto pod uwagę, że zmiany stanu, które zachodzą w czasie krótszym niż 3 sekundy, mogą być ignorowane w analizie ogólnych ruchów człowieka, ponieważ stany te byłyby uważane za przejściowe.

Results

Protokół badania został przeprowadzony na dogodnej próbie piętnastu pełnosprawnych uczestników, których średnia waga wynosiła 68,9 (± 11,1) kg, wzrost 173,9 (± 11,4) cm, a wiek wynosił 26 (± 9) lat, rekrutowanych z personelu i studentów Szpitala w Ottawie oraz Uniwersytetu w Ottawie. Smartfon rejestrował dane z czujnika ze zmienną częstotliwością 40-50 Hz. Zmiany częstotliwości próbkowania są typowe dla próbkowania czujnika smartfona. Drugi smartfon służył do nagrywania cyfrowego wideo w rozdzielczości 1280x720 (720p).

Discussion

Rozpoznawanie aktywności człowieka za pomocą systemu monitorowania mobilności ubieralnej zyskało w ostatnich latach większą uwagę ze względu na postęp techniczny w dziedzinie komputerów ubieralnych i smartfonów oraz systematyczne zapotrzebowanie na ilościowe pomiary wyników, które pomagają w podejmowaniu decyzji klinicznych i ocenie interwencji zdrowotnych. Metodologia opisana w tym artykule okazała się skuteczna w ocenie rozwoju WMMS, ponieważ stwierdzono błędy klasyfikacji aktywności, które nie występowałyby, gdyby w o...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Smartfon lub urządzenie pomiarowe do noszenia	Blackberry	Z10
Smartfon do nagrywania wideo	telefon Blackberry	Z10 lub 9800
	Dowolna
aplikacja rejestratora danych na smartfon	BlackBerry World - Rejestrator danych TOHRC dla BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Pomiar mobilności urządzeń ubieralnych	Niestandardowe oprogramowanie Blackberry 10 i Matlab do monitorowania		http://www.irrd.ca/cag/smartphone/
Edycja wideo lub oprogramowanie analityczne	Narzędzia		http://www.irrd.ca/cag/mat/