Method Article

Projektowanie i analiza w celu uproszczenia systemu wykrywania upadków

DOI:

10.3791/60361

⸱

April 6th, 2020

 , 
1Facultad de Ingeniería, Universidad Panamericana

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Prezentujemy metodologię opartą na multimodalnych czujnikach do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania upadków i rozpoznawania aktywności człowieka. Celem jest zbudowanie systemu do dokładnego wykrywania upadków, który można łatwo wdrożyć i przyjąć.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ten artykuł przedstawia metodologię opartą na czujnikach multimodalnych do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania upadków i rozpoznawania aktywności człowieka, który może być łatwo wdrożony i przyjęty. Metodologia opiera się na konfiguracji określonych typów czujników, metod i procedur uczenia maszynowego. Protokół jest podzielony na cztery fazy: (1) tworzenie bazy danych, (2) analiza danych, (3) uproszczenie systemu i (4) ocena. Korzystając z tej metodologii, stworzyliśmy multimodalną bazę danych do wykrywania upadków i rozpoznawania aktywności człowieka, a mianowicie UP-Fall Detection. Składa się z próbek danych od 17 osób, które wykonują 5 rodzajów upadków i 6 różnych prostych czynności podczas 3 prób. Wszystkie informacje zostały zebrane za pomocą 5 czujników do noszenia na ciele (akcelerometr trójosiowy, żyroskop i natężenie światła), 1 hełmu elektroencefalografu, 6 czujników podczerwieni jako czujników otoczenia oraz 2 kamer w bocznych i przednich punktach widzenia. Proponowana nowatorska metodologia dodaje kilka ważnych etapów do przeprowadzenia dogłębnej analizy następujących problemów projektowych w celu uproszczenia systemu wykrywania upadków: a) wybór czujników lub kombinacji czujników, które mają być używane w prostym systemie wykrywania upadków, b) określenie najlepszego rozmieszczenia źródeł informacji oraz c) wybór najbardziej odpowiedniej metody klasyfikacji uczenia maszynowego do wykrywania i rozpoznawania upadków i aktywności człowieka. Mimo że niektóre podejścia multimodalne opisywane w literaturze koncentrują się tylko na jednym lub dwóch z wyżej wymienionych zagadnień, nasza metodologia pozwala na jednoczesne rozwiązanie tych trzech problemów projektowych związanych z systemem wykrywania i rozpoznawania upadków i aktywności człowieka.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Od czasu światowego zjawiska starzenia się populacji1, częstość upadków wzrosła i jest faktycznie uważana za poważny problem zdrowotny2. Kiedy dochodzi do upadku, ludzie wymagają natychmiastowej uwagi, aby zmniejszyć negatywne konsekwencje. Systemy wykrywania upadków mogą skrócić czas, w którym dana osoba otrzymuje pomoc medyczną, wysyłając ostrzeżenie o wystąpieniu upadku.

Istnieją różne kategorie systemów wykrywania upadków3. Early works4 klasyfikują systemy wykrywania upadków według ich metod wykrywania, z grubsza metod analitycznych i metod uczenia maszynowego. Ostatnio inni autorzy3,5,6 uznali czujniki akwizycji danych za główną funkcję klasyfikacji detektorów upadków. Igual et al.3 dzieli systemy wykrywania upadków na systemy kontekstowe, które obejmują podejścia oparte na wizji i czujnikach otoczenia, oraz systemy urządzeń do noszenia. Mubashir et al.5 klasyfikuje detektory upadku na trzy grupy w zależności od urządzeń używanych do zbierania danych: urządzenia do noszenia, czujniki otoczenia i urządzenia wizyjne. Perry et al.6 rozważa metody pomiaru przyspieszenia, metody pomiaru przyspieszenia w połączeniu z innymi metodami oraz metody niemierzące przyspieszenia. Na podstawie tych badań możemy stwierdzić, że czujniki i metody są głównymi elementami klasyfikującymi ogólną strategię badawczą.

Każdy z czujników ma słabe i mocne strony omówione w Xu et al.7. Podejścia oparte na wizji wykorzystują głównie normalne kamery, kamery z czujnikiem głębi i/lub systemy przechwytywania ruchu. Normalne kamery internetowe są tanie i łatwe w użyciu, ale są wrażliwe na warunki środowiskowe (zmienność światła, okluzja itp.), mogą być używane tylko w ograniczonej przestrzeni i mają problemy z prywatnością. Kamery głębi, takie jak Kinect, zapewniają ruch 3D całego ciała7 i są mniej podatne na warunki oświetleniowe niż zwykłe kamery. Jednak podejścia oparte na sensorze Kinect nie są tak niezawodne i niezawodne. Systemy przechwytywania ruchu są droższe i trudniejsze w użyciu.

Podejścia oparte na urządzeniach akcelerometrycznych i smartfonach/zegarkach z wbudowanymi akcelerometrami są bardzo często używane do wykrywania upadków. Główną wadą tych urządzeń jest to, że muszą być noszone przez długi czas. Dyskomfort, natręctwo, ułożenie ciała i orientacja to problemy projektowe, które należy rozwiązać w tych podejściach. Chociaż smartfony i inteligentne zegarki są mniej rzucającymi się w oczy urządzeniami niż czujniki, osoby starsze często zapominają lub nie zawsze noszą te urządzenia. Niemniej jednak zaletą tych czujników i urządzeń jest to, że można je stosować w wielu pomieszczeniach i/lub na zewnątrz.

Niektóre systemy używają czujników rozmieszczonych w otoczeniu do rozpoznawania upadków/aktywności, więc ludzie nie muszą nosić czujników. Jednak te czujniki są również ograniczone do miejsc, w których są wdrażane8 i czasami są trudne do zainstalowania. Od niedawna multimodalne systemy wykrywania upadków obejmują różne kombinacje czujników wizyjnych, ubieralnych i otoczenia, aby uzyskać większą precyzję i solidność. Mogą również przezwyciężyć niektóre ograniczenia związane z pojedynczym czujnikiem.

Metodologia używana do wykrywania upadków jest ściśle związana z łańcuchem rozpoznawania ludzkiej aktywności (ARC) przedstawionym przez Bulling et al.9, który składa się z etapów akwizycji danych, wstępnego przetwarzania i segmentacji sygnału, ekstrakcji i selekcji cech, szkolenia i klasyfikacji. Dla każdego z tych etapów należy rozwiązać problemy projektowe. Na każdym etapie stosowane są różne metody.

Prezentujemy metodologię opartą na czujnikach multimodalnych do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania/rozpoznawania upadków i aktywności człowieka. Celem jest zbudowanie systemu do dokładnego wykrywania upadków, który można łatwo wdrożyć i przyjąć. Proponowana nowatorska metodologia opiera się na ARC, ale dodaje kilka ważnych etapów w celu przeprowadzenia dogłębnej analizy następujących kwestii w celu uproszczenia systemu: a) wybór czujników lub kombinacji czujników, które mają być używane w prostym systemie wykrywania upadków; b) określa najlepsze rozmieszczenie źródeł informacji; oraz (c) wybrać najbardziej odpowiednią metodę klasyfikacji uczenia maszynowego do wykrywania upadków i rozpoznawania aktywności człowieka w celu stworzenia prostego systemu.

W literaturze można znaleźć kilka powiązanych prac, które poruszają jeden lub dwa z wyżej wymienionych problemów projektowych, ale według naszej wiedzy, nie ma pracy, która skupiałaby się na metodologii przezwyciężenia wszystkich tych problemów.

Powiązane prace wykorzystują multimodalne podejścia do wykrywania upadków i rozpoznawania aktywności człowieka10,11,12 w celu zwiększenia niezawodności i precyzji. Kwolek et al.10 zaproponowali zaprojektowanie i wdrożenie systemu wykrywania upadków w oparciu o dane akcelerometryczne i mapy głębokości. Zaprojektowali ciekawą metodologię, w której zastosowano trójosiowy akcelerometr w celu wykrycia potencjalnego upadku, a także ruchu osoby. Jeśli miara przyspieszenia przekroczy próg, algorytm wyodrębnia osobę różniącą mapę głębokości od zaktualizowanej w trybie online mapy referencyjnej głębokości. Analizę kombinacji głębokości i akcelerometru przeprowadzono przy użyciu klasyfikatora maszynowego wektorów nośnych.

Ofli et al.11 zaprezentowali Multimodalną Bazę Danych Działań Człowieka (MHAD) w celu zapewnienia platformy testowej dla nowych systemów rozpoznawania aktywności człowieka. Zestaw danych jest ważny, ponieważ działania zostały zebrane jednocześnie za pomocą 1 optycznego systemu przechwytywania ruchu, 4 kamer multi-view, 1 systemu Kinect, 4 mikrofonów i 6 akcelerometrów bezprzewodowych. Autorzy przedstawili wyniki dla każdej modalności: Kinect, mocap, akcelerometr i audio.

Dovgan et al.12 zaproponowali prototyp do wykrywania anomalnych zachowań, w tym upadków, u osób starszych. Zaprojektowali testy dla trzech systemów czujników, aby znaleźć najbardziej odpowiedni sprzęt do wykrywania upadków i nietypowych zachowań. Pierwszy eksperyment składa się z danych z inteligentnego systemu czujników z 12 znacznikami przymocowanymi do bioder, kolan, kostek, nadgarstków, łokci i ramion. Stworzyli również zestaw danych testowych przy użyciu jednego systemu czujników Ubisense z czterema znacznikami przymocowanymi do talii, klatki piersiowej i obu kostek oraz jednym akcelerometrem Xsens. W trzecim eksperymencie czterech badanych używało systemu Ubisense tylko podczas wykonywania 4 rodzajów upadków, 4 problemów zdrowotnych, takich jak anomalne zachowanie i różne czynności życia codziennego (ADL).

Inne prace w literaturze13,14,15 rozwiązują problem znalezienia najlepszego rozmieszczenia czujników lub urządzeń do wykrywania upadków, porównując wydajność różnych kombinacji czujników z kilkoma klasyfikatorami. Santoyo et al.13 przedstawili systematyczną ocenę oceniającą znaczenie lokalizacji 5 czujników do wykrywania upadków. Porównali wydajność tych kombinacji czujników przy użyciu k-najbliższych sąsiadów (KNN), maszyn wektorów nośnych (SVM), naiwnych klasyfikatorów Bayesa (NB) i drzew decyzyjnych (DT). Naukowcy doszli do wniosku, że umiejscowienie czujnika na obiekcie ma istotny wpływ na działanie detektora upadku, niezależnie od zastosowanego klasyfikatora.

Porównanie umiejscowienia czujników do noszenia na ciele w celu wykrywania upadków zostało przedstawione przez Özdemir14. W celu określenia rozmieszczenia sensorów autor przeanalizował 31 kombinacji sensorów w następujących pozycjach: głowa, talia, klatka piersiowa, prawy nadgarstek, prawa kostka i prawe udo. Czternastu ochotników wykonało 20 symulowanych upadków i 16 ADL. Odkrył, że najlepszą wydajność uzyskano, gdy pojedynczy czujnik jest umieszczony na talii z tych wyczerpujących eksperymentów łączonych. Inne porównanie zostało zaprezentowane przez Ntanasis15 przy użyciu zestawu danych Özdemira. Autorzy porównali pojedyncze pozycje na głowie, klatce piersiowej, talii, nadgarstku, kostce i udzie za pomocą następujących klasyfikatorów: J48, KNN, RF, komitet losowy (RC) i SVM.

Wzorce wydajności różnych metod obliczeniowych do wykrywania upadków można również znaleźć w literaturze16,17,18. Bagala et al.16 przedstawili systematyczne porównanie, aby porównać skuteczność trzynastu metod wykrywania upadków testowanych na rzeczywistych upadkach. Wzięli pod uwagę tylko algorytmy oparte na pomiarach akcelerometru umieszczonych na pasie lub tułowiu. Bourke et al.17 ocenili wydajność pięciu algorytmów analitycznych do wykrywania upadków przy użyciu zestawu danych ADL i upadków na podstawie odczytów akcelerometru. Kerdegari18 dokonał również porównania wydajności różnych modeli klasyfikacyjnych dla zestawu zarejestrowanych danych o przyspieszeniu. Algorytmy używane do wykrywania upadków to zeroR, oneR, NB, DT, wielowarstwowy perceptron i SVM.

Metodologia wykrywania upadków została zaproponowana przez Alazrai et al.18 przy użyciu geometrycznego deskryptora ruchu do skonstruowania skumulowanej reprezentacji ludzkiej aktywności opartej na histogramie. Ocenili platformę przy użyciu zestawu danych zebranego za pomocą czujników Kinect.

Podsumowując, znaleźliśmy prace związane z wykrywaniem upadków w multimodalnym tonie10,11,12, które porównują wydajność różnych kombinacji modalności. Niektórzy autorzy zajmują się problemem znalezienia najlepszego rozmieszczenia czujników13,14,15, lub kombinacje sensorów13 z kilkoma klasyfikatorami13,15,16 z wieloma czujnikami tej samej modalności i akcelerometrami. W literaturze nie znaleziono żadnych prac dotyczących jednoczesnego umieszczania, kombinacji multimodalnych i wzorca klasyfikatorów.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wszystkie opisane tutaj metody zostały zatwierdzone przez Komitet Badawczy Szkoły Inżynierii Universidad Panamericana.

UWAGA: Ta metodologia opiera się na konfiguracji określonych typów czujników, metod uczenia maszynowego i procedur w celu skonfigurowania prostego, szybkiego i multimodalnego systemu wykrywania upadków i rozpoznawania aktywności człowieka. Z tego powodu następujący protokół jest podzielony na fazy: (1) tworzenie bazy danych, (2) analiza danych, (3) uproszczenie systemu i (4) ocena.

1. Tworzenie bazy danych

  1. Skonfiguruj system akwizycji danych. Spowoduje to zebranie wszystkich danych od podmiotów i zapisanie informacji w bazie danych wyszukiwania.
    1. Wybierz typy czujników ubieralnych, czujników otoczenia i urządzeń wizyjnych wymaganych jako źródła informacji. Przypisz identyfikator dla każdego źródła informacji, liczbę kanałów na źródło, specyfikacje techniczne i częstotliwość próbkowania każdego z nich.
    2. Podłącz wszystkie źródła informacji (tj. urządzenia do noszenia na ciele i czujniki otoczenia oraz urządzenia oparte na systemach wizyjnych) do centralnego komputera lub rozproszonego systemu komputerowego:
      1. Sprawdź, czy urządzenia przewodowe są prawidłowo podłączone do jednego komputera klienckiego. Sprawdź, czy urządzenia bezprzewodowe są w pełni naładowane. Należy wziąć pod uwagę, że niski poziom naładowania baterii może mieć wpływ na połączenia bezprzewodowe lub wartości czujników. Co więcej, przerywane lub utracone połączenia zwiększą utratę danych.
    3. Skonfiguruj każde z urządzeń, aby pobierać dane.
    4. Skonfiguruj system akwizycji danych do przechowywania danych w chmurze. Ze względu na dużą ilość danych, które mają być przechowywane, przetwarzanie w chmurze jest brane pod uwagę w tym protokole.
    5. Sprawdź, czy system akwizycji danych spełnia właściwości synchronizacji danych i spójności danych20. Pozwala to zachować integralność przechowywania danych ze wszystkich źródeł informacji. Może to wymagać nowego podejścia do synchronizacji danych. Na przykład zobacz Peñafort-Asturiano et al.20.
      1. Zacznij zbierać dane od źródeł informacji i przechowuj dane w preferowanym systemie. Uwzględnij znaczniki czasu we wszystkich danych.
      2. Przeszukaj bazę danych i określ, czy wszystkie źródła informacji są zbierane z tą samą częstotliwością próbkowania. Jeśli zrobisz to poprawnie, przejdź do kroku 1.1.6. W przeciwnym razie należy wykonać próbkowanie w górę lub w dół, korzystając z kryteriów opisanych w Peñafort-Asturiano, et al.20.
    6. Skonfiguruj środowisko (lub laboratorium), biorąc pod uwagę wymagane warunki i ograniczenia nałożone przez cel systemu. Ustaw warunki tłumienia siły uderzenia w symulowanych upadkach jako zgodne systemy podłogowe sugerowane w Lachance, et al.23, aby zapewnić uczestnikom bezpieczeństwo.
      1. Użyj materaca lub innego zgodnego systemu podłogowego i umieść go w centrum środowiska (lub laboratorium).
      2. Trzymaj wszystkie przedmioty z dala od materaca, aby zapewnić co najmniej jeden metr bezpiecznej przestrzeni dookoła. W razie potrzeby przygotuj środki ochrony osobistej dla uczestników (np. rękawice, czapka, gogle, stabilizator kolana itp.).
        UWAGA: W tym miejscu protokół można wstrzymać.
  2. Określ działania człowieka i upadki, które system wykryje po konfiguracji. Ważne jest, aby mieć na uwadze cel systemu wykrywania upadków i rozpoznawania aktywności człowieka, a także populację docelową.
    1. Zdefiniuj cel systemu wykrywania upadków i rozpoznawania aktywności człowieka. Zapisz to w arkuszu planowania. W tym studium przypadku celem jest klasyfikacja rodzajów upadków u ludzi i czynności wykonywanych na co dzień w pomieszczeniach przez osoby starsze.
    2. Zdefiniuj populację docelową eksperymentu zgodnie z celem systemu. Zapisz to w arkuszu planowania. W badaniu jako populację docelową należy wziąć pod uwagę osoby starsze.
    3. Określ rodzaj codziennych czynności. Uwzględnij kilka czynności niezwiązanych z upadkiem, które wyglądają jak upadki, aby poprawić wykrywanie rzeczywistych upadków. Przypisz identyfikator do wszystkich z nich i opisz je tak szczegółowo, jak to możliwe. Ustaw przedział czasu dla każdej czynności, która ma zostać wykonana. Zapisz wszystkie te informacje w arkuszu planowania.
    4. Określ rodzaj ludzkich upadków. Przypisz identyfikator do wszystkich z nich i opisz je tak szczegółowo, jak to możliwe. Ustaw przedział czasu dla każdego upadku, który ma zostać wykonany. Zastanów się, czy upadki będą generowane przez samych badanych, czy przez innych (np. popychanie podmiotu). Zapisz wszystkie te informacje w arkuszu planowania.
    5. W arkuszu planowania zapisz sekwencje czynności i upadków, które będzie wykonywał badany. Określ okres czasu, liczbę prób na aktywność/upadek, opis wykonania czynności/upadku oraz identyfikatory aktywności/upadków.
      UWAGA: W tym miejscu protokół można wstrzymać.
  3. Wybierz odpowiednie osoby do badania, które będą wykonywały sekwencje czynności i upadków. Upadki są rzadkimi zdarzeniami do złapania w prawdziwym życiu i zwykle zdarzają się osobom starszym. Niemniej jednak, ze względów bezpieczeństwa, nie należy włączać osób starszych i niepełnosprawnych do symulacji upadku zgodnie z zaleceniami lekarza. Akrobacje zostały użyte, aby uniknąć kontuzji22.
    1. Określ płeć, przedział wiekowy, wagę i wzrost badanych. Zdefiniuj wszelkie wymagane warunki utraty wartości. Określ również minimalną liczbę osób badanych wymaganych w eksperymencie.
    2. Losowo wybierz wymagany zestaw tematów, postępując zgodnie z warunkami określonymi w poprzednim kroku. Skorzystaj z zaproszenia do rekrutacji ochotników. Przestrzegaj wszystkich wytycznych etycznych obowiązujących w instytucji i kraju, a także wszelkich międzynarodowych przepisów podczas eksperymentowania na ludziach.
      UWAGA: W tym miejscu protokół można wstrzymać.
  4. Pobieranie i przechowywanie danych od podmiotów. Informacje te będą przydatne do dalszej analizy eksperymentalnej. Wykonaj poniższe kroki pod nadzorem eksperta klinicznego lub odpowiedzialnego badacza.
    1. Rozpocznij zbieranie danych od systemu akwizycji danych skonfigurowanego w kroku 1.1.
    2. Poproś każdą z badanych o wykonanie sekwencji czynności i upadków zadeklarowanych w kroku 1.2. Wyraźnie zapisz znaczniki czasu rozpoczęcia i zakończenia każdej aktywności/upadku. Sprawdź, czy dane ze wszystkich źródeł informacji są zapisywane w chmurze.
    3. Jeśli czynności nie zostały wykonane prawidłowo lub wystąpiły problemy z urządzeniami (np. utrata połączenia, niski poziom naładowania baterii, przerywane połączenie), odrzuć próbki i powtarzaj krok 1.4.1, aż nie zostaną znalezione żadne problemy z urządzeniem. Powtórzyć krok 1.4.2 dla każdej próby, dla każdego uczestnika, zadeklarowanej w sekwencji kroku 1.2.
      UWAGA: W tym miejscu protokół można wstrzymać.
  5. Wstępnie przetwórz wszystkie pozyskane dane. Zastosuj próbkowanie w górę i w dół dla każdego ze źródeł informacji. Zobacz szczegółowe informacje na temat wstępnego przetwarzania danych do wykrywania upadków i rozpoznawania aktywności człowieka w Martínez-Villaseñor et al.21.
    UWAGA: W tym miejscu protokół można wstrzymać.

2. Analiza danych

  1. Wybierz tryb przetwarzania danych. Wybierz opcję Raw Data, jeśli dane przechowywane w bazie danych będą używane bezpośrednio (tj. przy użyciu uczenia głębokiego do automatycznego wyodrębniania funkcji) i przejdź do kroku 2.2. Wybierz Dane elementu, jeśli wyodrębnienie elementów będzie używane do dalszej analizy, a następnie przejdź do kroku 2.3.
  2. W przypadku danych pierwotnych nie są wymagane żadne dodatkowe kroki, więc przejdź do kroku 2.5.
  3. W przypadku danych elementów wyodrębnij obiekty z danych pierwotnych.
    1. Segmentuj nieprzetworzone dane w oknach czasu. Określ i ustal długość okna czasowego (np. klatki o rozmiarze jednej sekundy). Ponadto określ, czy te okna czasowe będą się nakładać, czy nie. Dobrą praktyką jest wybór 50% nakładania się.
    2. Wyodrębnij obiekty z każdego segmentu danych. Określ zestaw cech czasowych i częstościowych, które mają zostać wyodrębnione z segmentów. Zobacz Martínez-Villaseñor et al.21 dla wyodrębniania wspólnych cech.
    3. Zapisz zestaw danych wyodrębniania obiektów w chmurze w niezależnej bazie danych.
    4. Jeśli zostaną wybrane różne okna czasowe, powtórz kroki od 2.3.1 do 2.3.3 i zapisz każdy zestaw danych elementów w niezależnych bazach danych.
      UWAGA: W tym miejscu protokół można wstrzymać.
  4. Wybierz najważniejsze wyodrębnione obiekty i zmniejsz zestaw danych elementów. Zastosuj niektóre powszechnie stosowane metody wyboru cech (np. wybór jednej zmiennej, analiza głównych składowych, rekurencyjna eliminacja cech, ważność cech, macierz korelacji itp.).
    1. Wybierz metodę wyboru elementu. W tym przypadku użyliśmy ważności funkcji.
    2. Użyj każdej funkcji, aby wytrenować dany model (zastosowaliśmy RF) i zmierzyć dokładność (patrz równanie 1).
    3. Uszereguj obiekty, sortując je według dokładności.
    4. Wybierz najważniejsze funkcje. Tutaj użyliśmy najlepiej uszeregowanych pierwszych dziesięciu funkcji.
      UWAGA: W tym miejscu protokół można wstrzymać.
  5. Wybierz metodę klasyfikacji uczenia maszynowego i wytrenuj model. Istnieją dobrze znane metody uczenia maszynowego16,17,18,21, takie jak: między innymi: maszyny wektorów nośnych (SVM), las losowy (RF), wielowarstwowy perceptron (MLP) i k-najbliżsi sąsiedzi (KNN).
    1. Opcjonalnie, jeśli wybrano podejście głębokiego uczenia, rozważ między innymi21: konwolucyjne sieci neuronowe (CNN), sieci neuronowe długiej pamięci krótkotrwałej (LSTM).
    2. Wybierz zestaw metod uczenia maszynowego. Tutaj użyliśmy następujących metod: SVM, RF, MLP i KNN.
    3. Napraw parametry każdej z metod uczenia maszynowego, zgodnie z sugestią w literaturze21.
    4. Utwórz połączony zestaw danych obiektowych (lub nieprzetworzony zestaw danych) przy użyciu niezależnych zestawów danych obiektowych (lub nieprzetworzonych zestawów danych) w celu połączenia typów źródeł informacji. Na przykład, jeśli wymagana jest kombinacja jednego czujnika do noszenia na ciele i jednej kamery, należy połączyć zestawy danych funkcji z każdego z tych źródeł.
    5. Dzielenie zestawu danych obiektowych (lub zestawu danych pierwotnych) na zestawy treningowe i testowe. Dobrym wyborem jest losowe podzielenie 70% na szkolenie i 30% na testy.
    6. Uruchom krzyżową walidację k-krotną21 przy użyciu zestawu danych funkcji (lub zestawu danych pierwotnych) dla każdej metody uczenia maszynowego. Użyj typowej metryki oceny, takiej jak dokładność (patrz równanie 1), aby wybrać najlepszy model wytrenowany dla danej metody. Zaleca się również eksperymenty z pominięciem jednego podmiotu (LOSO)3.
      1. Otwórz zestaw danych funkcji treningowych (lub zestaw danych pierwotnych) w oprogramowaniu preferowanego języka programowania. Zalecany jest Python. W tym kroku użyj biblioteki pandas, aby odczytać plik CSV w następujący sposób:
        training_set = pandas.csv().
      2. Podziel zestaw danych elementów (lub nieprzetworzony zestaw danych) na pary danych wejściowych-wyjściowych. Na przykład użyj języka Python, aby zadeklarować wartości x (dane wejściowe) i wartości y (dane wyjściowe):
        training_set_X = training_set.drop('tag',axis=1), training_set_Y = training_set.tag
        gdzie reprezentuje kolumnę zestawu danych obiektowych, która zawiera wartości docelowe.
      3. Wybierz jedną metodę uczenia maszynowego i ustaw parametry. Na przykład, użyj SVM w Pythonie z biblioteką sklearn, jak to jest w poniższym poleceniu:
        klasyfikator = sklearn. SVC(jądro = 'poli')
        w którym funkcja jądra jest wybrana jako wielomianowa.
      4. Trenowanie modelu uczenia maszynowego. Na przykład, użyj powyższego klasyfikatora w Pythonie, aby wytrenować model SVM:
        classifier.fit(training_set_X,training_set_Y).
      5. Obliczanie szacowanych wartości modelu przy użyciu zestawu danych elementów testowych (lub zestawu danych pierwotnych). Na przykład użyj funkcji szacowania w Pythonie w następujący sposób: estimates = classifier.predict(testing_set_X) gdzie testing_set_X reprezentuje wartości x zestawu testowego.
      6. Powtórzyć kroki od 2.5.6.1 do 2.5.6.5, czyli liczbę k określoną w k-krotnej walidacji krzyżowej (lub liczbę razy wymaganą dla podejścia LOSO).
      7. Powtórz kroki od 2.5.6.1 do 2.5.6.6 dla każdego wybranego modelu uczenia maszynowego.
        UWAGA: W tym miejscu protokół można wstrzymać.
    7. Porównaj metody uczenia maszynowego, testując wybrane modele z zestawem danych testowych. Można zastosować inne wskaźniki oceny: dokładność (równanie 1), precyzja (równanie 2), czułość (równanie 3), swoistość (równanie 4) lub wynik F1 (równanie 5), gdzie TP to wyniki prawdziwie dodatnie, TN to wyniki prawdziwie ujemne, FP to wyniki fałszywie dodatnie, a FN to wyniki fałszywie ujemne.
      figure-protocol-1
      figure-protocol-2
      figure-protocol-3
      figure-protocol-4
      figure-protocol-5
    8. Użyj innych korzystnych wskaźników wydajności, takich jak macier9, aby ocenić zadanie klasyfikacji modeli uczenia maszynowego lub niezależne od decyzji krzywe precision-recall9 (PR) lub charakterystyka operacyjna odbiornika9 (ROC). W tej metodologii przypominanie i czułość są uważane za równoważne.
    9. Wykorzystaj cechy jakościowe modeli uczenia maszynowego, aby porównać je między sobą, takie jak: łatwość interpretacji uczenia maszynowego, wydajność w czasie rzeczywistym, ograniczone zasoby czasu, pamięci i przetwarzania oraz łatwość wdrażania uczenia maszynowego w urządzeniach brzegowych lub systemach wbudowanych.
    10. Wybierz najlepszy model uczenia maszynowego, korzystając z informacji z: Metryki jakości (równania 1–5), metryki wydajności i cechy jakościowe wykonalności uczenia maszynowego w krokach 2.5.6, 2.5.7 i 2.5.8.
      UWAGA: W tym miejscu protokół można wstrzymać.

3. Uproszczenie systemu

  1. Wybierz odpowiednie rozmieszczenie źródeł informacji. Czasami konieczne jest określenie najlepszego rozmieszczenia źródeł informacji (np. która lokalizacja czujnika ubieralnego jest lepsza).
    1. Określ podzbiór źródeł informacji, które będą analizowane. Na przykład, jeśli w ciele znajduje się pięć czujników do noszenia i tylko jeden z nich musi zostać wybrany jako najlepiej umieszczony czujnik, każdy z tych czujników będzie częścią podzbioru.
    2. Dla każdego źródła informacji w tym podzbiorze utwórz osobny zestaw danych i przechowuj go oddzielnie. Należy pamiętać, że ten zestaw danych może być albo poprzednim zestawem danych obiektów, albo nieprzetworzonym zestawem danych.
      UWAGA: W tym miejscu protokół można wstrzymać.
  2. Wybierz metodę klasyfikacji uczenia maszynowego i wytrenuj model dla jednego źródła umieszczania informacji. Wykonaj kroki od 2.5.1 do 2.5.6, korzystając z każdego z zestawów danych utworzonych w kroku 3.1.2. Wykryj najbardziej odpowiednie źródło informacji na podstawie rankingu. W tym studium przypadku używamy następujących metod: SVM, RF, MLP i KNN.
    Uwaga: W tym miejscu protokół można wstrzymać.
  3. Należy wybrać odpowiednie rozmieszczenie w podejściu multimodalnym, jeśli system wymaga połączenia dwóch lub więcej źródeł informacji (np. połączenie jednego czujnika ubieralnego i jednej kamery). W tym studium przypadku użyj czujnika do noszenia w pasie i kamery 1 (widok boczny) jako modalności.
    1. Wybierz najlepsze źródło informacji dla każdej modalności w systemie i utwórz połączony zestaw danych obiektowych (lub zestaw danych pierwotnych) przy użyciu niezależnych zestawów danych tych źródeł informacji.
    2. Wybierz metodę klasyfikacji uczenia maszynowego i wytrenuj model dla tych połączonych źródeł informacji. Wykonaj kroki od 2.5.1 do 2.5.6, korzystając z połączonego zestawu danych elementów (lub zestawu danych pierwotnych). W tym badaniu użyj następujących metod: SVM, RF, MLP i KNN.
      UWAGA: W tym miejscu protokół można wstrzymać.

4. Ocena

  1. Przygotuj nowy zestaw danych z użytkownikami w bardziej realistycznych warunkach. Korzystaj tylko ze źródeł informacji wybranych w poprzednim kroku. Najlepiej wdrożyć system w grupie docelowej (np. osoby starsze). Zbieraj dane w dłuższych okresach czasu.
    1. Opcjonalnie, jeśli wykorzystywana jest tylko grupa docelowa, należy stworzyć protokół grupy selekcyjnej zawierający warunki wykluczenia (np. wszelkie upośledzenie fizyczne lub psychiczne) oraz kryteria zapobiegania (np. wykrycie wszelkich obrażeń fizycznych podczas badań, nudności, zawroty głowy i/lub wymioty, omdlenia). Należy również wziąć pod uwagę kwestie etyczne i kwestie związane z prywatnością danych.
  2. Oceń wydajność opracowanego do tej pory systemu wykrywania upadków i rozpoznawania aktywności człowieka. Użyj równań 1–5, aby określić dokładność i moc predykcyjną systemu lub inne wskaźniki wydajności.
  3. Omów wyniki eksperymentu.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tworzenie bazy danych
Stworzyliśmy multimodalny zestaw danych do wykrywania upadków i rozpoznawania aktywności człowieka, a mianowicie UP-Fall Detection21. Dane były zbierane przez okres czterech tygodni w School of Engineering na Universidad Panamericana (Meksyk, Meksyk). Scenariusz testowy został wybrany z uwzględnieniem następujących wymagań: (a) przestrzeń, w której badani mogliby wygodnie i bezpiecznie wykonywać upadki i czynności, oraz (b) środowisko wewnętrzne z naturalnym i sztucznym światłem, które dobrze nadaje się do ustawień czujników multimodalnych.

Istnieją próbki danych od 17 osób, które wykonały 5 rodzajów upadków i 6 różnych prostych czynności, podczas 3 prób. Wszystkie informacje zostały zebrane za pomocą wewnętrznego systemu akwizycji danych z 5 czujnikami do noszenia na ciele (akcelerometr trójosiowy, żyroskop i natężenie światła), 1 hełmem elektroencefalografem, 6 czujnikami podczerwieni jako czujnikami otoczenia oraz 2 kamerami w bocznych i przednich punktach widzenia. Rysunek 1 pokazuje rozmieszczenie czujnika w otoczeniu i na ciele. Częstotliwość próbkowania całego zestawu danych wynosi 18 Hz. Baza danych zawiera dwa zestawy danych: skonsolidowany zestaw danych pierwotnych (812 GB) i zestaw danych obiektowych (171 GB). Wszystkie bazy danych przechowywane w chmurze w celu publicznego dostępu: https://sites.google.com/up.edu.mx/har-up/. Więcej szczegółów na temat pozyskiwania, wstępnego przetwarzania, konsolidacji i przechowywania tej bazy danych, a także szczegółów na temat synchronizacji i spójności danych można znaleźć w Martínez-Villaseñor et al.21.

Dla tej bazy danych, wszyscy badani byli zdrowymi młodymi ochotnikami (9 mężczyzn i 8 kobiet) bez żadnego upośledzenia, w wieku od 18 do 24 lat, o średnim wzroście 1,66 m i średniej wadze 66,8 kg. Podczas zbierania danych badacz odpowiedzialny za sprawy techniczne czuwał nad tym, czy wszystkie czynności zostały wykonane przez badanych prawidłowo. Badani wykonywali pięć rodzajów upadków, każdy przez 10 sekund, jako upadek: do przodu za pomocą rąk (1), do przodu za pomocą kolan (2), do tyłu (3), siedząc na pustym krześle (4) i na bok (5). Wykonywali również sześć codziennych czynności przez 60 s każda, z wyjątkiem skakania (30 s): chodzenia (6), stania (7), podnoszenia przedmiotów (8), siedzenia (9), skakania (10) i leżenia (11). Chociaż symulowane upadki nie są w stanie odtworzyć wszystkich rodzajów upadków w rzeczywistości, ważne jest, aby uwzględnić przynajmniej reprezentatywne typy upadków, co umożliwi stworzenie lepszych modeli wykrywania upadków. Istotne jest również korzystanie z ADL, a w szczególności czynności, które zwykle można pomylić z upadkami, takich jak podnoszenie przedmiotu. Typy upadków i ADL zostały wybrane po przeglądzie powiązanych systemów wykrywania upadków21. Na przykład, Rysunek 2 pokazuje sekwencję obrazów z jednej próby, gdy badany upada na bok.

Wyodrębniliśmy 12 cech czasowych (średnia, odchylenie standardowe, maksymalna amplituda, minimalna amplituda, średnia kwadratowa, mediana, liczba przecinająca zero, skośność, kurtoza, pierwszy kwartyl, trzeci kwartyl i autokorelacja) i 6 cech częstości (średnia, mediana, entropia, energia, częstotliwość główna i centroida spektralna) 21 z każdego kanału czujników do noszenia i otoczenia, co daje w sumie 756 cech. Obliczyliśmy również 400 cech wizualnych21 dla każdej kamery na temat względnego ruchu pikseli między dwoma sąsiednimi obrazami w filmach.

Analiza danych między podejściami unimodalnymi i multimodalnymi
Korzystając z bazy danych UP-Fall Detection, przeanalizowaliśmy dane w celu porównania podejść unimodalnych i multimodalnych. W tym sensie porównaliśmy siedem różnych kombinacji źródeł informacji: tylko czujniki podczerwieni (IR); Tylko czujniki ubieralne (IMU); czujniki do noszenia i kask (IMU+EEG); czujniki podczerwieni i do noszenia oraz kask (IR+IMU+EEG); tylko kamery (CAM); czujniki i kamery na podczerwień (IR+CAM); oraz czujniki do noszenia, kask i kamery (IMU+EEG+CAM). Ponadto porównaliśmy trzy różne rozmiary okien czasowych, które w 50% się pokrywają: jedną sekundę, dwie sekundy i trzy sekundy. W każdym segmencie wybraliśmy najbardziej przydatne funkcje, stosując wybór funkcji i klasyfikację. Korzystając z tej strategii, zastosowaliśmy tylko 10 cech na modalność, z wyjątkiem modalności IR wykorzystującej 40 funkcji. Ponadto porównano cztery dobrze znane klasyfikatory uczenia maszynowego: RF, SVM, MLP i KNN. Zastosowaliśmy 10-krotną walidację krzyżową, z zestawami danych składającymi się w 70% z trenowania i w 30% z testowania, aby wytrenować modele uczenia maszynowego. W tabeli 1 przedstawiono wyniki tego testu porównawczego, w którym przedstawiono najlepszą wydajność uzyskaną dla każdej modalności w zależności od modelu uczenia maszynowego i najlepszej konfiguracji długości okna. Metryki oceny informują o dokładności, precyzji, czułości, swoistości i wyniku F1. Rysunek 3 pokazuje te wyniki w formie graficznej, pod względem wyniku F1.

Z Tabeli 1, podejścia multimodalne (czujniki podczerwieni i do noszenia na ciele oraz hełm, IR+IMU+EEG; oraz czujniki do noszenia i kamery, IMU+EEG+CAM) uzyskały najlepsze wartości F1 w porównaniu z podejściami unimodalnymi (tylko podczerwień, IR; i tylko kamery, CAM). Zauważyliśmy również, że tylko czujniki ubieralne (IMU) uzyskały podobną wydajność niż podejście multimodalne. W tym przypadku zdecydowaliśmy się na podejście multimodalne, ponieważ różne źródła informacji mogą poradzić sobie z ograniczeniami innych źródeł. Na przykład natrętność w aparatach fotograficznych może być obsługiwana przez czujniki do noszenia, a nie wszystkie czujniki do noszenia można uzupełnić kamerami lub czujnikami otoczenia.

Jeśli chodzi o benchmark modeli opartych na danych, eksperymenty w Tabeli 1 pokazały, że RF prezentuje najlepsze wyniki w prawie wszystkich eksperymentach; podczas gdy MLP i SVM nie były zbyt spójne pod względem wydajności (np. odchylenie standardowe w tych technikach wykazuje większą zmienność niż w RF). Jeśli chodzi o rozmiary okien, nie stanowiły one wśród nich żadnej znaczącej poprawy. Ważne jest, aby zauważyć, że eksperymenty te zostały przeprowadzone w celu klasyfikacji upadku i działalności człowieka.

Rozmieszczenie czujników i najlepsza kombinacja multimodalna
Z drugiej strony naszym celem było określenie najlepszej kombinacji urządzeń multimodalnych do wykrywania upadków. Na potrzeby tej analizy ograniczyliśmy źródła informacji do pięciu czujników ubieralnych i dwóch kamer. Te urządzenia są najwygodniejsze dla podejścia. Ponadto braliśmy pod uwagę dwie klasy: upadek (każdy rodzaj upadku) lub brak upadku (dowolna inna aktywność). Wszystkie modele uczenia maszynowego i rozmiary okien pozostają takie same jak w poprzedniej analizie.

Dla każdego czujnika do noszenia, zbudowaliśmy niezależny model klasyfikatora dla każdej długości okna. Wytrenowaliśmy model przy użyciu 10-krotnej walidacji krzyżowej z 70% trenowaniem i 30% testowaniem zestawów danych. Tabela 2 podsumowuje wyniki rankingu czujników ubieralnych według klasyfikatora wydajności, w oparciu o wynik F1. Wyniki te zostały posortowane w kolejności malejącej. Jak pokazano w tabeli 2, najlepszą wydajność uzyskuje się przy użyciu pojedynczego czujnika w talii, szyi lub ciasnej prawej kieszeni (zacieniony obszar). Ponadto najgorzej wypadły czujniki noszone na kostce i lewym nadgarstku. Tabela 3 przedstawia preferencje dotyczące długości okien dla każdego czujnika ubieralnego w celu uzyskania najlepszej wydajności w każdym klasyfikatorze. Z wyników wynika, że czujniki talii, szyi i ciasnej prawej kieszeni z klasyfikatorem RF i rozmiarem okna 3 s z 50% zachodzeniem na siebie są najbardziej odpowiednimi czujnikami do noszenia do wykrywania upadków.

Przeprowadziliśmy podobną analizę dla każdej kamery w systemie. Zbudowaliśmy niezależny model klasyfikatora dla każdego rozmiaru okna. Na potrzeby szkolenia przeprowadziliśmy 10-krotną walidację krzyżową z 70% zestawów danych szkoleniowych i 30% testowych. Tabela 4 przedstawia ranking najlepszych punktów widzenia kamery dla każdego klasyfikatora na podstawie wyniku F1. Jak zaobserwowano, widok boczny (kamera 1) najlepiej wykrywał upadki. Ponadto RF przewyższał inne klasyfikatory. Ponadto w tabeli 5 przedstawiono preferencje dotyczące długości okna dla każdego punktu widzenia kamery. Na podstawie wyników stwierdziliśmy, że najlepszą lokalizacją kamery jest boczny punkt widzenia przy użyciu RF w rozmiarze okna 3 s i 50% nakładaniu się.

Na koniec, wybraliśmy dwie możliwe lokalizacje czujników do noszenia (tj. talia i ciasna prawa kieszeń) do połączenia z kamerą bocznego punktu widzenia. Po tej samej procedurze treningowej uzyskaliśmy wyniki z tabeli 6. Jak pokazano, klasyfikator modelu RF uzyskał najlepsze wyniki pod względem dokładności i wyniku F1 w obu multimodalnościach. Również kombinacja między talią a kamerą 1 uplasowała się na pierwszej pozycji, uzyskując 98,72% dokładności i 95,77% w wyniku F1.

figure-results-1
Rysunek 1: Układ czujników ubieralnych (po lewej) i czujników otoczenia (po prawej) w bazie danych UP-Fall Detection. Czujniki do noszenia umieszcza się na czole, lewym nadgarstku, szyi, talii, prawej kieszeni spodni i lewej kostce. Czujniki otoczenia to sześć sparowanych czujników podczerwieni do wykrywania obecności obiektów i dwie kamery. Kamery są umieszczone w widoku z boku i z przodu, w obu przypadkach w odniesieniu do upadku człowieka. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-2
Rysunek 2: Przykład nagrania wideo pobranego z bazy danych UP-Fall Detection. U góry znajduje się sekwencja obrazów przedstawiających obiekt opadający na bok. Na dole znajduje się sekwencja obrazów reprezentujących wyodrębnione cechy widzenia. Cechy te to względny ruch pikseli między dwoma sąsiednimi obrazami. Białe piksele reprezentują szybszy ruch, podczas gdy czarne piksele reprezentują wolniejszy (lub bliski zeru) ruch. Ta sekwencja jest posortowana chronologicznie od lewej do prawej. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

figure-results-3
Rysunek 3: Wyniki porównawcze przedstawiające najlepszy wynik F1 dla każdej modalności w odniesieniu do modelu uczenia maszynowego i najlepszej długości okna. Słupki reprezentują średnie wartości wyniku F1. Tekst w punktach danych reprezentuje średnią i odchylenie standardowe w nawiasach. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

modalnośćmodelDokładność (%)Precyzja (%)Czułość (%)Swoistość (%)Wynik F1 (%)
IRRF (3 sekundy)67,38 ± 0,6536,45 ± 2,4631,26 ± 0,8996,63 ± 0,0732,16 ± 0,99
SVM (3 sekundy)65,16 ± 0,9026,77 ± 0,5825,16 ± 0,2996,31 ± 0,0923,89 ± 0,41
MLP (3 sekundy)65,69 ± 0,8928.19 ± 3.5626.40 ± 0.7196,41 ± 0,0825.13 ± 1.09
kNN (3 sekundy)61,79 ± 1,4730.04 ± 1.4427,55 ± 0,9796,05 ± 0,1627,89 ± 1,13
IMURF (1 s)95,76 ± 0,1870,78 ± 1,5366,91 ± 1,2899,59 ± 0,0268,35 ± 1,25
SVM (1 s)93,32 ± 0,2366,16 ± 3,3358,82 ± 1,5399,32 ± 0,0260.00 ± 1.34
MLP (1 sek.)95,48 ± 0,2573,04 ± 1,8969,39 ± 1,4799,56 ± 0,0270,31 ± 1,48
kNN (1 sek.)94,90 ± 0,1869,05 ± 1,6364,28 ± 1,5799,50 ± 0,0266,03 ± 1,52
IMU+EEGRF (1 s)95,92 ± 0,2974,14 ± 1,2966,29 ± 1,6699,59 ± 0,0369,03 ± 1,48
SVM (1 s)90,77 ± 0,3662,51 ± 3,3452,46 ± 1,1999,03 ± 0,0353,91 ± 1,16
MLP (1 sek.)93,33 ± 0,5574,10 ± 1,6165,32 ± 1,1599,32 ± 0,0568,13 ± 1,16
kNN (1 sek.)92,12 ± 0,3166,86 ± 1,3258.30 ± 1.2098,89 ± 0,0560,56 ± 1,02
IR+IMU+EEGRF (2 sekundy)95,12 ± 0,3674,63 ± 1,6566,71 ± 1,9899,51 ± 0,0369,38 ± 1,72
SVM (1 s)90,59 ± 0,2764,75 ± 3,8952,63 ± 1,4299,01 ± 0,0253,94 ± 1,47
MLP (1 sek.)93,26 ± 0,6973,51 ± 1,5966.05 ± 1.1199,31 ± 0,0768,19 ± 1,02
kNN (1 sek.)92,24 ± 0,2567,33 ± 1,9458,11 ± 1,6199,21 ± 0,0260,36 ± 1,71
CAMRF (3 sekundy)32,33 ± 0,90godz. 14.45 ± 1.0714,48 ± 0,8292,91 ± 0,0914,38 ± 0,89
SVM (2 sekundy)34,40 ± 0,6713,81 ± 0,22godz. 14.30 ± 0.3192,97 ± 0,0613,83 ± 0,27
MLP (3 sekundy)27.08 ± 2.038,59 ± 1,6910,59 ± 0,3892,21 ± 0,097,31 ± 0,82
kNN (3 sekundy)34.03 ± 1.1115,32 ± 0,7315,54 ± 0,5793,09 ± 0,1115,19 ± 0,52
IR+CAMRF (3 sekundy)65,00 ± 0,6533,93 ± 2,8129,02 ± 0,8996,34 ± 0,0729,81 ± 1,16
SVM (3 sekundy)64,07 ± 0,7924,10 ± 0,9824,18 ± 0,1796,17 ± 0,0722,38 ± 0,23
MLP (3 sekundy)65,05 ± 0,6628.25 ± 3.2025,40 ± 0,5196,29 ± 0,0624,39 ± 0,88
kNN (3 sekundy)60,75 ± 1,2929,91 ± 3,9526,25 ± 0,9095,95 ± 0,1126,54 ± 1,42
IMU+EEG+CAMRF (1 s)95,09 ± 0,2375,52 ± 2,3166,23 ± 1,1199,50 ± 0,0269,36 ± 1,35
SVM (1 s)91,16 ± 0,2566,79 ± 2,7953,82 ± 0,7099,07 ± 0,0255,82 ± 0,77
MLP (1 sek.)94,32 ± 0,3176,78 ± 1,5967,29 ± 1,4199,42 ± 0,0370,44 ± 1,25
kNN (1 sek.)92,06 ± 0,2468,82 ± 1,6158,49 ± 1,1499,19 ± 0,0260,51 ± 0,85

Tabela 1: Wyniki porównawcze przedstawiające najlepszą wydajność każdej modalności w odniesieniu do modelu uczenia maszynowego i najlepszą długość okna (w nawiasie). Wszystkie wartości w wydajności reprezentują średnią i odchylenie standardowe.

powiedział:
#typ IMU
RfMaszyna SVMMLP (Język wielobranżowyKNN
1(98.36) Obwód talii(83.30) prawa kieszeń(57.67) prawa kieszeń(73.19) prawa kieszeń
cyfra arabska(95.77) Szyja(83.22) Obwód talii(44.93) Szyja(68.73) Obwód talii
3(95.35) prawa kieszeń(83.11) Szyja(39.54) Obwód talii(65.06) Szyja
4(95.06) Staw skokowy(82.96) Staw skokowy(39.06) Lewy nadgarstek(58,26) Staw skokowy
5(94.66) Lewy nadgarstek(82.82) Lewy nadgarstek(37,56) Staw skokowy(51.63) Lewy nadgarstek

Tabela 2: Ranking najlepszych czujników do noszenia na głowie według klasyfikatora, posortowany według wyniku F1 (w nawiasie). Obszary w cieniu reprezentują trzy pierwsze klasyfikatory wykrywania upadków.

powiedział:
typ IMUDługość okna
RfMaszyna SVMMLP (Język wielobranżowyKNN
Lewa kostka2 sekundy3 sekundy1 s3 sekundy
talia3 sekundy1 s1 s2 sekundy
szyja3 sekundy3 sekundy2 sekundy2 sekundy
prawa kieszeń3 sekundy3 sekundy2 sekundy2 sekundy
Lewy nadgarstek2 sekundy2 sekundy2 sekundy2 sekundy

Tabela 3: Preferowana długość okna czasowego w czujnikach ubieralnych według klasyfikatora.

powiedział:
#Widok z kamery
RfMaszyna SVMMLP (Język wielobranżowyKNN
1(62.27) Widok z boku(24.25) Widok boczny(13.78) Widok z przodu(41.52) Widok boczny
cyfra arabska(55.71) Widok z przodu(0.20) Widok z przodu(5.51) Widok boczny(28.13) Widok z przodu

Tabela 4: Ranking najlepszych punktów widzenia kamery według klasyfikatora, posortowany według wyniku F1 (w nawiasie). Obszary w cieniu reprezentują najwyższy klasyfikator wykrywania upadków.

powiedział:
KameraDługość okna
RfMaszyna SVMMLP (Język wielobranżowyKNN
Widok boczny3 sekundy3 sekundy2 sekundy3 sekundy
Widok z przodu2 sekundy2 sekundy3 sekundy2 sekundy

Tabela 5: Preferowana długość okna czasowego w punktach widzenia kamery według klasyfikatora.

szt. powiedział: szt. powiedział:
MultimodalnegoKlasyfikatoraDokładność (%)Precyzja (%)Czułość (%)Wynik F1 (%)
Talia
+
Widok boczny		Rf98,72 ± 0,3594,01 ± 1,5197,63 ± 1,5695,77 ± 1,15
Maszyna SVM95,59 ± 0,4010070,26 ± 2,7182,51 ± 1,85
MLP (Język wielobranżowy77.67 ± 11.04od 33,73 ± 11,6937.11 ± 26.74od 29,81 ± do 12,81
KNN91,71 ± 0,6177,90 ± 3,3361,64 ± 3,6868,73 ± 2,58
prawa kieszeń
+
Widok boczny		Rf98,41 ± 0,4993,64 ± 1,4695,79 ± 2,6594,69 ± 1,67
Maszyna SVM95,79 ± 0,5810071,58 ± 3,9183,38 ± 2,64
MLP (Język wielobranżowy84,92 ± 2,9855.70 ± 11.36od 48,29 ± do 25,11od 45,21 ± 14,19
KNN91,71 ± 0,5873,63 ± 3,1968,95 ± 2,7371,13 ± 1,69

Tabela 6: Wyniki porównawcze połączonego czujnika do noszenia na ciele i punktu widzenia kamery przy użyciu 3-sekundowego długości okna. Wszystkie wartości reprezentują średnią i odchylenie standardowe.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Podczas tworzenia zestawu danych często występują wyzwania związane z synchronizacją, organizacją i niespójnością danych20 .

Synchronizacja
Podczas pozyskiwania danych pojawiają się problemy z synchronizacją, biorąc pod uwagę, że wiele czujników często działa z różnymi częstotliwościami próbkowania. Czujniki o wyższych częstotliwościach zbierają więcej danych niż te o niższych częstotliwościach. W związku z tym dane z różnych źródeł nie zostaną poprawnie sparowane. Nawet jeśli czujniki działają z tą samą częstotliwością próbkowania, możliwe jest, że dane nie zostaną wyrównane. W związku z tym następujące zalecenia mogą pomóc w rozwiązaniu tych problemów z synchronizacją20: (i) rejestrować znacznik czasu, temat, aktywność i próbę w każdej próbce danych uzyskanej z czujników; (ii) najbardziej spójne i najrzadsze źródło informacji musi być używane jako sygnał odniesienia dla synchronizacji; oraz (iii) używać automatycznych lub półautomatycznych procedur do synchronizacji nagrań wideo, które byłyby niepraktyczne w przypadku ręcznej kontroli.

Wstępne przetwarzanie danych
Konieczne jest również wstępne przetwarzanie danych, a na proces ten wpływają krytyczne decyzje: (a) określić metody przechowywania danych i reprezentacji danych z wielu i niejednorodnych źródeł (b) zdecydować o sposobach przechowywania danych na hoście lokalnym lub w chmurze (c) wybrać organizację danych, w tym nazwy plików i foldery (d) poradzić sobie z brakującymi wartościami danych, a także nadmiarowościami znalezionymi w czujnikach, między innymi. Ponadto w przypadku chmury danych zaleca się buforowanie lokalne, jeśli to możliwe, w celu ograniczenia utraty danych w czasie przekazywania.

Niespójność danych
Niespójność danych jest powszechna między badaniami wykazującymi różnice w wielkości próby danych. Problemy te są związane z pozyskiwaniem danych w czujnikach ubieralnych. Krótkie przerwy w pozyskiwaniu danych i kolizje danych z wielu czujników prowadzą do niespójności danych. W takich przypadkach algorytmy wykrywania niespójności są ważne do obsługi awarii online w czujnikach. Należy podkreślić, że urządzenia bezprzewodowe powinny być często monitorowane przez cały czas trwania eksperymentu. Niski poziom naładowania baterii może mieć wpływ na łączność i spowodować utratę danych.

Etyczny
Zgoda na udział i etyczna aprobata są obowiązkowe w każdym rodzaju eksperymentów, w które zaangażowani są ludzie.

Jeśli chodzi o ograniczenia tej metodologii, należy zauważyć, że została ona zaprojektowana z myślą o podejściach, które uwzględniają różne sposoby gromadzenia danych. Systemy mogą obejmować czujniki ubieralne, czujniki otoczenia i/lub czujniki wizyjne. Sugeruje się uwzględnienie zużycia energii przez urządzenia i żywotności baterii w czujnikach bezprzewodowych, ze względu na takie problemy, jak utrata gromadzenia danych, zmniejszająca się łączność i zużycie energii w całym systemie. Co więcej, metodyka ta jest przeznaczona dla systemów wykorzystujących metody uczenia maszynowego. Wcześniej należy przeprowadzić analizę wyboru tych modeli uczenia maszynowego. Niektóre z tych modeli mogą być dokładne, ale bardzo czasochłonne i energochłonne. Należy wziąć pod uwagę kompromis między dokładnym oszacowaniem a ograniczoną dostępnością zasobów do obliczeń w modelach uczenia maszynowego. Należy również zauważyć, że w ramach gromadzenia danych przez system działania były prowadzone w tej samej kolejności; Również próby przeprowadzono w tej samej kolejności. Ze względów bezpieczeństwa używano materaca ochronnego, na który można było upaść. Ponadto upadki były inicjowane przez samego siebie. Jest to istotna różnica między symulowanymi a rzeczywistymi upadkami, które na ogół występują w kierunku twardych materiałów. W tym sensie ten zestaw danych zarejestrował upadki z intuicyjną reakcją, próbując nie upaść. Co więcej, istnieją pewne różnice między rzeczywistymi upadkami u osób starszych lub niepełnosprawnych a upadkami symulowanymi; A te muszą być brane pod uwagę przy projektowaniu nowego systemu wykrywania upadków. Badanie to koncentrowało się na młodych ludziach bez żadnych upośledzeń, ale godne uwagi jest stwierdzenie, że dobór badanych powinien być dostosowany do celu systemu i populacji docelowej, która będzie z niego korzystać.

Z powiązanych prac opisanych powyżej 10,11,12,13,14,15,16,17,18 możemy zaobserwować, że są autorzy, którzy stosują podejścia multimodalne koncentrując się na uzyskaniu solidnych detektorów upadku lub koncentrują się na umiejscowieniu lub wydajności klasyfikatora. W związku z tym rozwiązują tylko jeden lub dwa problemy projektowe związane z wykrywaniem upadków. Nasza metodologia pozwala na jednoczesne rozwiązanie trzech głównych problemów projektowych systemu wykrywania upadków.

Na potrzeby przyszłych prac sugerujemy zaprojektowanie i wdrożenie prostego multimodalnego systemu wykrywania upadków w oparciu o wyniki uzyskane zgodnie z tą metodologią. W celu wdrożenia w świecie rzeczywistym należy stosować uczenie transferowe, klasyfikację hierarchiczną i podejścia oparte na uczeniu głębokim w celu opracowania bardziej niezawodnych systemów. Nasza implementacja nie uwzględniała wskaźników jakościowych modeli uczenia maszynowego, ale czas rzeczywisty i ograniczone zasoby obliczeniowe muszą być brane pod uwagę przy dalszym rozwoju systemów wykrywania/rozpoznawania upadków i aktywności ludzi. Wreszcie, w celu ulepszenia naszego zestawu danych, można rozważyć potknięcia lub prawie upadki oraz monitorowanie wolontariuszy w czasie rzeczywistym podczas ich codziennego życia.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

To badanie zostało sfinansowane przez Universidad Panamericana poprzez grant "Fomento a la Investigación UP 2018", pod kodem projektu UP-CI-2018-ING-MX-04.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Czujnik do noszenia na ciele do pomiaru inercyjnegoMbientlabMTH-MetaTrackerTrójosiowy akcelerometr, trójosiowy żyroskop i czujnik natężenia światła do noszenia.
Kask z czujnikiem mózgu elektroencefalografu MindWaveNeuroSky80027-007Surowy sygnał fal mózgowych z jednym czujnikiem forehandowym.
Kamera wideo LifeCam Cinema Kamerawideo MicrosoftH5D-000022D RGB z interfejsem USB.
Czujnik podczerwieniAleanABT-60Czujnik zbliżeniowy z normalnie zamkniętym przekaźnikiem.
Klucz sprzętowy BluetoothMbientlabBLEDongle do połączenia Bluetooth między czujnikami do noszenia a komputerem.
Raspberry PiRaspberryVersion 3 Model BMikrokontroler do akwizycji czujnika podczerwieni i interfejsu komputerowego.
Komputer osobistyDellIntel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
  2. World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
  3. Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66(2013).
  4. Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
  5. Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
  6. Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
  7. Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418(2018).
  8. Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
  9. Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33(2014).
  10. Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
  11. Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
  12. Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
  13. Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155(2018).
  14. Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161(2016).
  15. Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
  16. Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062(2012).
  17. Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
  18. Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
  19. Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
  20. Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
  21. Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988(2019).
  22. Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
  23. Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757(2016).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Fall Detection SystemHuman Activity RecognitionMultimodal SensorsMachine Learning ClassificationSensor Placement AnalysisWearable SensorsRandom Forest ClassifierData Acquisition SystemK fold Cross validationFeature Dataset

Related Articles