Artykuł metodologiczny

Projektowanie i analiza w celu uproszczenia systemu wykrywania upadków

12.7K wyświetleń

⸱

DOI:

10.3791/60361

⸱

6 kwietnia 2020

 , 
1Facultad de Ingeniería, Universidad Panamericana

W tym artykule

Podsumowanie

Prezentujemy metodologię opartą na multimodalnych czujnikach do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania upadków i rozpoznawania aktywności człowieka. Celem jest zbudowanie systemu do dokładnego wykrywania upadków, który można łatwo wdrożyć i przyjąć.

Streszczenie

Ten artykuł przedstawia metodologię opartą na czujnikach multimodalnych do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania upadków i rozpoznawania aktywności człowieka, który może być łatwo wdrożony i przyjęty. Metodologia opiera się na konfiguracji określonych typów czujników, metod i procedur uczenia maszynowego. Protokół jest podzielony na cztery fazy: (1) tworzenie bazy danych, (2) analiza danych, (3) uproszczenie systemu i (4) ocena. Korzystając z tej metodologii, stworzyliśmy multimodalną bazę danych do wykrywania upadków i rozpoznawania aktywności człowieka, a mianowicie UP-Fall Detection. Składa się z próbek danych od 17 osób, które wykonują 5 rodzajów upadków i 6 różnych prostych czynności podczas 3 prób. Wszystkie informacje zostały zebrane za pomocą 5 czujników do noszenia na ciele (akcelerometr trójosiowy, żyroskop i natężenie światła), 1 hełmu elektroencefalografu, 6 czujników podczerwieni jako czujników otoczenia oraz 2 kamer w bocznych i przednich punktach widzenia. Proponowana nowatorska metodologia dodaje kilka ważnych etapów do przeprowadzenia dogłębnej analizy następujących problemów projektowych w celu uproszczenia systemu wykrywania upadków: a) wybór czujników lub kombinacji czujników, które mają być używane w prostym systemie wykrywania upadków, b) określenie najlepszego rozmieszczenia źródeł informacji oraz c) wybór najbardziej odpowiedniej metody klasyfikacji uczenia maszynowego do wykrywania i rozpoznawania upadków i aktywności człowieka. Mimo że niektóre podejścia multimodalne opisywane w literaturze koncentrują się tylko na jednym lub dwóch z wyżej wymienionych zagadnień, nasza metodologia pozwala na jednoczesne rozwiązanie tych trzech problemów projektowych związanych z systemem wykrywania i rozpoznawania upadków i aktywności człowieka.

Wprowadzenie

Od czasu światowego zjawiska starzenia się populacji1, częstość upadków wzrosła i jest faktycznie uważana za poważny problem zdrowotny2. Kiedy dochodzi do upadku, ludzie wymagają natychmiastowej uwagi, aby zmniejszyć negatywne konsekwencje. Systemy wykrywania upadków mogą skrócić czas, w którym dana osoba otrzymuje pomoc medyczną, wysyłając ostrzeżenie o wystąpieniu upadku.

Istnieją różne kategorie systemów wykrywania upadków3. Early works4 klasyfikują systemy wykrywania upadków według ich metod wykrywania, z grubsza metod analitycznych i metod uczenia maszynowego. Ostatnio inni autorzy3,5,6 uznali czujniki akwizycji danych za główną funkcję klasyfikacji detektorów upadków. Igual et al.3 dzieli systemy wykrywania upadków na systemy kontekstowe, które obejmują podejścia oparte na wizji i czujnikach otoczenia, oraz systemy urządzeń do noszenia. Mubashir et al.5 klasyfikuje detektory upadku na trzy grupy w zależności od urządzeń używanych do zbierania danych: urządzenia do noszenia, czujniki otoczenia i urządzenia wizyjne. Perry et al.6 rozważa metody pomiaru przyspieszenia, metody pomiaru przyspieszenia w połączeniu z innymi metodami oraz metody niemierzące przyspieszenia. Na podstawie tych badań możemy stwierdzić, że czujniki i metody są głównymi elementami klasyfikującymi ogólną strategię badawczą.

Każdy z czujników ma słabe i mocne strony omówione w Xu et al.7. Podejścia oparte na wizji wykorzystują głównie normalne kamery, kamery z czujnikiem głębi i/lub systemy przechwytywania ruchu. Normalne kamery internetowe są tanie i łatwe w użyciu, ale są wrażliwe na warunki środowiskowe (zmienność światła, okluzja itp.), mogą być używane tylko w ograniczonej przestrzeni i mają problemy z prywatnością. Kamery głębi, takie jak Kinect, zapewniają ruch 3D całego ciała7 i są mniej podatne na warunki oświetleniowe niż zwykłe kamery. Jednak podejścia oparte na sensorze Kinect nie są tak niezawodne i niezawodne. Systemy przechwytywania ruchu są droższe i trudniejsze w użyciu.

Podejścia oparte na urządzeniach akcelerometrycznych i smartfonach/zegarkach z wbudowanymi akcelerometrami są bardzo często używane do wykrywania upadków. Główną wadą tych urządzeń jest to, że muszą być noszone przez długi czas. Dyskomfort, natręctwo, ułożenie ciała i orientacja to problemy projektowe, które należy rozwiązać w tych podejściach. Chociaż smartfony i inteligentne zegarki są mniej rzucającymi się w oczy urządzeniami niż czujniki, osoby starsze często zapominają lub nie zawsze noszą te urządzenia. Niemniej jednak zaletą tych czujników i urządzeń jest to, że można je stosować w wielu pomieszczeniach i/lub na zewnątrz.

Niektóre systemy używają czujników rozmieszczonych w otoczeniu do rozpoznawania upadków/aktywności, więc ludzie nie muszą nosić czujników. Jednak te czujniki są również ograniczone do miejsc, w których są wdrażane8 i czasami są trudne do zainstalowania. Od niedawna multimodalne systemy wykrywania upadków obejmują różne kombinacje czujników wizyjnych, ubieralnych i otoczenia, aby uzyskać większą precyzję i solidność. Mogą również przezwyciężyć niektóre ograniczenia związane z pojedynczym czujnikiem.

Metodologia używana do wykrywania upadków jest ściśle związana z łańcuchem rozpoznawania ludzkiej aktywności (ARC) przedstawionym przez Bulling et al.9, który składa się z etapów akwizycji danych, wstępnego przetwarzania i segmentacji sygnału, ekstrakcji i selekcji cech, szkolenia i klasyfikacji. Dla każdego z tych etapów należy rozwiązać problemy projektowe. Na każdym etapie stosowane są różne metody.

Prezentujemy metodologię opartą na czujnikach multimodalnych do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania/rozpoznawania upadków i aktywności człowieka. Celem jest zbudowanie systemu do dokładnego wykrywania upadków, który można łatwo wdrożyć i przyjąć. Proponowana nowatorska metodologia opiera się na ARC, ale dodaje kilka ważnych etapów w celu przeprowadzenia dogłębnej analizy następujących kwestii w celu uproszczenia systemu: a) wybór czujników lub kombinacji czujników, które mają być używane w prostym systemie wykrywania upadków; b) określa najlepsze rozmieszczenie źródeł informacji; oraz (c) wybrać najbardziej odpowiednią metodę klasyfikacji uczenia maszynowego do wykrywania upadków i rozpoznawania aktywności człowieka w celu stworzenia prostego systemu.

W literaturze można znaleźć kilka powiązanych prac, które poruszają jeden lub dwa z wyżej wymienionych problemów projektowych, ale według naszej wiedzy, nie ma pracy, która skupiałaby się na metodologii przezwyciężenia wszystkich tych problemów.

Powiązane prace wykorzystują multimodalne podejścia do wykrywania upadków i rozpoznawania aktywności człowieka10,11,12 w celu zwiększenia niezawodności i precyzji. Kwolek et al.10 zaproponowali zaprojektowanie i wdrożenie systemu wykrywania upadków w oparciu o dane akcelerometryczne i mapy głębokości. Zaprojektowali ciekawą metodologię, w której zastosowano trójosiowy akcelerometr w celu wykrycia potencjalnego upadku, a także ruchu osoby. Jeśli miara przyspieszenia przekroczy próg, algorytm wyodrębnia osobę różniącą mapę głębokości od zaktualizowanej w trybie online mapy referencyjnej głębokości. Analizę kombinacji głębokości i akcelerometru przeprowadzono przy użyciu klasyfikatora maszynowego wektorów nośnych.

Ofli et al.11 zaprezentowali Multimodalną Bazę Danych Działań Człowieka (MHAD) w celu zapewnienia platformy testowej dla nowych systemów rozpoznawania aktywności człowieka. Zestaw danych jest ważny, ponieważ działania zostały zebrane jednocześnie za pomocą 1 optycznego systemu przechwytywania ruchu, 4 kamer multi-view, 1 systemu Kinect, 4 mikrofonów i 6 akcelerometrów bezprzewodowych. Autorzy przedstawili wyniki dla każdej modalności: Kinect, mocap, akcelerometr i audio.

Dovgan et al.12 zaproponowali prototyp do wykrywania anomalnych zachowań, w tym upadków, u osób starszych. Zaprojektowali testy dla trzech systemów czujników, aby znaleźć najbardziej odpowiedni sprzęt do wykrywania upadków i nietypowych zachowań. Pierwszy eksperyment składa się z danych z inteligentnego systemu czujników z 12 znacznikami przymocowanymi do bioder, kolan, kostek, nadgarstków, łokci i ramion. Stworzyli również zestaw danych testowych przy użyciu jednego systemu czujników Ubisense z czterema znacznikami przymocowanymi do talii, klatki piersiowej i obu kostek oraz jednym akcelerometrem Xsens. W trzecim eksperymencie czterech badanych używało systemu Ubisense tylko podczas wykonywania 4 rodzajów upadków, 4 problemów zdrowotnych, takich jak anomalne zachowanie i różne czynności życia codziennego (ADL).

Inne prace w literaturze13,14,15 rozwiązują problem znalezienia najlepszego rozmieszczenia czujników lub urządzeń do wykrywania upadków, porównując wydajność różnych kombinacji czujników z kilkoma klasyfikatorami. Santoyo et al.13 przedstawili systematyczną ocenę oceniającą znaczenie lokalizacji 5 czujników do wykrywania upadków. Porównali wydajność tych kombinacji czujników przy użyciu k-najbliższych sąsiadów (KNN), maszyn wektorów nośnych (SVM), naiwnych klasyfikatorów Bayesa (NB) i drzew decyzyjnych (DT). Naukowcy doszli do wniosku, że umiejscowienie czujnika na obiekcie ma istotny wpływ na działanie detektora upadku, niezależnie od zastosowanego klasyfikatora.

Porównanie umiejscowienia czujników do noszenia na ciele w celu wykrywania upadków zostało przedstawione przez Özdemir14. W celu określenia rozmieszczenia sensorów autor przeanalizował 31 kombinacji sensorów w następujących pozycjach: głowa, talia, klatka piersiowa, prawy nadgarstek, prawa kostka i prawe udo. Czternastu ochotników wykonało 20 symulowanych upadków i 16 ADL. Odkrył, że najlepszą wydajność uzyskano, gdy pojedynczy czujnik jest umieszczony na talii z tych wyczerpujących eksperymentów łączonych. Inne porównanie zostało zaprezentowane przez Ntanasis15 przy użyciu zestawu danych Özdemira. Autorzy porównali pojedyncze pozycje na głowie, klatce piersiowej, talii, nadgarstku, kostce i udzie za pomocą następujących klasyfikatorów: J48, KNN, RF, komitet losowy (RC) i SVM.

Wzorce wydajności różnych metod obliczeniowych do wykrywania upadków można również znaleźć w literaturze16,17,18. Bagala et al.16 przedstawili systematyczne porównanie, aby porównać skuteczność trzynastu metod wykrywania upadków testowanych na rzeczywistych upadkach. Wzięli pod uwagę tylko algorytmy oparte na pomiarach akcelerometru umieszczonych na pasie lub tułowiu. Bourke et al.17 ocenili wydajność pięciu algorytmów analitycznych do wykrywania upadków przy użyciu zestawu danych ADL i upadków na podstawie odczytów akcelerometru. Kerdegari18 dokonał również porównania wydajności różnych modeli klasyfikacyjnych dla zestawu zarejestrowanych danych o przyspieszeniu. Algorytmy używane do wykrywania upadków to zeroR, oneR, NB, DT, wielowarstwowy perceptron i SVM.

Metodologia wykrywania upadków została zaproponowana przez Alazrai et al.18 przy użyciu geometrycznego deskryptora ruchu do skonstruowania skumulowanej reprezentacji ludzkiej aktywności opartej na histogramie. Ocenili platformę przy użyciu zestawu danych zebranego za pomocą czujników Kinect.

Podsumowując, znaleźliśmy prace związane z wykrywaniem upadków w multimodalnym tonie10,11,12, które porównują wydajność różnych kombinacji modalności. Niektórzy autorzy zajmują się problemem znalezienia najlepszego rozmieszczenia czujników13,14,15, lub kombinacje sensorów13 z kilkoma klasyfikatorami13,15,16 z wieloma czujnikami tej samej modalności i akcelerometrami. W literaturze nie znaleziono żadnych prac dotyczących jednoczesnego umieszczania, kombinacji multimodalnych i wzorca klasyfikatorów.

Protokół

Wszystkie opisane tutaj metody zostały zatwierdzone przez Komisję Badawczą Wydziału Inżynierii Uniwersytetu Panamericana.

UWAGA: Niniejsza metodologia opiera się na konfiguracji specyficznych typów czujników, metod uczenia maszynowego oraz procedur w celu skonfigurowania prostego, szybkiego i multimodalnego systemu wykrywania upadków oraz rozpoznawania aktywności ludzkiej. Z tego powodu poniższy protokół został podzielony na fazy: (1) tworzenie bazy danych, (2) analiza danych, (3) uproszczenie systemu oraz (4) ewaluacja.

1. Tworzenie bazy danych

  1. Skonfiguruj system akwizycji danych. Służy on do zbierania wszystkich danych od badanych i przechowywania informacji w bazie danych.
    1. Wybierz wymagane typy czujników ubieralnych, czujników środowiskowych i urządzeń wizyjnych jako źródła informacji. Przypisz identyfikator (ID) dla każdego źródła informacji, liczbę kanałów na źródło, specyfikacje techniczne oraz częstotliwość próbkowania dla każdego z nich.
    2. Podłącz wszystkie źródła informacji (tj. urządzenia ubieralne, czujniki środowiskowe i urządzenia wizyjne) do centralnego komputera lub rozproszonego systemu komputerowego:
      1. Upewnij się, że urządzenia przewodowe są prawidłowo podłączone do jednego komputera klienckiego. Sprawdź, czy urządzenia bezprzewodowe są w pełni naładowane. Należy pamiętać, że niski poziom naładowania baterii może wpłynąć na połączenia bezprzewodowe lub wartości odczytów z czujników. Ponadto przerywane lub utracone połączenia zwiększą utratę danych.
    3. Skonfiguruj każde z urządzeń do pobierania danych.
    4. Skonfiguruj system akwizycji danych do przechowywania danych w chmurze. Ze względu na dużą ilość danych do przechowywania, w niniejszym protokole zastosowano obliczenia w chmurze.
    5. Zaswiadcz, że system akwizycji danych spełnia właściwości synchronizacji i spójności danych20. Zapewnia to integralność przechowywania danych ze wszystkich źródeł informacji. Może to wymagać nowych podejść do synchronizacji danych; np. zobacz Peñafort-Asturiano et al.20.
      1. Rozpocznij zbieranie części danych za pomocą źródeł informacji i przechowuj je w preferowanym systemie. Wszystkie dane muszą zawierać znaczniki czasu (timestamps).
      2. Wykonaj zapytanie do bazy danych i ustal, czy wszystkie źródła informacji są zbierane z taką samą częstotliwością próbkowania. Jeśli tak, przejdź do kroku 1.1.6. W przeciwnym razie wykonaj nadpróbkowanie (up-sampling) lub podpróbkowanie (down-sampling), stosując kryteria opisane przez Peñafort-Asturiano, et al.20.
    6. Przygotuj otoczenie (lub laboratorium), uwzględniając wymagane warunki oraz ograniczenia wynikające z celu systemu. Ustal warunki tłumienia siły uderzenia podczas symulowanych upadków, stosując elastyczne systemy podłogowe sugerowane przez Lachance, et al.23, aby zapewnić bezpieczeństwo uczestnikom.
      1. Użyj materaca lub innego elastycznego systemu podłogowego i umieść go w centrum otoczenia (lub laboratorium).
      2. Usuń wszystkie przedmioty z okolic materaca, aby zapewnić co najmniej jeden metr wolnej przestrzeni wokół niego. Jeśli jest to wymagane, przygotuj osobiste środki ochrony dla uczestników (np. rękawice, czapkę, gogle, ochraniacze na kolana itp.).
        UWAGA: Protokół można w tym miejscu przerwać.
  2. Określ czynności ludzkie i upadki, które system będzie wykrywał po konfiguracji. Ważne jest uwzględnienie celu systemu detekcji upadków i rozpoznawania czynności ludzkich, a także grupy docelowej.
    1. Zdefiniuj cel systemu detekcji upadków i rozpoznawania czynności ludzkich. Zapisz go w arkuszu planowania. W tym studium przypadku celem jest klasyfikacja rodzajów upadków i czynności wykonywanych codziennie w pomieszczeniach przez osoby starsze.
    2. Zdefiniuj grupę docelową eksperymentu zgodnie z celem systemu. Zapisz ją w arkuszu planowania. W badaniu za grupę docelową uznano osoby starsze.
    3. Określ rodzaje codziennych czynności. Uwzględnij niektóre czynności niebędące upadkiem, które przypominają upadki, aby poprawić wykrywalność rzeczywistych upadków. Przypisz ID do wszystkich czynności i opisz je jak najdokładniej. Ustal czas trwania każdej wykonywanej czynności. Zapisz wszystkie te informacje w arkuszu planowania.
    4. Określ rodzaje upadków. Przypisz ID do wszystkich z nich i opisz je jak najdokładniej. Ustal czas trwania każdego wykonywanego upadku. Rozważ, czy upadki będą generowane samodzielnie przez badanych, czy przez inne osoby (np. poprzez popchnięcie badanego). Zapisz wszystkie te informacje w arkuszu planowania.
    5. W arkuszu planowania zapisz sekwencje czynności i upadków, które będzie wykonywać badany. Określ przedział czasowy, liczbę prób na czynność/upadek, instrukcję wykonania czynności/upadku oraz identyfikatory czynności/upadków.
      UWAGA: Protokół można w tym miejscu przerwać.
  3. Wybierz odpowiednich uczestników badania, którzy wykonają sekwencje czynności i upadków. Upadki są rzadkimi zdarzeniami w życiu codziennym i zazwyczaj dotyczą osób starszych. Niemniej jednak, ze względów bezpieczeństwa, nie należy włączać osób starszych i niepełnosprawnych do symulacji upadków bez konsultacji lekarskiej. Aby uniknąć obrażeń, wykorzystano kaskaderów2.
    1. Określ płeć, przedział wiekowy, wagę i wzrost uczestników. Zdefiniuj wszelkie wymagane warunki dotyczące niepełnosprawności. Określ również minimalną liczbę osób wymaganych do eksperymentu.
    2. Losowo wybierz wymaganą grupę uczestników, zgodnie z warunkami określonymi w poprzednim kroku. Do ich rekrutacji wykorzystaj zaproszenie dla ochotników. Przestrzegaj wszystkich wytycznych etycznych obowiązujących w instytucji i kraju, a także wszelkich międzynarodowych regulacji dotyczących eksperymentów na ludziach.
      UWAGA: Protokół można w tym miejscu przerwać.
  4. Pobierz i przechowuj dane od uczestników. Informacje te będą przydatne do dalszej analizy eksperymentalnej. Wykonaj następujące kroki pod nadzorem eksperta klinicznego lub odpowiedzialnego badacza.
    1. Rozpocznij zbieranie danych za pomocą systemu akwizycji danych skonfigurowanego w kroku 1.1.
    2. Poproś każdego z uczestników o wykonanie sekwencji czynności i upadków zadeklarowanych w kroku 1.2. Wyraźnie zapisz znaczniki czasu rozpoczęcia i zakończenia każdej czynności/upadku. Zweryfikuj, czy dane ze wszystkich źródeł informacji zostały zapisane w chmurze.
    3. Jeśli czynności nie zostały wykonane prawidłowo lub wystąpiły problemy z urządzeniami (np. utrata połączenia, niski poziom baterii, przerywane połączenie), odrzuć próbki i powtórz krok 1.4.1, aż do momentu wyeliminowania problemów z urządzeniami. Powtórz krok 1.4.2 dla każdej próby dla każdego uczestnika zadeklarowanej w sekwencji z kroku 1.2.
      UWAGA: Protokół można w tym miejscu przerwać.
  5. Wstępnie przetwórz wszystkie pozyskane dane. Zastosuj nadpróbkowanie i podpróbkowanie dla każdego ze źródeł informacji. Szczegóły dotyczące wstępnego przetwarzania danych dla detekcji upadków i rozpoznawania czynności ludzkich znajdują się w pracy Martínez-Villaseñor et al.21.
    UWAGA: Protokół można w tym miejscu przerwać.

2. Analiza danych

  1. Wybierz tryb przetwarzania danych. Wybierz Dane surowe jeśli dane przechowywane w bazie danych będą wykorzystane bezpośrednio (tj. z zastosowaniem głębokiego uczenia do automatycznej ekstrakcji cech), należy przejść do kroku 2.2. Wybór Dane cech jeśli ekstrakcja cech zostanie wykorzystana do dalszej analizy, należy przejść do kroku 2.3.
  2. Dla Surowe danenie są wymagane żadne dodatkowe kroki, dlatego należy przejść do kroku 2.5.
  3. Dla Dane cechnastępnie wyekstrahuj cechy z surowych danych.
    1. Podziel surowe dane na okna czasowe. Wyznacz i ustal długość okna czasowego (np. ramki o długości jednej sekundy). Dodatkowo określ, czy okna czasowe będą na siebie nachodzić. Dobrą praktyką jest wybór 50% zakładki.
    2. Wyodrębnij cechy z każdego segmentu danych. Określ zestaw cech czasowych i częstotliwościowych, które mają zostać wyodrębnione z segmentów. Patrz: Martínez-Villaseñor i wsp.21 do wspólnej ekstrakcji cech.
    3. Zapisz zestaw danych z ekstrakcji cech w chmurze, w niezależnej bazie danych.
    4. W przypadku wyboru różnych okien czasowych należy powtórzyć kroki od 2.3.1 do 2.3.3 i zapisać każdy zestaw danych cech w oddzielnych bazach danych.
      UWAGA: W tym miejscu można przerwać protokół.
  4. Wybierz najważniejsze wyekstrahowane cechy i zredukuj zbiór danych cech. Zastosuj niektóre powszechnie używane metody selekcji cech (np., selekcja jednowymiarowa, analiza głównych składowych, rekurencyjna eliminacja cech, istotność cech, macierz korelacji, itd.).
    1. Wybierz metodę selekcji cech. W niniejszym przypadku zastosowano metodę istotności cech.
    2. Każdą cechę wykorzystano do wytrenowania określonego modelu (zastosowano RF) i pomiaru dokładności (patrz Równanie 1).
    3. Uporządkuj cechy, sortując je według dokładności.
    4. Wybrano najważniejsze cechy. W tym przypadku wykorzystano dziesięć najlepiej ocenionych cech.
      UWAGA: W tym miejscu można przerwać protokół.
  5. Wybierz metodę klasyfikacji uczenia maszynowego i wytrenuj model. Istnieją dobrze znane metody uczenia maszynowego16,17,18,21, takie jak: maszyny wektorów nośnych (SVM), lasy losowe (RF), wielowarstwowy perceptron (MLP) i k-najbliższych sąsiadów (KNN), spośród wielu innych.
    1. Opcjonalnie, w przypadku wyboru podejścia opartego na głębokim uczeniu, należy rozważyć21m.in. splotowe sieci neuronowe (CNN) oraz sieci neuronowe z długą krótkotrwałą pamięcią (LSTM).
    2. Wybrano zestaw metod uczenia maszynowego. W niniejszym przypadku zastosowano następujące metody: SVM, RF, MLP oraz KNN.
    3. Dostosuj parametry każdej z metod uczenia maszynowego zgodnie z sugestiami zawartymi w literaturze.21.
    4. Utwórz połączony zestaw danych cech (lub surowy zestaw danych), wykorzystując niezależne zestawy danych cech (lub surowe zestawy danych), aby połączyć rodzaje źródeł informacji. Na przykład, jeśli wymagana jest kombinacja jednego czujnika ubieralnego i jednej kamery, należy połączyć zestawy danych cech pochodzące z każdego z tych źródeł.
    5. Podziel zbiór danych cech (lub surowy zbiór danych) na zbiór treningowy i testowy. Optymalnym rozwiązaniem jest losowy podział w stosunku 70% dla zbioru treningowego i 30% dla zbioru testowego.
    6. Przeprowadź k-krotną walidację krzyżową21 wykorzystując zestaw danych cech (lub surowy zestaw danych) dla każdej metody uczenia maszynowego. Należy zastosować wspólną miarę oceny, taką jak dokładność (patrz Równanie 1) w celu wyboru najlepszego modelu wytrenowanego dla każdej metody. Eksperymenty z pominięciem jednego badanego (leave-one subject-out, LOSO)3 Są również zalecane.
      1. Otwórz zestaw danych cech treningowych (lub surowy zestaw danych) w preferowanym oprogramowaniu do języka programowania. Zaleca się użycie języka Python. W tym kroku wykorzystaj bibliotekę pandas do odczytania pliku CSV w następujący sposób:
        training_set = pandas.csv().
      2. Podziel zestaw danych cech (lub surowy zestaw danych) na pary wejść i wyjść. Na przykład, użyj języka Python, aby zdefiniować wartości x (wejścia) oraz wartości y (wyjścia):
        training_set_X = training_set.drop(‘tag’,axis=1), training_set_Y = training_set.tag
        gdzie tag reprezentuje kolumnę zbioru danych cech zawierającą wartości docelowe.
      3. Wybierz jedną metodę uczenia maszynowego i ustaw parametry. Na przykład użyj SVM w języku Python z biblioteką sklearn, stosując następującą komendę:
        classifier = sklearn.SVC(kernel = ‘poly’)
        w której jako funkcja jądra wybrano wielomian.
      4. Wytrenuj model uczenia maszynowego. Na przykład użyj powyższego klasyfikatora w języku Python, aby wytrenować model SVM:
        classifier.fit(training_set_X, training_set_Y)).
      5. Oblicz wartości estymowane modelu, korzystając ze zbioru danych testowych (lub surowego zbioru danych). Na przykład, użyj funkcji estimate w języku Python w następujący sposób: estymacje = classifier.predict(testing_set_X) gdzie testing_set_X reprezentuje wartości x zbioru testowego.
      6. Powtórz kroki od 2.5.6.1 do 2.5.6.5 tyle razy, ile wynosi liczba k określona w k-krotnej walidacji krzyżowej (lub tyle razy, ile wymaga podejście LOSO).
      7. Powtórz kroki od 2.5.6.1 do 2.5.6.6 dla każdego wybranego modelu uczenia maszynowego.
        UWAGA: W tym miejscu protokół można przerwać.
    7. Porównaj metody uczenia maszynowego, testując wybrane modele na zbiorze danych testowych. Można zastosować inne wskaźniki oceny: dokładność (Równanie 1), precyzja (Równanie 2), czułość (Równanie 3), swoistość (Równanie 4) lub miarę F1 (Równanie 5), gdzie TP są wynikami prawdziwie dodatnimi, TN są wyników prawdziwie ujemnych, FP czy wyniki fałszywie dodatnie i FN są wynikami fałszywie ujemnymi.
      równanie dokładności, TP+TN/TP+TN+FP+FN, równanie w statystyce, wzór, analiza danych
      Wzór na precyzję, precyzja = TP/(TP+FP), równanie dla analizy dokładności klasyfikacji.
      Równanie czułości, TP/(TP+FN), wzór na schemacie analizy statystycznej.
      Wzór na równowagę statyczną, swoistość = TN/(TN+FP), przedstawienie równania.
      Wzór na wskaźnik F1; 2*(precyzja*czułość)/(precyzja+czułość); obraz równania.
    8. Należy wykorzystać inne korzystne mierniki wydajności, takie jak macierz pomyłek9 do oceny zadania klasyfikacji modeli uczenia maszynowego lub niezależnej od decyzji precyzji i pełności (precision-recall)9 (PR) lub charakterystyka operacyjna odbiornika9 krzywe (ROC). W tej metodologii czułość (recall) i czułość (sensitivity) są uważane za równoważne.
    9. Do porównania modeli uczenia maszynowego należy wykorzystać ich cechy jakościowe, takie jak: łatwość interpretacji uczenia maszynowego; wydajność w czasie rzeczywistym; ograniczone zasoby czasu, pamięci i mocy obliczeniowej oraz łatwość wdrażania uczenia maszynowego w urządzeniach brzegowych lub systemach wbudowanych.
    10. Wybierz najlepszy model uczenia maszynowego, korzystając z informacji z: Metryki jakości (Równania 1–5), wskaźniki wydajności oraz cechy jakościowe wykonalności uczenia maszynowego dla kroków 2.5.6, 2.5.7 i 2.5.8.
      UWAGA: Na tym etapie protokół można przerwać.

3. Uproszczenie systemu

  1. Wybierz odpowiednie rozmieszczenie źródeł informacji. Czasami konieczne jest określenie optymalnego rozmieszczenia źródeł informacji (np. która lokalizacja sensora ubieralnego jest lepsza).
    1. Określ podzbiór źródeł informacji, które zostaną poddane analizie. Na przykład, jeśli w obrębie ciała znajduje się pięć sensorów ubieralnych i należy wybrać tylko jeden jako najlepiej rozmieszczony sensor, każdy z tych sensorów będzie częścią podzbioru.
    2. Dla każdego źródła informacji w tym podzbiorze utwórz oddzielny zestaw danych i przechowuj go osobno. Pamiętaj, że zestaw ten może być albo poprzednim zestawem danych cech, albo surowym zestawem danych.
      UWAGA: Protokół można w tym miejscu przerwać.
  2. Wybierz metodę klasyfikacji uczenia maszynowego i wytrenuj model dla jednego rozmieszczenia źródła informacji. Wykonaj kroki od 2.5.1 do 2.5.6, wykorzystując każdy z zestawów danych utworzonych w kroku 3.1.2. Wyznacz najbardziej odpowiednie rozmieszczenie źródła informacji poprzez ranking. W niniejszym studium przypadku wykorzystano następujące metody: SVM, RF, MLP oraz KNN.
    Uwaga: Protokół można w tym miejscu przerwać.
  3. Wybierz odpowiednie rozmieszczenia w podejściu multimodalnym, jeśli dla systemu wymagane jest połączenie dwóch lub więcej źródeł informacji (np. połączenie jednego sensora ubieralnego i jednej kamery). W tym studium przypadku jako modalności wykorzystano sensor ubieralny przy pasie oraz kamerę 1 (widok boczny).
    1. Wybierz najlepsze źródło informacji dla każdej modalności w systemie i utwórz połączony zestaw danych cech (lub surowy zestaw danych), korzystając z niezależnych zestawów danych tych źródeł informacji.
    2. Wybierz metodę klasyfikacji uczenia maszynowego i wytrenuj model dla tych połączonych źródeł informacji. Wykonaj kroki 2.5.1 do 2.5.6, korzystając z połączonego zestawu danych cech (lub surowego zestawu danych). W niniejszym badaniu wykorzystano następujące metody: SVM, RF, MLP oraz KNN.
      UWAGA: Protokół można w tym miejscu przerwać.

4. Ocena

  1. Przygotuj nowy zestaw danych z użytkownikami w bardziej realistycznych warunkach. Wykorzystaj wyłącznie źródła informacji wybrane w poprzednim kroku. Wskazane jest wdrożenie systemu w grupie docelowej (np. osoby starsze). Zbieraj dane w dłuższych przedziałach czasowych.
    1. Opcjonalnie, w przypadku wykorzystania wyłącznie grupy docelowej, stwórz protokół doboru grupy, uwzględniający kryteria wykluczenia (np. jakiekolwiek upośledzenie fizyczne lub psychiczne) oraz kryteria przerwania badania (np. stwierdzenie jakiegokolwiek urazu fizycznego podczas prób, nudności, zawroty głowy i/lub wymioty, omdlenie). Rozważ również kwestie etyczne oraz ochronę prywatności danych.
  2. Oceń działanie opracowanego systemu wykrywania upadków i rozpoznawania aktywności ludzkiej. Użyj równań 1–5 w celu określenia dokładności i mocy predykcyjnej systemu lub zastosuj inne mierniki wydajności.
  3. Omów wnioski wynikające z rezultatów eksperymentalnych.

Wyniki

Tworzenie bazy danych
Stworzyliśmy multimodalny zbiór danych do detekcji upadków i rozpoznawania aktywności ludzkiej, o nazwie UP-Fall Detection21. Dane zostały zebrane w ciągu czterech tygodni w School of Engineering na Universidad Panamericana (Meksyk, Meksyk). Scenariusz testowy wybrano, biorąc pod uwagę następujące wymagania: (a) przestrzeń, w której badani mogli komfortowo i bezpiecznie symulować upadki oraz wykonywać czynności, oraz (b) środowisko wewnętrzne z naturalnym i sztucznym oświetleniem, odpowiednie dla ustawień sensorów multimodalnych.

Dostępne są próbki danych od 17 badanych, którzy wykonali 5 typów upadków oraz 6 różnych prostych czynności w trakcie 3 prób. Wszystkie informacje zebrano za pomocą wewnętrznego systemu akwizycji danych, składającego się z 5 czujników ubieralnych (trójosiowy akcelerometr, żyroskop i czujnik natężenia światła), 1 kasku elektroencefalograficznego, 6 czujników podczerwieni jako czujników otoczenia oraz 2 kamer umieszczonych w punktach widzenia bocznego i przedniego. Rysunek 1 przedstawia schemat rozmieszczenia czujników w środowisku i na ciele. Częstotliwość próbkowania całego zbioru danych wynosi 18 Hz. Baza danych zawiera dwa zestawy danych: skonsolidowany zestaw danych surowych (812 GB) oraz zestaw danych cech (171 GB). Wszystkie bazy danych zostały zapisane w chmurze w celu zapewnienia publicznego dostępu: https://sites.google.com/up.edu.mx/har-up/. Więcej szczegółów dotyczących akwizycji, wstępnego przetwarzania, konsolidacji i przechowywania tej bazy danych, a także informacje o synchronizacji i spójności danych można znaleźć w pracy Martínez-Villaseñor et al.21.

W przypadku tej bazy danych wszystkimi badanymi byli zdrowi młodzi ochotnicy (9 mężczyzn i 8 kobiet) bez żadnych dysfunkcji, w wieku od 18 do 24 lat, ze średnim wzrostem 1,6 m i średnią masą ciała 6,8 kg. Podczas gromadzenia danych badacz odpowiedzialny za kwestie techniczne nadzorował, aby wszystkie czynności były wykonywane przez badanych prawidłowo. Osoby badane wykonały pięć rodzajów upadków, z każdego po 10 s, obejmujących: upadek do przodu z użyciem dłoni (1), upadek do przodu z użyciem kolan (2), upadek w tył (3), siadanie na pustym krześle (4) oraz upadek na bok (5). Wykonano również sześć czynności dnia codziennego trwających po 60 s każda, z wyjątkiem skakania (30 s): chodzenie (6), stanie (7), podnoszenie przedmiotu (8), siedzenie (9), skakanie (10) i leżenie (1). Chociaż symulowane upadki nie mogą odwzorować wszystkich rodzajów upadków w życiu rzeczywistym, istotne jest włączenie przynajmniej reprezentatywnych typów upadków, co umożliwia stworzenie lepszych modeli detekcji upadków. Istotne jest również zastosowanie ADL (czynności dnia codziennego), a w szczególności aktywności, które mogą być zazwyczaj pomylone z upadkami, takich jak podnoszenie przedmiotu. Rodzaje upadków i ADL wybrano po przeanalizowaniu pokrewnych systemów detekcji upadków21. Przykładowo, Rycina 2 przedstawia sekwencję obrazów z jednej próby, w której badany upada na bok.

Wyekstrahowano 12 cech czasowych (średnia, odchylenie standardowe, amplituda maksymalna, amplituda minimalna, wartość skuteczna RMS, mediana, liczba przejść przez zero, skośność, kurtoza, pierwszy kwartyl, trzeci kwartyl oraz autokorelacja) i 6 cech częstotliwościowych (średnia, mediana, entropia, energia, częstotliwość główna oraz centroid widmowy)21 z każdego kanału czujników ubieralnych i środowiskowych, co łącznie dało 756 cech. Obliczono również 40 cech wizualnych21 dla każdej kamery, dotyczących względnego ruchu pikseli pomiędzy dwoma sąsiednimi obrazami w materiałach wideo.

Analiza danych pomiędzy podejściami unimodalnymi a multimodalnymi
Wykorzystując bazę danych UP-Fall Detection, przeanalizowano dane w celu porównania podejść unimodalnych i multimodalnych. W tym celu porównano siedem różnych kombinacji źródeł informacji: wyłącznie czujniki podczerwieni (IR); wyłącznie czujniki ubieralne (IMU); czujniki ubieralne i kask (IMU+EEG); czujniki podczerwieni, ubieralne oraz kask (IR+IMU+EEG); wyłącznie kamery (CAM); czujniki podczerwieni i kamery (IR+CAM); oraz czujniki ubieralne, kask i kamery (IMU+EEG+CAM). Dodatkowo porównano trzy różne rozmiary okien czasowych z 50% nakładaniem: jedną sekundę, dwie sekundy i trzy sekundy. Dla każdego segmentu wybrano najużyteczniejsze cechy, stosując selekcję i ranking cech. Przy zastosowaniu tej strategii wykorzystano jedynie 10 cech na każdą modalność, z wyjątkiem modalności IR, w której użyto 40 cech. Ponadto porównanie przeprowadzono z wykorzystaniem czterech znanych klasyfikatorów uczenia maszynowego: RF, SVM, MLP i KNN. Do trenowania modeli uczenia maszynowego zastosowano 10-krotną walidację krzyżową, z podziałem zbiorów danych na 70% do trenowania i 30% do testowania. Tabela 1 przedstawia wyniki tego benchmarku, raportując najlepszą wydajność uzyskaną dla każdej modalności w zależności od modelu uczenia maszynowego i najlepszej konfiguracji długości okna. Metryki oceny obejmują dokładność (accuracy), precyzję (precision), czułość (sensitivity), swoistość (specificity) oraz wskaźnik F1 (F1-score). Rysunek 3 przedstawia te wyniki w formie graficznej w odniesieniu do wskaźnika F1.

Z Tabeli 1 wynika, że podejścia multimodalne (czujniki podczerwieni i urządzenia ubieralne oraz kask, IR+IMU+EEG; oraz urządzenia ubieralne, kask i kamery, IMU+EEG+CAM) uzyskały najwyższe wartości wskaźnika F1 w porównaniu z podejściami unimodalnymi (wyłącznie podczerwień, IR; oraz wyłącznie kamery, CAM). Zauważyliśmy również, że zastosowanie samych urządzeń ubieralnych (IMU) pozwoliło uzyskać wydajność zbliżoną do podejścia multimodalnego. W tym przypadku zdecydowaliśmy się na podejście multimodalne, ponieważ różne źródła informacji mogą niwelować ograniczenia wynikające z innych źródeł. Na przykład uciążliwość kamer może zostać zrekompensowana przez czujniki ubieralne, a brak wszystkich czujników ubieralnych może zostać uzupełniony przez kamery lub czujniki środowiskowe.

W odniesieniu do punktu odniesienia dla modeli opartych na danych, eksperymenty przedstawione w Tabeli 1 wykazały, że RF osiąga najlepsze wyniki w niemal wszystkich badaniach; tymczasem MLP i SVM nie wykazywały spójnej wydajności (np. odchylenie standardowe w tych technikach wykazuje większą zmienność niż w RF). Jeśli chodzi o rozmiary okna, nie odnotowano między nimi żadnej znaczącej poprawy. Należy zauważyć, że eksperymenty te zostały przeprowadzone w celu klasyfikacji upadków oraz aktywności człowieka.

Rozmieszczenie czujników i najlepsza kombinacja multimodalna
Z drugiej strony, dążyliśmy do wyznaczenia najlepszej kombinacji urządzeń multimodalnych do detekcji upadków. W tej analizie ograniczyliśmy źródła informacji do pięciu czujników noszonych oraz dwóch kamer. Urządzenia te zapewniają największy komfort w ramach zastosowanego podejścia. Ponadto rozważono dwie klasy: upadek (każdy rodzaj upadku) lub brak upadku (jakakolwiek inna aktywność). Wszystkie modele uczenia maszynowego oraz rozmiary okien pozostały takie same jak w poprzedniej analizie.

Dla każdego czujnika ubieralnego zbudowano niezależny model klasyfikatora dla każdej długości okna. Model trenowano z wykorzystaniem 10-krotnej walidacji krzyżowej, z podziałem danych na zbiór treningowy w 70% i testowy w 30%. W Tabeli 2 podsumowano wyniki rankingu czujników ubieralnych według wydajności klasyfikatora na podstawie wskaźnika F1-score. Wyniki te zostały uporządkowane w kolejności malejącej. Jak widać w Tabeli 2, najlepszą wydajność uzyskano przy zastosowaniu pojedynczego czujnika umieszczonego w pasie, na szyi lub w prawej kieszeni spodni (obszar zacieniony). Ponadto czujniki ubieralne umieszczone na kostce i lewym nadgarstku wykazały najgorsze wyniki. Tabela 3 przedstawia preferowaną długość okna dla każdego czujnika ubieralnego w celu uzyskania najlepszej wydajności w każdym klasyfikatorze. Z wyników wynika, że czujniki w pasie, na szyi i w prawej kieszeni spodni, przy zastosowaniu klasyfikatora RF oraz rozmiaru okna 3 s z 50% nakładaniem, są najbardziej odpowiednimi czujnikami ubieralnymi do detekcji upadków.

Przeprowadziliśmy podobną analizę dla każdej kamery w systemie. Dla każdego rozmiaru okna zbudowaliśmy niezależny model klasyfikatora. Do szkolenia zastosowano 10-krotną walidację krzyżową z podziałem danych na 70% zestawu treningowego i 30% zestawu testowego. Tabela 4 przedstawia ranking najlepszych punktów widzenia kamer dla każdego klasyfikatora na podstawie miary F1-score. Zaobserwowano, że widok boczny (kamera 1) zapewnił najskuteczniejszą detekcję upadków. Ponadto RF uzyskał lepsze wyniki w porównaniu z pozostałymi klasyfikatorami. Tabela 5 przedstawia preferowaną długość okna dla każdego punktu widzenia kamery. Z wyników wynika, że najlepszą lokalizacją kamery jest widok boczny przy zastosowaniu RF z rozmiarem okna 3 s i 50% nakładaniem.

Na koniec wybrano dwa możliwe miejsca rozmieszczenia czujników noszonych (tj. pas oraz ciasna prawa kieszeń), które miały zostać połączone z kamerą o punkcie widzenia bocznym. Po przeprowadzeniu tej samej procedury treningowej uzyskano wyniki przedstawione w Tabeli 6. Jak pokazano, klasyfikator modelu RF osiągnął najlepszą dokładność oraz wartość wskaźnika F1 w obu multimodalnościach. Ponadto kombinacja pasa i kamery 1 zajęła pierwsze miejsce, osiągając 98,72% dokładności i 95,7% wskaźnika F1.

Schemat systemu przechwytywania ruchu z czujnikami podczerwieni i kamerami śledzącymi punkty ciała.
Rysunek 1: Układ czujników ubieralnych (po lewej) i środowiskowych (po prawej) w bazie danych UP-Fall Detection. Czujniki ubieralne są rozmieszczone na czole, lewym nadgarstku, szyi, w pasie, w prawej kieszeni spodni oraz na lewej kostce. Czujniki środowiskowe obejmują sześć par czujników podczerwieni do wykrywania obecności badanych oraz dwie kamery. Kamery są ustawione w widoku bocznym oraz widoku przednim, oba w odniesieniu do upadku człowieka. Aby wyświetlić powiększoną wersję tej ryciny, kliknij tutaj.

Schemat analizy wideo, materiał z kamery, ekstrakcja cech w czasie dla badań nad śledzeniem ruchu.
Rysunek 2: Przykład nagrania wideo wyekstrahowanego z bazy danych UP-Fall Detection. W górnej części znajduje się sekwencja obrazów przedstawiająca obiekt upadający na bok. W dolnej części znajduje się sekwencja obrazów reprezentująca wyekstrahowane cechy wizualne. Cechami tymi jest wzglendny ruch pikseli pomiędzy dwoma sąsiadującymi obrazami. Białe piksele reprezentują szybszy ruch, natomiast czarne piksele reprezentują ruch wolniejszy (lub bliski zeru). Sekwencja ta jest ułożona chronologicznie od lewej do prawej. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Wykres słupkowy porównujący wartości miary F1 dla różnych modalności (IR, IMU, EEG) z wykorzystaniem metod RF, SVM, MLP oraz KNN.
Rysunek 3: Wyniki porównawcze przedstawiające najlepszą wartość miary F1 dla każdej modalności w zależności od modelu uczenia maszynowego oraz optymalnej długości okna. Słupki przedstawiają średnie wartości miary F1. Tekst w punktach danych przedstawia średnią oraz odchylenie standardowe w nawiasie. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

ModalnośćModelDokładność (%)Precyzja (%)Czułość (%)Swoistość (%)Wynik F1 (%)
IRRF (3 sek.)67.38 ± 0.6536.45 ± 2.4631.26 ± 0.8996.63 ± 0.0732.16 ± 0.99
SVM (3 sek.)65.16 ± 0.9026.77 ± 0.5825.16 ± 0.2996.31 ± 0.0923.89 ± 0.41
MLP (3 sek.)65.69 ± 0.8928.19 ± 3.5626.40 ± 0.7196.41 ± 0.0825.13 ± 1.09
kNN (3 s)61.79 ± 1.4730.04 ± 1.4427.55 ± 0.9796.05 ± 0.1627.89 ± 1.13
IMU (jednostka pomiaru inercyjnego)RF (1 s)95.76 ± 0.1870.78 ± 1.5366.91 ± 1.2899.59 ± 0.0268.35 ± 1.25
SVM (1 s)93.32 ± 0.2366.16 ± 3.3358.82 ± 1.5399.32 ± 0.0260.00 ± 1.34
MLP (1 s)95.48 ± 0.2573.04 ± 1.8969.39 ± 1.4799.56 ± 0.0270.31 ± 1.48
kNN (1 s)94.90 ± 0.1869.05 ± 1.6364.28 ± 1.5799.50 ± 0.0266.03 ± 1.52
IMU+EEGRF (1 s)95.92 ± 0.2974.14 ± 1.2966.29 ± 1.6699.59 ± 0.0369.03 ± 1.48
SVM (1 s)90.77 ± 0.3662.51 ± 3.3452.46 ± 1.1999.03 ± 0.0353.91 ± 1.16
MLP (1 s)93.33 ± 0.5574.10 ± 1.6165.32 ± 1.1599.32 ± 0.0568.13 ± 1.16
kNN (1 s)92.12 ± 0.3166.86 ± 1.3258.30 ± 1.2098.89 ± 0.0560.56 ± 1.02
IR+IMU+EEGRF (2 s)95.12 ± 0.3674.63 ± 1.6566.71 ± 1.9899.51 ± 0.0369.38 ± 1.72
SVM (1 s)90.59 ± 0.2764.75 ± 3.8952.63 ± 1.4299.01 ± 0.0253.94 ± 1.47
MLP (1 s)93.26 ± 0.6973.51 ± 1.5966.05 ± 1.1199.31 ± 0.0768.19 ± 1.02
kNN (1 s)92.24 ± 0.2567.33 ± 1.9458.11 ± 1.6199.21 ± 0.0260.36 ± 1.71
CAMRF (3 s)32.33 ± 0.9014.45 ± 1.0714.48 ± 0.8292.91 ± 0.0914.38 ± 0.89
SVM (2 s)34.40 ± 0.6713.81 ± 0.2214.30 ± 0.3192.97 ± 0.0613.83 ± 0.27
MLP (3 s)27.08 ± 2.038.59 ± 1.6910.59 ± 0.3892.21 ± 0.097.31 ± 0.82
kNN (3 sek)34.03 ± 1.1115.32 ± 0.7315.54 ± 0.5793.09 ± 0.1115.19 ± 0.52
IR+CAMRF (3 s)65.00 ± 0.6533.93 ± 2.8129.02 ± 0.8996.34 ± 0.0729.81 ± 1.16
SVM (3 sek)64.07 ± 0.7924.10 ± 0.9824.18 ± 0.1796.17 ± 0.0722.38 ± 0.23
MLP (3 sek)65.05 ± 0.6628.25 ± 3.2025.40 ± 0.5196.29 ± 0.0624.39 ± 0.88
kNN (3 sek.)60.75 ± 1.2929.91 ± 3.9526.25 ± 0.9095.95 ± 0.1126.54 ± 1.42
IMU+EEG+CAMRF (1 s)95.09 ± 0.2375.52 ± 2.3166.23 ± 1.1199.50 ± 0.0269.36 ± 1.35
SVM (1 s)91.16 ± 0.2566.79 ± 2.7953.82 ± 0.7099.07 ± 0.0255.82 ± 0.77
MLP (1 s)94.32 ± 0.3176.78 ± 1.5967.29 ± 1.4199.42 ± 0.0370.44 ± 1.25
kNN (1 s)92.06 ± 0.2468.82 ± 1.6158.49 ± 1.1499.19 ± 0.0260.51 ± 0.85

Tabela 1: Wyniki porównawcze przedstawiające najlepszą wydajność każdej modalności w odniesieniu do modelu uczenia maszynowego oraz najlepszej długości okna (w nawiasie). Wszystkie wartości wydajności reprezentują średnią i odchylenie standardowe.

#Typ IMU
RFSVMMLPKNN
1(98,36) Talia(83,30) Prawa kieszeń(57,67) Prawa kieszeń(73,19) Prawa kieszeń
2(95,7) Szyja(83,2) Talia(44,93) Szyja(68,73) Talia
3(95,35) Prawa kieszeń(83,1) Szyja(39,54) Talia(65,06) Szyja
4(95,06) Kostka(82,96) Kostka(39,06) Lewy nadgarstek(58,26) Kostka
5(94,6) Lewy nadgarstek(82,82) Lewy nadgarstek(37,56) Kostka(51,63) Lewy nadgarstek

Tabela 2: Ranking najlepszych czujników ubieralnych dla każdego klasyfikatora, posortowany według wyniku F1-score (w nawiasach). Zacienione obszary reprezentują trzech najlepszych klasyfikatorów w wykrywaniu upadków.

typ IMUDługość okna
RFSVM (maszyna wektorów wspierających)MLP (wielowarstwowy perceptron)K-najbliższych sąsiadów (KNN)
Lewa kostka2 s3 sek.1 s3 sek.
Talia3 sek.1 s1 s2 s
Szyja3 sek.3 sek.2 sek.2 s
Prawa kieszeń3 sek.3 sek.2 sek.2 s
Lewy nadgarstek2 s2 sek.2 s2 sek.

Tabela 3: Preferowana długość okna czasowego w czujnikach ubieralnych dla każdego klasyfikatora.

#Widok z kamery
RFSVM (Maszyna Wektorów Wspierających)MLP (wielowarstwowy perceptron)K-najbliższych sąsiadów (KNN)
1(62,27) Widok boczny(24.25) Widok z boku(13.78) Widok z przodu(41.52) Widok boczny
2(5,71) Widok z przodu(0,20) Widok z przodu(5.51) Widok boczny(28.13) Widok z przodu

Tabela 4: Ranking najlepszych punktów widzenia kamery dla każdego klasyfikatora, posortowany według wartości F1-score (w nawiasach). Obszary zaznaczone cieniem reprezentują najlepszy klasyfikator do wykrywania upadków.

KameraDługość okna
RFSVM (maszyna wektorów wspierających)MLP (wielowarstwowy perceptron)k-najbliższych sąsiadów
Widok z boku3 sek.3 sek.2 sek.3 sek.
Widok z przodu2 s2 s3 sek.2 s

Tabela 5: Preferowana długość okna czasowego w widokach kamery dla każdego klasyfikatora.

Tryb multimodalnyKlasyfikatorDokładność (%)Precyzja (%)Czułość (%)Wskaźnik F1 (%)
Pas
+
Widok boczny		RF98.72 ± 0.3594.01 ± 1.5197.63 ± 1.5695.7 ± 1.15
SVM95.59 ± 0.401070.26 ± 2.7182.51 ± 1.85
MLP7.67 ± 1.043.73 ± 1.6937.1 ± 26.7429.81 ± 12.81
KNN91.71 ± 0.6177.90 ± 3.361.64 ± 3.6868.73 ± 2.58
Prawa kieszeń
+
Widok boczny		RF98.41 ± 0.4993.64 ± 1.4695.79 ± 2.6594.69 ± 1.67
SVM95.79 ± 0.581071.58 ± 3.9183.38 ± 2.64
MLP84.92 ± 2.985.70 ± 1.3648.29 ± 25.145.21 ± 14.19
KNN91.71 ± 0.5873.63 ± 3.1968.95 ± 2.7371.13 ± 1.69

Tabela 6: Wyniki porównawcze połączonego sensora ubieralnego i punktu widzenia kamery przy zastosowaniu okna o długości 3 s. Wszystkie wartości przedstawiają średnią i odchylenie standardowe.

Dyskusja

Podczas tworzenia zestawu danych często występują wyzwania związane z synchronizacją, organizacją i niespójnością danych20 .

Synchronizacja
Podczas pozyskiwania danych pojawiają się problemy z synchronizacją, biorąc pod uwagę, że wiele czujników często działa z różnymi częstotliwościami próbkowania. Czujniki o wyższych częstotliwościach zbierają więcej danych niż te o niższych częstotliwościach. W związku z tym dane z różnych źródeł nie zostaną poprawnie sparowane. Nawet jeśli czujniki działają z tą samą częstotliwością próbkowania, możliwe jest, że dane nie zostaną wyrównane. W związku z tym następujące zalecenia mogą pomóc w rozwiązaniu tych problemów z synchronizacją20: (i) rejestrować znacznik czasu, temat, aktywność i próbę w każdej próbce danych uzyskanej z czujników; (ii) najbardziej spójne i najrzadsze źródło informacji musi być używane jako sygnał odniesienia dla synchronizacji; oraz (iii) używać automatycznych lub półautomatycznych procedur do synchronizacji nagrań wideo, które byłyby niepraktyczne w przypadku ręcznej kontroli.

Wstępne przetwarzanie danych
Konieczne jest również wstępne przetwarzanie danych, a na proces ten wpływają krytyczne decyzje: (a) określić metody przechowywania danych i reprezentacji danych z wielu i niejednorodnych źródeł (b) zdecydować o sposobach przechowywania danych na hoście lokalnym lub w chmurze (c) wybrać organizację danych, w tym nazwy plików i foldery (d) poradzić sobie z brakującymi wartościami danych, a także nadmiarowościami znalezionymi w czujnikach, między innymi. Ponadto w przypadku chmury danych zaleca się buforowanie lokalne, jeśli to możliwe, w celu ograniczenia utraty danych w czasie przekazywania.

Niespójność danych
Niespójność danych jest powszechna między badaniami wykazującymi różnice w wielkości próby danych. Problemy te są związane z pozyskiwaniem danych w czujnikach ubieralnych. Krótkie przerwy w pozyskiwaniu danych i kolizje danych z wielu czujników prowadzą do niespójności danych. W takich przypadkach algorytmy wykrywania niespójności są ważne do obsługi awarii online w czujnikach. Należy podkreślić, że urządzenia bezprzewodowe powinny być często monitorowane przez cały czas trwania eksperymentu. Niski poziom naładowania baterii może mieć wpływ na łączność i spowodować utratę danych.

Etyczny
Zgoda na udział i etyczna aprobata są obowiązkowe w każdym rodzaju eksperymentów, w które zaangażowani są ludzie.

Jeśli chodzi o ograniczenia tej metodologii, należy zauważyć, że została ona zaprojektowana z myślą o podejściach, które uwzględniają różne sposoby gromadzenia danych. Systemy mogą obejmować czujniki ubieralne, czujniki otoczenia i/lub czujniki wizyjne. Sugeruje się uwzględnienie zużycia energii przez urządzenia i żywotności baterii w czujnikach bezprzewodowych, ze względu na takie problemy, jak utrata gromadzenia danych, zmniejszająca się łączność i zużycie energii w całym systemie. Co więcej, metodyka ta jest przeznaczona dla systemów wykorzystujących metody uczenia maszynowego. Wcześniej należy przeprowadzić analizę wyboru tych modeli uczenia maszynowego. Niektóre z tych modeli mogą być dokładne, ale bardzo czasochłonne i energochłonne. Należy wziąć pod uwagę kompromis między dokładnym oszacowaniem a ograniczoną dostępnością zasobów do obliczeń w modelach uczenia maszynowego. Należy również zauważyć, że w ramach gromadzenia danych przez system działania były prowadzone w tej samej kolejności; Również próby przeprowadzono w tej samej kolejności. Ze względów bezpieczeństwa używano materaca ochronnego, na który można było upaść. Ponadto upadki były inicjowane przez samego siebie. Jest to istotna różnica między symulowanymi a rzeczywistymi upadkami, które na ogół występują w kierunku twardych materiałów. W tym sensie ten zestaw danych zarejestrował upadki z intuicyjną reakcją, próbując nie upaść. Co więcej, istnieją pewne różnice między rzeczywistymi upadkami u osób starszych lub niepełnosprawnych a upadkami symulowanymi; A te muszą być brane pod uwagę przy projektowaniu nowego systemu wykrywania upadków. Badanie to koncentrowało się na młodych ludziach bez żadnych upośledzeń, ale godne uwagi jest stwierdzenie, że dobór badanych powinien być dostosowany do celu systemu i populacji docelowej, która będzie z niego korzystać.

Z powiązanych prac opisanych powyżej 10,11,12,13,14,15,16,17,18 możemy zaobserwować, że są autorzy, którzy stosują podejścia multimodalne koncentrując się na uzyskaniu solidnych detektorów upadku lub koncentrują się na umiejscowieniu lub wydajności klasyfikatora. W związku z tym rozwiązują tylko jeden lub dwa problemy projektowe związane z wykrywaniem upadków. Nasza metodologia pozwala na jednoczesne rozwiązanie trzech głównych problemów projektowych systemu wykrywania upadków.

Na potrzeby przyszłych prac sugerujemy zaprojektowanie i wdrożenie prostego multimodalnego systemu wykrywania upadków w oparciu o wyniki uzyskane zgodnie z tą metodologią. W celu wdrożenia w świecie rzeczywistym należy stosować uczenie transferowe, klasyfikację hierarchiczną i podejścia oparte na uczeniu głębokim w celu opracowania bardziej niezawodnych systemów. Nasza implementacja nie uwzględniała wskaźników jakościowych modeli uczenia maszynowego, ale czas rzeczywisty i ograniczone zasoby obliczeniowe muszą być brane pod uwagę przy dalszym rozwoju systemów wykrywania/rozpoznawania upadków i aktywności ludzi. Wreszcie, w celu ulepszenia naszego zestawu danych, można rozważyć potknięcia lub prawie upadki oraz monitorowanie wolontariuszy w czasie rzeczywistym podczas ich codziennego życia.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

To badanie zostało sfinansowane przez Universidad Panamericana poprzez grant "Fomento a la Investigación UP 2018", pod kodem projektu UP-CI-2018-ING-MX-04.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
Czujnik do noszenia na ciele do pomiaru inercyjnegoMbientlabMTH-MetaTrackerTrójosiowy akcelerometr, trójosiowy żyroskop i czujnik natężenia światła do noszenia.
Kask z czujnikiem mózgu elektroencefalografu MindWaveNeuroSky80027-007Surowy sygnał fal mózgowych z jednym czujnikiem forehandowym.
Kamera wideo LifeCam Cinema Kamerawideo MicrosoftH5D-000022D RGB z interfejsem USB.
Czujnik podczerwieniAleanABT-60Czujnik zbliżeniowy z normalnie zamkniętym przekaźnikiem.
Klucz sprzętowy BluetoothMbientlabBLEDongle do połączenia Bluetooth między czujnikami do noszenia a komputerem.
Raspberry PiRaspberryVersion 3 Model BMikrokontroler do akwizycji czujnika podczerwieni i interfejsu komputerowego.
Komputer osobistyDellIntel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB

Bibliografia

  1. United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
  2. World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
  3. Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66(2013).
  4. Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
  5. Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
  6. Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
  7. Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418(2018).
  8. Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
  9. Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33(2014).
  10. Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
  11. Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
  12. Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
  13. Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155(2018).
  14. Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161(2016).
  15. Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
  16. Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062(2012).
  17. Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
  18. Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
  19. Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
  20. Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
  21. Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988(2019).
  22. Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
  23. Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757(2016).

Przedruki i uprawnienia

Tagi

Rozpoznawanie aktywno ci cz owiekasensory multimodalneklasyfikacja przy u yciu uczenia maszynowegoanaliza rozmieszczenia sensor wsensory ubieralneklasyfikator Random Forestsystem akwizycji danychk krotna walidacja krzy owazbi r cech
Projektowanie i analiza w celu uproszczenia systemu wykrywania upadków
Skontaktuj się z nami
Poleć bibliotece

Prywatność

Warunki Korzystania

Zasady

Copyright © 2026 MyJoVE Corporation. Wszelkie prawa zastrzeżone.