Name: Projektowanie i analiza w celu uproszczenia systemu wykrywania upadków (Wideo) | JoVE Journal
Uploaded: 2020-04-06T13:00:00.000+00:00
Duration: 8 min 5 s
Description: Poznaj metodologię wykrywania upadków z wykorzystaniem multimodalnych sensorów i uczenia maszynowego. System zwiększa dokładność rozpoznawania aktywności człowieka w opiece zdrowotnej i rehabilitacji.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

To badanie zostało sfinansowane przez Universidad Panamericana poprzez grant "Fomento a la Investigación UP 2018", pod kodem projektu UP-CI-2018-ING-MX-04.

<ol><li>United Nations. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((World+Population+Prospects%3A+The+2017+Revision%2C+Key+Findings+and+Advance+Tables%5BTitle%5D)+AND+%22United+Nations.+Department+of+Economic+and+Social+Affairs%2C+Population+Division%22%5BJournal%5D)">World Population Prospects: The 2017 Revision, Key Findings and Advance Tables.</a> United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).</li>
<li>World Health Organization. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ageing%2C+and+Life+Course+Unit%5BTitle%5D)+AND+%22WHO+Global+Report+on+Falls+Prevention+in+Older+Age%22%5BJournal%5D)">Ageing, and Life Course Unit.</a> WHO Global Report on Falls Prevention in Older Age. , (2008).</li>
<li>Igual, R., Medrano, C., Plaza, I. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Challenges%2C+Issues+and+Trends+in+Fall+Detection+Systems%5BTitle%5D)+AND+%22Biomedical+Engineering+Online%22%5BJournal%5D)">Challenges, Issues and Trends in Fall Detection Systems.</a> Biomedical Engineering Online. 12 (1), 66(2013).</li>
<li>Noury, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fall+Detection-Principles+and+Methods%5BTitle%5D)+AND+%222007+29th+Annual+International+Conference+of+the+IEEE+Engineering+in+Medicine+and+Biology+Society%22%5BJournal%5D)">Fall Detection-Principles and Methods.</a> 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).</li>
<li>Mubashir, M., Shao, L., Seed, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Survey+on+Fall+Detection%3A+Principles+and+Approaches%5BTitle%5D)+AND+%22Neurocomputing%22%5BJournal%5D)">A Survey on Fall Detection: Principles and Approaches.</a> Neurocomputing. 100, 144-152 (2002).</li>
<li>Perry, J. T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survey+and+Evaluation+of+Real-Time+Fall+Detection+Approaches%5BTitle%5D)+AND+%22Proceedings+of+the+6th+International+Symposium+High-Capacity+Optical+Networks+and+Enabling+Technologies%22%5BJournal%5D)">Survey and Evaluation of Real-Time Fall Detection Approaches.</a> Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).</li>
<li>Xu, T., Zhou, Y., Zhu, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((New+Advances+and+Challenges+of+Fall+Detection+Systems%3A+A+Survey%5BTitle%5D)+AND+%22Applied+Sciences%22%5BJournal%5D)">New Advances and Challenges of Fall Detection Systems: A Survey.</a> Applied Sciences. 8 (3), 418(2018).</li>
<li>Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Robust+Video+Surveillance+for+Fall+Detection+Based+on+Human+Shape+Deformation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Circuit+Systems+for+Video+Technologies%22%5BJournal%5D)">Robust Video Surveillance for Fall Detection Based on Human Shape Deformation.</a> IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).</li>
<li>Bulling, A., Blanke, U., Schiele, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Tutorial+on+Human+Activity+Recognition+Using+Body-Worn+Inertial+Sensors%5BTitle%5D)+AND+%22ACM+Computing+Surveys%22%5BJournal%5D)">A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors.</a> ACM Computing Surveys. 46 (3), 33(2014).</li>
<li>Kwolek, B., Kepski, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+Fall+Detection+on+Embedded+Platform+Using+Depth+Maps+and+Wireless+Accelerometer%5BTitle%5D)+AND+%22Computational+Methods+and+Programs+in+Biomedicine%22%5BJournal%5D)">Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer.</a> Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).</li>
<li>Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Berkeley+MHAD%3A+A+Comprehensive+Multimodal+Human+Action+Database%5BTitle%5D)+AND+%22Proceedings+of+the+2013+IEEE+Workshop+on+Applications+of+Computer+Vision%22%5BJournal%5D)">Berkeley MHAD: A Comprehensive Multimodal Human Action Database.</a> Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).</li>
<li>Dovgan, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Intelligent+Elderly-Care+Prototype+for+Fall+and+Disease+Detection%5BTitle%5D)+AND+%22Slovenian+Medical+Journal%22%5BJournal%5D)">Intelligent Elderly-Care Prototype for Fall and Disease Detection.</a> Slovenian Medical Journal. 80, 824-831 (2011).</li>
<li>Santoyo-Ramón, J., Casilari, E., Cano-García, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Analysis+of+a+Smartphone-Based+Architecture+With+Multiple+Mobility+Sensors+for+Fall+Detection+With+Supervised+Learning%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning.</a> Sensors. 18 (4), 1155(2018).</li>
<li>Özdemir, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+Analysis+on+Sensor+Locations+of+the+Human+Body+for+Wearable+Fall+Detection+Devices%3A+Principles+and+Practice%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice.</a> Sensors. 16 (8), 1161(2016).</li>
<li>Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+Sensor+Placement+for+Accurate+Fall+Detection%5BTitle%5D)+AND+%22International+Conference+on+Wireless+Mobile+Communication+and+Healthcare%22%5BJournal%5D)">Investigation of Sensor Placement for Accurate Fall Detection.</a> International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).</li>
<li>Bagala, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+of+Accelerometer-Based+Fall+Detection+Algorithms+on+Real-World+Falls%5BTitle%5D)+AND+%22PLoS+One%22%5BJournal%5D)">Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls.</a> PLoS One. 7, 37062(2012).</li>
<li>Bourke, A. K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Assessment+of+Waist-Worn+Tri-Axial+Accelerometer+Based+Fall-detection+Algorithms+Using+Continuous+Unsupervised+Activities%5BTitle%5D)+AND+%22Proceedings+of+the+Annual+International+Conference+of+the+IEEE+Engineering+in+Medicine+and+Biology+Society%22%5BJournal%5D)">Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities.</a> Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).</li>
<li>Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Evaluation+of+Fall+Detection+Classification+Approaches%5BTitle%5D)+AND+%224th+International+Conference+on+Intelligent+and+Advanced+Systems%22%5BJournal%5D)">Evaluation of Fall Detection Classification Approaches.</a> 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).</li>
<li>Alazrai, R., Mowafi, Y., Hamad, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Fall+Prediction+Methodology+for+Elderly+Based+on+a+Depth+Camera%5BTitle%5D)+AND+%2237th+Annual+International+Conference+of+the+IEEE+Engineering+in+Medicine+and+Biology+Society%22%5BJournal%5D)">A Fall Prediction Methodology for Elderly Based on a Depth Camera.</a> 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).</li>
<li>Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Challenges+in+Data+Acquisition+Systems%3A+Lessons+Learned+from+Fall+Detection+to+Nanosensors%5BTitle%5D)+AND+%222018+Nanotechnology+for+Instrumentation+and+Measurement%22%5BJournal%5D)">Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors.</a> 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).</li>
<li>Martínez-Villaseñor, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((UP-Fall+Detection+Dataset%3A+A+Multimodal+Approach%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">UP-Fall Detection Dataset: A Multimodal Approach.</a> Sensors. 19 (9), 1988(2019).</li>
<li>Rantz, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Falls%2C+Technology%2C+and+Stunt+Actors%3A+New+approaches+to+Fall+Detection+and+Fall+Risk+Assessment%5BTitle%5D)+AND+%22Journal+of+Nursing+Care+Quality%22%5BJournal%5D)">Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment.</a> Journal of Nursing Care Quality. 23 (3), 195-201 (2008).</li>
<li>Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Compliant+Flooring+to+Prevent+Fall-Related+Injuries%3A+A+Scoping+Review+Protocol%5BTitle%5D)+AND+%22BMJ+Open%22%5BJournal%5D)">Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol.</a> BMJ Open. 6 (8), 011757(2016).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

Podczas tworzenia zestawu danych często występują wyzwania związane z synchronizacją, organizacją i niespójnością danych20 .
Synchronizacja Podczas pozyskiwania danych pojawiają się problemy z synchronizacją, biorąc pod uwagę, że wiele czujników często działa z różnymi częstotliwościami próbkowania. Czujniki o wyższych częstotliwościach zbierają więcej danych niż te o niższych częstotliwościach. W związku z tym dane z różnych źródeł nie zostaną poprawnie sparowane. Nawet jeśli czujniki działają z tą samą częstotliwością próbkowania, możliwe jest, że dane nie zostaną wyrównane. W związku z tym następujące zalecenia mogą pomóc w rozwiązaniu tych problemów z synchronizacją20: (i) rejestrować znacznik czasu, temat, aktywność i próbę w każdej próbce danych uzyskanej z czujników; (ii) najbardziej spójne i najrzadsze źródło informacji musi być używane jako sygnał odniesienia dla synchronizacji; oraz (iii) używać automatycznych lub półautomatycznych procedur do synchronizacji nagrań wideo, które byłyby niepraktyczne w przypadku ręcznej kontroli.
Wstępne przetwarzanie danych Konieczne jest również wstępne przetwarzanie danych, a na proces ten wpływają krytyczne decyzje: (a) określić metody przechowywania danych i reprezentacji danych z wielu i niejednorodnych źródeł (b) zdecydować o sposobach przechowywania danych na hoście lokalnym lub w chmurze (c) wybrać organizację danych, w tym nazwy plików i foldery (d) poradzić sobie z brakującymi wartościami danych, a także nadmiarowościami znalezionymi w czujnikach, między innymi. Ponadto w przypadku chmury danych zaleca się buforowanie lokalne, jeśli to możliwe, w celu ograniczenia utraty danych w czasie przekazywania.
Niespójność danych Niespójność danych jest powszechna między badaniami wykazującymi różnice w wielkości próby danych. Problemy te są związane z pozyskiwaniem danych w czujnikach ubieralnych. Krótkie przerwy w pozyskiwaniu danych i kolizje danych z wielu czujników prowadzą do niespójności danych. W takich przypadkach algorytmy wykrywania niespójności są ważne do obsługi awarii online w czujnikach. Należy podkreślić, że urządzenia bezprzewodowe powinny być często monitorowane przez cały czas trwania eksperymentu. Niski poziom naładowania baterii może mieć wpływ na łączność i spowodować utratę danych.
Etyczny Zgoda na udział i etyczna aprobata są obowiązkowe w każdym rodzaju eksperymentów, w które zaangażowani są ludzie.
Jeśli chodzi o ograniczenia tej metodologii, należy zauważyć, że została ona zaprojektowana z myślą o podejściach, które uwzględniają różne sposoby gromadzenia danych. Systemy mogą obejmować czujniki ubieralne, czujniki otoczenia i/lub czujniki wizyjne. Sugeruje się uwzględnienie zużycia energii przez urządzenia i żywotności baterii w czujnikach bezprzewodowych, ze względu na takie problemy, jak utrata gromadzenia danych, zmniejszająca się łączność i zużycie energii w całym systemie. Co więcej, metodyka ta jest przeznaczona dla systemów wykorzystujących metody uczenia maszynowego. Wcześniej należy przeprowadzić analizę wyboru tych modeli uczenia maszynowego. Niektóre z tych modeli mogą być dokładne, ale bardzo czasochłonne i energochłonne. Należy wziąć pod uwagę kompromis między dokładnym oszacowaniem a ograniczoną dostępnością zasobów do obliczeń w modelach uczenia maszynowego. Należy również zauważyć, że w ramach gromadzenia danych przez system działania były prowadzone w tej samej kolejności; Również próby przeprowadzono w tej samej kolejności. Ze względów bezpieczeństwa używano materaca ochronnego, na który można było upaść. Ponadto upadki były inicjowane przez samego siebie. Jest to istotna różnica między symulowanymi a rzeczywistymi upadkami, które na ogół występują w kierunku twardych materiałów. W tym sensie ten zestaw danych zarejestrował upadki z intuicyjną reakcją, próbując nie upaść. Co więcej, istnieją pewne różnice między rzeczywistymi upadkami u osób starszych lub niepełnosprawnych a upadkami symulowanymi; A te muszą być brane pod uwagę przy projektowaniu nowego systemu wykrywania upadków. Badanie to koncentrowało się na młodych ludziach bez żadnych upośledzeń, ale godne uwagi jest stwierdzenie, że dobór badanych powinien być dostosowany do celu systemu i populacji docelowej, która będzie z niego korzystać.
Z powiązanych prac opisanych powyżej 10,11,12,13,14,15,16,17,18 możemy zaobserwować, że są autorzy, którzy stosują podejścia multimodalne koncentrując się na uzyskaniu solidnych detektorów upadku lub koncentrują się na umiejscowieniu lub wydajności klasyfikatora. W związku z tym rozwiązują tylko jeden lub dwa problemy projektowe związane z wykrywaniem upadków. Nasza metodologia pozwala na jednoczesne rozwiązanie trzech głównych problemów projektowych systemu wykrywania upadków.
Na potrzeby przyszłych prac sugerujemy zaprojektowanie i wdrożenie prostego multimodalnego systemu wykrywania upadków w oparciu o wyniki uzyskane zgodnie z tą metodologią. W celu wdrożenia w świecie rzeczywistym należy stosować uczenie transferowe, klasyfikację hierarchiczną i podejścia oparte na uczeniu głębokim w celu opracowania bardziej niezawodnych systemów. Nasza implementacja nie uwzględniała wskaźników jakościowych modeli uczenia maszynowego, ale czas rzeczywisty i ograniczone zasoby obliczeniowe muszą być brane pod uwagę przy dalszym rozwoju systemów wykrywania/rozpoznawania upadków i aktywności ludzi. Wreszcie, w celu ulepszenia naszego zestawu danych, można rozważyć potknięcia lub prawie upadki oraz monitorowanie wolontariuszy w czasie rzeczywistym podczas ich codziennego życia.

Od czasu światowego zjawiska starzenia się populacji1, częstość upadków wzrosła i jest faktycznie uważana za poważny problem zdrowotny2. Kiedy dochodzi do upadku, ludzie wymagają natychmiastowej uwagi, aby zmniejszyć negatywne konsekwencje. Systemy wykrywania upadków mogą skrócić czas, w którym dana osoba otrzymuje pomoc medyczną, wysyłając ostrzeżenie o wystąpieniu upadku.
Istnieją różne kategorie systemów wykrywania upadków3. Early works4 klasyfikują systemy wykrywania upadków według ich metod wykrywania, z grubsza metod analitycznych i metod uczenia maszynowego. Ostatnio inni autorzy3,5,6 uznali czujniki akwizycji danych za główną funkcję klasyfikacji detektorów upadków. Igual et al.3 dzieli systemy wykrywania upadków na systemy kontekstowe, które obejmują podejścia oparte na wizji i czujnikach otoczenia, oraz systemy urządzeń do noszenia. Mubashir et al.5 klasyfikuje detektory upadku na trzy grupy w zależności od urządzeń używanych do zbierania danych: urządzenia do noszenia, czujniki otoczenia i urządzenia wizyjne. Perry et al.6 rozważa metody pomiaru przyspieszenia, metody pomiaru przyspieszenia w połączeniu z innymi metodami oraz metody niemierzące przyspieszenia. Na podstawie tych badań możemy stwierdzić, że czujniki i metody są głównymi elementami klasyfikującymi ogólną strategię badawczą.
Każdy z czujników ma słabe i mocne strony omówione w Xu et al.7. Podejścia oparte na wizji wykorzystują głównie normalne kamery, kamery z czujnikiem głębi i/lub systemy przechwytywania ruchu. Normalne kamery internetowe są tanie i łatwe w użyciu, ale są wrażliwe na warunki środowiskowe (zmienność światła, okluzja itp.), mogą być używane tylko w ograniczonej przestrzeni i mają problemy z prywatnością. Kamery głębi, takie jak Kinect, zapewniają ruch 3D całego ciała7 i są mniej podatne na warunki oświetleniowe niż zwykłe kamery. Jednak podejścia oparte na sensorze Kinect nie są tak niezawodne i niezawodne. Systemy przechwytywania ruchu są droższe i trudniejsze w użyciu.
Podejścia oparte na urządzeniach akcelerometrycznych i smartfonach/zegarkach z wbudowanymi akcelerometrami są bardzo często używane do wykrywania upadków. Główną wadą tych urządzeń jest to, że muszą być noszone przez długi czas. Dyskomfort, natręctwo, ułożenie ciała i orientacja to problemy projektowe, które należy rozwiązać w tych podejściach. Chociaż smartfony i inteligentne zegarki są mniej rzucającymi się w oczy urządzeniami niż czujniki, osoby starsze często zapominają lub nie zawsze noszą te urządzenia. Niemniej jednak zaletą tych czujników i urządzeń jest to, że można je stosować w wielu pomieszczeniach i/lub na zewnątrz.
Niektóre systemy używają czujników rozmieszczonych w otoczeniu do rozpoznawania upadków/aktywności, więc ludzie nie muszą nosić czujników. Jednak te czujniki są również ograniczone do miejsc, w których są wdrażane8 i czasami są trudne do zainstalowania. Od niedawna multimodalne systemy wykrywania upadków obejmują różne kombinacje czujników wizyjnych, ubieralnych i otoczenia, aby uzyskać większą precyzję i solidność. Mogą również przezwyciężyć niektóre ograniczenia związane z pojedynczym czujnikiem.
Metodologia używana do wykrywania upadków jest ściśle związana z łańcuchem rozpoznawania ludzkiej aktywności (ARC) przedstawionym przez Bulling et al.9, który składa się z etapów akwizycji danych, wstępnego przetwarzania i segmentacji sygnału, ekstrakcji i selekcji cech, szkolenia i klasyfikacji. Dla każdego z tych etapów należy rozwiązać problemy projektowe. Na każdym etapie stosowane są różne metody.
Prezentujemy metodologię opartą na czujnikach multimodalnych do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania/rozpoznawania upadków i aktywności człowieka. Celem jest zbudowanie systemu do dokładnego wykrywania upadków, który można łatwo wdrożyć i przyjąć. Proponowana nowatorska metodologia opiera się na ARC, ale dodaje kilka ważnych etapów w celu przeprowadzenia dogłębnej analizy następujących kwestii w celu uproszczenia systemu: a) wybór czujników lub kombinacji czujników, które mają być używane w prostym systemie wykrywania upadków; b) określa najlepsze rozmieszczenie źródeł informacji; oraz (c) wybrać najbardziej odpowiednią metodę klasyfikacji uczenia maszynowego do wykrywania upadków i rozpoznawania aktywności człowieka w celu stworzenia prostego systemu.
W literaturze można znaleźć kilka powiązanych prac, które poruszają jeden lub dwa z wyżej wymienionych problemów projektowych, ale według naszej wiedzy, nie ma pracy, która skupiałaby się na metodologii przezwyciężenia wszystkich tych problemów.
Powiązane prace wykorzystują multimodalne podejścia do wykrywania upadków i rozpoznawania aktywności człowieka10,11,12 w celu zwiększenia niezawodności i precyzji. Kwolek et al.10 zaproponowali zaprojektowanie i wdrożenie systemu wykrywania upadków w oparciu o dane akcelerometryczne i mapy głębokości. Zaprojektowali ciekawą metodologię, w której zastosowano trójosiowy akcelerometr w celu wykrycia potencjalnego upadku, a także ruchu osoby. Jeśli miara przyspieszenia przekroczy próg, algorytm wyodrębnia osobę różniącą mapę głębokości od zaktualizowanej w trybie online mapy referencyjnej głębokości. Analizę kombinacji głębokości i akcelerometru przeprowadzono przy użyciu klasyfikatora maszynowego wektorów nośnych.
Ofli et al.11 zaprezentowali Multimodalną Bazę Danych Działań Człowieka (MHAD) w celu zapewnienia platformy testowej dla nowych systemów rozpoznawania aktywności człowieka. Zestaw danych jest ważny, ponieważ działania zostały zebrane jednocześnie za pomocą 1 optycznego systemu przechwytywania ruchu, 4 kamer multi-view, 1 systemu Kinect, 4 mikrofonów i 6 akcelerometrów bezprzewodowych. Autorzy przedstawili wyniki dla każdej modalności: Kinect, mocap, akcelerometr i audio.
Dovgan et al.12 zaproponowali prototyp do wykrywania anomalnych zachowań, w tym upadków, u osób starszych. Zaprojektowali testy dla trzech systemów czujników, aby znaleźć najbardziej odpowiedni sprzęt do wykrywania upadków i nietypowych zachowań. Pierwszy eksperyment składa się z danych z inteligentnego systemu czujników z 12 znacznikami przymocowanymi do bioder, kolan, kostek, nadgarstków, łokci i ramion. Stworzyli również zestaw danych testowych przy użyciu jednego systemu czujników Ubisense z czterema znacznikami przymocowanymi do talii, klatki piersiowej i obu kostek oraz jednym akcelerometrem Xsens. W trzecim eksperymencie czterech badanych używało systemu Ubisense tylko podczas wykonywania 4 rodzajów upadków, 4 problemów zdrowotnych, takich jak anomalne zachowanie i różne czynności życia codziennego (ADL).
Inne prace w literaturze13,14,15 rozwiązują problem znalezienia najlepszego rozmieszczenia czujników lub urządzeń do wykrywania upadków, porównując wydajność różnych kombinacji czujników z kilkoma klasyfikatorami. Santoyo et al.13 przedstawili systematyczną ocenę oceniającą znaczenie lokalizacji 5 czujników do wykrywania upadków. Porównali wydajność tych kombinacji czujników przy użyciu k-najbliższych sąsiadów (KNN), maszyn wektorów nośnych (SVM), naiwnych klasyfikatorów Bayesa (NB) i drzew decyzyjnych (DT). Naukowcy doszli do wniosku, że umiejscowienie czujnika na obiekcie ma istotny wpływ na działanie detektora upadku, niezależnie od zastosowanego klasyfikatora.
Porównanie umiejscowienia czujników do noszenia na ciele w celu wykrywania upadków zostało przedstawione przez Özdemir14. W celu określenia rozmieszczenia sensorów autor przeanalizował 31 kombinacji sensorów w następujących pozycjach: głowa, talia, klatka piersiowa, prawy nadgarstek, prawa kostka i prawe udo. Czternastu ochotników wykonało 20 symulowanych upadków i 16 ADL. Odkrył, że najlepszą wydajność uzyskano, gdy pojedynczy czujnik jest umieszczony na talii z tych wyczerpujących eksperymentów łączonych. Inne porównanie zostało zaprezentowane przez Ntanasis15 przy użyciu zestawu danych Özdemira. Autorzy porównali pojedyncze pozycje na głowie, klatce piersiowej, talii, nadgarstku, kostce i udzie za pomocą następujących klasyfikatorów: J48, KNN, RF, komitet losowy (RC) i SVM.
Wzorce wydajności różnych metod obliczeniowych do wykrywania upadków można również znaleźć w literaturze16,17,18. Bagala et al.16 przedstawili systematyczne porównanie, aby porównać skuteczność trzynastu metod wykrywania upadków testowanych na rzeczywistych upadkach. Wzięli pod uwagę tylko algorytmy oparte na pomiarach akcelerometru umieszczonych na pasie lub tułowiu. Bourke et al.17 ocenili wydajność pięciu algorytmów analitycznych do wykrywania upadków przy użyciu zestawu danych ADL i upadków na podstawie odczytów akcelerometru. Kerdegari18 dokonał również porównania wydajności różnych modeli klasyfikacyjnych dla zestawu zarejestrowanych danych o przyspieszeniu. Algorytmy używane do wykrywania upadków to zeroR, oneR, NB, DT, wielowarstwowy perceptron i SVM.
Metodologia wykrywania upadków została zaproponowana przez Alazrai et al.18 przy użyciu geometrycznego deskryptora ruchu do skonstruowania skumulowanej reprezentacji ludzkiej aktywności opartej na histogramie. Ocenili platformę przy użyciu zestawu danych zebranego za pomocą czujników Kinect.
Podsumowując, znaleźliśmy prace związane z wykrywaniem upadków w multimodalnym tonie10,11,12, które porównują wydajność różnych kombinacji modalności. Niektórzy autorzy zajmują się problemem znalezienia najlepszego rozmieszczenia czujników13,14,15, lub kombinacje sensorów13 z kilkoma klasyfikatorami13,15,16 z wieloma czujnikami tej samej modalności i akcelerometrami. W literaturze nie znaleziono żadnych prac dotyczących jednoczesnego umieszczania, kombinacji multimodalnych i wzorca klasyfikatorów.

<table><tbody><tr><td>Czujnik do noszenia na ciele do pomiaru inercyjnego</td><td>Mbientlab</td><td>MTH-MetaTracker</td><td>Trójosiowy akcelerometr, trójosiowy żyroskop i czujnik natężenia światła do noszenia.</td></tr><tr><td>Kask z czujnikiem mózgu elektroencefalografu MindWave</td><td>NeuroSky</td><td>80027-007</td><td>Surowy sygnał fal mózgowych z jednym czujnikiem forehandowym.</td></tr><tr><td>Kamera wideo LifeCam Cinema Kamera</td><td>wideo Microsoft</td><td>H5D-00002</td><td>2D RGB z interfejsem USB.</td></tr><tr><td>Czujnik podczerwieni</td><td>Alean</td><td>ABT-60</td><td>Czujnik zbliżeniowy z normalnie zamkniętym przekaźnikiem.</td></tr><tr><td>Klucz sprzętowy Bluetooth</td><td>Mbientlab</td><td>BLE</td><td>Dongle do połączenia Bluetooth między czujnikami do noszenia a komputerem.</td></tr><tr><td>Raspberry Pi</td><td>Raspberry</td><td>Version 3 Model B</td><td>Mikrokontroler do akwizycji czujnika podczerwieni i interfejsu komputerowego.</td></tr><tr><td>Komputer osobisty</td><td>Dell</td><td></td><td>Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB</td></tr></tbody></table>

projektowanie i analiza w celu uproszczenia systemu wykrywania upadków

Design and Analysis for Fall Detection System Simplification

Ten artykuł przedstawia metodologię opartą na czujnikach multimodalnych do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania upadków i rozpoznawania aktywności człowieka, który może być łatwo wdrożony i przyjęty. Metodologia opiera się na konfiguracji określonych typów czujników, metod i procedur uczenia maszynowego. Protokół jest podzielony na cztery fazy: (1) tworzenie bazy danych, (2) analiza danych, (3) uproszczenie systemu i (4) ocena. Korzystając z tej metodologii, stworzyliśmy multimodalną bazę danych do wykrywania upadków i rozpoznawania aktywności człowieka, a mianowicie UP-Fall Detection. Składa się z próbek danych od 17 osób, które wykonują 5 rodzajów upadków i 6 różnych prostych czynności podczas 3 prób. Wszystkie informacje zostały zebrane za pomocą 5 czujników do noszenia na ciele (akcelerometr trójosiowy, żyroskop i natężenie światła), 1 hełmu elektroencefalografu, 6 czujników podczerwieni jako czujników otoczenia oraz 2 kamer w bocznych i przednich punktach widzenia. Proponowana nowatorska metodologia dodaje kilka ważnych etapów do przeprowadzenia dogłębnej analizy następujących problemów projektowych w celu uproszczenia systemu wykrywania upadków: a) wybór czujników lub kombinacji czujników, które mają być używane w prostym systemie wykrywania upadków, b) określenie najlepszego rozmieszczenia źródeł informacji oraz c) wybór najbardziej odpowiedniej metody klasyfikacji uczenia maszynowego do wykrywania i rozpoznawania upadków i aktywności człowieka. Mimo że niektóre podejścia multimodalne opisywane w literaturze koncentrują się tylko na jednym lub dwóch z wyżej wymienionych zagadnień, nasza metodologia pozwala na jednoczesne rozwiązanie tych trzech problemów projektowych związanych z systemem wykrywania i rozpoznawania upadków i aktywności człowieka.

Prezentujemy metodologię opartą na multimodalnych czujnikach do konfiguracji prostego, wygodnego i szybkiego systemu wykrywania upadków i rozpoznawania aktywności człowieka. Celem jest zbudowanie systemu do dokładnego wykrywania upadków, który można łatwo wdrożyć i przyjąć.

Projektowanie i analiza w celu uproszczenia systemu wykrywania upadków

This paper presents a methodology based on multimodal sensors to configure a simple, comfortable and fast fall detection and human activity recognition ...

Nasza metodologia dodaje ważne etapy, wybór kombinacji czujników, rozmieszczenie i klasyfikację, aby uprościć system wykrywania upadków dzięki dogłębnej analizie. Istnieją wcześniejsze prace, które odnoszą się do niektórych problemów projektowych związanych z wykrywaniem upadków, ale nie ma pracy, która skupiałaby się na holistycznej metodologii przezwyciężania wszystkich tych problemów. Metodologia ta może być również wykorzystywana do rozpoznawania aktywności człowieka w mieszkaniach wspomaganych, ocenie wyników sportowych, fizjoterapii i rehabilitacji.Podczas tworzenia zestawu danych mogą pojawić się wyzwania związane z synchronizacją, organizacją i niespójnością danych. Należy wziąć pod uwagę kompromis między dokładnym oszacowaniem a złożonością modelu. Procedurę zademonstrują Jose Pablo Nunez Martinez, asystent naukowy oraz Sofia Pacheco Ibanez, studentka inżynierii z naszego laboratorium.Zacznij od skonfigurowania systemu gromadzenia danych, aby ułatwić gromadzenie i przechowywanie danych podmiotu. Wybierz typy czujników ubieralnych, czujników otoczenia i urządzeń wizyjnych wymaganych jako źródła informacji i przypisz identyfikator dla każdego źródła informacji, liczbę kanałów na źródło, specyfikacje techniczne i częstotliwość próbkowania każdego z nich. Aby połączyć wszystkie źródła informacji z komputerem centralnym lub rozproszonym systemem komputerowym, należy najpierw sprawdzić, czy urządzenia przewodowe są prawidłowo podłączone do jednego komputera klienckiego i czy urządzenia oparte na sieci bezprzewodowej są w pełni naładowane.Aby skonfigurować każde urządzenie do pobierania danych, należy skonfigurować system akwizycji danych tak, aby zezwalał na przechowywanie danych w chmurze i upewnić się, że system akwizycji danych spełnia odpowiednie właściwości synchronizacji danych i spójności danych. Upewnij się, że wszystkie czujniki zbierają dane w sposób spójny i jednoczesny oraz aby dołączyć etykiety do identyfikacji aktywności i cech obiektu. Zbierz przykładowe dane za pomocą urządzeń i przechowuj je w preferowanym systemie.Przeszukaj bazę danych i określ, czy wszystkie źródła informacji są zbierane z tą samą częstotliwością próbkowania. Po rozważeniu warunków wymaganych w ograniczeniach nałożonych przez cel systemu, należy skonfigurować środowisko testowe, umieszczając materac lub inne zgodne systemy podłogowe w centrum środowiska, aby zapewnić bezpieczeństwo uczestników. Wszelkie przedmioty należy trzymać w odległości co najmniej jednego metra od materaca i przygotować niezbędne środki ochrony osobistej dla uczestników.Następnie ustaw odpowiednie kamery i sparuj czujniki podczerwieni wokół materaca, jak pokazano na ilustracji. Zdefiniuj cel systemu wykrywania upadków i rozpoznawania aktywności człowieka na arkuszu planowania i zdefiniuj populację docelową eksperymentu zgodnie z celem systemu. Zdefiniuj rodzaj codziennych czynności, w tym niektóre czynności niezwiązane z upadkami, które wyglądają jak upadki, aby poprawić wykrywanie rzeczywistych upadków.Przypisz identyfikator do każdej czynności i opisz ją tak szczegółowo, jak to możliwe. Następnie ustaw przedział czasu dla każdej czynności, która ma zostać wykonana. Zdefiniuj rodzaj upadków ludzi i przypisz identyfikator oraz opisz każdy upadek dla każdej czynności wraz z okresem czasu, w którym każdy upadek ma zostać wykonany.Zastanów się, czy upadki zostaną wygenerowane samodzielnie przez badanych, czy przez innych i zapisz te informacje na arkuszu planowania. Aby zebrać dane dotyczące aktywności i upadku, umieść urządzenia rejestrujące na obiekcie, jak pokazano na ilustracji. Kiedy uczestnik jest gotowy, pod nadzorem eksperta klinicznego lub odpowiedzialnego badacza, rozpocznij zbieranie danych w systemie akwizycji danych i poproś uczestnika o wykonanie sekwencji czynności i upadków nakreślonych w arkuszu planowania, zapisując znaczniki czasu rozpoczęcia i zakończenia każdej czynności lub upadku.Sprawdź, czy dane ze wszystkich źródeł informacji są zapisywane w chmurze po każdej aktywności lub upadku. Aby przeanalizować zebrane dane dotyczące aktywności i upadków, użyj zestawu danych funkcji dla każdej metody uczenia maszynowego, aby uruchomić krzyżową walidację K-krotności. Użyj typowej metryki oceny, takiej jak dokładność, aby wybrać najlepszy model wytrenowany dla każdej metody.Następnie otwórz zestaw danych funkcji trenowania w preferowanym oprogramowaniu języka programowania i użyj biblioteki pandas, aby odczytać plik CSV zgodnie ze wskazaniami. Podziel zestaw danych obiektów na pary danych wejściowych/wyjściowych, jak wskazano. Wybierz jedną metodę uczenia maszynowego i ustaw parametry.Wytrenuj model uczenia maszynowego i oblicz szacowane wartości modelu przy użyciu zestawu danych funkcji testowania. Powtórz krzyżową walidację K-krotności, ile razy K jest określona w K-krotnej krzyżowej walidacji dla każdego wybranego modelu uczenia maszynowego. Należy wybrać odpowiednie miejsca w podejściu multimodalnym, jeżeli dla systemu wymagane jest połączenie dwóch lub więcej źródeł informacji, i wybrać najlepsze źródło informacji dla każdej modalności w systemie.Utwórz połączony zestaw danych obiektów, korzystając z niezależnych zestawów danych tych źródeł informacji, a następnie wybierz metodę klasyfikacji uczenia maszynowego. Wytrenuj model dla tych połączonych źródeł informacji i powtórz walidację przy użyciu połączonego zestawu danych funkcji. Następnie przygotuj nowy zestaw danych z osobami badanymi w bardziej realistycznych warunkach, korzystając tylko ze źródeł informacji wybranych w poprzedniej analizie.Graficzna reprezentacja najlepszych wyników uzyskanych dla każdej modalności w zależności od modelu uczenia maszynowego i najlepszej konfiguracji długości okna wyraźnie pokazuje, że podejścia multimodalne uzyskują najlepsze wartości punktów F1 w porównaniu z niektórymi podejściami unimodalnymi. Chociaż w szczególności wykorzystuje się wyłącznie czujniki ubieralne, można uzyskać wydajność podobną do podejścia multimodalnego. Jeśli chodzi o test porównawczy modeli opartych na danych, las losowy prezentuje najlepsze wyniki w prawie wszystkich eksperymentach, podczas gdy wielowarstwowe maszyny perceptronowe i wektory nośne nie są zbyt spójne pod względem wydajności.Najlepszą wydajność uzyskuje się, gdy pojedynczy czujnik jest używany w pasie, szyi lub ciasnej prawej kieszeni. Najgorzej wypadły czujniki noszone na kostce i lewym nadgarstku. Ponadto czujniki w talii, szyi i ciasnej prawej kieszeni z klasyfikatorem losowych lasów w trzysekundowym rozmiarze okna z 50% zachodzeniem na siebie są najbardziej odpowiednimi czujnikami do noszenia do wykrywania upadków.Kamera widoku bocznego zapewnia najlepsze wykrywanie upadków, a najlepsza lokalizacja kamery to boczny punkt widzenia przy użyciu losowego lasu w trzysekundowym rozmiarze okna i 50% nakładaniu się. Ponadto klasyfikator losowego modelu lasu wykazuje najlepsze wyniki w zakresie dokładności i wyniku F1 zarówno w multimodalnościach, jak i połączeniu talii i kamery, które plasują się na pierwszej pozycji. W naszych eksperymentach rekrutowaliśmy młodych ludzi bez upośledzeń, ale osoby powinny być wybierane tak, aby były zgodne z celem systemu i populacją docelową korzystającą z systemu.W oparciu o tę metodologię można projektować i wdrażać proste multimodalne systemy wykrywania upadków. W przypadku adaptacji do świata rzeczywistego zaleca się podejście oparte na uczeniu transferowym i uczeniu głębokim w celu opracowania solidnych systemów.

design-and-analysis-for-fall-detection-system-simplification

Research

JoVE Journal

Bioengineering

Bioinżynieria

Przedstawiamy protokół dotyczący modułowego projektowania i produkcji inteligentnych robotów, aby pomóc pracownikom naukowym i technicznym w projektowaniu inteligentnych robotów do specjalnych zadań produkcyjnych opartych na osobistych potrzebach i zindywidualizowanym projekcie.

Modułowa konstrukcja i produkcja inteligentnego robota opartego na strategii sterowania w pętli zamkniętej

Pomiar wzorców pojawiania się owadów wymaga precyzji. Istniejące systemy są tylko częściowo zautomatyzowane, a wielkość próby jest ograniczona. Zajęliśmy się tymi problemami, projektując system wykorzystujący mikrokontrolery do precyzyjnego pomiaru czasu pojawienia się dużej liczby pojawiających się owadów.

Precyzyjny i autonomiczny system wykrywania wzorców pojawiania się owadów

Ten artykuł omawia użycie ciągłego i obiektywnego systemu lokalizacji w czasie rzeczywistym do pomiaru aktywności chodzenia związanej z zachowaniami wędrownymi, koncentrując się na starszych osobach z zaburzeniami poznawczymi. Aktywność chodu jest mierzona na podstawie dystansu marszu, trwałego dystansu marszu i stałej prędkości chodu. Oceniane są również jakość chodu i zdolność do równowagi.

Wykorzystanie systemu lokalizacji w czasie rzeczywistym do pomiaru aktywności chodzenia związanej z zachowaniami wędrownymi wśród zinstytucjonalizowanych osób starszych

Upośledzenie odruchów posturalnych, określane jako niestabilność postawy, jest trudne do oszacowania. Oceny kliniczne, takie jak test ciągnięcia, mają problemy z niezawodnością i skalowaniem. W tym miejscu przedstawiamy oprzyrządowaną wersję testu ciągnięcia, aby obiektywnie scharakteryzować reakcje posturalne.

Oprzyrządowany test ciągnięcia do charakteryzowania reakcji postawowych

Tutaj oferujemy protokół, który pozwala użytkownikowi na selektywną zmianę afordancji i/lub ograniczeń ruchów, które są istotne dla odzyskania równowagi po zaburzeniach postawy.

Zmodyfikowana technika Lean and Release w celu podkreślenia hamowania reakcji i wyboru działania w równowadze reaktywnej

W tym artykule przedstawiono adaptacyjny filtr oparty na algorytmie znormalizowanego najmniejszego średniego kwadratu (NLMS) oraz metodę szacowania prędkości obrotowej do wykrywania elektrycznych i hydraulicznych usterek siłownika elektrohydrostatycznego (EHA). Skuteczność i wykonalność wyżej wymienionych metod jest weryfikowana za pomocą symulacji i eksperymentów.

Projektowanie i zastosowanie metody detekcji uszkodzeń w oparciu o filtry adaptacyjne i estymację prędkości obrotowej dla siłownika elektrohydrostatycznego

Ten artykuł proponuje system oparty na sztucznej inteligencji, który automatycznie wykrywa, czy uczniowie zwracają uwagę na klasę, czy są rozproszeni. System ten ma za zadanie pomóc nauczycielom utrzymać uwagę uczniów, zoptymalizować ich lekcje i dynamicznie wprowadzać modyfikacje, aby były one bardziej angażujące.

Oparty na sztucznej inteligencji system do wykrywania poziomu uwagi u uczniów

Oprzyrządowany test Timed Up and Go (iTUG) zyskuje coraz większą uwagę w analizie kołysania ciała i chodu wraz z rozwojem nowych technologii. Przedstawiamy protokół do analizy podzespołów iTUG z motion capture.

Wykorzystanie technologii przechwytywania ruchu w oprzyrządowanym teście Timed Up and Go w celu wykrycia ryzyka upadku u osób w podeszłym wieku

Filmy jedwabne stanowią nową klasę biomateriałów, które można łatwo dostosować do szerokiego zakresu zastosowań biomedycznych. Przedstawiony system hodowli na filmach jedwabnych jest wysoce adaptowalny do różnorodnych analiz in vitro. System ten stanowi platformę projektowania biomateriałów, umożliwiającą optymalizację in vitro przed bezpośrednim przejściem do modeli in vivo.

System hodowli na filmach jedwabnych do analiz in vitro i projektowania biomateriałów

Opisujemy metodę testową z wykorzystaniem czujnika elektrochemicznego do szybkiego wykrywania i identyfikacji bakterii. Badanie wykorzystuje macierz czujników z funkcjonalizowanymi sondami wychwytującymi w postaci oligonukleotydów DNA dla sekwencji specyficznych dla gatunku rybosomalnego RNA (rRNA). Hybrydyzacja typu kanapkowego docelowego rRNA z sondą wychwytującą oraz sondą detekcyjną w postaci oligonukleotydu DNA sprzężonego z peroksydazą chrzanową generuje mierzalny prąd amperometryczny.

Wykrywanie i identyfikacja bakterii z wykorzystaniem czujników elektrochemicznych

Poznaj metodologię wykrywania upadków z wykorzystaniem multimodalnych sensorów i uczenia maszynowego. System zwiększa dokładność rozpoznawania aktywności człowieka w opiece zdrowotnej i rehabilitacji.

Projektowanie i analiza w celu uproszczenia systemu wykrywania upadków

Przeglądaj więcej filmów