Summary
Vi præsenterer en metode baseret på multimodale sensorer til at konfigurere en enkel, komfortabel og hurtig fald detektion og menneskelig aktivitet anerkendelse system. Målet er at opbygge et system til nøjagtig faldregistrering, der let kan implementeres og vedtages.
Abstract
Dette papir præsenterer en metode baseret på multimodale sensorer til at konfigurere en enkel, komfortabel og hurtig fald detektion og menneskelig aktivitet anerkendelse system, der let kan gennemføres og vedtages. Metoden er baseret på konfiguration af specifikke typer af sensorer, machine-learning metoder og procedurer. Protokollen er opdelt i fire faser: 1) database oprettelse (2) dataanalyse (3) system forenkling og (4) evaluering. Ved hjælp af denne metode oprettede vi en multimodal database til registrering af fald og genkendelse af menneskelig aktivitet, nemlig UP-Fall Detection. Det omfatter dataprøver fra 17 forsøgspersoner, der udfører 5 typer af fald og 6 forskellige enkle aktiviteter, under 3 forsøg. Alle oplysninger blev indsamlet ved hjælp af 5 bærbare sensorer (tri-akse accelerometer, gyroskop og lysintensitet), 1 elektroencefalograf hjelm, 6 infrarøde sensorer som omgivende sensorer, og 2 kameraer i laterale og forreste synspunkter. Den foreslåede nye metode tilføjer nogle vigtige faser til at udføre en dyb analyse af følgende design spørgsmål med henblik på at forenkle et fald detektionssystem: a) vælge, hvilke sensorer eller kombination af sensorer der skal anvendes i et simpelt fald detektionssystem, b) bestemme den bedste placering af informationskilder, og c) vælge den mest egnede machine learning klassificering metode til fald og menneskelig aktivitet afsløring og anerkendelse. Selv om nogle multimodale tilgange rapporteret i litteraturen kun fokusere på en eller to af de ovennævnte spørgsmål, vores metode giver mulighed for samtidig at løse disse tre design problemer i forbindelse med et menneskeligt fald og aktivitet afsløring og anerkendelse system.
Introduction
Siden verdensfænomenet befolkningens aldring1er faldet i prævalensen steget og betragtes faktisk som et stort sundhedsproblem2. Når et fald opstår, folk kræver øjeblikkelig opmærksomhed for at reducere negative konsekvenser. Falddetektionssystemer kan reducere den tid, en person modtager lægehjælp, når der opstår et fald.
Der er forskellige kategoriseringer af falddetektionssystemer3. Tidlige værker4 klassificerer falddetektionssystemer ved hjælp af deres detektionsmetode, groft analytiske metoder og maskinlæringsmetoder. For nylig, andre forfattere3,5,6 har overvejet dataindsamling sensorer som det vigtigste element til at klassificere falde detektorer. Igual et al.3 opdeler falddetektionssystemer i kontekstafhængige systemer, der omfatter visions- og ambient-sensorbaserede tilgange og bærbare enhedssystemer. Mubashir et al.5 klassificerer falddetektorer i tre grupper baseret på de enheder, der anvendes til dataindsamling: bærbare enheder, atmosfæresensorer og visionsbaserede enheder. Perry et al.6 overvejer metoder til måling af acceleration, metoder til måling af acceleration kombineret med andre metoder og metoder, der ikke måler acceleration. Ud fra disse undersøgelser kan vi fastslå, at sensorer og metoder er de vigtigste elementer til klassificering af den generelle forskningsstrategi.
Hver af sensorerne har svagheder og styrker diskuteret i Xu et al.7. Vision-baserede tilgange bruger primært normale kameraer, dybdesensorkameraer og/eller bevægelsesoptagelsessystemer. Normale webkameraer er lave omkostninger og nemme at bruge, men de er følsomme over for miljømæssige forhold (lysvariation, okklusion osv.), kan kun bruges i et reduceret rum og har problemer med privatlivets fred. Dybdekameraer, såsom Kinect, giver helkrops 3D-bevægelse7 og er mindre påvirket af lysforhold end normale kameraer. Tilgange baseret på Kinect er imidlertid ikke så robuste og pålidelige. Motion capture-systemer er dyrere og vanskeligere at bruge.
Tilgange baseret på accelerometer enheder og smartphones / ure med indbyggede accelerometre er meget almindeligt anvendt til fald detektion. Den største ulempe ved disse enheder er, at de skal bæres i lange perioder. Ubehag, påtrængende, krop placering og orientering er design spørgsmål, der skal løses i disse tilgange. Selvom smartphones og smarte ure er mindre påtrængende enheder, der sensorer, ældre mennesker ofte glemmer eller ikke altid bære disse enheder. Ikke desto mindre er fordelen ved disse sensorer og enheder, at de kan bruges i mange rum og / eller udendørs.
Nogle systemer bruger sensorer placeret rundt omkring i miljøet til at genkende fald / aktiviteter, så folk ikke behøver at bære sensorerne. Men disse sensorer er også begrænset til de steder, hvor de er indsat8 og er undertiden vanskelige at installere. For nylig omfatter multimodale falddetektionssystemer forskellige kombinationer af syns-, bærbare og omgivende sensorer for at opnå større præcision og robusthed. De kan også overvinde nogle af de enkelte sensor begrænsninger.
Den metode, der anvendes til falddetektion, er tæt forbundet med human aktivitetsgenkendelseskæden (ARC), som Bulling et al.9har fremlagt, og som består af faser for dataindsamling, signalforbehandling og segmentering, funktionsudtræk og udvælgelse, uddannelse og klassificering. Designproblemer skal løses for hver af disse faser. Der anvendes forskellige metoder i hver fase.
Vi præsenterer en metode baseret på multimodale sensorer til at konfigurere en enkel, komfortabel og hurtig menneskelig fald og menneskelig aktivitet afsløring / anerkendelse system. Målet er at opbygge et system til nøjagtig faldregistrering, der let kan implementeres og vedtages. Den foreslåede nye metode er baseret på ARC, men den tilføjer nogle vigtige faser til at udføre en grundig analyse af følgende spørgsmål for at forenkle systemet: a) vælge, hvilke sensorer eller en kombination af sensorer der skal anvendes i et simpelt falddetektionssystem; b) fastlægge den bedste placering af informationskilderne og (c) vælge den mest egnede metode til klassificering af maskinlæring til registrering af fald og genkendelse af menneskelig aktivitet for at skabe et simpelt system.
Der er nogle relaterede værker i litteraturen, der omhandler en eller to af de ovennævnte design spørgsmål, men til vores viden, er der intet arbejde, der fokuserer på en metode til at overvinde alle disse problemer.
Beslægtede værker bruger multimodale tilgange til falddetektion og genkendelse af menneskelig aktivitet10,11,12 for at opnå robusthed og øge præcisionen. Kwolek et al.10 foreslog design og implementering af et falddetektionssystem baseret på accelerometriske data og dybdekort. De designede en interessant metode, hvor en tre-akset accelerometer er gennemført for at opdage et potentielt fald samt personens bevægelse. Hvis accelerationsmålet overstiger en tærskel, udtrækker algoritmen en person, der adskiller dybdekortet fra det opdaterede referencekort for onlinedybde. En analyse af dybde og accelerometer kombinationer blev foretaget ved hjælp af en støtte vektor maskine klassificering.
Ofli et al.11 præsenterede en Multimodal Human Action Database (MHAD) for at give en testbed for nye menneskelige aktivitet anerkendelse systemer. Datasættet er vigtigt, da handlingerne blev indsamlet samtidigt ved hjælp af 1 optisk bevægelsesopsamlingssystem, 4 multi-view kameraer, 1 Kinect-system, 4 mikrofoner og 6 trådløse accelerometre. Forfatterne præsenterede resultater for hver modalitet: Kinect, mocap, accelerometer, og lyden.
Dovgan et al.12 foreslog en prototype til påvisning af unormal adfærd, herunder fald, hos ældre. De designede test til tre sensorsystemer for at finde det mest hensigtsmæssige udstyr til fald og registrering af usædvanlig adfærd. Det første eksperiment består af data fra et smart sensorsystem med 12 tags fastgjort til hofter, knæ, ankler, håndled, albuer og skuldre. De har også skabt en test datasæt ved hjælp af en Ubisense sensor system med fire tags knyttet til taljen, brystet og begge ankler, og en Xsens accelerometer. I et tredje eksperiment, kun fire bruger Ubisense system, mens de udfører 4 typer af fald, 4 sundhedsproblemer som unormal adfærd og forskellige aktivitet i dagligdagen (ADL).
Andre værker i litteratur13,14,15 løse problemet med at finde den bedste placering af sensorer eller enheder til falddetektion sammenligne ydeevnen af forskellige kombinationer af sensorer med flere klassificeringer. Santoyo et al.13 fremlagde en systematisk vurdering, der evaluerede betydningen af placeringen af 5 sensorer til falddetektering. De sammenlignede udførelsen af disse sensorkombinationer ved hjælp af k-nærmeste naboer (KNN), støtte vektor maskiner (SVM), naive Bugter (NB) og beslutning træ (DT) klassificeringer. De konkluderer, at placeringen af sensoren på emnet har en vigtig indflydelse på faldet detektor ydeevne uafhængig af den anvendte klassificering.
Özdemir14præsenterede en sammenligning af bærbare sensorplaceringer på kroppen til falddetektering . For at bestemme sensorplacering, forfatteren analyseret 31 sensor kombinationer af følgende positioner: hoved, talje, bryst, højre håndled, højre ankel og højre lår. Fjorten frivillige udførte 20 simulerede fald og 16 ADL. Han fandt, at den bedste præstation blev opnået, når en enkelt sensor er placeret på taljen fra disse udtømmende kombination eksperimenter. En anden sammenligning blev præsenteret af Ntanasis15 ved hjælp af Özdemirs datasæt. Forfatterne sammenlignede enkelte positioner på hoved, bryst, talje, håndled, ankel og lår ved hjælp af følgende klassificeringer: J48, KNN, RF, random committee (RC) og SVM.
Benchmarks for resultaterne af forskellige beregningsmetoder til falddetektion findes også i litteratur16,17,18. Bagala et al.16 præsenterede en systematisk sammenligning for at benchmarke resultaterne af tretten falddetektionsmetoder testet på reelle fald. De betragtes kun algoritmer baseret på accelerometer målinger placeret på taljen eller bagagerummet. Bourke et al.17 evaluerede resultaterne af fem analytiske algoritmer til falddetektering ved hjælp af et datasæt af ADR og fald baseret på accelerometeraflæsninger. Kerdegari18 foretog også en sammenligning af forskellige klassificeringsmodellers ydeevne for et sæt registrerede accelerationsdata. De algoritmer, der anvendes til falddetektion var zeroR, oneR, NB, DT, flerlags perceptron og SVM.
Alazrai et al.18 foreslog en metode til påvisning af fald, der anvender bevægelsesudgørgeometrisk deskriptor til at konstruere en akkumuleret histogrambaseret repræsentation af menneskelig aktivitet. De evaluerede rammen ved hjælp af et datasæt indsamlet med Kinect-sensorer.
Sammenfattende fandt vi multimodale fald afsløring relaterede værker10,11,12, der sammenligner resultaterne af forskellige kombinationer af modaliteter., Nogle forfattere løse problemet med at finde den bedste placering af sensorer13,14,15, eller kombinationer af sensorer13 med flere klassificeringer13,15,16 med flere sensorer af samme modalitet og accelerometre. Der blev ikke fundet noget arbejde i litteraturen, der omhandler placering, multimodale kombinationer og klassificeringsbenchmark på samme tid.
Protocol
Alle metoder, der er beskrevet her, er blevet godkendt af forskningsudvalget for School of Engineering af Universidad Panamericana.
BEMÆRK: Denne metode er baseret på konfigurationen af de specifikke typer af sensorer, machine-learning metoder og procedurer med henblik på at konfigurere en enkel, hurtig og multimodal fald detektion og menneskelig aktivitet anerkendelse system. På grund af dette er følgende protokol opdelt i faser: 1) databaseoprettelse (2) dataanalyse (3) systemforenkling og 4) evaluering.
1. Oprettelse af databaser
- Konfigurer dataindsamlingssystemet. Dette vil indsamle alle data fra emner og gemme oplysningerne i en hentningsdatabase.
- Vælg de typer bærbare sensorer, omgivende sensorer og visionsbaserede enheder, der kræves som informationskilder. Tildel et id for hver informationskilde, antallet af kanaler pr. kilde, de tekniske specifikationer og prøveudtagningshastigheden for hver af dem.
- Tilslut alle informationskilder (f.eks. wearables og omgivende sensorer og visionsbaserede enheder) til en central computer eller et distribueret computersystem:
- Kontroller, at kabelbaserede enheder er sluttet korrekt til én klientcomputer. Kontroller, at trådløse enheder er fuldt opladet. Overvej, at lavt batteriniveau kan påvirke trådløse forbindelser eller sensorværdier. Desuden vil intermitterende eller mistede forbindelser øge tab af data.
- Konfigurer hver af enhederne til at hente data.
- Konfigurer dataindsamlingssystemet til lagring af data i skyen. På grund af den store mængde data, der skal lagres, overvejes cloud computing i denne protokol.
- Kontroller, at datahentningssystemet opfylder datasynkronisering og datakonsistens20 egenskaber. Dette bevarer integriteten af datalagring fra alle informationskilder. Det kan kræve nye tilgange i datasynkronisering. Se f.eks.20
- Begynd at indsamle nogle data med informationskilderne og gem data i et foretrukket system. Medtag tidsstempler i alle data.
- Forespørg i databasen, og find ud af, om alle informationskilder indsamles med de samme eksempelhastigheder. Hvis det gøres ordentligt, skal du gå til trin 1.1.6. Ellers skal der udtages prøver eller foretages en nedtagning ved hjælp af kriterier, der er rapporteret i Peñafort-Asturiano, et al.20.
- Opsæt miljøet (eller laboratoriet) ved at tage hensyn til de nødvendige betingelser og de begrænsninger, der er fastsat i systemets mål. Sæt betingelser for nedslagskraftdæmpning i de simulerede fald som kompatible gulvsystemer foreslået i Lachance, et al.23 for at sikre deltagernes sikkerhed.
- Brug en madras eller et andet kompatibelt gulvsystem, og placer den i midten af miljøet (eller laboratoriet).
- Hold alle genstande væk fra madrassen for at give mindst en meter sikker plads hele vejen rundt. Om nødvendigt skal du forberede personlige værnemidler til deltagerne (f.eks. handsker, kasket, beskyttelsesbriller, knæstøtte osv.).
BEMÆRK: Protokollen kan sættes på pause her.
- Bestemme de menneskelige aktiviteter og falder, at systemet vil opdage efter konfiguration. Det er vigtigt at have tænkt på formålet med systemet til registrering af fald og anerkendelse af menneskelig aktivitet samt målgruppen.
- Definer målet med falddetektions- og humanaktivitetsgenkendelsessystemet. Skriv det ned i et planlægningsark. For dette casestudie er målet at klassificere de typer af menneskelige fald og aktiviteter, der udføres i en indendørs daglig basis af ældre mennesker.
- Definer eksperimentets målgruppe i overensstemmelse med systemets mål. Skriv det ned i planlægningsarket. I undersøgelsen, overveje ældre mennesker som målgruppen.
- Bestem typen af daglige aktiviteter. Medtag nogle ikke-falde aktiviteter, der ligner falder for at forbedre reelle fald afsløring. Tildel et id for dem alle, og beskriv dem så detaljeret som muligt. Angiv tidsperioden for hver aktivitet, der skal udføres. Skriv alle disse oplysninger ned i planlægningsarket.
- Bestem, hvilken type menneskelige falder. Tildel et id for dem alle, og beskriv dem så detaljeret som muligt. Angiv tidsperioden for hvert fald, der skal udføres . Overvej, om faldet vil blive selvgenereret af emnerne eller genereret af andre (f.eks. ved at skubbe motivet). Skriv alle disse oplysninger ned i planlægningsarket.
- Skriv de sekvenser af aktiviteter og fald ned, som et emne udfører, i planlægningsarket. Angiv tidsperioden, antallet af forsøg pr. aktivitet/fald, beskrivelsen for at udføre aktiviteten/faldet og aktivitets-/fald-id'erne.
BEMÆRK: Protokollen kan sættes på pause her.
- Vælg de relevante emner til undersøgelsen, der skal udføre sekvenser af aktiviteter og fald. Falls er sjældne begivenheder at fange i det virkelige liv og normalt forekomme for gamle personer. Af sikkerhedsmæssige årsager omfatter ældre og handicappede i efteråret sat i forbindelse med simulering under lægelig rådgivning. Stunts er blevet brugt til at undgå skader22.
- Bestemme køn, aldersgruppe, vægt og højde af emnerne. Definer eventuelle nedskrivningsbetingelser, der kræves. Definer også det mindste antal forsøgspersoner, der kræves til forsøget.
- Vælg tilfældigt det sæt af emner, der kræves, efter de betingelser, der er angivet i det foregående trin. Brug en opfordring til frivillige til at rekruttere dem. Overhold alle etiske retningslinjer, der gælder fra institution og land, samt enhver international regulering, når du eksperimenterer med mennesker.
BEMÆRK: Protokollen kan sættes på pause her.
- Hent og gem data fra emner. Disse oplysninger vil være nyttige til yderligere eksperimentelle analyser. Gennemfør følgende trin under tilsyn af en klinisk ekspert eller en ansvarlig forsker.
- Begynd at indsamle data med datahentningssystemet konfigureret i trin 1.1.
- Bed hvert af emnerne om at udføre de sekvenser af aktiviteter og fald, der er angivet i trin 1.2. Klart gemme tidsstempler af start og af hver aktivitet / falde. Kontroller, at data fra alle informationskilder gemmes i skyen.
- Hvis aktiviteterne ikke blev udført korrekt, eller der var problemer med enheder (f.eks. mistet forbindelse, lavt batteriniveau, periodisk tilslutning), skal du kassere prøverne og gentage trin 1.4.1, indtil der ikke er fundet nogen enhedsproblemer. Gentag trin 1.4.2 for hvert forsøg pr. forsøg, der er angivet i trin 1.2.
BEMÆRK: Protokollen kan sættes på pause her.
- Forudbehandl alle data, der er indhentet. Anvende optagning og nedtagning for hver informationskilde. Se detaljer om forbehandling af data til falddetektering og anerkendelse af menneskelig aktivitet i Martínez-Villaseñor et al.21.
BEMÆRK: Protokollen kan sættes på pause her.
2. Dataanalyse
- Vælg databehandlingsmåden. Vælg Rådata, hvis de data, der er gemt i databasen, vil blive brugt direkte (dvs. ved hjælp af deep learning til automatisk funktionsudtrækning) og gå til trin 2.2. Vælg Funktionsdata, hvis funktionsudtrækning vil blive brugt til yderligere analyse, og gå til trin 2.3.
- For rå datakræves der ingen ekstra trin, så gå til trin 2.5.
- Uddrag funktioner fra de rå data til Funktionsdata.
- Segmenter rådata i tidsvinduer. Bestem og fastgør tidsvinduets længde (f.eks. rammer af en størrelse på et sekund). Desuden skal du afgøre, om disse tidsvinduer overlapper hinanden eller ej. En god praksis er at vælge 50% overlappende.
- Udtræk funktioner fra hvert datasegment. Bestem det sæt af tidsmæssige og hyppige funktioner, der skal udtrækkes fra segmenterne. Se Martínez-Villaseñor et al.21 for fælles trækudvinding.
- Gem datasættet til udtrækning af funktioner på skyen i en uafhængig database.
- Hvis der vælges forskellige tidsvinduer, skal du gentage trin 2.3.1 til 2.3.3 og gemme hvert funktionsdatasæt i uafhængige databaser.
BEMÆRK: Protokollen kan sættes på pause her.
- Vælg de vigtigste funktioner, der er udtrukket, og reducer funktionsdatasættet. Anvend nogle almindeligt anvendte metoder, til valg af funktioner (f.eks. univariate-udvælgelse, analyse af hovedkomponenter, rekursiv funktionseliminering, funktionsvigtighed, korrelationsmatrix osv.).
- Vælg en metode til valg af funktioner. Her brugte vi funktionen betydning.
- Brug hver funktion til at træne en given model (vi ansat RF) og måle nøjagtigheden (se ligning 1).
- Rang funktionerne ved at sortere efter nøjagtigheden.
- Vælg de vigtigste funktioner. Her brugte vi de bedst rangerede første ti funktioner.
BEMÆRK: Protokollen kan sættes på pause her.
- Vælg en metode til klassificering af maskinel indlæring, og træn en model. Der findes velkendte maskinlæringsmetoder16,17,18,21, såsom: støtte vektor maskiner (SVM), tilfældig skov (RF), flerlags perceptron (MLP) og k-nærmeste naboer (KNN), blandt mange andre.
- Valgfrit, hvis en dyb læring tilgang er valgt, derefter overveje21:convolutional neurale netværk (CNN), lang kortsigtede hukommelse neurale netværk (LSTM), blandt andre.
- Vælg et sæt metoder til maskinel indlæring. Her brugte vi følgende metoder: SVM, RF, MLP og KNN.
- Fastgør parametrene for hver af machine learning-metoderne, som foreslået i litteratur21.
- Opret et kombineret funktionsdatasæt (eller et råt datasæt) ved hjælp af de uafhængige funktionsdatasæt (eller rådatasæt) for at kombinere typer af informationskilder. For eksempel, hvis en kombination af en bærbar sensor og et kamera er påkrævet, derefter kombinere funktionen datasæt fra hver af disse kilder.
- Opdel funktionsdatasættet (eller det rå datasæt) i trænings- og testsæt. Et godt valg er at tilfældigt opdele 70% for uddannelse og 30% til test.
- Kør en kfoldning på tværs af validering21 ved hjælp af funktionsdatasættet (eller det rå datasæt) for hver maskinlæringsmetode. Brug en fælles evalueringsmetrikværdi, Equation 1f.eks. Leave-one subject-out (LOSO) eksperimenter3 er også anbefale.
- Åbn datasættet for træningsfunktionen (eller rådatasættet) i den foretrukne programmeringssprogsoftware. Python anbefales. Til dette trin skal du bruge pandas bibliotek til at læse en CSV-fil som følger:
training_set = pandas.csv(). - Opdel funktionsdatasættet (eller det rå datasæt) i par af inputudgange. Brug for eksempel Python til at erklære x-værdierne (input) og y-værdierne (output):
training_set_X = training_set.drop('tag',axis=1), training_set_Y = training_set.tag
hvor koden repræsenterer kolonnen i det funktionsdatasæt, der indeholder målværdierne. - Vælg én maskinel indlæringsmetode, og angiv parametrene. Brug f.eks.
klassificering = sklearn. SVC(kerne = 'poly')
hvor kernefunktionen vælges som polynomial. - Træn maskinlæringsmodellen. Brug for eksempel ovenstående klassificering i Python til at træne SVM-modellen:
classifier.fit(training_set_X,training_set_Y). - Beregn modellens estimatværdier ved hjælp af datasættet for testfunktioner (eller det rå datasæt). Brug for eksempel estimatfunktionen i Python som følger: estimat = classifier.predict(testing_set_X), hvor testing_set_X repræsenterer x-værdierne i testsættet.
- 1.
- Gentag trin 2.5.6.1 til 2.5.6.6 for hver valgt maskinlæringsmodel.
BEMÆRK: Protokollen kan sættes på pause her.
- Åbn datasættet for træningsfunktionen (eller rådatasættet) i den foretrukne programmeringssprogsoftware. Python anbefales. Til dette trin skal du bruge pandas bibliotek til at læse en CSV-fil som følger:
- Sammenlign maskinlæringsmetoderne ved at teste de valgte modeller med testdatasættet. Andre målinger af evaluering kan bruges: nøjagtighed (Ligning 1), præcision (Ligning 2), følsomhed ( Ligning3), specificitet (Ligning 4) eller F1-score (Equation 5), hvor TP er de sande positiver, TN er de sande negativer, FP er de falske positiver og FN er de falske negativer.
- Brug andre gavnlige ydelsesmålinger såsom forvirringsmatrix9 til at evaluere maskinlæringsmodellernes klassificeringsopgave eller en beslutningsuafhængig præcisionstilbagekaldelses9 (PR) eller modtagers driftskarakteristik9 (ROC) kurver.9 I denne metode betragtes tilbagekaldelse og følsomhed som ækvivalente.
- Brug de kvalitative funktioner i maskinlæringsmodellerne til at sammenligne med dem, f.eks.: let fortolkning af maskinlæring; ydeevne i realtid begrænsede ressourcer af tid, hukommelse og databehandling; og nem implementering af maskinel indlæring i kantenheder eller integrerede systemer.
- Vælg den bedste maskinlæringsmodel ved hjælp af oplysningerne fra: Kvalitetsmålingerne (Ligninger 1-5), effektivitetsmålingerne og de kvalitative funktioner i maskinlæringsgennemførligheden af trin 2.5.6, 2.5.7 og 2.5.8.
BEMÆRK: Protokollen kan sættes på pause her.
3. Forenkling af systemet
- Vælg de passende placeringer af informationskilder. Nogle gange er det nødvendigt at bestemme den bedste placering af informationskilder (f.eks. hvilken placering af en bærbar sensor der er bedre).
- Find ud af, hvilken delmængde af informationskilder der skal analyseres. For eksempel, hvis der er fem bærbare sensorer i kroppen, og kun én skal vælges som den bedste sensor placeret, vil hver af disse sensorer være en del af delsættet.
- For hver informationskilde i dette undersæt skal du oprette et separat datasæt og gemme det separat. Husk, at dette datasæt enten kan være det tidligere funktionsdatasæt eller det rå datasæt.
BEMÆRK: Protokollen kan sættes på pause her.
- Vælg en metode til klassificering af maskinele indlæringe, og træn en model for én informationsplacering. Gennemfør trin fra 2.5.1 til 2.5.6 ved hjælp af hvert af de datasæt, der er oprettet i trin 3.1.2. Registrer den mest egnede kilde til placering af oplysninger ved rangordning. Til dette casestudie bruger vi følgende metoder: SVM, RF, MLP og KNN.
Bemærk: Protokollen kan sættes på pause her. - Vælg de egnede placeringer i en multimodal tilgang, hvis der kræves en kombination af to eller flere informationskilder til systemet (f.eks. en kombination af en bærbar sensor og et kamera). I dette casestudie skal du bruge taljen-wearable sensor og kamera 1 (lateral visning) som modaliteter.
- Vælg den bedste kilde til oplysninger for hver modalitet i systemet, og opret et kombineret funktionsdatasæt (eller rådatasæt) ved hjælp af de uafhængige datasæt for disse informationskilder.
- Vælg en metode til klassificering af maskinel indlæring, og træn en model for disse kombinerede informationskilder. Gennemfør trin 2.5.1 til 2.5.6 ved hjælp af det kombinerede funktionsdatasæt (eller rådatasæt). I denne undersøgelse skal du bruge følgende metoder: SVM, RF, MLP og KNN.
BEMÆRK: Protokollen kan sættes på pause her.
4. Evaluering
- Forbered et nyt datasæt med brugerne under mere realistiske forhold. Brug kun de informationskilder, der er valgt i det forrige trin. At foretrække, implementere systemet i målgruppen (f.eks. ældre). Indsaml data i længere tid.
- Eventuelt hvis målgruppen kun anvendes, skal du oprette en udvælgelsesgruppeprotokol med udelukkelsesbetingelserne (f.eks. enhver fysisk eller psykisk svækkelse) og stoppe forebyggelse af kriterier (f.eks. opdage eventuelle fysiske skader under forsøgene; lider kvalme, svimmelhed og/eller opkastning; besvimelse). Overvej også etiske bekymringer og spørgsmål om databeskyttelse.
- Vurder resultaterne af det falddetektions- og humanaktivitetsgenkendelsessystem, der er udviklet indtil videre. Brug ligninger 1-5 til at bestemme systemets nøjagtighed og prædiktive effekt eller andre effektivitetsmålinger.
- Diskuter om resultaterne af de eksperimentelle resultater.
Representative Results
Oprettelse af en database
Vi har oprettet et multimodalt datasæt til registrering af fald og genkendelse af menneskelig aktivitet, nemlig UP-Fall Detection21. Dataene blev indsamlet over en fire-ugers periode på School of Engineering på Universidad Panamericana (Mexico City, Mexico). Testscenariet blev valgt under hensyntagen til følgende krav: a) et rum, hvor forsøgspersonerne komfortabelt og sikkert kunne udføre fald og aktiviteter, og b) et indendørs miljø med naturligt og kunstigt lys, der er velegnet til multimodale sensorerindstillinger.
Der er dataprøver fra 17 forsøgspersoner, der udførte 5 typer af fald og 6 forskellige enkle aktiviteter, under 3 forsøg. Alle oplysninger blev indsamlet ved hjælp af en in-house dataindsamling system med 5 bærbare sensorer (tri-akse accelerometer, gyroskop og lysintensitet), 1 elektroencefalograf hjelm, 6 infrarøde sensorer som omgivende sensorer, og 2 kameraer på lateral e-og front synspunkter. Figur 1 viser placeringen af sensoren i miljøet og på kroppen. Prøveudtagningshastigheden for hele datasættet er 18 Hz. Databasen indeholder to datasæt: det konsoliderede rådatasæt (812 GB) og et funktionsdatasæt (171 GB). Alle de databaser ware gemt i skyen for offentlig adgang: https://sites.google.com/up.edu.mx/har-up/. Flere detaljer om dataindsamling, forbehandling, konsolidering og lagring af denne database samt oplysninger om synkronisering og datakonsistens kan findes i Martínez-Villaseñor et al.21.
Til denne database var alle forsøgspersoner raske unge frivillige (9 mænd og 8 kvinder) uden nedsat værdi, der var 18-24 år gammel, med en gennemsnitlig højde på 1,66 m og en gennemsnitlig vægt på 66,8 kg. Under dataindsamlingen overvågede den teknisk ansvarlige forsker, at alle aktiviteter blev udført korrekt af forsøgspersonerne. Forsøgspersonerne udførte fem typer fald, hver i 10 sekunder, som falder: fremad ved hjælp af hænder (1), fremad ved hjælp af knæ (2), baglæns (3), sidder i en tom stol (4) og sidelæns (5). De gennemførte også seks daglige aktiviteter for 60 s hver med undtagelse af spring (30 s): gå (6), stående (7), picking up et objekt (8), siddende (9), hoppe (10) og æglæggende (11). Selv om simulerede fald ikke kan gengive alle typer fald i det virkelige liv, er det vigtigt i det mindste at medtage repræsentative typer fald, der gør det muligt at skabe bedre falddetektionsmodeller. Det er også relevant at anvende AdLs og især aktiviteter, der normalt kan forveksles med fald såsom at afhente et objekt. Typerne fald og AUD'er blev udvalgt efter en gennemgang af relaterede falddetektionssystemer21. Som et eksempel viser figur 2 en sekvens af billeder af et forsøg, når et emne falder side om side.
Vi udvundet 12 tidsmæssige (gennemsnit, standard afvigelse, maksimal amplitude, minimal amplitude, root mean square, median, nul-passage nummer, skewness, kurtosis, første kvartil, tredje kvartil og autokorrelation) og 6 frequential (gennemsnit, median, entropi, energi, vigtigste frekvens og spektrale centroid) funktioner21 fra hver kanal af wearable og omgivende sensorer bestående 756 funktioner i alt. Vi har også beregnet 400 visuelle funktioner21 for hvert kamera om den relative bevægelse af pixels mellem to tilstødende billeder i videoerne.
Dataanalyse mellem ikke-modale og multimodale tilgange
Fra UP-Fall Detection databasen analyserede vi dataene til sammenligningsformål mellem unimodal og multimodale tilgange. I den forstand sammenlignede vi syv forskellige kombinationer af informationskilder: kun infrarøde sensorer (IR); bærbare sensorer (IMU) bærbare sensorer og hjelm (IMU+EEG) infrarøde og bærbare sensorer og hjelm (IR+IMU+EEG) kun kameraer (CAM) infrarøde sensorer og kameraer (IR+CAM) og bærbare sensorer, hjelm og kameraer (IMU+EEG+CAM). Derudover sammenlignede vi tre forskellige tidsvinduesstørrelser med 50 % overlappende: et sekund, to sekunder og tre sekunder. På hvert segment valgte vi de mest nyttige funktioner, der anvender funktionsvalg og rangering. Ved hjælp af denne strategi, vi ansat kun 10 funktioner pr modalitet, undtagen i IR modalitet ved hjælp af 40 funktioner. Desuden blev sammenligningen foretaget over fire velkendte maskinlæringsklassificeringer: RF, SVM, MLP og KNN. Vi anvendte 10 gange krydsvalidering med datasæt på 70 % tog og 30 % test for at træne maskinlæringsmodellerne. Tabel 1 viser resultaterne af dette benchmark og rapporterer den bedste ydelse, der opnås for hver modalitet, afhængigt af maskinlæringsmodellen og den bedste konfiguration af vindueslængden. Evalueringsmålingerne rapporterer nøjagtighed, præcision, følsomhed, specificitet og F1-score. Figur 3 viser disse resultater i en grafisk repræsentation, udtrykt i F1-score.
Fra tabel 1opnåede multimodale tilgange (infrarøde og bærbare sensorer og hjelm, IR+IMU+EEG; og bærbare sensorer og hjelm og kameraer, IMU+EEG+CAM) de bedste F1-scoreværdier sammenlignet med unimodal tilgange (kun infrarød, IR; og kun kameraer, CAM). Vi bemærkede også, at bærbare sensorer kun (IMU) opnået lignende ydeevne end en multimodal tilgang. I dette tilfælde valgte vi en multimodal tilgang, fordi forskellige informationskilder kan håndtere begrænsningerne fra andre. For eksempel kan påvirkning i kameraer håndteres af bærbare sensorer, og ikke bruger alle bærbare sensorer kan suppleres med kameraer eller omgivende sensorer.
Med hensyn til benchmarket for de datadrevne modeller viste eksperimenterne i tabel 1, at RF giver de bedste resultater i næsten hele eksperimentet. mlp og svm ikke var særlig konsistente i ydeevne (f.eks. viser standardafvigelsen i disse teknikker større variation end i RF). Om vinduet størrelser, har disse ikke repræsenterer nogen væsentlig forbedring blandt dem. Det er vigtigt at bemærke, at disse eksperimenter blev udført for fald og menneskelig aktivitet klassificering.
Sensorplacering og bedste multimodale kombination
På den anden side, vi tilformål at bestemme den bedste kombination af multimodale enheder til fald detektion. Til denne analyse begrænsede vi informationskilderne til de fem bærbare sensorer og de to kameraer. Disse enheder er de mest komfortable til tilgangen. Derudover overvejede vi to klasser: fald (enhver form for fald) eller no-fall (enhver anden aktivitet). Alle maskinlæringsmodeller og vinduesstørrelser forbliver de samme som i den foregående analyse.
For hver bærbar sensor byggede vi en uafhængig klassificeringsmodel til hver vindueslængde. Vi trænede modellen ved hjælp af 10 gange krydsvalidering med 70 % træning og 30 % testdatasæt. Tabel 2 opsummerer resultaterne for placeringen af de bærbare sensorer pr. ydelsesklassificering baseret på F1-scoren. Disse resultater blev sorteret i faldende rækkefølge. Som det ses i tabel 2, opnås den bedste ydelse ved brug af en enkelt sensor i taljen, hals eller stram højre lomme (skygget region). Hertil kommer, ankel og venstre håndled wearable sensorer udført det værste. Tabel 3 viser vindueslængdepræferencen pr. bærbar sensor for at opnå den bedste ydelse i hver klassificering. Fra resultaterne, talje, hals og stramme højre lomme sensorer med RF klassificering og 3 s vindue størrelse med 50% overlappende er de mest egnede bærbare sensorer til fald detektion.
Vi gennemførte en lignende analyse for hvert kamera i systemet. Vi byggede en uafhængig klassificeringsmodel for hver vinduesstørrelse. Til træning lavede vi 10 gange krydsvalidering med 70 % træning og 30 % testdatasæt. Tabel 4 viser placeringen af det bedste kamerasynspunkt pr. klassificering, baseret på F1-scoren. Som observeret udførte sidebilledet (kamera 1) den bedste faldregistrering. Desuden overgik RF i forhold til de andre klassificeringer. Tabel 5 viser også indstillingen for vindueslængde pr. kamerasynspunkt. Fra resultaterne, fandt vi, at den bedste placering af et kamera er i lateral synspunkt ved hjælp af RF i 3 s vindue størrelse og 50% overlappende.
Endelig valgte vi to mulige placeringer af bærbare sensorer (dvs. talje og stram højre lomme), der skal kombineres med kameraet af lateral synspunkt. Efter samme uddannelsesprocedure opnåede vi resultaterne fra tabel 6. Som vist fik RF-modelklassificeringen den bedste ydeevne i nøjagtighed og F1-score i begge multimodaliteter. Også kombinationen mellem talje og kamera 1 rangeret i den første position opnå 98,72% i nøjagtighed og 95,77% i F1-score.
Figur 1: Layout af de bærbare (venstre) og omgivende (højre) sensorer i UP-Fall Detection-databasen. De bærbare sensorer er placeret i panden, venstre håndled, halsen, taljen, højre lomme af bukserne og venstre ankel. De omgivende sensorer er seks parrede infrarøde sensorer til at registrere tilstedeværelsen af emner og to kameraer. Kameraer er placeret på den laterale visning og på forsiden visning, både med hensyn til det menneskelige fald. Klik her for at se en større version af dette tal.
Figur 2: Eksempel på en videooptagelse, der er udtrukket fra UP-Fall Detection-databasen. Øverst er der en sekvens af billeder af et motiv, der falder sideom side. Nederst er der en sekvens af billeder, der repræsenterer visionen funktioner udvundet. Disse funktioner er den relative bevægelse af pixel mellem to tilstødende billeder. Hvide pixel repræsenterer hurtigere bevægelse, mens sorte pixel repræsenterer langsommere (eller næsten nul) bevægelse. Denne sekvens er sorteret fra venstre mod højre, kronologisk. Klik her for at se en større version af dette tal.
Figur 3: Sammenlignelige resultater, der rapporterer den bedste F1-score for hver modalitet med hensyn til maskinlæringsmodellen og den bedste vindueslængde. Søjler repræsenterer middelværdierne for F1-score. Tekst i datapunkter repræsenterer middel- og standardafvigelse i parentes. Klik her for at se en større version af dette tal.
| Modalitet | Model | Nøjagtighed (%) | Præcision (%) | Følsomhed (%) | Specificitet (%) | F1-score (%) |
| Ir | RF (3 sek. | 67,38 ± 0,65 | 36,45 ± 2,46 | 31,26 ± 0,89 | 96,63 ± 0,07 | 32,16 ± 0,99 |
| SVM (3 sek. | 65,16 ± 0,90 | 26,77 ± 0,58 | 25,16 ± 0,29 | 96,31 ± 0,09 | 23,89 ± 0,41 | |
| MLP (3 sek.) | 65,69 ± 0,89 | 28,19 ± 3,56 | 26,40 ± 0,71 | 96,41 ± 0,08 | 25,13 ± 1,09 | |
| kNN (3 sek.) | 61,79 ± 1,47 | 30,04 ± 1,44 | 27,55 ± 0,97 | 96,05 ± 0,16 | 27,89 ± 1,13 | |
| Imu | RF (1 sek. | 95,76 ± 0,18 | 70,78 ± 1,53 | 66,91 ± 1,28 | 99,59 ± 0,02 | 68,35 ± 1,25 |
| SVM (1 sek. | 93,32 ± 0,23 | 66,16 ± 3,33 | 58,82 ± 1,53 | 99,32 ± 0,02 | 60,00 ± 1,34 | |
| MLP (1 sek.) | 95,48 ± 0,25 | 73,04 ± 1,89 | 69,39 ± 1,47 | 99,56 ± 0,02 | 70,31 ± 1,48 | |
| kNN (1 sek. | 94,90 ± 0,18 | 69,05 ± 1,63 | 64,28 ± 1,57 | 99,50 ± 0,02 | 66,03 ± 1,52 | |
| IMU+EEG | RF (1 sek. | 95,92 ± 0,29 | 74,14 ± 1,29 | 66,29 ± 1,66 | 99,59 ± 0,03 | 69,03 ± 1,48 |
| SVM (1 sek. | 90,77 ± 0,36 | 62,51 ± 3,34 | 52,46 ± 1,19 | 99,03 ± 0,03 | 53,91 ± 1,16 | |
| MLP (1 sek.) | 93,33 ± 0,55 | 74,10 ± 1,61 | 65,32 ± 1,15 | 99,32 ± 0,05 | 68,13 ± 1,16 | |
| kNN (1 sek. | 92,12 ± 0,31 | 66,86 ± 1,32 | 58.30 ± 1.20 | 98,89 ± 0,05 | 60,56 ± 1,02 | |
| IR+IMU+EEG | RF (2 sek. | 95,12 ± 0,36 | 74,63 ± 1,65 | 66,71 ± 1,98 | 99,51 ± 0,03 | 69,38 ± 1,72 |
| SVM (1 sek. | 90,59 ± 0,27 | 64,75 ± 3,89 | 52,63 ± 1,42 | 99,01 ± 0,02 | 53,94 ± 1,47 | |
| MLP (1 sek.) | 93,26 ± 0,69 | 73,51 ± 1,59 | 66,05 ± 1,11 | 99,31 ± 0,07 | 68,19 ± 1,02 | |
| kNN (1 sek. | 92,24 ± 0,25 | 67,33 ± 1,94 | 58,11 ± 1,61 | 99,21 ± 0,02 | 60,36 ± 1,71 | |
| Cam | RF (3 sek. | 32,33 ± 0,90 | 14,45 ± 1,07 | 14,48 ± 0,82 | 92,91 ± 0,09 | 14,38 ± 0,89 |
| SVM (2 sek. | 34,40 ± 0,67 | 13,81 ± 0,22 | 14,30 ± 0,31 | 92,97 ± 0,06 | 13,83 ± 0,27 | |
| MLP (3 sek.) | 27,08 ± 2,03 | 8,59 ± 1,69 | 10,59 ± 0,38 | 92,21 ± 0,09 | 7,31 ± 0,82 | |
| kNN (3 sek.) | 34,03 ± 1,11 | 15,32 ± 0,73 | 15,54 ± 0,57 | 93,09 ± 0,11 | 15,19 ± 0,52 | |
| IR+CAM | RF (3 sek. | 65,00 ± 0,65 | 33,93 ± 2,81 | 29,02 ± 0,89 | 96,34 ± 0,07 | 29,81 ± 1,16 |
| SVM (3 sek. | 64,07 ± 0,79 | 24,10 ± 0,98 | 24,18 ± 0,17 | 96,17 ± 0,07 | 22,38 ± 0,23 | |
| MLP (3 sek.) | 65,05 ± 0,66 | 28,25 ± 3,20 | 25,40 ± 0,51 | 96,29 ± 0,06 | 24,39 ± 0,88 | |
| kNN (3 sek.) | 60,75 ± 1,29 | 29,91 ± 3,95 | 26,25 ± 0,90 | 95,95 ± 0,11 | 26,54 ± 1,42 | |
| IMU+EEG+CAM | RF (1 sek. | 95,09 ± 0,23 | 75,52 ± 2,31 | 66,23 ± 1,11 | 99,50 ± 0,02 | 69,36 ± 1,35 |
| SVM (1 sek. | 91,16 ± 0,25 | 66,79 ± 2,79 | 53,82 ± 0,70 | 99,07 ± 0,02 | 55,82 ± 0,77 | |
| MLP (1 sek.) | 94,32 ± 0,31 | 76,78 ± 1,59 | 67,29 ± 1,41 | 99,42 ± 0,03 | 70,44 ± 1,25 | |
| kNN (1 sek. | 92,06 ± 0,24 | 68,82 ± 1,61 | 58,49 ± 1,14 | 99,19 ± 0,02 | 60,51 ± 0,85 |
Tabel 1: Sammenlignelige resultater, der rapporterer om den bedste ydeevne for hver modalitet med hensyn til maskinlæringsmodellen og den bedste vindueslængde (i parentes). Alle værdier i ydeevne repræsenterer middelværdien og standardafvigelsen.
| # | IMU-type | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (98.36) Talje | (83.30) Højre lomme | (57.67) Højre lomme | (73.19) Højre lomme |
| 2 | (95.77) Hals | (83.22) Talje | (44.93) Hals | (68.73) Talje |
| 3 | (95.35) Højre lomme | (83.11) Hals | (39.54) Talje | (65.06) Hals |
| 4 | (95.06) Ankel | (82.96) Ankel | (39.06) Venstre håndled | (58.26) Ankel |
| 5 | (94.66) Venstre håndled | (82.82) Venstre håndled | (37.56) Ankel | (51.63) Venstre håndled |
Tabel 2: Rangering af den bedste bærbare sensor pr. klassificering, sorteret efter F1-scoren (i parentes). De områder, der er i skygge, repræsenterer de tre bedste klassificeringer til registrering af fald.
| IMU-type | Vindueslængde | |||
| Rf | Svm | Mlp | Knn | |
| Venstre ankel | 2 sek. | 3 sekunder | 1-sek. | 3 sekunder |
| Talje | 3 sekunder | 1-sek. | 1-sek. | 2 sek. |
| Hals | 3 sekunder | 3 sekunder | 2 sek. | 2 sek. |
| Højre lomme | 3 sekunder | 3 sekunder | 2 sek. | 2 sek. |
| Venstre håndled | 2 sek. | 2 sek. | 2 sek. | 2 sek. |
Tabel 3: Foretrukken tidsvindueslængde i de bærbare sensorer pr. klassificering.
| # | Kameravisning | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (62.27) Sideværts visning | (24.25) Sideværts visning | (13.78) Visning foran | (41.52) Sideværts visning |
| 2 | (55.71) Visning foran | (0.20) Visning foran | (5.51) Sideværts visning | (28.13) Visning foran |
Tabel 4: Rangordning af det bedste kamerasynspunkt pr. klassificering, sorteret efter F1-scoren (i parentes). De områder, der er i skygge, repræsenterer den øverste klassificering til registrering af fald.
| Kamera | Vindueslængde | |||
| Rf | Svm | Mlp | Knn | |
| Sideværts visning | 3 sekunder | 3 sekunder | 2 sek. | 3 sekunder |
| Visning foran | 2 sek. | 2 sek. | 3 sekunder | 2 sek. |
Tabel 5: Foretrukken tidsvindueslængde i kameraets synspunkter pr. klassificering.
| Multimodale | Klassificering | Nøjagtighed (%) | Præcision (%) | Følsomhed (%) | F1-score (%) |
| Talje + Sideværts visning |
Rf | 98,72 ± 0,35 | 94,01 ± 1,51 | 97,63 ± 1,56 | 95,77 ± 1,15 |
| Svm | 95,59 ± 0,40 | 100 | 70,26 ± 2,71 | 82,51 ± 1,85 | |
| Mlp | 77,67 ± 11,04 | 33,73 ± 11,69 | 37,11 ± 26,74 | 29,81 ± 12,81 | |
| Knn | 91,71 ± 0,61 | 77,90 ± 3,33 | 61,64 ± 3,68 | 68,73 ± 2,58 | |
| Højre lomme + Sideværts visning |
Rf | 98,41 ± 0,49 | 93,64 ± 1,46 | 95,79 ± 2,65 | 94,69 ± 1,67 |
| Svm | 95,79 ± 0,58 | 100 | 71,58 ± 3,91 | 83,38 ± 2,64 | |
| Mlp | 84,92 ± 2,98 | 55,70 ± 11,36 | 48,29 ± 25,11 | 45,21 ± 14,19 | |
| Knn | 91,71 ± 0,58 | 73,63 ± 3,19 | 68,95 ± 2,73 | 71,13 ± 1,69 |
Tabel 6: Sammenligningsresultater af den kombinerede bærbare sensor og kamerasynspunkt ved hjælp af 3 sekunders vindueslængde. Alle værdier repræsenterer middel- og standardafvigelsen.
Discussion
Det er almindeligt at støde på udfordringer på grund af synkronisering, organisation og data inkonsekvens problemer20, når et datasæt er oprettet.
Synkronisering
Ved indsamling af data opstår synkroniseringsproblemer i betragtning af, at flere sensorer ofte arbejder med forskellige prøvetagningshastigheder. Sensorer med højere frekvenser indsamler flere data end sensorer med lavere frekvenser. Data fra forskellige kilder vil således ikke blive parret korrekt. Selv om sensorer kører med de samme prøvetagningshastigheder, er det muligt, at data ikke vil blive justeret. I denne forbindelse kan følgende anbefalinger bidrage til at håndtere disse synkroniseringsproblemer20:(i) registrere tidsstempel, emne, aktivitet og forsøg i hver dataprøve, der er udvundet af sensorerne; ii) den mest konsekvente og mindre hyppige informationskilde skal anvendes som referencesignal til synkronisering og iii) anvende automatiske eller halvautomatiske procedurer til at synkronisere videooptagelser, at manuel inspektion ville være upraktisk.
Forbehandling af data
Der skal også foretages databehandling, og kritiske beslutninger påvirker denne proces: (a) fastlægge metoderne til datalagring og datarepræsentation af flere og heterogene kilder (b) beslutte, hvordan data skal lagres i den lokale vært eller på skyen (c) vælge organiseringen af data, herunder filnavne og mapper (d) håndtere manglende dataværdier samt redundans, der findes i sensorerne , blandt andre. For dataskyen anbefales lokal bufferlagring desuden, når det er muligt, for at mindske tab af data på overførselstidspunktet.
Datainkonsistens
Datainkonsistens er almindelig mellem forsøg med at finde variationer i datastikprøvestørrelser. Disse spørgsmål er relateret til dataindsamling i bærbare sensorer. Korte afbrydelser af dataindsamling og datakollision fra flere sensorer fører til datauoverensstemmelser. I disse tilfælde er inkonsistensdetektionsalgoritmer vigtige for at håndtere onlinefejl i sensorer. Det er vigtigt at understrege, at trådløse enheder bør overvåges hyppigt under hele eksperimentet. Lavt batteri kan påvirke forbindelsen og medføre tab af data.
Etiske
Samtykke til at deltage og etisk godkendelse er obligatorisk i alle former for eksperimenter, hvor mennesker er involveret.
Med hensyn til begrænsningerne ved denne metode er det vigtigt at bemærke, at den er beregnet til tilgange, der tager hensyn til forskellige metoder til dataindsamling. Systemerne kan omfatte bærbare, omgivende og/eller synssensorer. Det foreslås at overveje strømforbruget af enheder og levetiden af batterier i trådløse-baserede sensorer, på grund af de spørgsmål, såsom tab af dataindsamling, faldende tilslutningsmuligheder og strømforbrug i hele systemet. Desuden er denne metode beregnet til systemer, der anvender maskinindlæringsmetoder. En analyse af udvælgelsen af disse machine learning modeller bør ske på forhånd. Nogle af disse modeller kunne være nøjagtige, men meget tid og energiforbrugende. Der skal tages hensyn til en afvejning mellem nøjagtig estimering og begrænset ressourcetilgængelighed til databehandling i maskinlæringsmodeller. Det er også vigtigt at bemærke, at aktiviteterne i forbindelse med dataindsamlingen blev gennemført i samme rækkefølge. også blev forsøg udført i samme rækkefølge. Af sikkerhedsmæssige årsager blev der anvendt en beskyttelsesmadras til forsøgspersoner, der faldt ned på. Desuden var faldet selvinitieret. Dette er en vigtig forskel mellem simulerede og reelle fald, som generelt forekommer i retning af hårde materialer. I den forstand falder dette datasæt med en intuitiv reaktion, der forsøger ikke at falde. Desuden er der nogle forskelle mellem reelle fald hos ældre eller handicappede, og simuleringen falder; og disse skal tages i betragtning ved udformningen af et nyt falddetektionssystem. Denne undersøgelse var fokuseret på unge uden funktionsnedsættelser, men det er bemærkelsesværdigt at sige, at udvælgelsen af emner bør tilpasses målet for systemet og målgruppen, der vil bruge det.
Fra de relaterede værker, der er beskrevet ovenfor10,11,12,13 ,14,14,15,16,17,18, kan vi konstatere, at der er forfattere, der bruger multimodale tilgange med fokus på at opnå robuste falddetektorer eller fokusere på placering eller ydeevne af klassificeringen. Derfor, de kun løse en eller to af design spørgsmål til fald afsløring. Vores metode gør det muligt at løse samtidig tre af de vigtigste designproblemer i et falddetektionssystem.
Til fremtidigt arbejde foreslår vi, at du designer og implementerer et simpelt multimodalt falddetektionssystem baseret på de resultater, der er opnået efter denne metode. Ved indførelse i den virkelige verden bør overførsel af læring, hierarkisk klassificering og deep learning-tilgange anvendes til udvikling af mere robuste systemer. Vores implementering tog ikke højde for kvalitative målinger af maskinlæringsmodellerne, men realtidsressourcer og begrænsede databehandlingsressourcer skal tages i betragtning ved videreudvikling af systemer til registrering/genkendelse af mennesker. Endelig, for at forbedre vores datasæt, snuble eller næsten faldende aktiviteter og real-time overvågning af frivillige i løbet af deres daglige liv kan overvejes.
Disclosures
Forfatterne har intet at afsløre.
Acknowledgments
Denne forskning er finansieret af Universidad Panamericana gennem tilskuddet "Fomento a la Investigación UP 2018" under projektkode UP-CI-2018-ING-MX-04.
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
