Summary
Vi presenterer en metodikk basert på multimodale sensorer for å konfigurere en enkel, komfortabel og rask høstdeteksjon og menneskelig aktivitetsgjenkjenningssystem. Målet er å bygge et system for nøyaktig falldeteksjon som enkelt kan implementeres og vedtas.
Abstract
Dette papiret presenterer en metodikk basert på multimodale sensorer for å konfigurere en enkel, komfortabel og rask høstdeteksjon og menneskelig aktivitetsgjenkjenningssystem som enkelt kan implementeres og vedtas. Metodikken er basert på konfigurasjon av bestemte typer sensorer, maskinlæringsmetoder og prosedyrer. Protokollen er delt inn i fire faser: (1) databaseoppretting (2) dataanalyse (3) systemforenkling og (4) evaluering. Ved hjelp av denne metodikken opprettet vi en multimodal database for falldeteksjon og menneskelig aktivitetsgjenkjenning, nemlig UP-Fall Detection. Den består av dataprøver fra 17 som utfører 5 typer fall og 6 forskjellige enkle aktiviteter, under 3 studier. All informasjon ble samlet inn ved hjelp av 5 bærbare sensorer (akselerometer med tre akse, gyroskop og lysintensitet), 1 elektroencefalografhjelm, 6 infrarøde sensorer som omgivelsessensorer og 2 kameraer i side- og fremre synspunkter. Den foreslåtte nye metodikken legger til noen viktige stadier for å utføre en dyp analyse av følgende designproblemer for å forenkle et falldeteksjonssystem: a) velge hvilke sensorer eller kombinasjon av sensorer som skal brukes i et enkelt falldeteksjonssystem, b) bestemmer den beste plasseringen av informasjonskildene, og c) velger den mest passende maskinlæringsklassifiseringsmetoden for fall og menneskelig aktivitetsdeteksjon og gjenkjenning. Selv om noen multimodale tilnærminger rapportert i litteraturbare fokuserer på ett eller to av de ovennevnte problemene, gjør vår metodikk samtidig løse disse tre designproblemene knyttet til et menneskelig fall- og aktivitetsdeteksjons- og gjenkjenningssystem.
Introduction
Siden verdensfenomenet av befolkningsaldring1, har fallprevalensen økt og regnes faktisk som et stort helseproblem2. Når et fall oppstår, krever folk umiddelbar oppmerksomhet for å redusere negative konsekvenser. Falldeteksjonssystemer kan redusere tiden en person mottar legehjelp som sender et varsel når det oppstår et fall.
Det finnes ulike kategoriseringer av falldeteksjonssystemer3. Tidlige arbeider4 klassifiserer falldeteksjonssystemer ved hjelp av deres metode for deteksjon, omtrent analytiske metoder og maskinlæringsmetoder. Mer nylig, andre forfattere3,5,6 har vurdert datainnhentingsensorer som den viktigste funksjonen for å klassifisere falldetektorer. Igual et al.3 deler falldeteksjonssystemer i kontekstbevisste systemer, som inkluderer visjons- og omgivelsessensorbaserte tilnærminger og bærbare enhetssystemer. Mubashir et al.5 klassifiserer falldetektorer i tre grupper basert på enhetene som brukes til datainnhenting: bærbare enheter, ambissensorer og visjonsbaserte enheter. Perry et al.6 vurderer metoder for måling av akselerasjon, metoder for måling av akselerasjon kombinert med andre metoder, og metoder som ikke måler akselerasjon. Fra disse undersøkelsene kan vi fastslå at sensorer og metoder er hovedelementene for å klassifisere den generelle forskningsstrategien.
Hver av sensorene har svakheter og styrker diskutert i Xu et al.7. Visjonsbaserte tilnærminger bruker hovedsakelig vanlige kameraer, dybdesensorkameraer og/eller bevegelsesopptakssystemer. Vanlige webkameraer er lave kostnader og enkle å bruke, men de er følsomme for miljøforhold (lysvariasjon, okklusjon, etc.), kan bare brukes i et redusert rom, og har personvernproblemer. Dybdekameraer, for eksempel Kinect, gir full-body 3D-bevegelse7 og påvirkes mindre av lysforhold enn vanlige kameraer. Tilnærminger basert på Kinect er imidlertid ikke så robuste og pålitelige. Motion capture systemer er dyrere og vanskelig å bruke.
Tilnærminger basert på akselerometer enheter og smarttelefoner / klokker med innebygdakselerometre er svært ofte brukt for fall deteksjon. Den største ulempen med disse enhetene er at de må brukes i lange perioder. Ubehag, påtrengende, kroppsplassering og orientering er designproblemer som skal løses i disse tilnærmingene. Selv om smarttelefoner og smartklokker er mindre påtrengende enheter som sensorer, eldre mennesker ofte glemmer eller ikke alltid bruke disse enhetene. Likevel er fordelen med disse sensorene og enhetene at de kan brukes i mange rom og / eller utendørs.
Noen systemer bruker sensorer plassert rundt om i miljøet for å gjenkjenne fall/aktiviteter, slik at folk ikke trenger å bruke sensorene. Disse sensorene er imidlertid også begrenset til de stedene hvor de er utplassert8 og er noen ganger vanskelige å installere. Nylig inkluderer multimodal falldeteksjonssystemer forskjellige kombinasjoner av syn, bærbare og omgivelsessensorer for å få mer presisjon og robusthet. De kan også overvinne noen av enkeltsensorbegrensningene.
Metodikken som brukes til falldeteksjon er nært knyttet til human aktivitetsgjenkjenningskjede (ARC) presentert av Bulling et al.9, som består av stadier for datainnsamling, signalpreprosessering og segmentering, funksjonsutvinning og valg, opplæring og klassifisering. Designproblemer må løses for hvert av disse stadiene. Ulike metoder brukes i hvert trinn.
Vi presenterer en metodikk basert på multimodale sensorer for å konfigurere et enkelt, komfortabelt og raskt menneskelig fall og menneskelig aktivitetsdeteksjons-/gjenkjenningssystem. Målet er å bygge et system for nøyaktig falldeteksjon som enkelt kan implementeres og vedtas. Den foreslåtte nye metodikken er basert på ARC, men det legger til noen viktige faser for å utføre en dyp analyse av følgende problemer for å forenkle systemet: (a) velge hvilke sensorer eller kombinasjon av sensorer som skal brukes i et enkelt falldeteksjonssystem; (b) bestemme den beste plasseringen av informasjonskildene; og (c) velge den mest passende maskinlæringsklassifiseringsmetoden for falldeteksjon og menneskelig aktivitetsgjenkjenning for å skape et enkelt system.
Det er noen relaterte arbeider i litteraturen som tar for seg ett eller to av de ovennevnte designproblemene, men så vidt vi vet, er det ikke noe arbeid som fokuserer på en metodikk for å overvinne alle disse problemene.
Relaterte arbeider bruker multimodal tilnærminger for høstdeteksjon og menneskelig aktivitetsgjenkjenning10,11,12 for å få robusthet og øke presisjonen. Kwolek et al.10 foreslo design og implementering av et falldeteksjonssystem basert på akselerometriske data og dybdekart. De designet en interessant metodikk der et tre-akserometer er implementert for å oppdage et potensielt fall, så vel som personens bevegelse. Hvis akselerasjonsmålet overskrider en terskel, trekker algoritmen ut en person som skiller dybdekartet fra det elektroniske oppdaterte dybdereferansekartet. En analyse av dybde- og akselerometerkombinasjoner ble gjort ved hjelp av en støttevektor maskin klassifikator.
Ofli et al.11 presenterte en Multimodal Human Action Database (MHAD) for å gi en testseng for nye systemer for menneskelig aktivitetsgjenkjenning. Datasettet er viktig siden handlingene ble samlet inn samtidig ved hjelp av 1 optisk bevegelsesopptakssystem, 4 kameraer med flere visninger, 1 Kinect-system, 4 mikrofoner og 6 trådløse akselerometre. Forfatterne presenterte resultater for hver modalitet: Kinect, mocap, akselerometeret og lyden.
Dovgan et al.12 foreslo en prototype for å oppdage uregelmessig oppførsel, inkludert fall, hos eldre. De designet tester for tre sensorsystemer for å finne det mest hensiktsmessige utstyret for fall og uvanlig oppførsel deteksjon. Det første eksperimentet består av data fra et smart sensorsystem med 12 tagger festet til hofter, knær, ankler, håndledd, albuer og skuldre. De opprettet også et testdatasett ved hjelp av ett Ubisense-sensorsystem med fire tagger festet til midjen, brystet og begge anklene, og ett Xsens akselerometer. I et tredje eksperiment bruker fire forsøkspersoner bare Ubisense-systemet mens de utfører 4 typer fall, 4 helseproblemer som uregelmessig oppførsel og forskjellig aktivitet i dagliglivet (ADL).
Andre arbeider ilitteratur13,14,15 løse problemet med å finne den beste plasseringen av sensorer eller enheter for falldeteksjon sammenligne ytelsen til ulike kombinasjoner av sensorer med flere klassifikatorer. Santoyo et al.13 presenterte en systematisk vurdering som evaluerte viktigheten av plasseringen av 5 sensorer for falldeteksjon. De sammenlignet ytelsen til disse sensorkombinasjonene ved hjelp av k-nærmeste naboer (KNN), støttevektormaskiner (SVM), naive Bayes (NB) og decision tree (DT) klassifikatorer. De konkluderer med at plasseringen av sensoren om motivet har en viktig innflytelse på falldetektorytelsen uavhengig av klassifikatoren som brukes.
En sammenligning av bærbare sensorplasseringer på kroppen for falldeteksjon ble presentert av Özdemir14. For å bestemme sensorplassering analyserte forfatteren 31 sensorkombinasjoner av følgende stillinger: hode, midje, bryst, høyre håndledd, høyre ankel og høyre lår. Fjorten frivillige utførte 20 simulerte fall og 16 ADL. Han fant ut at den beste ytelsen ble oppnådd når en enkelt sensor er plassert på midjen fra disse uttømmende kombinasjonsforsøkene. En annen sammenligning ble presentert av Ntanasis15 ved hjelp av Özdemirs datasett. Forfatterne sammenlignet enkeltposisjoner på hodet, brystet, midjen, håndleddet, ankelen og låret ved hjelp av følgende klassifikatarer: J48, KNN, RF, tilfeldig komité (RC) og SVM.
Benchmarks av ytelsen til ulike beregningsmetoder for falldeteksjon kan også bli funnet i litteratur16,17,18. Bagala et al.16 presenterte en systematisk sammenligning med benchmark ytelsen til tretten fall deteksjon metoder testet på virkelige fall. De vurderte bare algoritmer basert på akselerometermålinger plassert på midjen eller stammen. Bourke et al.17 evaluerte ytelsen til fem analytiske algoritmer for falldeteksjon ved hjelp av et datasett med ADLs og faller basert på akselerometeravlesninger. Kerdegari18 gjorde også en sammenligning av ytelsen til ulike klassifiseringsmodeller for et sett med registrerte akselerasjonsdata. Algoritmene som ble brukt til falldeteksjon var zeroR, oneR, NB, DT, flerlags perceptron og SVM.
En metodikk for falldeteksjon ble foreslått av Alazrai et al.18 ved hjelp av bevegelse ser geometrisk beskrivelse for å konstruere en akkumulert histogram-basert representasjon av menneskelig aktivitet. De evaluerte rammeverket ved hjelp av et datasett som ble samlet inn med Kinect-sensorer.
Oppsummert fant vi multimodal fall deteksjon relaterte verk10,11,12 som sammenligner ytelsen til ulike kombinasjoner av modaliteter. Noen forfattere løser problemet med å finne den beste plasseringen av sensorer13,,14,15, eller kombinasjoner av sensorer13 med flere klassifikatorer13,15,16 med flere sensorer av samme modalitet og akselerometre. Det ble ikke funnet noe arbeid i litteraturen som adresserer plassering, multimodale kombinasjoner og klassifikater benchmark samtidig.
Protocol
Alle metoder beskrevet her har blitt godkjent av forskningskomiteen ved School of Engineering of Universidad Panamericana.
MERK: Denne metodikken er basert på konfigurasjonen av de spesifikke typer sensorer, maskinlæringsmetoder og prosedyrer for å konfigurere et enkelt, raskt og multimodal falldeteksjon sjonssystem og menneskelig aktivitetsgjenkjenningssystem. På grunn av dette er følgende protokoll delt i faser: (1) databaseoppretting (2) dataanalyse (3) systemforenkling og (4) evaluering.
1. Oppretting av database
- Definere datainnsamlingssystemet. Dette vil samle inn alle data fra og lagre informasjonen i en gjenfinningsdatabase.
- Velg hvilke typer bærbare sensorer, omgivelsessensorer og synsbaserte enheter som kreves som informasjonskilder. Tilordne en ID for hver informasjonskilde, antall kanaler per kilde, tekniske spesifikasjoner og samplingsfrekvensen for hver av dem.
- Koble alle informasjonskilder (dvs. bærbare enheter og omgivelsessensorer og synsbaserte enheter) til en sentral datamaskin eller et distribuert datasystem:
- Kontroller at kablede enheter er riktig koblet til én klientdatamaskin. Kontroller at trådløse enheter er fulladet. Tenk på at lavt batteri nivå kan påvirke trådløse tilkoblinger eller sensorverdier. Videre vil periodiske eller tapte tilkoblinger øke tap av data.
- Konfigurer hver av enhetene for å hente data.
- Definer datainnsamlingssystemet for lagring av data i skyen. På grunn av den store mengden data som skal lagres, vurderes cloud computing i denne protokollen.
- Valider at datainnsamlingssystemet oppfyller datasynkronisering og datakonsekvens20 egenskaper. Dette opprettholder integriteten til datalagring fra alle informasjonskildene. Det kan kreve nye tilnærminger i datasynkronisering. For eksempel, se Peñafort-Asturiano et al.20.
- Begynn å samle inn noen data med kildene til informasjon og lagre data i et foretrukket system. Inkluder tidsstempler i alle data.
- Spør databasen og finn ut om alle informasjonskilder samles inn med de samme eksempelfrekvensene. Hvis det gjøres riktig, går du til trinn 1.1.6. Ellers kan du utføre oppsampling eller nedprøvetaking ved hjelp av kriterier rapportert i Peñafort-Asturiano, et al.20.
- Sett opp miljøet (eller laboratoriet) ved å vurdere betingelsene som kreves og begrensningene som er pålagt av systemets mål. Angi betingelser for slagkraftdempering i de simulerte fallene som kompatible gulvsystemer foreslått i Lachance, et al.23 for å sikre deltakernes sikkerhet.
- Bruk en eller et annet kompatibelt gulvsystem og plasser den i midten av miljøet (eller laboratoriet).
- Hold alle gjenstander unna for å gi minst en meter trygg plass rundt. Om nødvendig må du forberede personlig verneutstyr for deltakere (f.eks. hansker, hette, vernebriller, knestøtte osv.).
MERK: Protokollen kan settes på pause her.
- Bestem de menneskelige aktivitetene og faller som systemet vil oppdage etter konfigurasjon. Det er viktig å ha i tankene formålet med høsten deteksjon og menneskelig aktivitet anerkjennelse system, samt målet befolkningen.
- Definer målet for falldeteksjons- og systemet for gjenkjenning av menneskelig aktivitet. Skriv det ned i et planleggingsark. For denne case-studien er målet å klassifisere hvilke typer menneskelige fall og aktiviteter som utføres på en innendørs daglig basis av eldre mennesker.
- Definer målpopulasjonen av eksperimentet i samsvar med målet for systemet. Skriv det ned i planleggingsarket. I studien, vurdere eldre mennesker som målgruppen.
- Bestem hvilken type daglige aktiviteter. Inkluder noen ikke-fall aktiviteter som ser ut som fall for å forbedre ekte fall deteksjon. Tilordne en ID for dem alle og beskrive dem så detaljert som mulig. Angi tidsperioden for hver aktivitet som skal utføres. Skriv ned all denne informasjonen i planleggingsarket.
- Bestem hvilken type menneskelige fall. Tilordne en ID for dem alle og beskrive dem så detaljert som mulig. Angi tidsperioden for hvert fall som skal utføres . Vurder om fallene vil bli selvgenerert av fagene eller generert av andre (f.eks. skyve motivet). Skriv ned all denne informasjonen i planleggingsarket.
- Skriv ned aktivitetssekvensene i planleggingsarket, og faller som et emne skal utføre. Angi tidsperioden, antall studier per aktivitet/fall, beskrivelsen for å utføre aktiviteten/fallet og aktivitets-/fall-IDene.
MERK: Protokollen kan settes på pause her.
- Velg de relevante fagene i studien som skal utføre sekvensene av aktiviteter og fall. Fall er sjeldne hendelser å fange i det virkelige liv og vanligvis forekommer til gamle personer. Av sikkerhetsmessige årsaker inkluderer de ikke eldre og nedsatte personer i høstsimulering under medisinsk rådgivning. Stunts har blitt brukt til å unngå skader22.
- Bestem kjønn, aldersgruppe, vekt og høyde på fagene. Definer eventuelle forringelsesbetingelser som kreves. Definer også minimum antall emner som kreves for eksperimentet.
- Velg tilfeldig settet med forsøkspersoner som kreves, etter betingelsene som er angitt i forrige trinn. Bruk en oppfordring til frivillige til å rekruttere dem. Oppfylle alle etiske retningslinjer som gjelder fra institusjonen og landet, samt enhver internasjonal regulering når du eksperimenterer med mennesker.
MERK: Protokollen kan settes på pause her.
- Hent og lagre data fra emner. Denne informasjonen vil være nyttig for videre eksperimentell analyse. Fullfør følgende trinn under veiledning av en klinisk ekspert eller en ansvarlig forsker.
- Begynn å samle inn data med datainnsamlingssystemet som er konfigurert i trinn 1.1.
- Be hvert av fagene om å utføre sekvensene av aktiviteter og faller erklært i trinn 1.2. Lagre tydelig tidsstemplene for start og slutten av hver aktivitet/fall. Kontroller at data fra alle informasjonskilder lagres i skyen.
- Hvis aktivitetene ikke ble gjort riktig eller det var problemer med enheter (f.eks. mistet tilkobling, lavt batterinivå, intermitterende tilkobling), forkast prøvene og gjenta trinn 1.4.1 til ingen enhetsproblemer er funnet. Gjenta trinn 1.4.2 for hver prøve, per emne, deklarert i sekvensen av trinn 1.2.
MERK: Protokollen kan settes på pause her.
- Forhåndsbehandle alle data som er anskaffet. Bruk oppsampling og nedsampling for hver av informasjonskildene. Se detaljer om forhåndsbehandling av data for høstdeteksjon og menneskelig aktivitetsgjenkjenning i Martínez-Villaseñor et al.21.
MERK: Protokollen kan settes på pause her.
2. Dataanalyse
- Velg modusfor databehandling. Velg Rådatdata hvis dataene som er lagret i databasen, skal brukes direkte (dvs. ved hjelp av dyp læring for automatisk funksjonsutvinning) og gå til trinn 2.2. Velg Funksjonsdata hvis funksjonsutpakking vil bli brukt til videre analyse og gå til trinn 2.3.
- For rådataer det ikke nødvendig med ekstra trinn, så gå til trinn 2.5.
- For funksjonsdatatrekker du ut funksjoner fra rådata.
- Segmenter rådata i tidsvinduer. Bestem og løs tidsvinduslengden (f.eks. rammer av ett sekunds størrelse). I tillegg kan du finne ut om disse tidsvinduene overlapper eller ikke. En god praksis er å velge 50% overlappende.
- Trekk ut funksjoner fra hvert segment av data. Bestem settet med temporale og hyppige funksjoner som skal trekkes ut fra segmentene. Se Martínez-Villaseñor et al.21 for felles trekkutvinning.
- Lagre funksjonsuttrekksdatasettet i skyen, i en uavhengig database.
- Hvis forskjellige tidsvinduer velges, gjentar du trinn 2.3.1 til 2.3.3 og lagrer hvert funksjonsdatasett i uavhengige databaser.
MERK: Protokollen kan settes på pause her.
- Velg de viktigste funksjonene som er hentet ut, og reduser funksjonsdatasettet. Bruk noen vanlige funksjonsvalgmetoder (f.eks., univariate utvalg, hovedkomponenter analyse, rekursiv funksjon eliminering, funksjonsviktighet, korrelasjonmatrise, etc.).
- Velg en metode for valg av funksjoner. Her brukte vi funksjonsviktighet.
- Bruk hver funksjon til å trene en gitt modell (vi brukte RF) og måle nøyaktigheten (se Formel 1).
- Ranger funksjonene ved å sortere i rekkefølge av nøyaktigheten.
- Velg de viktigste funksjonene. Her brukte vi de best rangerte første ti funksjonene.
MERK: Protokollen kan settes på pause her.
- Velg en maskinlæringsklassifiseringsmetode og tog en modell. Det finnes kjente maskinlæringsmetoder16,17,18,21, for eksempel støttevektormaskiner (SVM), tilfeldig skog (RF), flerlags perceptron (MLP) og k-nærmeste naboer (KNN), blant mange andre.
- Eventuelt, hvis en dyp læringstilnærming er valgt, bør du vurdere21:convolutional neural networks (CNN), langsiktige minne nevrale nettverk (LSTM), blant andre.
- Velg et sett med maskinlæringsmetoder. Her brukte vi følgende metoder: SVM, RF, MLP og KNN.
- Løs parametrene for hver av maskinlæringsmetodene, som foreslått i litteratur21.
- Opprett et kombinert funksjonsdatasett (eller rådatdatasett) ved hjelp av de uavhengige funksjonsdatasettene (eller rådatasettene), for å kombinere informasjonskilder. Hvis en kombinasjon av én bærbar sensor og ett kamera for eksempel er nødvendig, kan du kombinere funksjonsdatasettene fra hver av disse kildene.
- Del funksjonsdatasettet (eller rådatdatasettet) i trenings- og testsett. Et godt valg er å tilfeldig dele 70% for trening og 30% for testing.
- Kjør en k-fold kryssvalidering21 ved hjelp av funksjonsdatasettet (eller rådatdatasettet), for hver maskinlæringsmetode. Bruk en vanlig evalueringsberegning, for eksempel nøyaktighet (se Formel 1)til å velge den beste modellen som er opplært per metode. Leave-one subject-out (LOSO) eksperimenter3 er også anbefalt.
- Åpne datasettet for treningsfunksjonen (eller rådatasettet) i foretrukket programmeringsspråkprogramvare. Python anbefales. For dette trinnet bruker du pandaer biblioteket til å lese en CSV-fil som følger:
training_set = pandaer.csv(). - Del funksjonsdatasettet (eller rådatasettet) i par av innganger. Bruk for eksempel Python til å deklarere x-verdiene (innganger) og y-verdiene (utganger):
training_set_X = training_set.drop('tag',axis=1), training_set_Y = training_set.tag
der taggen representerer kolonnen i funksjonsdatasettet som inneholder målverdiene. - Velg én maskinlæringsmetode, og angi parameterne. Bruk for eksempel SVM i Python med biblioteket sklearn som følgende kommando:
classifier = sklearn. SVC(kjerne = 'poly')
der kjernefunksjonen er valgt som polynom. - Tren maskinlæringsmodellen. Bruk for eksempel den ovennevnte klassifikatoren i Python til å trene SVM-modellen:
classifier.fit (training_set_X,training_set_Y). - Beregn estimatverdiene for modellen ved hjelp av datasettet for testfunksjonen (eller rådatasettet). Bruk for eksempel estimatfunksjonen i Python som følger: estimater = classifier.predict(testing_set_X) der testing_set_X representerer x-verdiene for testsettet.
- Gjenta trinn 2.5.6.1 til 2.5.6.5, antall ganger k angitt i k-fold kryssvalidering (eller antall ganger som kreves for LOSO-tilnærmingen).
- Gjenta trinn 2.5.6.1 til 2.5.6.6 for hver maskinlæringsmodell som er valgt.
MERK: Protokollen kan settes på pause her.
- Åpne datasettet for treningsfunksjonen (eller rådatasettet) i foretrukket programmeringsspråkprogramvare. Python anbefales. For dette trinnet bruker du pandaer biblioteket til å lese en CSV-fil som følger:
- Sammenlign maskinlæringsmetodene ved å teste de valgte modellene med testdatasettet. Andre beregninger av evaluering kan brukes: nøyaktighet (Ligning 1), presisjon (Ligning 2), følsomhet ( Ligning3), spesifisitet (Ligning 4) eller F1-score (Ligning 5), hvor TP er de sanne positive, TN er de sanne negativene, FP er de falske positive og FN er de falske negativene.
- Bruk andre nyttige ytelsesberegninger som forvirringsmatrisen9 til å evaluere klassifiseringsoppgaven til maskinlæringsmodellene, eller en beslutningsuavhengig presisjonstilbakekalling9 (PR) eller mottaker som opererer karakteristiske9 (ROC) kurver. I denne metodikken anses tilbakekalling og følsomhet som tilsvarende.
- Bruk kvalitative egenskaper i maskinlæringsmodellene for å sammenligne mellom dem, for eksempel: enkel maskinlæringstolkning; sanntidsytelse; begrensede ressurser av tid, minne og behandling databehandling; og enkel maskinlæringsdistribusjon i kantenheter eller innebygde systemer.
- Velg den beste maskinlæringsmodellen ved hjelp av informasjonen fra: Kvalitetsberegningene (Ligninger 1–5), ytelsesberegningene og de kvalitative funksjonene i maskinlæring i trinn 2.5.6, 2.5.7 og 2.5.8.
MERK: Protokollen kan settes på pause her.
3. Systemforenkling
- Velg de egnede plasseringene av informasjonskilder. Noen ganger er det nødvendig å bestemme den beste plasseringen av informasjonskilder (f.eks. hvilken plassering av en bærbar sensor er bedre).
- Bestem delsettet av informasjonskilder som skal analyseres. For eksempel, hvis det er fem bærbare sensorer i kroppen og bare en må velges som den beste sensoren plassert, vil hver av disse sensorene være en del av undergruppen.
- For hver informasjonskilde i dette delsettet oppretter du et eget datasett og lagrer det separat. Husk at dette datasettet kan være det forrige funksjonsdatasettet eller rådatasettet.
MERK: Protokollen kan settes på pause her.
- Velg en maskinlæringsklassifiseringsmetode og tren en modell for én kilde til informasjonsplassering. Fullstendige trinn fra 2.5.1 til 2.5.6 ved hjelp av hvert av datasettene som er opprettet i trinn 3.1.2. Oppdag den mest passende kilden til informasjonsplassering ved rangering. For denne case-studien bruker vi følgende metoder: SVM, RF, MLP og KNN.
Merk: Protokollen kan settes på pause her. - Velg de egnede plasseringene i en multimodal tilnærming hvis det kreves en kombinasjon av to eller flere informasjonskilder for systemet (f.eks. kombinasjon av en bærbar sensor og ett kamera). I dette tilfellet studien, bruk midje-wearable sensor og kamera 1 (lateral visning) som modaliteter.
- Velg den beste informasjonskilden for hver modalitet i systemet, og opprett et kombinert funksjonsdatasett (eller rådatdatasett) ved hjelp av de uavhengige datasettene for disse informasjonskildene.
- Velg en maskinlæringsklassifiseringsmetode og tog en modell for disse kombinerte informasjonskildene. Fullfør trinn 2.5.1 til 2.5.6 ved hjelp av det kombinerte funksjonsdatasettet (eller rådatasettet). I denne studien bruker du følgende metoder: SVM, RF, MLP og KNN.
MERK: Protokollen kan settes på pause her.
4. Evaluering
- Forbered et nytt datasett med brukere under mer realistiske forhold. Bruk bare informasjonskildene som er valgt i forrige trinn. Fortrinnsvis, implementere systemet i målgruppen (f.eks eldre mennesker). Samle inn data i lengre perioder.
- Eventuelt hvis målgruppen bare brukes, opprett en utvalgsgruppeprotokoll, inkludert vilkårene for utelukkelse (f.eks. fysisk eller psykisk svekkelse) og stopp kriterier forebygging (f.eks. oppdage eventuelle fysiske skader under forsøkene; lider kvalme, svimmelhet og / eller oppkast; besvimelse). Vurder også etiske bekymringer og personvernspørsmål.
- Evaluer ytelsen til høstdeteksjonen og det utviklede systemet for menneskelig aktivitetsgjenkjenning så langt. Bruk Formel1–5 til å bestemme nøyaktigheten og den prediktive kraften i systemet eller andre ytelsesberegninger.
- Diskuter om funnene på de eksperimentelle resultatene.
Representative Results
Opprettelse av en database
Vi opprettet et multimodalt datasett for høstdeteksjon og menneskelig aktivitetsgjenkjenning, nemlig UP-Fall Detection21. Dataene ble samlet inn over en fire ukers periode ved School of Engineering ved Universidad Panamericana (Mexico City, Mexico). Testscenariet ble valgt med tanke på følgende krav: (a) et rom der fagene komfortabelt og sikkert kunne utføre fall og aktiviteter, og (b) et innendørs miljø med naturlig og kunstig lys som er godt egnet for multimodale sensorer innstillinger.
Det finnes dataprøver fra 17 som utførte 5 typer fall og 6 forskjellige enkle aktiviteter, under 3 studier. All informasjon ble samlet inn ved hjelp av et internt datainnsamlingssystem med 5 bærbare sensorer (akselerometer med tre akse, gyroskop og lysintensitet), 1 elektroencefalografhjelm, 6 infrarøde sensorer som omgivelsessensorer og 2 kameraer ved side- og fremre synspunkter. Figur 1 viser utformingen av sensorplasseringen i miljøet og på kroppen. Samplingsfrekvensen for hele datasettet er 18 Hz. Databasen inneholder to datasett: det konsoliderte rådatasettet (812 GB) og et funksjonsdatasett (171 GB). Alle databasene ware lagret i skyen for offentlig tilgang: https://sites.google.com/up.edu.mx/har-up/. Flere detaljer om datainnsamling, forhåndsbehandling, konsolidering og lagring av denne databasen, samt detaljer om synkronisering og datakonsistens finnes i Martínez-Villaseñor et al.21.
For denne databasen var alle forsøkspersoner friske unge frivillige (9 menn og 8 kvinner) uten nedsatt funksjonsevne, fra 18 til 24 år, med en gjennomsnittlig høyde på 1,66 m og en gjennomsnittlig vekt på 66,8 kg. Under datainnsamlingen overvåket den tekniske ansvarlige forskeren at alle aktivitetene ble utført av fagene riktig. Forsøkspersonene utførte fem typer fall, hver og en i 10 sekunder, som fallende: fremover med hender (1), fremover med knærne (2), bakover (3), sitter i en tom stol (4) og sidelengs (5). De gjennomførte også seks daglige aktiviteter for 60 s hver bortsett fra hopping (30 s): walking (6), stående (7), plukke opp et objekt (8), sitter (9), hopping (10) og legging (11). Selv om simulerte fall ikke kan reprodusere alle typer virkelige fall, er det i det minste viktig å inkludere representative typer fall som muliggjør etablering av bedre falldeteksjonsmodeller. Det er også relevant å bruke ADLer og spesielt aktiviteter som vanligvis kan forveksles med fall, for eksempel plukke opp et objekt. Falltypene og ADLer ble valgt etter en gjennomgang av relaterte falldeteksjonssystemer21. Figur 2 viser for eksempel en sekvens med bilder av én prøveversjon når et emne faller sidelengs.
Vi hentet 12 temporal (gjennomsnitt, standardavvik, maksimal amplitude, minimal amplitude, rot gjennomsnittlig kvadrat, median, null-krysset nummer, skjevhet, kurtose, første kvartil, tredje kvartil og autokorrelasjon) og 6 hyppige (gjennomsnitt, median, entropi, energi, hovedfrekvens og spektral centroid) funksjoner21 fra hver kanal av bærbare og omgivelsessensorer bestående av 756 funksjoner i total. Vi beregnet også 400 visuelle funksjoner21 for hvert kamera om den relative bevegelsen av piksler mellom to tilstøtende bilder i videoene.
Dataanalyse mellom Unimodal og Multimodal Tilnærminger
Fra UP-Fall Detection-databasen analyserte vi dataene for sammenligningsformål mellom unimodale og multimodale tilnærminger. I den forstand sammenlignet vi syv forskjellige kombinasjoner av informasjonskilder: kun infrarøde sensorer (IR); bare bærbare sensorer (IMU); bærbare sensorer og hjelm (IMU+EEG); infrarøde og bærbare sensorer og hjelm (IR +IMU+EEG); bare kameraer (CAM); infrarøde sensorer og kameraer (IR+CAM); og bærbare sensorer, hjelm og kameraer (IMU+EEG+CAM). I tillegg sammenlignet vi tre forskjellige tidsvindusstørrelser med 50 % overlappende: ett sekund, to sekunder og tre sekunder. På hvert segment valgte vi de mest nyttige funksjonene som bruker funksjonsvalg og rangering. Ved hjelp av denne strategien brukte vi bare 10 funksjoner per modalitet, bortsett fra i IR-modaliteten ved hjelp av 40 funksjoner. Videre ble sammenligningen gjort over fire kjente maskinlæringsklassifikater: RF, SVM, MLP og KNN. Vi brukte 10 ganger kryssvalidering, med datasett på 70% tog og 30% test, for å trene maskinlæringsmodellene. Tabell 1 viser resultatene av denne referanseindeksen, og rapporterer den beste ytelsen som oppnås for hver modalitet, avhengig av maskinlæringsmodellen og den beste konfigurasjonen av vinduslengde. Evalueringsberegningene rapporterer nøyaktighet, presisjon, følsomhet, spesifisitet og F1-poengsum. Figur 3 viser disse resultatene i en grafisk representasjon, når det gjelder F1-score.
Fra tabell 1fikk multimodal tilnærminger (infrarøde og bærbare sensorer og hjelm, IR+IMU+EEG; og bærbare sensorer og hjelm og kameraer, IMU+EEG+CAM) de beste F1-scoreverdiene, sammenlignet med unimodale tilnærminger (kun infrarød, IR; og kameraer kun, CAM). Vi la også merke til at bare bærbare sensorer (IMU) oppnådde lignende ytelse enn en multimodal tilnærming. I dette tilfellet valgte vi en multimodal tilnærming fordi ulike informasjonskilder kan håndtere begrensningene fra andre. For eksempel kan påtrengende i kameraer håndteres av bærbare sensorer, og ikke bruk av alle bærbare sensorer kan suppleres med kameraer eller omgivelsessensorer.
Når det gjelder referansen til de datadrevne modellene, viste eksperimenter i tabell 1 at RF presenterer de beste resultatene i nesten hele eksperimentet; mens MLP og SVM ikke var veldig konsistente i ytelse (f.eks. standardavvik i disse teknikkene viser mer variasjon enn i RF). Om vindusstørrelsene representerte disse ingen signifikant forbedring blant dem. Det er viktig å legge merke til at disse eksperimentene ble gjort for høst og menneskelig aktivitetsklassifisering.
Sensorplassering og beste multimodal kombinasjon
På den annen side hadde vi som mål å bestemme den beste kombinasjonen av multimodale enheter for falldeteksjon. For denne analysen begrenset vi informasjonskildene til de fem bærbare sensorene og de to kameraene. Disse enhetene er de mest komfortable for tilnærmingen. I tillegg vurderte vi to klasser: fall (enhver type fall) eller fallfritt (noen annen aktivitet). Alle maskinlæringsmodeller og vindusstørrelser forblir de samme som i forrige analyse.
For hver bærbare sensor bygget vi en uavhengig klassifikatormodell for hver vinduslengde. Vi trente modellen ved hjelp av 10 ganger kryssvalidering med 70% trening og 30% testdatasett. Tabell 2 oppsummerer resultatene for rangeringen av de bærbare sensorene per ytelsesklassifiserer, basert på F1-poengsummen. Disse resultatene ble sortert i synkende rekkefølge. Som vist i tabell 2, oppnås den beste ytelsen når du bruker en enkelt sensor i midjen, nakken eller den stramme høyre lommen (skygget region). I tillegg utførte ankel- og venstre håndleddsslitesterke sensorer det verste. Tabell 3 viser vinduslengdepreferansen per bærbar sensor for å få best mulig ytelse i hver klassifikator. Fra resultatene, midje,nakke og stramme høyre lommesensorer med RF-klassifikator og 3 s vindusstørrelse med 50% overlappende er de mest egnede bærbare sensorene for falldeteksjon.
Vi gjennomførte en lignende analyse for hvert kamera i systemet. Vi bygget en uavhengig klassifikatermodell for hver vindusstørrelse. For trening gjorde vi 10 ganger kryssvalidering med 70% trening og 30% testdatasett. Tabell 4 viser rangeringen av det beste kameravisningspunktet per klassifikater, basert på F1-poengsummen. Som observert utførte sidevisningen (kamera 1) den beste falldeteksjonen. I tillegg overgikk RF sammenlignet med de andre klassifikatrene. Tabell 5 viser også innstillingen for vinduslengde per kamerasynspunkt. Fra resultatene fant vi ut at den beste plasseringen av et kamera er i sideveis synspunkt ved hjelp av RF i 3 s vindusstørrelse og 50% overlappende.
Til slutt valgte vi to mulige plasseringer av bærbare sensorer (dvs. midje og stram høyre lomme) som skal kombineres med kameraet av sideveis synspunkt. Etter samme treningsprosedyre fikk vi resultatene fra tabell 6. Som vist fikk RF-modellen klassifikatoren den beste ytelsen i nøyaktighet og F1-score i begge multimodaliteter. Kombinasjonen mellom midje og kamera 1 rangert i første posisjon med 98,72 % i nøyaktighet og 95,77 % i F1-skår.
Figur 1: Oppsett av de bærbare (venstre) og omgivelsessensorene (høyre) i UP-Fall Detection-databasen. De bærbare sensorene er plassert i pannen, venstre håndledd, nakken, midjen, høyre lomme på buksene og venstre ankel. Omgivelsessensorene er seks sammenkoblede infrarøde sensorer for å oppdage tilstedeværelsen av motiver og to kameraer. Kameraer er plassert på sidevisningen og på forsiden, begge med hensyn til det menneskelige fallet. Vennligst klikk her for å se en større versjon av denne figuren.
Figur 2: Eksempel på et videoopptak hentet fra UP-Fall Detection-databasen. Øverst er det en sekvens av bilder av et motiv som faller sidelengs. Nederst er det en sekvens av bilder som representerer visjonsfunksjonene som er hentet ut. Disse funksjonene er den relative bevegelsen av piksler mellom to tilstøtende bilder. Hvite piksler representerer raskere bevegelse, mens svarte piksler representerer langsommere (eller nær null) bevegelse. Denne sekvensen sorteres fra venstre til høyre, kronologisk. Vennligst klikk her for å se en større versjon av denne figuren.
Figur 3: Komparative resultater som rapporterer den beste F1-skåren av hver modalitet med hensyn til maskinlæringsmodellen og den beste vinduslengden. Stolper representerer gjennomsnittsverdiene for F1-skår. Tekst i datapunkter representerer gjennomsnitts- og standardavvik i parentes. Vennligst klikk her for å se en større versjon av denne figuren.
| Modalitet | Modell | Nøyaktighet (%) | Presisjon (%) | Følsomhet (%) | Spesifisitet (%) | F1-score (%) |
| Ir | RF (3 sek) | 67,38 ± 0,65 | 36,45 ± 2,46 | 31,26 ± 0,89 | 96,63 ± 0,07 | 32,16 ± 0,99 |
| SVM (3 sek) | 65,16 ± 0,90 | 26,77 ± 0,58 | 25,16 ± 0,29 | 96,31 ± 0,09 | 23,89 ± 0,41 | |
| MLP (3 sek) | 65,69 ± 0,89 | 28,19 ± 3,56 | 26,40 ± 0,71 | 96,41 ± 0,08 | 25,13 ± 1,09 | |
| kNN (3 sek) | 61,79 ± 1,47 | 30,04 ± 1,44 | 27,55 ± 0,97 | 96,05 ± 0,16 | 27,89 ± 1,13 | |
| IMU (andre er i)- | RF (1 sek) | 95,76 ± 0,18 | 70,78 ± 1,53 | 66,91 ± 1,28 | 99,59 ± 0,02 | 68,35 ± 1,25 |
| SVM (1 sek) | 93,32 ± 0,23 | 66,16 ± 3,33 | 58,82 ± 1,53 | 99,32 ± 0,02 | 60,00 ± 1,34 | |
| MLP (1 sek) | 95,48 ± 0,25 | 73,04 ± 1,89 | 69,39 ± 1,47 | 99,56 ± 0,02 | 70,31 ± 1,48 | |
| kNN (1 sek) | 94,90 ± 0,18 | 69,05 ± 1,63 | 64,28 ± 1,57 | 99,50 ± 0,02 | 66,03 ± 1,52 | |
| IMU+EEG | RF (1 sek) | 95,92 ± 0,29 | 74,14 ± 1,29 | 66,29 ± 1,66 | 99,59 ± 0,03 | 69,03 ± 1,48 |
| SVM (1 sek) | 90,77 ± 0,36 | 62,51 ± 3,34 | 52,46 ± 1,19 | 99,03 ± 0,03 | 53,91 ± 1,16 | |
| MLP (1 sek) | 93,33 ± 0,55 | 74,10 ± 1,61 | 65,32 ± 1,15 | 99,32 ± 0,05 | 68,13 ± 1,16 | |
| kNN (1 sek) | 92,12 ± 0,31 | 66,86 ± 1,32 | 58,30 ± 1,20 | 98,89 ± 0,05 | 60,56 ± 1,02 | |
| IR+IMU+EEG | RF (2 sek) | 95,12 ± 0,36 | 74,63 ± 1,65 | 66,71 ± 1,98 | 99,51 ± 0,03 | 69,38 ± 1,72 |
| SVM (1 sek) | 90,59 ± 0,27 | 64,75 ± 3,89 | 52,63 ± 1,42 | 99,01 ± 0,02 | 53,94 ± 1,47 | |
| MLP (1 sek) | 93,26 ± 0,69 | 73,51 ± 1,59 | 66,05 ± 1,11 | 99,31 ± 0,07 | 68,19 ± 1,02 | |
| kNN (1 sek) | 92,24 ± 0,25 | 67,33 ± 1,94 | 58,11 ± 1,61 | 99,21 ± 0,02 | 60,36 ± 1,71 | |
| Cam | RF (3 sek) | 32,33 ± 0,90 | 14,45 ± 1,07 | 14,48 ± 0,82 | 92,91 ± 0,09 | 14,38 ± 0,89 |
| SVM (2 sek) | 34,40 ± 0,67 | 13,81 ± 0,22 | 14,30 ± 0,31 | 92,97 ± 0,06 | 13,83 ± 0,27 | |
| MLP (3 sek) | 27,08 ± 2,03 | 8,59 ± 1,69 | 10,59 ± 0,38 | 92,21 ± 0,09 | 7,31 ± 0,82 | |
| kNN (3 sek) | 34,03 ± 1,11 | 15,32 ± 0,73 | 15,54 ± 0,57 | 93,09 ± 0,11 | 15,19 ± 0,52 | |
| IR+CAM | RF (3 sek) | 65,00 ± 0,65 | 33,93 ± 2,81 | 29,02 ± 0,89 | 96,34 ± 0,07 | 29,81 ± 1,16 |
| SVM (3 sek) | 64,07 ± 0,79 | 24,10 ± 0,98 | 24,18 ± 0,17 | 96,17 ± 0,07 | 22,38 ± 0,23 | |
| MLP (3 sek) | 65,05 ± 0,66 | 28,25 ± 3,20 | 25,40 ± 0,51 | 96,29 ± 0,06 | 24,39 ± 0,88 | |
| kNN (3 sek) | 60,75 ± 1,29 | 29,91 ± 3,95 | 26,25 ± 0,90 | 95,95 ± 0,11 | 26,54 ± 1,42 | |
| IMU+EEG+CAM | RF (1 sek) | 95,09 ± 0,23 | 75,52 ± 2,31 | 66,23 ± 1,11 | 99,50 ± 0,02 | 69,36 ± 1,35 |
| SVM (1 sek) | 91,16 ± 0,25 | 66,79 ± 2,79 | 53,82 ± 0,70 | 99,07 ± 0,02 | 55,82 ± 0,77 | |
| MLP (1 sek) | 94,32 ± 0,31 | 76,78 ± 1,59 | 67,29 ± 1,41 | 99,42 ± 0,03 | 70,44 ± 1,25 | |
| kNN (1 sek) | 92,06 ± 0,24 | 68,82 ± 1,61 | 58,49 ± 1,14 | 99,19 ± 0,02 | 60,51 ± 0,85 |
Tabell 1: Komparative resultater som rapporterer den beste ytelsen til hver modalitet med hensyn til maskinlæringsmodellen og den beste vinduslengden (i parentes). Alle verdier i ytelse representerer gjennomsnittet og standardavviket.
| # | IMU-type | |||
| Rf | Svm | Mlp (andre er i dag) | KNN (andre er i seg selv | |
| 1 | (98.36) Midje | (83.30) Høyre Lomme | (57.67) Høyre Lomme | (73.19) Høyre lomme |
| 2 | (95.77) Hals | (83.22) Midje | (44.93) Hals | (68.73) Midje |
| 3 | (95.35) Høyre lomme | (83.11) Hals | (39.54) Midje | (65.06) Hals |
| 4 | (95.06) Ankel | (82.96) Ankel | (39.06) Venstre håndledd | (58.26) Ankel |
| 5 | (94.66) Venstre håndledd | (82.82) Venstre håndledd | (37.56) Ankel | (51.63) Venstre håndledd |
Tabell 2: Rangering av den beste bærbare sensoren per klassifikator, sortert etter F1-skår (i parentes). Områdene i skyggen representerer de tre beste klassifikatrene for falldeteksjon.
| IMU-type | Vindulengde | |||
| Rf | Svm | Mlp (andre er i dag) | KNN (andre er i seg selv | |
| Venstre ankel | 2 sek | 3 sek | 1 sek | 3 sek |
| Midje | 3 sek | 1 sek | 1 sek | 2 sek |
| Halsen | 3 sek | 3 sek | 2 sek | 2 sek |
| Høyre lomme | 3 sek | 3 sek | 2 sek | 2 sek |
| Venstre håndledd | 2 sek | 2 sek | 2 sek | 2 sek |
Tabell 3: Foretrukket tidsvinduslengde i de bærbare sensorene per klassifikator.
| # | Kameravisning | |||
| Rf | Svm | Mlp (andre er i dag) | KNN (andre er i seg selv | |
| 1 | (62.27) Sidevisning | (24.25) Sidevisning | (13.78) Forsyn | (41.52) Sidevisning |
| 2 | (55.71) Forsyn | (0.20) Forsyn | (5.51) Sidevisning | (28.13) Forsyn |
Tabell 4: Rangering av det beste kameravisningspunktet per klassifikator, sortert etter F1-poengsummen (i parentes). Områdene i skygge representerer den øverste klassifikateren for falldeteksjon.
| Kameraet | Vindulengde | |||
| Rf | Svm | Mlp (andre er i dag) | KNN (andre er i seg selv | |
| Sidevisning | 3 sek | 3 sek | 2 sek | 3 sek |
| Forsidevisning | 2 sek | 2 sek | 3 sek | 2 sek |
Tabell 5: Foretrukket tidsvinduslengde i kameraets synspunkter per klassifikater.
| Multimodal (andre er i slekt) | Klassifisereren | Nøyaktighet (%) | Presisjon (%) | Følsomhet (%) | F1-score (%) |
| Midje + Sidevisning |
Rf | 98,72 ± 0,35 | 94,01 ± 1,51 | 97,63 ± 1,56 | 95,77 ± 1,15 |
| Svm | 95,59 ± 0,40 | 100 | 70,26 ± 2,71 | 82,51 ± 1,85 | |
| Mlp (andre er i dag) | 77,67 ± 11,04 | 33,73 ± 11,69 | 37,11 ± 26,74 | 29,81 ± 12,81 | |
| KNN (andre er i seg selv | 91,71 ± 0,61 | 77,90 ± 3,33 | 61,64 ± 3,68 | 68,73 ± 2,58 | |
| Høyre lomme + Sidevisning |
Rf | 98,41 ± 0,49 | 93,64 ± 1,46 | 95,79 ± 2,65 | 94,69 ± 1,67 |
| Svm | 95,79 ± 0,58 | 100 | 71,58 ± 3,91 | 83,38 ± 2,64 | |
| Mlp (andre er i dag) | 84,92 ± 2,98 | 55,70 ± 11,36 | 48,29 ± 25,11 | 45,21 ± 14,19 | |
| KNN (andre er i seg selv | 91,71 ± 0,58 | 73,63 ± 3,19 | 68,95 ± 2,73 | 71,13 ± 1,69 |
Tabell 6: Komparative resultater fra den kombinerte bærbare sensoren og kameravisningspunktet ved hjelp av 3-sekunders vinduslengde. Alle verdier representerer gjennomsnittet og standardavviket.
Discussion
Det er vanlig å støte på utfordringer på grunn av synkronisering, organisering og datainkonsekvensproblemer20 når et datasett opprettes.
Synkronisering
I innhentingav data oppstår synkroniseringsproblemer gitt at flere sensorer vanligvis fungerer med forskjellige samplingsfrekvenser. Sensorer med høyere frekvenser samler inn mer data enn de med lavere frekvenser. Data fra forskjellige kilder vil derfor ikke bli paret riktig. Selv om sensorer kjører med samme samplingsfrekvens, er det mulig at data ikke vil bli justert. I denne forbindelse kan følgende anbefalinger bidra til å håndtere disse synkroniseringsproblemene20: (i) registrere tidsstempel, emne, aktivitet og prøveversjon i hvert datautvalg hentet fra sensorene; (ii) den mest konsekvente og mindre hyppige informasjonskilden må brukes som referansesignal for synkronisering; og (iii) bruke automatiske eller halvautomatiske prosedyrer for å synkronisere videoopptak som manuell inspeksjon ville være upraktisk.
Forhåndsbehandling av data
Data forhåndsbehandling må også gjøres, og kritiske beslutninger påvirker denne prosessen: (a) bestemme metodene for datalagring og datarepresentasjon av flere og heterogene kilder (b) bestemme hvordan du lagrer data i den lokale verten eller på skyen (c) velge organisering av data, inkludert filnavn og mapper (d) håndtere manglende verdier av data samt redundans som finnes i sensorene , blant andre. I tillegg anbefales lokal bufring for dataskyen når det er mulig for å redusere tap av data ved opplastingstidspunktet.
Datainkonsekvens
Datainkonsekvens er vanlig mellom studier som finner variasjoner i datautvalgsstørrelser. Disse problemene er relatert til datainnsamling i bærbare sensorer. Korte avbrudd av datainnsamling og datakollisjon fra flere sensorer fører til datainkonsekvenser. I slike tilfeller er inkonsekvensdeteksjonsalgoritmer viktige for å håndtere feil på nettet i sensorer. Det er viktig å understreke at trådløse enheter bør overvåkes ofte gjennom hele eksperimentet. Lavt batterinivå kan påvirke tilkoblingen og føre til tap av data.
Etiske
Samtykke til å delta og etisk godkjenning er obligatorisk i alle typer eksperimentering der folk er involvert.
Når det gjelder begrensningene i denne metodikken, er det viktig å legge merke til at den er utformet for tilnærminger som vurderer ulike modaliteter for datainnsamling. Systemene kan omfatte bærbare, omgivelses- og/eller synssensorer. Det anbefales å vurdere strømforbruket til enheter og levetiden til batterier i trådløse sensorer, på grunn av problemer som tap av datainnsamling, avtagende tilkobling og strømforbruk i hele systemet. Videre er denne metoden ment for systemer som bruker maskinlæringsmetoder. En analyse av utvalget av disse maskinlæringsmodellene bør gjøres på forhånd. Noen av disse modellene kan være nøyaktige, men svært tid og energikrevende. En avveining mellom nøyaktig estimering og begrenset ressurstilgjengelighet for databehandling i maskinlæringsmodeller må tas i betraktning. Det er også viktig å observere at i datainnsamling av systemet ble aktivitetene utført i samme rekkefølge; også, studier ble utført i samme rekkefølge. Av sikkerhetsmessige årsaker ble en beskyttende brukt til forsøkspersoner å falle på. I tillegg ble fallene selvinitiert. Dette er en viktig forskjell mellom simulerte og virkelige fall, som vanligvis forekommer mot harde materialer. I den forstand faller dette datasettet registrert med en intuitiv reaksjon som prøver å ikke falle. Videre er det noen forskjeller mellom reelle fall hos eldre eller svekkede mennesker og simuleringen faller; og disse må tas i betraktning når du utformer et nytt falldeteksjonssystem. Denne studien var fokusert på unge mennesker uten nedsatt funksjonsevne, men det er bemerkelsesverdig å si at valg av bør justeres til målet med systemet og målgruppen som vil bruke det.
Fra de relaterte verkene beskrevet ovenfor10,11,12,13,1414,15,16,17,18, kan vi observere at det er forfattere som bruker multimodal tilnærminger med fokus på å oppnå robuste falldetektorer eller fokus på plassering eller ytelse av klassifikatoren. Derfor tar de bare opp ett eller to av designproblemene for falldeteksjon. Vår metodikk gjør det mulig å løse samtidig tre av de viktigste designproblemene i et falldeteksjonssystem.
For fremtidig arbeid foreslår vi å designe og implementere et enkelt multimodal falldeteksjonssystem basert på funnene som er oppnådd etter denne metodikken. For virkelige innføring, overføring læring, hierarkisk klassifisering og dyp læring tilnærminger bør brukes til å utvikle mer robuste systemer. Implementeringen vår vurderte ikke kvalitative beregninger av maskinlæringsmodellene, men sanntids- og begrensede databehandlingsressurser må tas i betraktning for videre utvikling av menneskelige fall- og aktivitetsdeteksjons-/gjenkjenningssystemer. Til slutt, for å forbedre vårt datasett, tripping eller nesten fallende aktiviteter og sanntidsovervåking av frivillige i løpet av sitt daglige liv kan vurderes.
Disclosures
Forfatterne har ingenting å avsløre.
Acknowledgments
Denne forskningen har blitt finansiert av Universidad Panamericana gjennom stipendet "Fomento a la Investigación UP 2018", under prosjektkoden UP-CI-2018-ING-MX-04.
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
