Vi presenterer en metodikk basert på multimodale sensorer for å konfigurere en enkel, komfortabel og rask høstdeteksjon og menneskelig aktivitetsgjenkjenningssystem. Målet er å bygge et system for nøyaktig falldeteksjon som enkelt kan implementeres og vedtas.
Dette papiret presenterer en metodikk basert på multimodale sensorer for å konfigurere en enkel, komfortabel og rask høstdeteksjon og menneskelig aktivitetsgjenkjenningssystem som enkelt kan implementeres og vedtas. Metodikken er basert på konfigurasjon av bestemte typer sensorer, maskinlæringsmetoder og prosedyrer. Protokollen er delt inn i fire faser: (1) databaseoppretting (2) dataanalyse (3) systemforenkling og (4) evaluering. Ved hjelp av denne metodikken opprettet vi en multimodal database for falldeteksjon og menneskelig aktivitetsgjenkjenning, nemlig UP-Fall Detection. Den består av dataprøver fra 17 som utfører 5 typer fall og 6 forskjellige enkle aktiviteter, under 3 studier. All informasjon ble samlet inn ved hjelp av 5 bærbare sensorer (akselerometer med tre akse, gyroskop og lysintensitet), 1 elektroencefalografhjelm, 6 infrarøde sensorer som omgivelsessensorer og 2 kameraer i side- og fremre synspunkter. Den foreslåtte nye metodikken legger til noen viktige stadier for å utføre en dyp analyse av følgende designproblemer for å forenkle et falldeteksjonssystem: a) velge hvilke sensorer eller kombinasjon av sensorer som skal brukes i et enkelt falldeteksjonssystem, b) bestemmer den beste plasseringen av informasjonskildene, og c) velger den mest passende maskinlæringsklassifiseringsmetoden for fall og menneskelig aktivitetsdeteksjon og gjenkjenning. Selv om noen multimodale tilnærminger rapportert i litteraturbare fokuserer på ett eller to av de ovennevnte problemene, gjør vår metodikk samtidig løse disse tre designproblemene knyttet til et menneskelig fall- og aktivitetsdeteksjons- og gjenkjenningssystem.
Siden verdensfenomenet av befolkningsaldring1, har fallprevalensen økt og regnes faktisk som et stort helseproblem2. Når et fall oppstår, krever folk umiddelbar oppmerksomhet for å redusere negative konsekvenser. Falldeteksjonssystemer kan redusere tiden en person mottar legehjelp som sender et varsel når det oppstår et fall.
Det finnes ulike kategoriseringer av falldeteksjonssystemer3. Tidlige arbeider4 klassifiserer falldeteksjonssystemer ved hjelp av deres metode for deteksjon, omtrent analytiske metoder og maskinlæringsmetoder. Mer nylig, andre forfattere3,5,6 har vurdert datainnhentingsensorer som den viktigste funksjonen for å klassifisere falldetektorer. Igual et al.3 deler falldeteksjonssystemer i kontekstbevisste systemer, som inkluderer visjons- og omgivelsessensorbaserte tilnærminger og bærbare enhetssystemer. Mubashir et al.5 klassifiserer falldetektorer i tre grupper basert på enhetene som brukes til datainnhenting: bærbare enheter, ambissensorer og visjonsbaserte enheter. Perry et al.6 vurderer metoder for måling av akselerasjon, metoder for måling av akselerasjon kombinert med andre metoder, og metoder som ikke måler akselerasjon. Fra disse undersøkelsene kan vi fastslå at sensorer og metoder er hovedelementene for å klassifisere den generelle forskningsstrategien.
Hver av sensorene har svakheter og styrker diskutert i Xu et al.7. Visjonsbaserte tilnærminger bruker hovedsakelig vanlige kameraer, dybdesensorkameraer og/eller bevegelsesopptakssystemer. Vanlige webkameraer er lave kostnader og enkle å bruke, men de er følsomme for miljøforhold (lysvariasjon, okklusjon, etc.), kan bare brukes i et redusert rom, og har personvernproblemer. Dybdekameraer, for eksempel Kinect, gir full-body 3D-bevegelse7 og påvirkes mindre av lysforhold enn vanlige kameraer. Tilnærminger basert på Kinect er imidlertid ikke så robuste og pålitelige. Motion capture systemer er dyrere og vanskelig å bruke.
Tilnærminger basert på akselerometer enheter og smarttelefoner / klokker med innebygdakselerometre er svært ofte brukt for fall deteksjon. Den største ulempen med disse enhetene er at de må brukes i lange perioder. Ubehag, påtrengende, kroppsplassering og orientering er designproblemer som skal løses i disse tilnærmingene. Selv om smarttelefoner og smartklokker er mindre påtrengende enheter som sensorer, eldre mennesker ofte glemmer eller ikke alltid bruke disse enhetene. Likevel er fordelen med disse sensorene og enhetene at de kan brukes i mange rom og / eller utendørs.
Noen systemer bruker sensorer plassert rundt om i miljøet for å gjenkjenne fall/aktiviteter, slik at folk ikke trenger å bruke sensorene. Disse sensorene er imidlertid også begrenset til de stedene hvor de er utplassert8 og er noen ganger vanskelige å installere. Nylig inkluderer multimodal falldeteksjonssystemer forskjellige kombinasjoner av syn, bærbare og omgivelsessensorer for å få mer presisjon og robusthet. De kan også overvinne noen av enkeltsensorbegrensningene.
Metodikken som brukes til falldeteksjon er nært knyttet til human aktivitetsgjenkjenningskjede (ARC) presentert av Bulling et al.9, som består av stadier for datainnsamling, signalpreprosessering og segmentering, funksjonsutvinning og valg, opplæring og klassifisering. Designproblemer må løses for hvert av disse stadiene. Ulike metoder brukes i hvert trinn.
Vi presenterer en metodikk basert på multimodale sensorer for å konfigurere et enkelt, komfortabelt og raskt menneskelig fall og menneskelig aktivitetsdeteksjons-/gjenkjenningssystem. Målet er å bygge et system for nøyaktig falldeteksjon som enkelt kan implementeres og vedtas. Den foreslåtte nye metodikken er basert på ARC, men det legger til noen viktige faser for å utføre en dyp analyse av følgende problemer for å forenkle systemet: (a) velge hvilke sensorer eller kombinasjon av sensorer som skal brukes i et enkelt falldeteksjonssystem; (b) bestemme den beste plasseringen av informasjonskildene; og (c) velge den mest passende maskinlæringsklassifiseringsmetoden for falldeteksjon og menneskelig aktivitetsgjenkjenning for å skape et enkelt system.
Det er noen relaterte arbeider i litteraturen som tar for seg ett eller to av de ovennevnte designproblemene, men så vidt vi vet, er det ikke noe arbeid som fokuserer på en metodikk for å overvinne alle disse problemene.
Relaterte arbeider bruker multimodal tilnærminger for høstdeteksjon og menneskelig aktivitetsgjenkjenning10,11,12 for å få robusthet og øke presisjonen. Kwolek et al.10 foreslo design og implementering av et falldeteksjonssystem basert på akselerometriske data og dybdekart. De designet en interessant metodikk der et tre-akserometer er implementert for å oppdage et potensielt fall, så vel som personens bevegelse. Hvis akselerasjonsmålet overskrider en terskel, trekker algoritmen ut en person som skiller dybdekartet fra det elektroniske oppdaterte dybdereferansekartet. En analyse av dybde- og akselerometerkombinasjoner ble gjort ved hjelp av en støttevektor maskin klassifikator.
Ofli et al.11 presenterte en Multimodal Human Action Database (MHAD) for å gi en testseng for nye systemer for menneskelig aktivitetsgjenkjenning. Datasettet er viktig siden handlingene ble samlet inn samtidig ved hjelp av 1 optisk bevegelsesopptakssystem, 4 kameraer med flere visninger, 1 Kinect-system, 4 mikrofoner og 6 trådløse akselerometre. Forfatterne presenterte resultater for hver modalitet: Kinect, mocap, akselerometeret og lyden.
Dovgan et al.12 foreslo en prototype for å oppdage uregelmessig oppførsel, inkludert fall, hos eldre. De designet tester for tre sensorsystemer for å finne det mest hensiktsmessige utstyret for fall og uvanlig oppførsel deteksjon. Det første eksperimentet består av data fra et smart sensorsystem med 12 tagger festet til hofter, knær, ankler, håndledd, albuer og skuldre. De opprettet også et testdatasett ved hjelp av ett Ubisense-sensorsystem med fire tagger festet til midjen, brystet og begge anklene, og ett Xsens akselerometer. I et tredje eksperiment bruker fire forsøkspersoner bare Ubisense-systemet mens de utfører 4 typer fall, 4 helseproblemer som uregelmessig oppførsel og forskjellig aktivitet i dagliglivet (ADL).
Andre arbeider ilitteratur13,14,15 løse problemet med å finne den beste plasseringen av sensorer eller enheter for falldeteksjon sammenligne ytelsen til ulike kombinasjoner av sensorer med flere klassifikatorer. Santoyo et al.13 presenterte en systematisk vurdering som evaluerte viktigheten av plasseringen av 5 sensorer for falldeteksjon. De sammenlignet ytelsen til disse sensorkombinasjonene ved hjelp av k-nærmeste naboer (KNN), støttevektormaskiner (SVM), naive Bayes (NB) og decision tree (DT) klassifikatorer. De konkluderer med at plasseringen av sensoren om motivet har en viktig innflytelse på falldetektorytelsen uavhengig av klassifikatoren som brukes.
En sammenligning av bærbare sensorplasseringer på kroppen for falldeteksjon ble presentert av Özdemir14. For å bestemme sensorplassering analyserte forfatteren 31 sensorkombinasjoner av følgende stillinger: hode, midje, bryst, høyre håndledd, høyre ankel og høyre lår. Fjorten frivillige utførte 20 simulerte fall og 16 ADL. Han fant ut at den beste ytelsen ble oppnådd når en enkelt sensor er plassert på midjen fra disse uttømmende kombinasjonsforsøkene. En annen sammenligning ble presentert av Ntanasis15 ved hjelp av Özdemirs datasett. Forfatterne sammenlignet enkeltposisjoner på hodet, brystet, midjen, håndleddet, ankelen og låret ved hjelp av følgende klassifikatarer: J48, KNN, RF, tilfeldig komité (RC) og SVM.
Benchmarks av ytelsen til ulike beregningsmetoder for falldeteksjon kan også bli funnet i litteratur16,17,18. Bagala et al.16 presenterte en systematisk sammenligning med benchmark ytelsen til tretten fall deteksjon metoder testet på virkelige fall. De vurderte bare algoritmer basert på akselerometermålinger plassert på midjen eller stammen. Bourke et al.17 evaluerte ytelsen til fem analytiske algoritmer for falldeteksjon ved hjelp av et datasett med ADLs og faller basert på akselerometeravlesninger. Kerdegari18 gjorde også en sammenligning av ytelsen til ulike klassifiseringsmodeller for et sett med registrerte akselerasjonsdata. Algoritmene som ble brukt til falldeteksjon var zeroR, oneR, NB, DT, flerlags perceptron og SVM.
En metodikk for falldeteksjon ble foreslått av Alazrai et al.18 ved hjelp av bevegelse ser geometrisk beskrivelse for å konstruere en akkumulert histogram-basert representasjon av menneskelig aktivitet. De evaluerte rammeverket ved hjelp av et datasett som ble samlet inn med Kinect-sensorer.
Oppsummert fant vi multimodal fall deteksjon relaterte verk10,11,12 som sammenligner ytelsen til ulike kombinasjoner av modaliteter. Noen forfattere løser problemet med å finne den beste plasseringen av sensorer13,,14,15, eller kombinasjoner av sensorer13 med flere klassifikatorer13,15,16 med flere sensorer av samme modalitet og akselerometre. Det ble ikke funnet noe arbeid i litteraturen som adresserer plassering, multimodale kombinasjoner og klassifikater benchmark samtidig.
Det er vanlig å støte på utfordringer på grunn av synkronisering, organisering og datainkonsekvensproblemer20 når et datasett opprettes.
Synkronisering
I innhentingav data oppstår synkroniseringsproblemer gitt at flere sensorer vanligvis fungerer med forskjellige samplingsfrekvenser. Sensorer med høyere frekvenser samler inn mer data enn de med lavere frekvenser. Data fra forskjellige kilder vil derfor ikke bli paret riktig. Selv om sensorer kjører med samme samplingsfrekvens, er det mulig at data ikke vil bli justert. I denne forbindelse kan følgende anbefalinger bidra til å håndtere disse synkroniseringsproblemene20: (i) registrere tidsstempel, emne, aktivitet og prøveversjon i hvert datautvalg hentet fra sensorene; (ii) den mest konsekvente og mindre hyppige informasjonskilden må brukes som referansesignal for synkronisering; og (iii) bruke automatiske eller halvautomatiske prosedyrer for å synkronisere videoopptak som manuell inspeksjon ville være upraktisk.
Forhåndsbehandling av data
Data forhåndsbehandling må også gjøres, og kritiske beslutninger påvirker denne prosessen: (a) bestemme metodene for datalagring og datarepresentasjon av flere og heterogene kilder (b) bestemme hvordan du lagrer data i den lokale verten eller på skyen (c) velge organisering av data, inkludert filnavn og mapper (d) håndtere manglende verdier av data samt redundans som finnes i sensorene , blant andre. I tillegg anbefales lokal bufring for dataskyen når det er mulig for å redusere tap av data ved opplastingstidspunktet.
Datainkonsekvens
Datainkonsekvens er vanlig mellom studier som finner variasjoner i datautvalgsstørrelser. Disse problemene er relatert til datainnsamling i bærbare sensorer. Korte avbrudd av datainnsamling og datakollisjon fra flere sensorer fører til datainkonsekvenser. I slike tilfeller er inkonsekvensdeteksjonsalgoritmer viktige for å håndtere feil på nettet i sensorer. Det er viktig å understreke at trådløse enheter bør overvåkes ofte gjennom hele eksperimentet. Lavt batterinivå kan påvirke tilkoblingen og føre til tap av data.
Etiske
Samtykke til å delta og etisk godkjenning er obligatorisk i alle typer eksperimentering der folk er involvert.
Når det gjelder begrensningene i denne metodikken, er det viktig å legge merke til at den er utformet for tilnærminger som vurderer ulike modaliteter for datainnsamling. Systemene kan omfatte bærbare, omgivelses- og/eller synssensorer. Det anbefales å vurdere strømforbruket til enheter og levetiden til batterier i trådløse sensorer, på grunn av problemer som tap av datainnsamling, avtagende tilkobling og strømforbruk i hele systemet. Videre er denne metoden ment for systemer som bruker maskinlæringsmetoder. En analyse av utvalget av disse maskinlæringsmodellene bør gjøres på forhånd. Noen av disse modellene kan være nøyaktige, men svært tid og energikrevende. En avveining mellom nøyaktig estimering og begrenset ressurstilgjengelighet for databehandling i maskinlæringsmodeller må tas i betraktning. Det er også viktig å observere at i datainnsamling av systemet ble aktivitetene utført i samme rekkefølge; også, studier ble utført i samme rekkefølge. Av sikkerhetsmessige årsaker ble en beskyttende brukt til forsøkspersoner å falle på. I tillegg ble fallene selvinitiert. Dette er en viktig forskjell mellom simulerte og virkelige fall, som vanligvis forekommer mot harde materialer. I den forstand faller dette datasettet registrert med en intuitiv reaksjon som prøver å ikke falle. Videre er det noen forskjeller mellom reelle fall hos eldre eller svekkede mennesker og simuleringen faller; og disse må tas i betraktning når du utformer et nytt falldeteksjonssystem. Denne studien var fokusert på unge mennesker uten nedsatt funksjonsevne, men det er bemerkelsesverdig å si at valg av bør justeres til målet med systemet og målgruppen som vil bruke det.
Fra de relaterte verkene beskrevet ovenfor10,11,12,13,1414,15,16,17,18, kan vi observere at det er forfattere som bruker multimodal tilnærminger med fokus på å oppnå robuste falldetektorer eller fokus på plassering eller ytelse av klassifikatoren. Derfor tar de bare opp ett eller to av designproblemene for falldeteksjon. Vår metodikk gjør det mulig å løse samtidig tre av de viktigste designproblemene i et falldeteksjonssystem.
For fremtidig arbeid foreslår vi å designe og implementere et enkelt multimodal falldeteksjonssystem basert på funnene som er oppnådd etter denne metodikken. For virkelige innføring, overføring læring, hierarkisk klassifisering og dyp læring tilnærminger bør brukes til å utvikle mer robuste systemer. Implementeringen vår vurderte ikke kvalitative beregninger av maskinlæringsmodellene, men sanntids- og begrensede databehandlingsressurser må tas i betraktning for videre utvikling av menneskelige fall- og aktivitetsdeteksjons-/gjenkjenningssystemer. Til slutt, for å forbedre vårt datasett, tripping eller nesten fallende aktiviteter og sanntidsovervåking av frivillige i løpet av sitt daglige liv kan vurderes.
The authors have nothing to disclose.
Denne forskningen har blitt finansiert av Universidad Panamericana gjennom stipendet “Fomento a la Investigación UP 2018”, under prosjektkoden UP-CI-2018-ING-MX-04.
Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |