Vi præsenterer en metode baseret på multimodale sensorer til at konfigurere en enkel, komfortabel og hurtig fald detektion og menneskelig aktivitet anerkendelse system. Målet er at opbygge et system til nøjagtig faldregistrering, der let kan implementeres og vedtages.
Dette papir præsenterer en metode baseret på multimodale sensorer til at konfigurere en enkel, komfortabel og hurtig fald detektion og menneskelig aktivitet anerkendelse system, der let kan gennemføres og vedtages. Metoden er baseret på konfiguration af specifikke typer af sensorer, machine-learning metoder og procedurer. Protokollen er opdelt i fire faser: 1) database oprettelse (2) dataanalyse (3) system forenkling og (4) evaluering. Ved hjælp af denne metode oprettede vi en multimodal database til registrering af fald og genkendelse af menneskelig aktivitet, nemlig UP-Fall Detection. Det omfatter dataprøver fra 17 forsøgspersoner, der udfører 5 typer af fald og 6 forskellige enkle aktiviteter, under 3 forsøg. Alle oplysninger blev indsamlet ved hjælp af 5 bærbare sensorer (tri-akse accelerometer, gyroskop og lysintensitet), 1 elektroencefalograf hjelm, 6 infrarøde sensorer som omgivende sensorer, og 2 kameraer i laterale og forreste synspunkter. Den foreslåede nye metode tilføjer nogle vigtige faser til at udføre en dyb analyse af følgende design spørgsmål med henblik på at forenkle et fald detektionssystem: a) vælge, hvilke sensorer eller kombination af sensorer der skal anvendes i et simpelt fald detektionssystem, b) bestemme den bedste placering af informationskilder, og c) vælge den mest egnede machine learning klassificering metode til fald og menneskelig aktivitet afsløring og anerkendelse. Selv om nogle multimodale tilgange rapporteret i litteraturen kun fokusere på en eller to af de ovennævnte spørgsmål, vores metode giver mulighed for samtidig at løse disse tre design problemer i forbindelse med et menneskeligt fald og aktivitet afsløring og anerkendelse system.
Siden verdensfænomenet befolkningens aldring1er faldet i prævalensen steget og betragtes faktisk som et stort sundhedsproblem2. Når et fald opstår, folk kræver øjeblikkelig opmærksomhed for at reducere negative konsekvenser. Falddetektionssystemer kan reducere den tid, en person modtager lægehjælp, når der opstår et fald.
Der er forskellige kategoriseringer af falddetektionssystemer3. Tidlige værker4 klassificerer falddetektionssystemer ved hjælp af deres detektionsmetode, groft analytiske metoder og maskinlæringsmetoder. For nylig, andre forfattere3,5,6 har overvejet dataindsamling sensorer som det vigtigste element til at klassificere falde detektorer. Igual et al.3 opdeler falddetektionssystemer i kontekstafhængige systemer, der omfatter visions- og ambient-sensorbaserede tilgange og bærbare enhedssystemer. Mubashir et al.5 klassificerer falddetektorer i tre grupper baseret på de enheder, der anvendes til dataindsamling: bærbare enheder, atmosfæresensorer og visionsbaserede enheder. Perry et al.6 overvejer metoder til måling af acceleration, metoder til måling af acceleration kombineret med andre metoder og metoder, der ikke måler acceleration. Ud fra disse undersøgelser kan vi fastslå, at sensorer og metoder er de vigtigste elementer til klassificering af den generelle forskningsstrategi.
Hver af sensorerne har svagheder og styrker diskuteret i Xu et al.7. Vision-baserede tilgange bruger primært normale kameraer, dybdesensorkameraer og/eller bevægelsesoptagelsessystemer. Normale webkameraer er lave omkostninger og nemme at bruge, men de er følsomme over for miljømæssige forhold (lysvariation, okklusion osv.), kan kun bruges i et reduceret rum og har problemer med privatlivets fred. Dybdekameraer, såsom Kinect, giver helkrops 3D-bevægelse7 og er mindre påvirket af lysforhold end normale kameraer. Tilgange baseret på Kinect er imidlertid ikke så robuste og pålidelige. Motion capture-systemer er dyrere og vanskeligere at bruge.
Tilgange baseret på accelerometer enheder og smartphones / ure med indbyggede accelerometre er meget almindeligt anvendt til fald detektion. Den største ulempe ved disse enheder er, at de skal bæres i lange perioder. Ubehag, påtrængende, krop placering og orientering er design spørgsmål, der skal løses i disse tilgange. Selvom smartphones og smarte ure er mindre påtrængende enheder, der sensorer, ældre mennesker ofte glemmer eller ikke altid bære disse enheder. Ikke desto mindre er fordelen ved disse sensorer og enheder, at de kan bruges i mange rum og / eller udendørs.
Nogle systemer bruger sensorer placeret rundt omkring i miljøet til at genkende fald / aktiviteter, så folk ikke behøver at bære sensorerne. Men disse sensorer er også begrænset til de steder, hvor de er indsat8 og er undertiden vanskelige at installere. For nylig omfatter multimodale falddetektionssystemer forskellige kombinationer af syns-, bærbare og omgivende sensorer for at opnå større præcision og robusthed. De kan også overvinde nogle af de enkelte sensor begrænsninger.
Den metode, der anvendes til falddetektion, er tæt forbundet med human aktivitetsgenkendelseskæden (ARC), som Bulling et al.9har fremlagt, og som består af faser for dataindsamling, signalforbehandling og segmentering, funktionsudtræk og udvælgelse, uddannelse og klassificering. Designproblemer skal løses for hver af disse faser. Der anvendes forskellige metoder i hver fase.
Vi præsenterer en metode baseret på multimodale sensorer til at konfigurere en enkel, komfortabel og hurtig menneskelig fald og menneskelig aktivitet afsløring / anerkendelse system. Målet er at opbygge et system til nøjagtig faldregistrering, der let kan implementeres og vedtages. Den foreslåede nye metode er baseret på ARC, men den tilføjer nogle vigtige faser til at udføre en grundig analyse af følgende spørgsmål for at forenkle systemet: a) vælge, hvilke sensorer eller en kombination af sensorer der skal anvendes i et simpelt falddetektionssystem; b) fastlægge den bedste placering af informationskilderne og (c) vælge den mest egnede metode til klassificering af maskinlæring til registrering af fald og genkendelse af menneskelig aktivitet for at skabe et simpelt system.
Der er nogle relaterede værker i litteraturen, der omhandler en eller to af de ovennævnte design spørgsmål, men til vores viden, er der intet arbejde, der fokuserer på en metode til at overvinde alle disse problemer.
Beslægtede værker bruger multimodale tilgange til falddetektion og genkendelse af menneskelig aktivitet10,11,12 for at opnå robusthed og øge præcisionen. Kwolek et al.10 foreslog design og implementering af et falddetektionssystem baseret på accelerometriske data og dybdekort. De designede en interessant metode, hvor en tre-akset accelerometer er gennemført for at opdage et potentielt fald samt personens bevægelse. Hvis accelerationsmålet overstiger en tærskel, udtrækker algoritmen en person, der adskiller dybdekortet fra det opdaterede referencekort for onlinedybde. En analyse af dybde og accelerometer kombinationer blev foretaget ved hjælp af en støtte vektor maskine klassificering.
Ofli et al.11 præsenterede en Multimodal Human Action Database (MHAD) for at give en testbed for nye menneskelige aktivitet anerkendelse systemer. Datasættet er vigtigt, da handlingerne blev indsamlet samtidigt ved hjælp af 1 optisk bevægelsesopsamlingssystem, 4 multi-view kameraer, 1 Kinect-system, 4 mikrofoner og 6 trådløse accelerometre. Forfatterne præsenterede resultater for hver modalitet: Kinect, mocap, accelerometer, og lyden.
Dovgan et al.12 foreslog en prototype til påvisning af unormal adfærd, herunder fald, hos ældre. De designede test til tre sensorsystemer for at finde det mest hensigtsmæssige udstyr til fald og registrering af usædvanlig adfærd. Det første eksperiment består af data fra et smart sensorsystem med 12 tags fastgjort til hofter, knæ, ankler, håndled, albuer og skuldre. De har også skabt en test datasæt ved hjælp af en Ubisense sensor system med fire tags knyttet til taljen, brystet og begge ankler, og en Xsens accelerometer. I et tredje eksperiment, kun fire bruger Ubisense system, mens de udfører 4 typer af fald, 4 sundhedsproblemer som unormal adfærd og forskellige aktivitet i dagligdagen (ADL).
Andre værker i litteratur13,14,15 løse problemet med at finde den bedste placering af sensorer eller enheder til falddetektion sammenligne ydeevnen af forskellige kombinationer af sensorer med flere klassificeringer. Santoyo et al.13 fremlagde en systematisk vurdering, der evaluerede betydningen af placeringen af 5 sensorer til falddetektering. De sammenlignede udførelsen af disse sensorkombinationer ved hjælp af k-nærmeste naboer (KNN), støtte vektor maskiner (SVM), naive Bugter (NB) og beslutning træ (DT) klassificeringer. De konkluderer, at placeringen af sensoren på emnet har en vigtig indflydelse på faldet detektor ydeevne uafhængig af den anvendte klassificering.
Özdemir14præsenterede en sammenligning af bærbare sensorplaceringer på kroppen til falddetektering . For at bestemme sensorplacering, forfatteren analyseret 31 sensor kombinationer af følgende positioner: hoved, talje, bryst, højre håndled, højre ankel og højre lår. Fjorten frivillige udførte 20 simulerede fald og 16 ADL. Han fandt, at den bedste præstation blev opnået, når en enkelt sensor er placeret på taljen fra disse udtømmende kombination eksperimenter. En anden sammenligning blev præsenteret af Ntanasis15 ved hjælp af Özdemirs datasæt. Forfatterne sammenlignede enkelte positioner på hoved, bryst, talje, håndled, ankel og lår ved hjælp af følgende klassificeringer: J48, KNN, RF, random committee (RC) og SVM.
Benchmarks for resultaterne af forskellige beregningsmetoder til falddetektion findes også i litteratur16,17,18. Bagala et al.16 præsenterede en systematisk sammenligning for at benchmarke resultaterne af tretten falddetektionsmetoder testet på reelle fald. De betragtes kun algoritmer baseret på accelerometer målinger placeret på taljen eller bagagerummet. Bourke et al.17 evaluerede resultaterne af fem analytiske algoritmer til falddetektering ved hjælp af et datasæt af ADR og fald baseret på accelerometeraflæsninger. Kerdegari18 foretog også en sammenligning af forskellige klassificeringsmodellers ydeevne for et sæt registrerede accelerationsdata. De algoritmer, der anvendes til falddetektion var zeroR, oneR, NB, DT, flerlags perceptron og SVM.
Alazrai et al.18 foreslog en metode til påvisning af fald, der anvender bevægelsesudgørgeometrisk deskriptor til at konstruere en akkumuleret histogrambaseret repræsentation af menneskelig aktivitet. De evaluerede rammen ved hjælp af et datasæt indsamlet med Kinect-sensorer.
Sammenfattende fandt vi multimodale fald afsløring relaterede værker10,11,12, der sammenligner resultaterne af forskellige kombinationer af modaliteter., Nogle forfattere løse problemet med at finde den bedste placering af sensorer13,14,15, eller kombinationer af sensorer13 med flere klassificeringer13,15,16 med flere sensorer af samme modalitet og accelerometre. Der blev ikke fundet noget arbejde i litteraturen, der omhandler placering, multimodale kombinationer og klassificeringsbenchmark på samme tid.
Det er almindeligt at støde på udfordringer på grund af synkronisering, organisation og data inkonsekvens problemer20, når et datasæt er oprettet.
Synkronisering
Ved indsamling af data opstår synkroniseringsproblemer i betragtning af, at flere sensorer ofte arbejder med forskellige prøvetagningshastigheder. Sensorer med højere frekvenser indsamler flere data end sensorer med lavere frekvenser. Data fra forskellige kilder vil således ikke blive parret korrekt. Selv om sensorer kører med de samme prøvetagningshastigheder, er det muligt, at data ikke vil blive justeret. I denne forbindelse kan følgende anbefalinger bidrage til at håndtere disse synkroniseringsproblemer20:(i) registrere tidsstempel, emne, aktivitet og forsøg i hver dataprøve, der er udvundet af sensorerne; ii) den mest konsekvente og mindre hyppige informationskilde skal anvendes som referencesignal til synkronisering og iii) anvende automatiske eller halvautomatiske procedurer til at synkronisere videooptagelser, at manuel inspektion ville være upraktisk.
Forbehandling af data
Der skal også foretages databehandling, og kritiske beslutninger påvirker denne proces: (a) fastlægge metoderne til datalagring og datarepræsentation af flere og heterogene kilder (b) beslutte, hvordan data skal lagres i den lokale vært eller på skyen (c) vælge organiseringen af data, herunder filnavne og mapper (d) håndtere manglende dataværdier samt redundans, der findes i sensorerne , blandt andre. For dataskyen anbefales lokal bufferlagring desuden, når det er muligt, for at mindske tab af data på overførselstidspunktet.
Datainkonsistens
Datainkonsistens er almindelig mellem forsøg med at finde variationer i datastikprøvestørrelser. Disse spørgsmål er relateret til dataindsamling i bærbare sensorer. Korte afbrydelser af dataindsamling og datakollision fra flere sensorer fører til datauoverensstemmelser. I disse tilfælde er inkonsistensdetektionsalgoritmer vigtige for at håndtere onlinefejl i sensorer. Det er vigtigt at understrege, at trådløse enheder bør overvåges hyppigt under hele eksperimentet. Lavt batteri kan påvirke forbindelsen og medføre tab af data.
Etiske
Samtykke til at deltage og etisk godkendelse er obligatorisk i alle former for eksperimenter, hvor mennesker er involveret.
Med hensyn til begrænsningerne ved denne metode er det vigtigt at bemærke, at den er beregnet til tilgange, der tager hensyn til forskellige metoder til dataindsamling. Systemerne kan omfatte bærbare, omgivende og/eller synssensorer. Det foreslås at overveje strømforbruget af enheder og levetiden af batterier i trådløse-baserede sensorer, på grund af de spørgsmål, såsom tab af dataindsamling, faldende tilslutningsmuligheder og strømforbrug i hele systemet. Desuden er denne metode beregnet til systemer, der anvender maskinindlæringsmetoder. En analyse af udvælgelsen af disse machine learning modeller bør ske på forhånd. Nogle af disse modeller kunne være nøjagtige, men meget tid og energiforbrugende. Der skal tages hensyn til en afvejning mellem nøjagtig estimering og begrænset ressourcetilgængelighed til databehandling i maskinlæringsmodeller. Det er også vigtigt at bemærke, at aktiviteterne i forbindelse med dataindsamlingen blev gennemført i samme rækkefølge. også blev forsøg udført i samme rækkefølge. Af sikkerhedsmæssige årsager blev der anvendt en beskyttelsesmadras til forsøgspersoner, der faldt ned på. Desuden var faldet selvinitieret. Dette er en vigtig forskel mellem simulerede og reelle fald, som generelt forekommer i retning af hårde materialer. I den forstand falder dette datasæt med en intuitiv reaktion, der forsøger ikke at falde. Desuden er der nogle forskelle mellem reelle fald hos ældre eller handicappede, og simuleringen falder; og disse skal tages i betragtning ved udformningen af et nyt falddetektionssystem. Denne undersøgelse var fokuseret på unge uden funktionsnedsættelser, men det er bemærkelsesværdigt at sige, at udvælgelsen af emner bør tilpasses målet for systemet og målgruppen, der vil bruge det.
Fra de relaterede værker, der er beskrevet ovenfor10,11,12,13 ,14,14,15,16,17,18, kan vi konstatere, at der er forfattere, der bruger multimodale tilgange med fokus på at opnå robuste falddetektorer eller fokusere på placering eller ydeevne af klassificeringen. Derfor, de kun løse en eller to af design spørgsmål til fald afsløring. Vores metode gør det muligt at løse samtidig tre af de vigtigste designproblemer i et falddetektionssystem.
Til fremtidigt arbejde foreslår vi, at du designer og implementerer et simpelt multimodalt falddetektionssystem baseret på de resultater, der er opnået efter denne metode. Ved indførelse i den virkelige verden bør overførsel af læring, hierarkisk klassificering og deep learning-tilgange anvendes til udvikling af mere robuste systemer. Vores implementering tog ikke højde for kvalitative målinger af maskinlæringsmodellerne, men realtidsressourcer og begrænsede databehandlingsressourcer skal tages i betragtning ved videreudvikling af systemer til registrering/genkendelse af mennesker. Endelig, for at forbedre vores datasæt, snuble eller næsten faldende aktiviteter og real-time overvågning af frivillige i løbet af deres daglige liv kan overvejes.
The authors have nothing to disclose.
Denne forskning er finansieret af Universidad Panamericana gennem tilskuddet “Fomento a la Investigación UP 2018” under projektkode UP-CI-2018-ING-MX-04.
Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |