Vi presenterar en metod baserad på multimodala sensorer för att konfigurera ett enkelt, bekvämt och snabbt falldetektering och humant aktivitetsigenkänningssystem. Målet är att bygga ett system för korrekt falldetektering som enkelt kan implementeras och antas.
Detta dokument presenterar en metod baserad på multimodala sensorer för att konfigurera en enkel, bekväm och snabb fall detektering och mänsklig aktivitet erkännande system som lätt kan genomföras och antas. Metoden bygger på konfiguration av specifika typer av sensorer, maskininlärningsmetoder och procedurer. Protokollet är uppdelat i fyra faser: 1) databasskapande (2) dataanalys (3) systemförenkling och 4) utvärdering. Med denna metod skapade vi en multimodal databas för falldetektering och erkännande av mänsklig aktivitet, nämligen UP-Fall Detection. Den omfattar dataprover från 17 försökspersoner som utför 5 typer av fall och 6 olika enkla aktiviteter, under 3 försök. All information samlades in med hjälp av 5 bärbara sensorer (tri-axel accelerometer, gyroskop och ljusintensitet), 1 elektroencefalografi hjälm, 6 infraröda sensorer som omgivande sensorer, och 2 kameror i laterala och främre synpunkter. Den föreslagna nya metoden lägger till några viktiga steg för att utföra en djup analys av följande designproblem för att förenkla ett falldetekteringssystem: a) välja vilka sensorer eller kombination av sensorer som ska användas i ett enkelt falldetekteringssystem, b) bestämma den bästa placeringen av informationskällorna, och c) välja den lämpligaste maskininlärningsklassificeringsmetoden för fall- och humanaktivitetsdetektering och igenkänning. Även om vissa multimodala metoder som rapporteras i litteraturen endast fokuserar på en eller två av de ovan nämnda frågorna, gör vår metod samtidigt lösa dessa tre designproblem relaterade till ett mänskligt fall och aktivitetsdetektering och erkännandesystem.
Sedan världens fenomen av befolkningen åldrande1, fall prevalensen har ökat och anses faktiskt vara ett stort hälsoproblem2. När ett fall inträffar, människor kräver omedelbar uppmärksamhet för att minska negativa konsekvenser. Fall detektionssystem kan minska den tid under vilken en person får läkarvård skicka en varning när ett fall inträffar.
Det finns olika kategorisering av falldetekteringssystem3. Tidiga verk4 klassificera falldetekteringssystem med sin metod för detektion, ungefär analytiska metoder och maskininlärningsmetoder. På senare tid har andra författare3,5,6 ansett datainsamlingssensorer som huvudfunktionen för att klassificera falldetektorer. Igual et al.3 delar upp falldetekteringssystem i kontextmedvetna system, som inkluderar syn- och sensorbaserade metoder, och bärbara enhetssystem. Mubashir et al.5 klassificerar falldetektorer i tre grupper baserat på de enheter som används för datainsamling: bärbara enheter, atmosfärsensorer och visionsbaserade enheter. Perry et al.6 tar hänsyn till metoder för mätning av acceleration, metoder för mätning av acceleration i kombination med andra metoder och metoder som inte mäter acceleration. Utifrån dessa undersökningar kan vi fastställa att sensorer och metoder är de viktigaste elementen för att klassificera den allmänna forskningsstrategin.
Var och en av sensorerna har svagheter och styrkor som diskuteras i Xu et al.7. Vision-baserade metoder använder huvudsakligen normala kameror, djupsensorkameror och/eller rörelseavskiljningssystem. Normala webbkameror är billiga och lätta att använda, men de är känsliga för miljöförhållanden (ljusvariation, ocklusion, etc.), kan endast användas i ett reducerat utrymme, och har integritetsfrågor. Djupkameror, till exempel Kinect, ger helkropps 3D-rörelse7 och påverkas mindre av ljusförhållanden än vanliga kameror. Tillvägagångssätt som baseras på Kinect är dock inte lika robusta och tillförlitliga. Motion capture-system är dyrare och svårare att använda.
Metoder baserade på accelerometerenheter och smarta telefoner/klockor med inbyggda accelerometrar används mycket ofta för falldetektering. Den största nackdelen med dessa enheter är att de måste bäras under långa perioder. Obehag, påträngande, kroppsplacering och orientering är designfrågor som ska lösas i dessa metoder. Även smartphones och smarta klockor är mindre påträngande enheter som sensorer, äldre människor glömmer ofta eller inte alltid bära dessa enheter. Fördelen med dessa sensorer och enheter är dock att de kan användas i många rum och / eller utomhus.
Vissa system använder sensorer placerade runt om i miljön för att känna igen fall / aktiviteter, så att människor inte behöver bära sensorer. Men dessa sensorer är också begränsade till de platser där de distribueras8 och är ibland svåra att installera. Nyligen har multimodala falldetekteringssystem inkluderat olika kombinationer av syn-, bärbara och omgivande sensorer för att få mer precision och robusthet. De kan också övervinna några av de enda sensor begränsningar.
Den metod som används för falldetektering är nära relaterad till kedjan för igenkänning av mänsklig aktivitet (ARC) som presenteras av Bulling et al.9,som består av stadier för datainsamling, signalförbearbetning och segmentering, funktionsutvinning och urval, utbildning och klassificering. Designfrågor måste lösas för var och en av dessa steg. Olika metoder används i varje steg.
Vi presenterar en metod baserad på multimodala sensorer för att konfigurera ett enkelt, bekvämt och snabbt mänskligt fall och mänsklig aktivitet upptäckt / erkännande system. Målet är att bygga ett system för korrekt falldetektering som enkelt kan implementeras och antas. Den föreslagna nya metoden bygger på ARC, men den lägger till några viktiga faser för att utföra en djup analys av följande frågor för att förenkla systemet: (a) välj vilka sensorer eller kombination av sensorer som ska användas i ett enkelt falldetekteringssystem; b) fastställa den bästa placeringen av informationskällorna, och (c) välja den lämpligaste maskininlärningsklassificeringsmetoden för falldetektering och erkännande av mänsklig aktivitet för att skapa ett enkelt system.
Det finns några relaterade verk i litteraturen som behandlar en eller två av de ovan nämnda designfrågor, men såvitt vi vet finns det inget arbete som fokuserar på en metod för att övervinna alla dessa problem.
Relaterade verk använder multimodala metoder för falldetektering och erkännande av mänsklig aktivitet10,,11,12 för att uppnå robusthet och öka precisionen. Kwolek et al.10 föreslog att ett falldetekteringssystem skulle utformas och implementeras baserat på accelerometriska data och djupkartor. De utformade en intressant metod där en treaxlig accelerometer implementeras för att upptäcka en potentiell nedgång samt personens rörelse. Om accelerationsmåttet överskrider ett tröskelvärde extraherar algoritmen en person som skiljer djupkartan från den onlineupp uppdaterade djupreferenskartan. En analys av djup- och accelerometrometrarkombinationer gjordes med hjälp av en stödvektormaskinklassificerare.
Ofli et al.11 presenterade en multimodal human action-databas (MHAD) för att tillhandahålla en testbädd för nya system för igenkänning av mänsklig aktivitet. Datauppsättningen är viktig eftersom åtgärderna samlades in samtidigt med 1 optiskt rörelseavskiljningssystem, 4 flervykameror, 1 Kinect-system, 4 mikrofoner och 6 trådlösa accelerometrar. Författarna presenterade resultat för varje modalitet: Kinect, mocap, accelerometern och ljudet.
Dovgan et al.12 föreslog en prototyp för att upptäcka avvikande beteende, inklusive fall, hos äldre. De utformade tester för tre sensorsystem för att hitta den lämpligaste utrustningen för fall och ovanlig beteendedetektering. Det första experimentet består av data från ett smart sensorsystem med 12 taggar knutna till höfter, knän, vrister, handleder, armbågar och axlar. De skapade också en testdatauppsättning med hjälp av en Ubisense sensorsystem med fyra taggar knutna till midjan, bröstet och båda anklarna, och en Xsens accelerometer. I ett tredje experiment, fyra ämnen använder bara Ubisense systemet när du utför 4 typer av faller, 4 hälsoproblem som avvikande beteende och olika verksamhet i det dagliga livet (ADL).
Andra verk ilitteraturen 13,14,15 ta itu med problemet med att hitta den bästa placeringen av sensorer eller enheter för falldetektering jämföra prestanda för olika kombinationer av sensorer med flera klassificerare. Santoyo et al.13 presenterade en systematisk bedömning som utvärderar vikten av placeringen av 5 sensorer för falldetektering. De jämförde prestandan hos dessa sensorkombinationer med k-närmaste grannar (KNN), stöd vektor maskiner (SVM), naiva Bayes (OBS) och beslut träd (DT) klassificerare. De drar slutsatsen att sensorns placering på motivet har en viktig inverkan på falldetektorns prestanda oberoende av den klassificerare som används.
En jämförelse av bärbara sensorplaceringar på kroppen för falldetektering presenterades av Özdemir14. För att bestämma sensorns placering analyserade författaren 31 sensorkombinationer av följande positioner: huvud, midja, bröst, höger handled, höger fotled och höger lår. Fjorton frivilliga utförde 20 simulerade fall och 16 ADL. Han fann att det bästa resultatet erhölls när en enda sensor är placerad på midjan från dessa uttömmande kombinationsexperiment. En annan jämförelse presenterades av Ntanasis15 med hjälp av Özdemirs datauppsättning. Författarna jämförde enstaka positioner på huvud, bröst, midja, handled, fotled och lår med hjälp av följande klassificerare: J48, KNN, RF, random committee (RC) och SVM.
Riktmärken för prestanda för olika beräkningsmetoder för falldetektering finns också ilitteraturen 16,17,18. Bagala et al.16 presenterade en systematisk jämförelse för att jämföra prestandan hos tretton falldetekteringsmetoder som testats vid verkliga fall. De ansåg endast algoritmer baserade på accelerometrometrar mätningar placeras på midjan eller bålen. Bourke et al.17 utvärderade prestandan hos fem analytiska algoritmer för falldetektering med hjälp av en datauppsättning av ADLs och faller baserat på accelerometeravläsningar. Kerdegari18 gjorde också en jämförelse av prestandan hos olika klassificeringsmodeller för en uppsättning inspelade accelerationsdata. Algoritmerna som användes för falldetektering var zeroR, oneR, NB, DT, multilayer perceptron och SVM.
En metod för fall detektion föreslogs av Alazrai et al.18 med rörelse pose geometrisk deskriptor för att konstruera en ackumulerad histogram-baserad representation av mänsklig verksamhet. De utvärderade ramverket med hjälp av en datauppsättning som samlats in med Kinect-sensorer.
Sammanfattningsvis hittade vi multimodala fall detektion relaterade verk10,11,12 som jämför prestanda för olika kombinationer av modaliteter. Vissa författare ta itu med problemet med att hitta den bästa placeringen av sensorer13,14,15, eller kombinationer av sensorer13 med flera klassificerare13,15,16 med flera sensorer av samma modalitet och accelerometrar. Inget arbete hittades i litteratur som behandlar placering, multimodala kombinationer och klassificerare riktmärke samtidigt.
Det är vanligt att stöta på utmaningar på grund av synkroniserings-, organisations- och datainkonsekvensproblem20 när en datauppsättning skapas.
Synkronisering
Vid insamling av data uppstår synkroniseringsproblem med tanke på att flera sensorer ofta arbetar med olika samplingshastigheter. Sensorer med högre frekvenser samlar in mer data än de med lägre frekvenser. Data från olika källor paras därför inte ihop korrekt. Även om sensorerna körs med samma samplingsfrekvens är det möjligt att data inte kommer att justeras. I detta avseende kan följande rekommendationer bidra till att hantera dessa synkroniseringsproblem20:i) registrera tidsstämpel, ämne, aktivitet och utvärdering i varje dataprov som erhållits från sensorerna; ii) Den mest konsekventa och mindre frekventa informationskällan måste användas som referenssignal för synkronisering. iii) använda automatiska eller halvautomatiska förfaranden för att synkronisera videoinspelningar som manuell inspektion skulle vara opraktiskt.
Förbehandling av data
Förbehandling av data måste också göras, och kritiska beslut påverkar den här processen: (a) bestämma metoderna för datalagring och datarepresentation av flera och heterogena källor (b) bestämma hur data ska lagras i den lokala värden eller i molnet (c) välja organisation av data, inklusive filnamn och mappar (d) hantera saknade värden för data samt redundans som finns i sensorerna , bland annat. Dessutom rekommenderas lokal buffring för datamolnet när det är möjligt för att minska förlust av data vid uppladdningstiden.
Inkonsekvens i data
Data inkonsekvens är vanligt mellan försök att hitta variationer i data urvalsstorlekar. Dessa problem är relaterade till datainsamling i bärbara sensorer. Korta avbrott i datainsamling och datakollision från flera sensorer leder till datainkonsekvenser. I dessa fall är algoritmer för identifiering av inkonsekvenser viktiga för att hantera onlinefel i sensorer. Det är viktigt att markera att trådlösa enheter bör övervakas ofta under hela experimentet. Låg batterinivå kan påverka anslutningen och leda till förlust av data.
Etiska
Samtycke till deltagande och etiskt godkännande är obligatoriskt i alla typer av experiment där människor är inblandade.
När det gäller begränsningarna i denna metod är det viktigt att notera att den är utformad för metoder som överväger olika metoder för datainsamling. Systemen kan omfatta bärbara, omgivande och/eller visionssensorer. Det föreslås att man överväger enheternas energiförbrukning och batteriernas livslängd i trådlösa sensorer, på grund av problem som förlust av datainsamling, minskande anslutning och strömförbrukning i hela systemet. Dessutom är denna metod avsedd för system som använder maskininlärningsmetoder. En analys av valet av dessa maskininlärningsmodeller bör göras i förväg. Några av dessa modeller kan vara korrekta, men mycket tid och energikrävande. En avvägning mellan korrekt uppskattning och begränsad resurstillgänglighet för datoranvändning i maskininlärningsmodeller måste beaktas. Det är också viktigt att konstatera att verksamheten vid datainsamlingen av systemet bedrevs i samma ordning. försök utfördes också i samma sekvens. Av säkerhetsskäl användes en skyddsmadrass för försökspersoner att falla på. Dessutom var fallen självinitierade. Detta är en viktig skillnad mellan simulerade och verkliga fall, som i allmänhet förekommer mot hårda material. I den meningen faller denna inspelade datauppsättning med en intuitiv reaktion som försöker att inte falla. Dessutom finns det vissa skillnader mellan verkliga fall hos äldre eller nedsatt människor och simuleringen faller; och dessa måste beaktas vid utformningen av ett nytt falldetekteringssystem. Denna studie var inriktad på ungdomar utan funktionsnedsättningar, men det är anmärkningsvärt att säga att valet av ämnen bör anpassas till målet för systemet och målgruppen som kommer att använda det.
Från de relaterade verk som beskrivs ovan10,11,12,13,14,15,16,17,18, kan vi konstatera att det finns författare som använder multimodala metoder med fokus på att erhålla robusta falldetektorer eller fokusera på placering eller prestanda klassificerare. Därför tar de bara upp en eller två av designproblemen för falldetektering. Vår metodik gör det möjligt att samtidigt lösa tre av de viktigaste designproblemen i ett falldetekteringssystem.
För framtida arbete föreslår vi att man utformar och implementerar ett enkelt multimodalt falldetekteringssystem baserat på de resultat som erhållits enligt denna metod. För att införa verkliga åtgärder bör överföringsinlärning, hierarkisk klassificering och djupinlärningsmetoder användas för att utveckla mer robusta system. Vår implementering tog inte hänsyn till kvalitativa mått för maskininlärningsmodellerna, men realtids- och begränsade datorresurser måste beaktas för vidareutveckling av system för att upptäcka/igenkänna människor. Slutligen, för att förbättra vår datauppsättning, snubbla eller nästan fallande aktiviteter och realtidsövervakning av volontärer under deras dagliga liv kan övervägas.
The authors have nothing to disclose.
Denna forskning har finansierats av Universidad Panamericana genom bidraget “Fomento a la Investigación UP 2018”, under projektkod UP-CI-2018-ING-MX-04.
Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |