Summary
Vi presenterar en metod baserad på multimodala sensorer för att konfigurera ett enkelt, bekvämt och snabbt falldetektering och humant aktivitetsigenkänningssystem. Målet är att bygga ett system för korrekt falldetektering som enkelt kan implementeras och antas.
Abstract
Detta dokument presenterar en metod baserad på multimodala sensorer för att konfigurera en enkel, bekväm och snabb fall detektering och mänsklig aktivitet erkännande system som lätt kan genomföras och antas. Metoden bygger på konfiguration av specifika typer av sensorer, maskininlärningsmetoder och procedurer. Protokollet är uppdelat i fyra faser: 1) databasskapande (2) dataanalys (3) systemförenkling och 4) utvärdering. Med denna metod skapade vi en multimodal databas för falldetektering och erkännande av mänsklig aktivitet, nämligen UP-Fall Detection. Den omfattar dataprover från 17 försökspersoner som utför 5 typer av fall och 6 olika enkla aktiviteter, under 3 försök. All information samlades in med hjälp av 5 bärbara sensorer (tri-axel accelerometer, gyroskop och ljusintensitet), 1 elektroencefalografi hjälm, 6 infraröda sensorer som omgivande sensorer, och 2 kameror i laterala och främre synpunkter. Den föreslagna nya metoden lägger till några viktiga steg för att utföra en djup analys av följande designproblem för att förenkla ett falldetekteringssystem: a) välja vilka sensorer eller kombination av sensorer som ska användas i ett enkelt falldetekteringssystem, b) bestämma den bästa placeringen av informationskällorna, och c) välja den lämpligaste maskininlärningsklassificeringsmetoden för fall- och humanaktivitetsdetektering och igenkänning. Även om vissa multimodala metoder som rapporteras i litteraturen endast fokuserar på en eller två av de ovan nämnda frågorna, gör vår metod samtidigt lösa dessa tre designproblem relaterade till ett mänskligt fall och aktivitetsdetektering och erkännandesystem.
Introduction
Sedan världens fenomen av befolkningen åldrande1, fall prevalensen har ökat och anses faktiskt vara ett stort hälsoproblem2. När ett fall inträffar, människor kräver omedelbar uppmärksamhet för att minska negativa konsekvenser. Fall detektionssystem kan minska den tid under vilken en person får läkarvård skicka en varning när ett fall inträffar.
Det finns olika kategorisering av falldetekteringssystem3. Tidiga verk4 klassificera falldetekteringssystem med sin metod för detektion, ungefär analytiska metoder och maskininlärningsmetoder. På senare tid har andra författare3,5,6 ansett datainsamlingssensorer som huvudfunktionen för att klassificera falldetektorer. Igual et al.3 delar upp falldetekteringssystem i kontextmedvetna system, som inkluderar syn- och sensorbaserade metoder, och bärbara enhetssystem. Mubashir et al.5 klassificerar falldetektorer i tre grupper baserat på de enheter som används för datainsamling: bärbara enheter, atmosfärsensorer och visionsbaserade enheter. Perry et al.6 tar hänsyn till metoder för mätning av acceleration, metoder för mätning av acceleration i kombination med andra metoder och metoder som inte mäter acceleration. Utifrån dessa undersökningar kan vi fastställa att sensorer och metoder är de viktigaste elementen för att klassificera den allmänna forskningsstrategin.
Var och en av sensorerna har svagheter och styrkor som diskuteras i Xu et al.7. Vision-baserade metoder använder huvudsakligen normala kameror, djupsensorkameror och/eller rörelseavskiljningssystem. Normala webbkameror är billiga och lätta att använda, men de är känsliga för miljöförhållanden (ljusvariation, ocklusion, etc.), kan endast användas i ett reducerat utrymme, och har integritetsfrågor. Djupkameror, till exempel Kinect, ger helkropps 3D-rörelse7 och påverkas mindre av ljusförhållanden än vanliga kameror. Tillvägagångssätt som baseras på Kinect är dock inte lika robusta och tillförlitliga. Motion capture-system är dyrare och svårare att använda.
Metoder baserade på accelerometerenheter och smarta telefoner/klockor med inbyggda accelerometrar används mycket ofta för falldetektering. Den största nackdelen med dessa enheter är att de måste bäras under långa perioder. Obehag, påträngande, kroppsplacering och orientering är designfrågor som ska lösas i dessa metoder. Även smartphones och smarta klockor är mindre påträngande enheter som sensorer, äldre människor glömmer ofta eller inte alltid bära dessa enheter. Fördelen med dessa sensorer och enheter är dock att de kan användas i många rum och / eller utomhus.
Vissa system använder sensorer placerade runt om i miljön för att känna igen fall / aktiviteter, så att människor inte behöver bära sensorer. Men dessa sensorer är också begränsade till de platser där de distribueras8 och är ibland svåra att installera. Nyligen har multimodala falldetekteringssystem inkluderat olika kombinationer av syn-, bärbara och omgivande sensorer för att få mer precision och robusthet. De kan också övervinna några av de enda sensor begränsningar.
Den metod som används för falldetektering är nära relaterad till kedjan för igenkänning av mänsklig aktivitet (ARC) som presenteras av Bulling et al.9,som består av stadier för datainsamling, signalförbearbetning och segmentering, funktionsutvinning och urval, utbildning och klassificering. Designfrågor måste lösas för var och en av dessa steg. Olika metoder används i varje steg.
Vi presenterar en metod baserad på multimodala sensorer för att konfigurera ett enkelt, bekvämt och snabbt mänskligt fall och mänsklig aktivitet upptäckt / erkännande system. Målet är att bygga ett system för korrekt falldetektering som enkelt kan implementeras och antas. Den föreslagna nya metoden bygger på ARC, men den lägger till några viktiga faser för att utföra en djup analys av följande frågor för att förenkla systemet: (a) välj vilka sensorer eller kombination av sensorer som ska användas i ett enkelt falldetekteringssystem; b) fastställa den bästa placeringen av informationskällorna, och (c) välja den lämpligaste maskininlärningsklassificeringsmetoden för falldetektering och erkännande av mänsklig aktivitet för att skapa ett enkelt system.
Det finns några relaterade verk i litteraturen som behandlar en eller två av de ovan nämnda designfrågor, men såvitt vi vet finns det inget arbete som fokuserar på en metod för att övervinna alla dessa problem.
Relaterade verk använder multimodala metoder för falldetektering och erkännande av mänsklig aktivitet10,,11,12 för att uppnå robusthet och öka precisionen. Kwolek et al.10 föreslog att ett falldetekteringssystem skulle utformas och implementeras baserat på accelerometriska data och djupkartor. De utformade en intressant metod där en treaxlig accelerometer implementeras för att upptäcka en potentiell nedgång samt personens rörelse. Om accelerationsmåttet överskrider ett tröskelvärde extraherar algoritmen en person som skiljer djupkartan från den onlineupp uppdaterade djupreferenskartan. En analys av djup- och accelerometrometrarkombinationer gjordes med hjälp av en stödvektormaskinklassificerare.
Ofli et al.11 presenterade en multimodal human action-databas (MHAD) för att tillhandahålla en testbädd för nya system för igenkänning av mänsklig aktivitet. Datauppsättningen är viktig eftersom åtgärderna samlades in samtidigt med 1 optiskt rörelseavskiljningssystem, 4 flervykameror, 1 Kinect-system, 4 mikrofoner och 6 trådlösa accelerometrar. Författarna presenterade resultat för varje modalitet: Kinect, mocap, accelerometern och ljudet.
Dovgan et al.12 föreslog en prototyp för att upptäcka avvikande beteende, inklusive fall, hos äldre. De utformade tester för tre sensorsystem för att hitta den lämpligaste utrustningen för fall och ovanlig beteendedetektering. Det första experimentet består av data från ett smart sensorsystem med 12 taggar knutna till höfter, knän, vrister, handleder, armbågar och axlar. De skapade också en testdatauppsättning med hjälp av en Ubisense sensorsystem med fyra taggar knutna till midjan, bröstet och båda anklarna, och en Xsens accelerometer. I ett tredje experiment, fyra ämnen använder bara Ubisense systemet när du utför 4 typer av faller, 4 hälsoproblem som avvikande beteende och olika verksamhet i det dagliga livet (ADL).
Andra verk ilitteraturen 13,14,15 ta itu med problemet med att hitta den bästa placeringen av sensorer eller enheter för falldetektering jämföra prestanda för olika kombinationer av sensorer med flera klassificerare. Santoyo et al.13 presenterade en systematisk bedömning som utvärderar vikten av placeringen av 5 sensorer för falldetektering. De jämförde prestandan hos dessa sensorkombinationer med k-närmaste grannar (KNN), stöd vektor maskiner (SVM), naiva Bayes (OBS) och beslut träd (DT) klassificerare. De drar slutsatsen att sensorns placering på motivet har en viktig inverkan på falldetektorns prestanda oberoende av den klassificerare som används.
En jämförelse av bärbara sensorplaceringar på kroppen för falldetektering presenterades av Özdemir14. För att bestämma sensorns placering analyserade författaren 31 sensorkombinationer av följande positioner: huvud, midja, bröst, höger handled, höger fotled och höger lår. Fjorton frivilliga utförde 20 simulerade fall och 16 ADL. Han fann att det bästa resultatet erhölls när en enda sensor är placerad på midjan från dessa uttömmande kombinationsexperiment. En annan jämförelse presenterades av Ntanasis15 med hjälp av Özdemirs datauppsättning. Författarna jämförde enstaka positioner på huvud, bröst, midja, handled, fotled och lår med hjälp av följande klassificerare: J48, KNN, RF, random committee (RC) och SVM.
Riktmärken för prestanda för olika beräkningsmetoder för falldetektering finns också ilitteraturen 16,17,18. Bagala et al.16 presenterade en systematisk jämförelse för att jämföra prestandan hos tretton falldetekteringsmetoder som testats vid verkliga fall. De ansåg endast algoritmer baserade på accelerometrometrar mätningar placeras på midjan eller bålen. Bourke et al.17 utvärderade prestandan hos fem analytiska algoritmer för falldetektering med hjälp av en datauppsättning av ADLs och faller baserat på accelerometeravläsningar. Kerdegari18 gjorde också en jämförelse av prestandan hos olika klassificeringsmodeller för en uppsättning inspelade accelerationsdata. Algoritmerna som användes för falldetektering var zeroR, oneR, NB, DT, multilayer perceptron och SVM.
En metod för fall detektion föreslogs av Alazrai et al.18 med rörelse pose geometrisk deskriptor för att konstruera en ackumulerad histogram-baserad representation av mänsklig verksamhet. De utvärderade ramverket med hjälp av en datauppsättning som samlats in med Kinect-sensorer.
Sammanfattningsvis hittade vi multimodala fall detektion relaterade verk10,11,12 som jämför prestanda för olika kombinationer av modaliteter. Vissa författare ta itu med problemet med att hitta den bästa placeringen av sensorer13,14,15, eller kombinationer av sensorer13 med flera klassificerare13,15,16 med flera sensorer av samma modalitet och accelerometrar. Inget arbete hittades i litteratur som behandlar placering, multimodala kombinationer och klassificerare riktmärke samtidigt.
Protocol
Alla metoder som beskrivs här har godkänts av forskningskommittén vid School of Engineering of Universidad Panamericana.
OBS: Denna metod bygger på konfigurationen av specifika typer av sensorer, maskininlärningsmetoder och procedurer för att konfigurera ett enkelt, snabbt och multimodalt falldetekteringssystem och system för igenkänning av mänsklig aktivitet. På grund av detta är följande protokoll indelat i etapper: 1) databasskapande (2) dataanalys (3) systemförenkling och (4) utvärdering.
1. Skapande av databaser
- Ställ in datainsamlingssystemet. Detta kommer att samla in alla uppgifter från försökspersoner och lagra informationen i en hämtningsdatabas.
- Välj de typer av bärbara sensorer, omgivande sensorer och visionsbaserade enheter som krävs som informationskällor. Tilldela ett ID för varje informationskälla, antalet kanaler per källa, de tekniska specifikationerna och provtagningshastigheten för var och en av dem.
- Anslut alla informationskällor (t.ex. bärbara och omgivande sensorer samt visionsbaserade enheter) till en central dator eller ett distribuerat datorsystem:
- Kontrollera att kabelanslutna enheter är korrekt anslutna till en klientdator. Kontrollera att trådlösa enheter är fulladdade. Tänk på att låg batterinivå kan påverka trådlösa anslutningar eller sensorvärden. Dessutom kommer intermittenta eller förlorade anslutningar att öka förlusten av data.
- Konfigurera var och en av enheterna för att hämta data.
- Ställ in datainsamlingssystemet för lagring av data i molnet. På grund av den stora mängden data som ska lagras beaktas cloud computing i det här protokollet.
- Verifiera att datainsamlingssystemet uppfyller datasynkronisering och datakonsekvens20-egenskaper. Detta upprätthåller integriteten för datalagring från alla informationskällor. Det kan kräva nya metoder i datasynkronisering. Se till exempel Peñafort-Asturiano et al.20.
- Börja samla in vissa data med informationskällor och lagra data i ett önskat system. Inkludera tidsstämplar i alla data.
- Fråga databasen och ta reda på om alla informationskällor samlas in med samma exempelfrekvens. Om det görs på rätt sätt går du till steg 1.1.6. I annat fall utföra uppprovtagning eller nedprovtagning med hjälp av kriterier som rapporterats i Peñafort-Asturiano, et al.20.
- Ställ in miljön (eller laboratoriet) genom att ta hänsyn till de villkor som krävs och de begränsningar som följer av målet med systemet. Ställ in villkor för slagkraft dämpning i simulerade faller som kompatibla golvsystem som föreslås i Lachance, et al.23 för att säkerställa deltagarnas säkerhet.
- Använd en madrass eller något annat kompatibelt golvsystem och placera den i mitten av miljön (eller laboratorium).
- Håll alla föremål borta från madrassen för att ge minst en meter säkert utrymme runt. Vid behov, förbered personlig skyddsutrustning för deltagarna (t.ex. handskar, lock, skyddsglasögon, knästöd osv.).
Protokollet kan pausas här.
- Bestäm de mänskliga aktiviteter och faller som systemet kommer att upptäcka efter konfigurationen. Det är viktigt att ha i åtanke syftet med systemet för falldetektering och erkännande av mänsklig aktivitet, liksom målgruppen.
- Definiera målet för systemet för falldetektering och igenkänning av mänsklig aktivitet. Skriv ner det i ett planeringsblad. För denna fallstudie är målet att klassificera de typer av mänskliga fall och aktiviteter som utförs inomhus dagligen av äldre människor.
- Definiera experimentets målpopulation i enlighet med systemets mål. Skriv ner det i planeringsbladet. I studien, anser äldre människor som målgrupp.
- Bestäm vilken typ av dagliga aktiviteter. Inkludera några icke-fall aktiviteter som ser ut som faller för att förbättra verkliga fall upptäckt. Tilldela ett ID för dem alla och beskriv dem så detaljerad som möjligt. Ange tidsperioden för varje aktivitet som ska utföras. Skriv ner all den här informationen i planeringsbladet.
- Bestäm vilken typ av mänskliga faller. Tilldela ett ID för dem alla och beskriv dem så detaljerad som möjligt. Ange tidsperioden för varje fall som ska köras . Fundera på om fallen kommer att genereras själv av försökspersonerna eller genereras av andra (t.ex. att trycka på motivet). Skriv ner all den här informationen i planeringsbladet.
- Skriv ner sekvenserna av aktiviteter i planeringsbladet och faller som ett ämne utför. Ange tidsperiod, antal försök per aktivitet/fall, beskrivningen för att utföra aktiviteten/fallet och aktiviteten/fall-ID:na.
Protokollet kan pausas här.
- Välj relevanta ämnen till studien som ska utföra sekvenser av aktiviteter och faller. Fall är sällsynta händelser att fånga i verkliga livet och oftast drabbar äldre. Av säkerhetsskäl inkluderar dock inte äldre och nedsatta personer under simulering under medicinsk rådgivning. Stunts har använts för att undvika skador22.
- Bestäm kön, åldersintervall, vikt och längd av försökspersonerna. Definiera eventuella nedskrivningsvillkor som krävs. Definiera också det minsta antalet ämnen som krävs för experimentet.
- Välj slumpmässigt den uppsättning ämnen som krävs, enligt de villkor som angavs i föregående steg. Använd en uppmaning till frivilliga att rekrytera dem. Uppfylla alla etiska riktlinjer som gäller från institutionen och landet, samt alla internationella regler när du experimenterar med människor.
Protokollet kan pausas här.
- Hämta och lagra data från försökspersoner. Denna information kommer att vara användbar för ytterligare experimentell analys. Utför följande steg under handledning av en klinisk expert eller en ansvarig forskare.
- Börja samla in data med datainsamlingssystemet som konfigurerats i steg 1.1.
- Be var och en av ämnena att utföra sekvenserna av aktiviteter och fall som deklareras i steg 1.2. Spara tydligt tidsstämplarna för början och slutet av varje aktivitet/fall. Kontrollera att data från alla informationskällor sparas i molnet.
- Om aktiviteterna inte gjordes på rätt sätt eller om det uppstod problem med enheter (t.ex. förlorad anslutning, låg batterinivå, intermittent anslutning), kassera exemplen och upprepa steg 1.4.1 tills inga enhetsproblem har hittats. Upprepa steg 1.4.2 för varje försök, per ämne, som deklareras i sekvensen av steg 1.2.
Protokollet kan pausas här.
- Förbehandla alla data som inhämtats. Tillämpa uppprovtagning och nedtagning för var och en av informationskällorna. Se information om förbehandlingsdata för falldetektering och erkännande av mänsklig aktivitet i Martínez-Villaseñor et al.21.
Protokollet kan pausas här.
2. Dataanalys
- Välj läge för databehandling. Välj Rådata om de data som lagras i databasen ska användas direkt (dvs. med djupinlärning för automatisk funktionsextrahering) och gå till steg 2.2. Välj Funktionsdata om funktionsextrahering ska användas för vidare analys och gå till steg 2.3.
- För rådatakrävs inga extra steg så gå till steg 2.5.
- För funktionsdataextraherar du funktioner från rådata.
- Segmentera rådata i tidsfönster. Bestäm och åtgärda tidsfönstrets längd (t.ex. bildrutor med en sekunds storlek). Dessutom, avgöra om dessa tidsfönster kommer att överlappa eller inte. En god praxis är att välja 50% överlappande.
- Extrahera funktioner från varje datasegment. Bestäm den uppsättning tidsmässiga och frekventa funktioner som ska extraheras från segmenten. Se Martínez-Villaseñor et al.21 för gemensam extraktion.
- Spara funktionsextraheringsdatauppsättningen i molnet i en oberoende databas.
- Om olika tidsfönster ska väljas upprepar du steg 2.3.1 till 2.3.3 och sparar varje funktionsdatauppsättning i oberoende databaser.
Protokollet kan pausas här.
- Välj de viktigaste funktionerna som extraheras och minska funktionsdatauppsättningen. Tillämpa några vanliga funktionsvalsmetoder (t.ex., univariat val, huvudkomponentanalys, rekursiv funktionseliminering, funktionsvikt, korrelationsmatris, etc.).
- Välj en funktionsvalsmetod. Här använde vi funktionen betydelse.
- Använd varje funktion för att träna en viss modell (vi använde RF) och mät noggrannheten (se ekvation 1).
- Rangordna funktionerna genom sortering efter noggrannhet.
- Välj de viktigaste funktionerna. Här använde vi de bäst rankade första tio funktionerna.
Protokollet kan pausas här.
- Välj en klassificeringsmetod för maskininlärning och träna en modell. Det finns välkända maskininlärningsmetoder16,17,18,21, till exempel: stöd vektor maskiner (SVM), slumpmässig skog (RF), multilayer perceptron (MLP) och k-närmaste grannar (KNN), bland många andra.
- Alternativt, om en djupinlärningsmetod väljs, anser du21: faltning neurala nätverk (CNN), långa kortsiktiga minne neurala nätverk (LSTM), bland annat.
- Välj en uppsättning maskininlärningsmetoder. Här använde vi följande metoder: SVM, RF, MLP och KNN.
- Åtgärda parametrarna för var och en av maskininlärningsmetoderna, som föreslås ilitteraturen 21.
- Skapa en kombinerad funktionsdatauppsättning (eller rådatauppsättning) med hjälp av oberoende funktionsdatauppsättningar (eller rådatauppsättningar) för att kombinera typer av informationskällor. Om till exempel en kombination av en bärbar sensor och en kamera krävs, kombinera sedan funktionsdatauppsättningarna från var och en av dessa källor.
- Dela upp funktionsdatauppsättningen (eller rådatauppsättningen) i utbildnings- och testuppsättningar. Ett bra val är att slumpmässigt dela 70% för utbildning och 30% för testning.
- Kör en k-fold korsvalidering21 med hjälp av funktionsdatauppsättningen (eller rådatauppsättningen) för varje maskininlärningsmetod. Använd ett gemensamt mått på utvärdering, till exempel noggrannhet (se ekvation 1) för att välja den bästa modellen som tränas per metod. Leave-one subject-out (LOSO) experiment3 rekommenderas också.
- Öppna datauppsättningen för träningsfunktionen (eller rådatauppsättningen) i den önskade programmeringsspråkprogramvaran. Python rekommenderas. För det här steget, använd pandas bibliotek för att läsa en CSV-fil enligt följande:
training_set = pandas.csv(). - Dela funktionsdatauppsättningen (eller rådatauppsättningen) i par av indata-utdata. Använd till exempel Python för att deklarera x-värdena (indata) och y-värdena (utdata):
training_set_X = training_set.drop('tag',axis=1), training_set_Y = training_set.tag
där taggen representerar kolumnen i funktionsdatauppsättningen som innehåller målvärdena. - Välj en maskininlärningsmetod och ange parametrarna. Använd till exempel SVM i Python med biblioteket sklearn som följande kommando:
klassificerare = sklearn. SVC(kärna = "poly")
där kärnfunktionen väljs som polynom. - Träna maskininlärningsmodellen. Använd till exempel ovanstående klassificerare i Python för att träna SVM-modellen:
classifier.fit(training_set_X,training_set_Y). - Beräkna modellens uppskattade värden med hjälp av testfunktionens datauppsättning (eller rådatauppsättningen). Använd till exempel uppskattningsfunktionen i Python enligt följande: estimates = classifier.predict(testing_set_X) där testing_set_X representerar x-värdena för testuppsättningen.
- Upprepa steg 2.5.6.1 till 2.5.6.5, antalet gånger k som anges i k-fold cross validering (eller antalet gånger som krävs för LOSO-metoden).
- Upprepa steg 2.5.6.1 till 2.5.6.6 för varje maskininlärningsmodell som valts.
Protokollet kan pausas här.
- Öppna datauppsättningen för träningsfunktionen (eller rådatauppsättningen) i den önskade programmeringsspråkprogramvaran. Python rekommenderas. För det här steget, använd pandas bibliotek för att läsa en CSV-fil enligt följande:
- Jämför maskininlärningsmetoderna genom att testa de valda modellerna med testdatauppsättningen. Andra mätvärden för utvärdering kan användas: noggrannhet (Ekvation 1), precision (Ekvation 2), känslighet (Ekvation 3), specificitet (Ekvation 4) eller F1-poäng (Ekvation 5), där TP är de sanna positiva, TN är de sanna negativen, FP är falska positiva och FN är de falska negativen.
- Använd andra nyttiga prestandamått, till exempel förvirringsmatris9 för att utvärdera maskininlärningsmodellernas klassificeringsuppgift, eller en beslutsoberoende precisionsåterkallelse9 (PR) eller mottagare som arbetar med9 (ROC) kurvor. I denna metod anses återkallande och känslighet vara likvärdiga.
- Använd kvalitativa funktioner i maskininlärningsmodellerna för att jämföra dem, till exempel: enkel maskininlärningstolkning; prestanda i realtid. begränsade resurser för tid, minne och bearbetning av datoranvändning. och enkel maskininlärningsdistribution i kantenheter eller inbyggda system.
- Välj den bästa maskininlärningsmodellen med hjälp av informationen från: Kvalitetsmåtten (Ekvationerna 1–5), prestandamåtten och de kvalitativa funktionerna i maskininlärningsförbarheten för steg 2.5.6, 2.5.7 och 2.5.8.
Protokollet kan pausas här.
3. Förenkling av systemet
- Välj lämpliga placeringar av informationskällor. Ibland är det nödvändigt att bestämma den bästa placeringen av informationskällor (t.ex. vilken placering av en bärbar sensor är bättre).
- Bestäm den delmängd av informationskällor som ska analyseras. Till exempel, om det finns fem bärbara sensorer i kroppen och bara en måste väljas som den bästa sensorn placeras, kommer var och en av dessa sensorer vara en del av delmängden.
- Skapa en separat datauppsättning för varje informationskälla i den här delmängden och lagra den separat. Tänk på att den här datauppsättningen kan vara antingen den tidigare funktionsdatauppsättningen eller rådatauppsättningen.
Protokollet kan pausas här.
- Välj en klassificeringsmetod för maskininlärning och träna en modell för en informationskälla. Slutför steg från 2.5.1 till 2.5.6 med hjälp av var och en av de datauppsättningar som skapats i steg 3.1.2. Identifiera den lämpligaste informationskällan genom rangordning. För denna fallstudie använder vi följande metoder: SVM, RF, MLP och KNN.
Protokollet kan pausas här. - Välj lämpliga placeringar i en multimodal metod om en kombination av två eller flera informationskällor krävs för systemet (t.ex. kombination av en bärbar sensor och en kamera). I denna fallstudie, använd midjebar sensor och kamera 1 (lateral vy) som former.
- Välj den bästa informationskällan för varje modalitet i systemet och skapa en kombinerad funktionsdatauppsättning (eller rådatauppsättning) med hjälp av oberoende datauppsättningar för dessa informationskällor.
- Välj en klassificeringsmetod för maskininlärning och träna en modell för dessa kombinerade informationskällor. Fyll i steg 2.5.1 till 2.5.6 med hjälp av den kombinerade funktionsdatauppsättningen (eller rådatauppsättningen). I denna studie använder du följande metoder: SVM, RF, MLP och KNN.
Protokollet kan pausas här.
4. Utvärdering
- Förbered en ny datauppsättning med användarna i mer realistiska förhållanden. Använd bara de informationskällor som valts i föregående steg. Föredra, implementera systemet i målgruppen (t.ex. äldre). Samla in data under längre tidsperioder.
- Alternativt om målgruppen endast används, skapa ett urvalsgruppsprotokoll som omfattar uteslutningsvillkoren (t.ex. fysisk eller psykisk funktionsnedsättning) och stoppa förebyggande av kriterier (t.ex. upptäcka fysiska skador under försöken; illamående, yrsel och/eller kräkningar; svimning). Tänk även på etiska problem och datasekretessfrågor.
- Utvärdera resultatet av falldetektering och mänsklig aktivitet erkännande system som utvecklats hittills. Använd ekvationer 1–5 för att fastställa systemets noggrannhet och prediktiva kraft eller andra prestandamått.
- Diskutera om resultaten om de experimentella resultaten.
Representative Results
Skapa en databas
Vi skapade en multimodal datauppsättning för falldetektering och erkännande av mänsklig aktivitet, nämligen UP-Fall Detection21. Uppgifterna samlades in under en fyraveckorsperiod vid School of Engineering vid Universidad Panamericana (Mexico City, Mexiko). Testscenariot valdes med hänsyn till följande krav: a) ett utrymme där försökspersoner bekvämt och säkert kunde utföra fall och aktiviteter, och (b) en inomhusmiljö med naturligt och artificiellt ljus som är väl lämpad för multimodala sensorer inställningar.
Det finns dataprover från 17 försökspersoner som utförde 5 typer av fall och 6 olika enkla aktiviteter, under 3 försök. All information samlades in med hjälp av ett internt datainsamlingssystem med 5 bärbara sensorer (tri-axel accelerometer, gyroskop och ljusintensitet), 1 elektroencefalografihjälm, 6 infraröda sensorer som omgivande sensorer och 2 kameror i sidled och främre synpunkter. Figur 1 visar layouten på sensorplaceringen i miljön och på kroppen. Samplingsfrekvensen för hela datauppsättningen är 18 Hz. Databasen innehåller två datauppsättningar: den konsoliderade rådatauppsättningen (812 GB) och en funktionsdatauppsättning (171 GB). Alla databaser ware lagras i molnet för offentlig åtkomst: https://sites.google.com/up.edu.mx/har-up/. Mer information om datainsamling, förbehandling, konsolidering och lagring av denna databas samt information om synkronisering och datakonsekvens finns i Martínez-Villaseñor et al.21.
För denna databas var alla försökspersoner friska unga frivilliga (9 män och 8 kvinnor) utan någon försämring, som sträcker sig på 18 till 24 år gamla, med medelhöjd på 1,66 m och medelvikt på 66,8 kg. Vid datainsamlingen övervakade den tekniska ansvarige forskaren att alla aktiviteter utfördes av försökspersonerna korrekt. Försökspersonerna utförde fem typer av fall, var och en i 10 sekunder, som faller: framåt med händerna (1), framåt med knäna (2), bakåt (3), sitter i en tom stol (4) och åt sidan (5). De genomförde också sex dagliga aktiviteter för 60 s vardera utom för hoppning (30 s): promenader (6), stående (7), plocka upp ett objekt (8), sitter (9), hoppa (10) och om (11). Även om simulerade fall inte kan återge alla typer av verkliga fall, är det viktigt att åtminstone inkludera representativa typer av fall som möjliggör skapandet av bättre fall detekteringsmodeller. Det är också relevant att använda ADL och i synnerhet aktiviteter som vanligtvis kan förväxlas med fall som att plocka upp ett objekt. Typerna av fall och ADL valdes ut efter en översyn av relaterade fall detekteringssystem21. Som ett exempel visar figur 2 en sekvens av bilder av en rättegång när ett motiv faller åt sidan.
Vi extraherade 12 tidsmässiga (medelvärde, standardavvikelse, maximal amplitud, minimal amplitud, rotmedelvärdet kvadrat, median, noll-korsning nummer, skevhet, kurtosis, första kvartilen, tredje kvartilen och autocorrelation) och 6 frequential (medelvärde, median, entropi, energi, huvudfrekvens och spektrala centroid) funktioner21 från varje kanal av bärbara och omgivande sensorer som består av 756 funktioner totalt. Vi beräknade också 400 visuella funktioner21 för varje kamera om den relativa rörelsen av pixlar mellan två intilliggande bilder i videorna.
Dataanalys mellan unimodala och multimodala metoder
Från DATABASEN UP-Fall Detection analyserade vi data för jämförelseändamål mellan unimodala och multimodala metoder. I den meningen jämförde vi sju olika kombinationer av informationskällor: endast infraröda sensorer (IR); endast bärbara sensorer (IMU); bärbara sensorer och hjälm (IMU+EEG); infraröda och bärbara sensorer och hjälm (IR+IMU+EEG); endast kameror (CAM). infraröda sensorer och kameror (IR+CAM); och bärbara sensorer, hjälm och kameror (IMU+EEG+CAM). Dessutom jämförde vi tre olika tidsfönsterstorlekar med 50% överlappande: en sekund, två sekunder och tre sekunder. Vid varje segment valde vi de mest användbara funktionerna som tillämpar funktionsval och rangordning. Med hjälp av denna strategi använde vi endast 10 funktioner per modalitet, utom i IR modalitet med 40 funktioner. Dessutom gjordes jämförelsen över fyra välkända maskininlärningsklassificerare: RF, SVM, MLP och KNN. Vi använde 10-faldig korsvalidering, med datamängder på 70% tåg och 30% test, för att träna maskininlärningsmodeller. Tabell 1 visar resultaten av detta riktmärke och rapporterar bästa prestanda för varje modalitet beroende på maskininlärningsmodellen och den bästa fönsterlängdskonfigurationen. Utvärderingsmåtten rapporterar noggrannhet, precision, känslighet, specificitet och F1-poäng. Figur 3 visar dessa resultat i en grafisk representation, i form av F1-poäng.
Från tabell 1fick multimodala metoder (infraröda och bärbara sensorer och hjälm, IR+IMU+EEG; och bärbara sensorer och hjälm och kameror, IMU+EEG+CAM) de bästa F1-poängsvärdena, jämfört med unimodala metoder (endast infraröda, IR; och endast kameror, CAM). Vi märkte också att bärbara sensorer endast (IMU) fått liknande prestanda än en multimodal metod. I det här fallet valde vi en multimodal metod eftersom olika informationskällor kan hantera begränsningar från andra. Till exempel kan påträngande i kameror hanteras av bärbara sensorer, och att inte använda alla bärbara sensorer kan kompletteras med kameror eller omgivande sensorer.
När det gäller riktmärket för de datadrivna modellerna visade experiment i tabell 1 att RF ger de bästa resultaten i nästan alla experiment. mlp och SVM inte var särskilt konsekventa i prestanda (t.ex. visar standardavvikelsen i dessa tekniker större variation än i RF). Om fönsterstorlekarna innebar dessa ingen signifikant förbättring bland dem. Det är viktigt att notera att dessa experiment gjordes för hösten och mänsklig aktivitet klassificering.
Sensorplacering och bästa multimodala kombination
Å andra sidan syftade vi till att bestämma den bästa kombinationen av multimodala enheter för falldetektering. För denna analys begränsade vi informationskällorna till de fem bärbara sensorerna och de två kamerorna. Dessa enheter är de mest bekväma för tillvägagångssättet. Dessutom ansåg vi två klasser: falla (någon typ av fall) eller no-fall (någon annan verksamhet). Alla maskininlärningsmodeller och fönsterstorlekar förblir desamma som i föregående analys.
För varje bärbar sensor byggde vi en oberoende klassificerarmodell för varje fönsterlängd. Vi tränade modellen med 10-faldig korsvalidering med 70% utbildning och 30% testdatauppsättningar. Tabell 2 sammanfattar resultaten för rangordningen av bärbara sensorer per prestandaklassificerare, baserat på F1-poängen. Dessa resultat sorterades i fallande ordning. Som framgår av tabell 2erhålls den bästa prestandan när du använder en enda sensor i midjan, halsen eller den snäva högra fickan (skuggad region). Dessutom utförde fotled och vänster handled bärbara sensorer det värsta. Tabell 3 visar fönsterlängdsinställningen per bärbar sensor för att få bästa prestanda i varje klassificerare. Från resultaten, midja, hals och snäva högerficka sensorer med RF klassificerare och 3 s fönsterstorlek med 50% överlappande är de mest lämpliga bärbara sensorer för falldetektering.
Vi genomförde en liknande analys för varje kamera i systemet. Vi byggde en oberoende klassificerare modell för varje fönsterstorlek. För utbildning gjorde vi 10-faldig korsvalidering med 70% utbildning och 30% testdatauppsättningar. Tabell 4 visar rangordningen av den bästa kamerasynpunkt per klassificerare, baserat på F1-poäng. Som observerats utförde den laterala vyn (kamera 1) den bästa falldetekteringen. Dessutom överträffade RF i jämförelse med de andra klassificerarna. Tabell 5 visar också fönsterlängdsinställningen per kamerasynpunkt. Från resultaten fann vi att den bästa platsen för en kamera är i lateral synvinkel med RF i 3 s fönsterstorlek och 50% överlappande.
Slutligen valde vi två möjliga placeringar av bärbara sensorer (dvs. midja och snäva högerficka) som ska kombineras med kameran i sidled synvinkel. Efter samma utbildningsprogram fick vi resultaten från tabell 6. Som visad, RF-modellen klassificeraren fick bästa prestanda i noggrannhet och F1-poäng i båda multimodaliteter. Dessutom, kombinationen mellan midja och kamera 1 rankas i den första positionen att få 98,72% i noggrannhet och 95,77% i F1-poäng.
Bild 1: Layout för de bärbara (vänstra) och omgivande (högra) sensorerna i UP-Fall Detection-databasen. De bärbara sensorerna placeras i pannan, vänster handled, nacken, midjan, den högra fickan på byxorna och den vänstra fotleden. De omgivande sensorerna är sex parade infraröda sensorer för att upptäcka närvaron av motiv och två kameror. Kameror finns i sidled och i framkant, både med avseende på det mänskliga fallet. Klicka här för att se en större version av denna siffra.
Bild 2: Exempel på en videoinspelning som extraherats från UP-Fall Detection-databasen. På toppen finns en sekvens av bilder av ett ämne som faller åt sidan. Längst ner finns en sekvens av bilder som representerar visionen funktioner extraheras. Dessa funktioner är den relativa rörelsen av pixlar mellan två intilliggande bilder. Vita pixlar representerar snabbare rörelse, medan svarta pixlar representerar långsammare (eller nära noll) rörelse. Denna sekvens sorteras från vänster till höger, kronologiskt. Klicka här för att se en större version av denna siffra.
Figur 3: Jämförande resultat som rapporterar den bästa F1-poängen för varje modalitet med avseende på maskininlärningsmodellen och den bästa fönsterlängden. Staplar representerar medelvärdena för F1-poäng. Text i datapunkter representerar medelvärdet och standardavvikelsen inom parentes. Klicka här för att se en större version av denna siffra.
| Modalitet | Modell | Noggrannhet (%) | Precision (%) | Känslighet (%) | Specificitet (%) | F1-poäng (%) |
| IR (IR) | RF (3 sek) | 67,38 ± 0,65 | 36,45 ± 2,46 | 31,26 ± 0,89 | 96,63 ± 0,07 | 32,16 ± 0,99 |
| SVM (3 sek) | 65,16 ± 0,90 | 26,77 ± 0,58 | 25,16 ± 0,29 | 96,31 ± 0,09 | 23,89 ± 0,41 | |
| MLP (3 sek) | 65,69 ± 0,89 | 28,19 ± 3,56 | 26,40 ± 0,71 | 96,41 ± 0,08 | 25,13 ± 1,09 | |
| kNN (3 sek) | 61,79 ± 1,47 | 30,04 ± 1,44 | 27,55 ± 0,97 | 96,05 ± 0,16 | 27,89 ± 1,13 | |
| Imu | RF (1 sek) | 95,76 ± 0,18 | 70,78 ± 1,53 | 66,91 ± 1,28 | 99,59 ± 0,02 | 68,35 ± 1,25 |
| SVM (1 sek) | 93,32 ± 0,23 | 66,16 ± 3,33 | 58,82 ± 1,53 | 99,32 ± 0,02 | 60,00 ± 1,34 | |
| MLP (1 sek) | 95,48 ± 0,25 | 73,04 ± 1,89 | 69,39 ± 1,47 | 99,56 ± 0,02 | 70,31 ± 1,48 | |
| kNN (1 sek) | 94,90 ± 0,18 | 69,05 ± 1,63 | 64,28 ± 1,57 | 99,50 ± 0,02 | 66,03 ± 1,52 | |
| IMU+EEG | RF (1 sek) | 95,92 ± 0,29 | 74,14 ± 1,29 | 66,29 ± 1,66 | 99,59 ± 0,03 | 69,03 ± 1,48 |
| SVM (1 sek) | 90,77 ± 0,36 | 62,51 ± 3,34 | 52,46 ± 1,19 | 99,03 ± 0,03 | 53,91 ± 1,16 | |
| MLP (1 sek) | 93,33 ± 0,55 | 74,10 ± 1,61 | 65,32 ± 1,15 | 99,32 ± 0,05 | 68,13 ± 1,16 | |
| kNN (1 sek) | 92,12 ± 0,31 | 66,86 ± 1,32 | 58,30 ± 1,20 | 98,89 ± 0,05 | 60,56 ± 1,02 | |
| IR+IMU+EEG | RF (2 sek) | 95,12 ± 0,36 | 74,63 ± 1,65 | 66,71 ± 1,98 | 99,51 ± 0,03 | 69,38 ± 1,72 |
| SVM (1 sek) | 90,59 ± 0,27 | 64,75 ± 3,89 | 52,63 ± 1,42 | 99,01 ± 0,02 | 53,94 ± 1,47 | |
| MLP (1 sek) | 93,26 ± 0,69 | 73,51 ± 1,59 | 66,05 ± 1,11 | 99,31 ± 0,07 | 68,19 ± 1,02 | |
| kNN (1 sek) | 92,24 ± 0,25 | 67,33 ± 1,94 | 58,11 ± 1,61 | 99,21 ± 0,02 | 60,36 ± 1,71 | |
| Cam | RF (3 sek) | 32,33 ± 0,90 | 14,45 ± 1,07 | 14,48 ± 0,82 | 92,91 ± 0,09 | 14,38 ± 0,89 |
| SVM (2 sek) | 34,40 ± 0,67 | 13,81 ± 0,22 | 14,30 ± 0,31 | 92,97 ± 0,06 | 13,83 ± 0,27 | |
| MLP (3 sek) | 27,08 ± 2,03 | 8,59 ± 1,69 | 10,59 ± 0,38 | 92,21 ± 0,09 | 7,31 ± 0,82 | |
| kNN (3 sek) | 34,03 ± 1,11 | 15,32 ± 0,73 | 15,54 ± 0,57 | 93,09 ± 0,11 | 15,19 ± 0,52 | |
| IR+CAM | RF (3 sek) | 65,00 ± 0,65 | 33,93 ± 2,81 | 29,02 ± 0,89 | 96,34 ± 0,07 | 29,81 ± 1,16 |
| SVM (3 sek) | 64,07 ± 0,79 | 24,10 ± 0,98 | 24,18 ± 0,17 | 96,17 ± 0,07 | 22,38 ± 0,23 | |
| MLP (3 sek) | 65,05 ± 0,66 | 28,25 ± 3,20 | 25,40 ± 0,51 | 96,29 ± 0,06 | 24,39 ± 0,88 | |
| kNN (3 sek) | 60,75 ± 1,29 | 29,91 ± 3,95 | 26,25 ± 0,90 | 95,95 ± 0,11 | 26,54 ± 1,42 | |
| IMU+EEG+CAM | RF (1 sek) | 95,09 ± 0,23 | 75,52 ± 2,31 | 66,23 ± 1,11 | 99,50 ± 0,02 | 69,36 ± 1,35 |
| SVM (1 sek) | 91,16 ± 0,25 | 66,79 ± 2,79 | 53,82 ± 0,70 | 99,07 ± 0,02 | 55,82 ± 0,77 | |
| MLP (1 sek) | 94,32 ± 0,31 | 76,78 ± 1,59 | 67,29 ± 1,41 | 99,42 ± 0,03 | 70,44 ± 1,25 | |
| kNN (1 sek) | 92,06 ± 0,24 | 68,82 ± 1,61 | 58,49 ± 1,14 | 99,19 ± 0,02 | 60,51 ± 0,85 |
Tabell 1: Jämförande resultat som visar varje modalitets bästa prestanda med avseende på maskininlärningsmodellen och den bästa fönsterlängden (inom parentes). Alla värden i prestanda representerar medelvärdet och standardavvikelsen.
| # | IMU-typ | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (98.36) Midja | (83.30) Höger ficka | (57.67) Höger ficka | (73.19) Höger ficka |
| 2 | (95.77) Hals | (83.22) Midja | (44.93) Hals | (68.73) Midja |
| 3 | (95.35) Höger ficka | (83.11) Hals | (39.54) Midja | (65.06) Hals |
| 4 | (95.06) Fotled | (82.96) Fotled | (39.06) Vänster handled | (58.26) Fotled |
| 5 | (94.66) Vänster handled | (82.82) Vänster handled | (37,56) Fotled | (51.63) Vänster handled |
Tabell 2: Rangordning av den bästa bärbara sensorn per klassificerare, sorterad efter F1-poäng (inom parentes). Områdena i skuggan representerar de tre översta klassificerarna för fallidentifiering.
| IMU-typ | Fönsterlängd | |||
| Rf | Svm | Mlp | Knn | |
| Vänster fotled | 2 sekunder | 3 sekunder | 1-sek | 3 sekunder |
| Midja | 3 sekunder | 1-sek | 1-sek | 2 sekunder |
| Hals | 3 sekunder | 3 sekunder | 2 sekunder | 2 sekunder |
| Höger ficka | 3 sekunder | 3 sekunder | 2 sekunder | 2 sekunder |
| Vänster handled | 2 sekunder | 2 sekunder | 2 sekunder | 2 sekunder |
Tabell 3: Föredragen tidsfönsterlängd i bärbara sensorer per klassificerare.
| # | Kameravy | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (62.27) Lateral vy | (24.25) Lateral vy | (13.78) Framifrån | (41.52) Lateral vy |
| 2 | (55.71) Framifrån | (0,20) Framifrån | (5.51) Lateral vy | (28.13) Framifrån |
Tabell 4: Rangordning av den bästa kamerasynpunkt per klassificerare, sorterad efter F1-poäng (inom parentes). Områdena i skuggan representerar den översta klassificeraren för fallidentifiering.
| Kamera | Fönsterlängd | |||
| Rf | Svm | Mlp | Knn | |
| Lateral vy | 3 sekunder | 3 sekunder | 2 sekunder | 3 sekunder |
| Framifrån | 2 sekunder | 2 sekunder | 3 sekunder | 2 sekunder |
Tabell 5: Önskad tidsfönsterlängd i kamerans synvinkel per klassificerare.
| Multimodala | Klassificerare | Noggrannhet (%) | Precision (%) | Känslighet (%) | F1-poäng (%) |
| Midja + Lateral vy |
Rf | 98,72 ± 0,35 | 94,01 ± 1,51 | 97,63 ± 1,56 | 95,77 ± 1,15 |
| Svm | 95,59 ± 0,40 | 100 | 70,26 ± 2,71 | 82,51 ± 1,85 | |
| Mlp | 77,67 ± 11,04 | 33,73 ± 11,69 | 37,11 ± 26,74 | 29,81 ± 12,81 | |
| Knn | 91,71 ± 0,61 | 77,90 ± 3,33 | 61,64 ± 3,68 | 68,73 ± 2,58 | |
| Höger ficka + Lateral vy |
Rf | 98,41 ± 0,49 | 93,64 ± 1,46 | 95,79 ± 2,65 | 94,69 ± 1,67 |
| Svm | 95,79 ± 0,58 | 100 | 71,58 ± 3,91 | 83,38 ± 2,64 | |
| Mlp | 84,92 ± 2,98 | 55,70 ± 11,36 | 48,29 ± 25,11 | 45,21 ± 14,19 | |
| Knn | 91,71 ± 0,58 | 73,63 ± 3,19 | 68,95 ± 2,73 | 71,13 ± 1,69 |
Tabell 6: Jämförande resultat av den kombinerade bärbara sensorn och kamerans synvinkel med 3 sekunders fönsterlängd. Alla värden representerar medelvärdet och standardavvikelsen.
Discussion
Det är vanligt att stöta på utmaningar på grund av synkroniserings-, organisations- och datainkonsekvensproblem20 när en datauppsättning skapas.
Synkronisering
Vid insamling av data uppstår synkroniseringsproblem med tanke på att flera sensorer ofta arbetar med olika samplingshastigheter. Sensorer med högre frekvenser samlar in mer data än de med lägre frekvenser. Data från olika källor paras därför inte ihop korrekt. Även om sensorerna körs med samma samplingsfrekvens är det möjligt att data inte kommer att justeras. I detta avseende kan följande rekommendationer bidra till att hantera dessa synkroniseringsproblem20:i) registrera tidsstämpel, ämne, aktivitet och utvärdering i varje dataprov som erhållits från sensorerna; ii) Den mest konsekventa och mindre frekventa informationskällan måste användas som referenssignal för synkronisering. iii) använda automatiska eller halvautomatiska förfaranden för att synkronisera videoinspelningar som manuell inspektion skulle vara opraktiskt.
Förbehandling av data
Förbehandling av data måste också göras, och kritiska beslut påverkar den här processen: (a) bestämma metoderna för datalagring och datarepresentation av flera och heterogena källor (b) bestämma hur data ska lagras i den lokala värden eller i molnet (c) välja organisation av data, inklusive filnamn och mappar (d) hantera saknade värden för data samt redundans som finns i sensorerna , bland annat. Dessutom rekommenderas lokal buffring för datamolnet när det är möjligt för att minska förlust av data vid uppladdningstiden.
Inkonsekvens i data
Data inkonsekvens är vanligt mellan försök att hitta variationer i data urvalsstorlekar. Dessa problem är relaterade till datainsamling i bärbara sensorer. Korta avbrott i datainsamling och datakollision från flera sensorer leder till datainkonsekvenser. I dessa fall är algoritmer för identifiering av inkonsekvenser viktiga för att hantera onlinefel i sensorer. Det är viktigt att markera att trådlösa enheter bör övervakas ofta under hela experimentet. Låg batterinivå kan påverka anslutningen och leda till förlust av data.
Etiska
Samtycke till deltagande och etiskt godkännande är obligatoriskt i alla typer av experiment där människor är inblandade.
När det gäller begränsningarna i denna metod är det viktigt att notera att den är utformad för metoder som överväger olika metoder för datainsamling. Systemen kan omfatta bärbara, omgivande och/eller visionssensorer. Det föreslås att man överväger enheternas energiförbrukning och batteriernas livslängd i trådlösa sensorer, på grund av problem som förlust av datainsamling, minskande anslutning och strömförbrukning i hela systemet. Dessutom är denna metod avsedd för system som använder maskininlärningsmetoder. En analys av valet av dessa maskininlärningsmodeller bör göras i förväg. Några av dessa modeller kan vara korrekta, men mycket tid och energikrävande. En avvägning mellan korrekt uppskattning och begränsad resurstillgänglighet för datoranvändning i maskininlärningsmodeller måste beaktas. Det är också viktigt att konstatera att verksamheten vid datainsamlingen av systemet bedrevs i samma ordning. försök utfördes också i samma sekvens. Av säkerhetsskäl användes en skyddsmadrass för försökspersoner att falla på. Dessutom var fallen självinitierade. Detta är en viktig skillnad mellan simulerade och verkliga fall, som i allmänhet förekommer mot hårda material. I den meningen faller denna inspelade datauppsättning med en intuitiv reaktion som försöker att inte falla. Dessutom finns det vissa skillnader mellan verkliga fall hos äldre eller nedsatt människor och simuleringen faller; och dessa måste beaktas vid utformningen av ett nytt falldetekteringssystem. Denna studie var inriktad på ungdomar utan funktionsnedsättningar, men det är anmärkningsvärt att säga att valet av ämnen bör anpassas till målet för systemet och målgruppen som kommer att använda det.
Från de relaterade verk som beskrivs ovan10,11,12,13,14,15,16,17,18, kan vi konstatera att det finns författare som använder multimodala metoder med fokus på att erhålla robusta falldetektorer eller fokusera på placering eller prestanda klassificerare. Därför tar de bara upp en eller två av designproblemen för falldetektering. Vår metodik gör det möjligt att samtidigt lösa tre av de viktigaste designproblemen i ett falldetekteringssystem.
För framtida arbete föreslår vi att man utformar och implementerar ett enkelt multimodalt falldetekteringssystem baserat på de resultat som erhållits enligt denna metod. För att införa verkliga åtgärder bör överföringsinlärning, hierarkisk klassificering och djupinlärningsmetoder användas för att utveckla mer robusta system. Vår implementering tog inte hänsyn till kvalitativa mått för maskininlärningsmodellerna, men realtids- och begränsade datorresurser måste beaktas för vidareutveckling av system för att upptäcka/igenkänna människor. Slutligen, för att förbättra vår datauppsättning, snubbla eller nästan fallande aktiviteter och realtidsövervakning av volontärer under deras dagliga liv kan övervägas.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Denna forskning har finansierats av Universidad Panamericana genom bidraget "Fomento a la Investigación UP 2018", under projektkod UP-CI-2018-ING-MX-04.
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
