Summary
We presenteren een methodologie op basis van multimodale sensoren om een eenvoudig, comfortabel en snel valdetectie- en human activity recognition systeem te configureren. Het doel is om een systeem te bouwen voor nauwkeurige valdetectie die eenvoudig kan worden geïmplementeerd en aangenomen.
Abstract
Dit document presenteert een methodologie op basis van multimodale sensoren om een eenvoudig, comfortabel en snel valdetectie- en human activity recognition systeem te configureren dat eenvoudig kan worden geïmplementeerd en aangenomen. De methodologie is gebaseerd op de configuratie van specifieke soorten sensoren, machine learning-methoden en procedures. Het protocol is onderverdeeld in vier fasen: (1) database creatie (2) data-analyse (3) systeemvereenvoudiging en (4) evaluatie. Met behulp van deze methodologie hebben we een multimodale database gemaakt voor valdetectie en menselijke activiteitsherkenning, namelijk UP-Fall Detection. Het bestaat uit gegevensmonsters van 17 proefpersonen die 5 soorten vallen en 6 verschillende eenvoudige activiteiten uitvoeren, tijdens 3 proeven. Alle informatie werd verzameld met behulp van 5 draagbare sensoren (tri-as versnellingsmeter, gyroscoop en lichtintensiteit), 1 elektro-encefalograaf helm, 6 infrarood sensoren als omgevingssensoren, en 2 camera's in laterale en voorste gezichtspunten. De voorgestelde nieuwe methodologie voegt een aantal belangrijke fasen toe om een diepgaande analyse van de volgende ontwerpproblemen uit te voeren om een valdetectiesysteem te vereenvoudigen: a) selecteren welke sensoren of een combinatie van sensoren moeten worden gebruikt in een eenvoudig valdetectiesysteem, b) de beste plaatsing van de informatiebronnen bepalen, en c) de meest geschikte machine learning-classificatiemethode voor val- en menselijke activiteitsdetectie en -herkenning selecteren. Hoewel sommige multimodale benaderingen die in de literatuur worden gerapporteerd zich alleen richten op een of twee van de bovengenoemde kwesties, maakt onze methodologie het mogelijk om deze drie ontwerpproblemen in verband met een systeem voor menselijke val- en activiteitsdetectie en -herkenning tegelijkertijd op te lossen.
Introduction
Sinds het wereldverschijnsel van de vergrijzing van de bevolking1, is de daling stegen en wordt het eigenlijk beschouwd als een groot gezondheidsprobleem2. Wanneer een val optreedt, mensen vereisen onmiddellijke aandacht om negatieve gevolgen te verminderen. Valdetectiesystemen kunnen de hoeveelheid tijd verkorten waarin een persoon medische hulp krijgt bij het verzenden van een waarschuwing wanneer een val optreedt.
Er zijn verschillende categorisaties van valdetectiesystemen3. Vroege werken4 classificeren valdetectiesystemen op basis van hun detectiemethode, ruwweg analytische methoden en machine learning-methoden. Meer recent, andere auteurs3,5,6 hebben beschouwd data-acquisitie sensoren als de belangrijkste functie om val detectoren classificeren. Igual et al.3 verdeelt valdetectiesystemen in contextbewuste systemen, waaronder op visie en omgevingssensoren gebaseerde benaderingen en draagbare apparaatsystemen. Mubashir et al.5 classificeert valdetectoren in drie groepen op basis van de apparaten die worden gebruikt voor gegevensverwerving: draagbare apparaten, sfeersensoren en op visie gebaseerde apparaten. Perry et al.6 houdt rekening met methoden voor het meten van versnelling, methoden voor het meten van versnelling in combinatie met andere methoden, en methoden die geen versnelling meten. Uit deze enquêtes kunnen we vaststellen dat sensoren en methoden de belangrijkste elementen zijn om de algemene onderzoeksstrategie te classificeren.
Elk van de sensoren heeft zwakke punten en sterke punten besproken in Xu et al.7. Vision-gebaseerde benaderingen maken voornamelijk gebruik van normale camera's, dieptesensorcamera's en/of motion capture-systemen. Normale webcamera's zijn goedkoop en gemakkelijk te gebruiken, maar ze zijn gevoelig voor omgevingsomstandigheden (lichtvariatie, occlusie, enz.), kunnen alleen worden gebruikt in een beperkte ruimte en hebben privacyproblemen. Dieptecamera's, zoals de Kinect, bieden full-body 3D-beweging7 en hebben minder last van lichtomstandigheden dan normale camera's. Benaderingen op basis van de Kinect zijn echter niet zo robuust en betrouwbaar. Motion capture systemen zijn duurder en moeilijk te gebruiken.
Benaderingen op basis van versnellingsmeter apparaten en smartphones / horloges met ingebouwde versnellingsmeters worden zeer vaak gebruikt voor valdetectie. Het belangrijkste nadeel van deze apparaten is dat ze moeten worden gedragen voor lange periodes. Ongemak, opdringerigheid, plaatsing van het lichaam en oriëntatie zijn ontwerpproblemen die in deze benaderingen moeten worden opgelost. Hoewel smartphones en slimme horloges minder opdringerige apparaten zijn die sensoren, vergeten oudere mensen deze apparaten vaak of niet altijd. Het voordeel van deze sensoren en apparaten is echter dat ze in veel ruimtes en/of buiten kunnen worden gebruikt.
Sommige systemen maken gebruik van sensoren geplaatst rond de omgeving om vallen / activiteiten te herkennen, zodat mensen niet hoeven te dragen van de sensoren. Deze sensoren zijn echter ook beperkt tot de plaatsen waar ze worden ingezet8 en zijn soms moeilijk te installeren. Onlangs omvatten multimodale valdetectiesystemen verschillende combinaties van visie,draagbare en omgevingssensoren om meer precisie en robuustheid te verkrijgen. Ze kunnen ook een aantal van de enkele sensor beperkingen te overwinnen.
De methodologie die wordt gebruikt voor valdetectie is nauw verwant aan de human activity recognition chain (ARC) gepresenteerd door Bulling et al.9, die bestaat uit fasen voor gegevensverwerving, signaalvoorbewerking en segmentatie, feature extraction en selectie, training en classificatie. Ontwerpproblemen moeten voor elk van deze fasen worden opgelost. In elke fase worden verschillende methoden gebruikt.
We presenteren een methodologie op basis van multimodale sensoren om een eenvoudig, comfortabel en snel menselijke val- en menselijke activiteitsdetectie/herkenningssysteem te configureren. Het doel is om een systeem te bouwen voor nauwkeurige valdetectie die eenvoudig kan worden geïmplementeerd en aangenomen. De voorgestelde nieuwe methodologie is gebaseerd op ARC, maar voegt een aantal belangrijke fasen toe om een diepgaande analyse van de volgende problemen uit te voeren om het systeem te vereenvoudigen: a) selecteer welke sensoren of combinatie van sensoren in een eenvoudig valdetectiesysteem moeten worden gebruikt; b) de beste plaatsing van de informatiebronnen te bepalen ; en (c) de meest geschikte machine learning-classificatiemethode voor valdetectie en menselijke activiteitsherkenning selecteren om een eenvoudig systeem te creëren.
Er zijn een aantal verwante werken in de literatuur die een of twee van de bovengenoemde ontwerpproblemen aanpakken, maar voor zover wij weten, is er geen werk dat zich richt op een methodologie om al deze problemen te overwinnen.
Gerelateerde werken gebruiken multimodale benaderingen voor valdetectie en menselijke activiteitsherkenning10,11,12 om robuustheid te verkrijgen en de precisie te verhogen. Kwolek et al.10 stelde het ontwerp en de implementatie voor van een valdetectiesysteem op basis van versnellingsgegevens en dieptekaarten. Ze ontwierpen een interessante methodologie waarin een drie-assige versnellingsmeter wordt geïmplementeerd om een mogelijke val en de beweging van de persoon te detecteren. Als de versnellingsmeting een drempelwaarde overschrijdt, haalt het algoritme een persoon uit die de dieptekaart onderscheidt van de online bijgewerkte dieptereferentiekaart. Een analyse van diepte en versnellingsmeter combinaties werd gemaakt met behulp van een ondersteuning vector machine classifier.
Ofli et al.11 presenteerde een Multimodal Human Action Database (MHAD) om een testbed te bieden voor nieuwe systemen voor de erkenning van menselijke activiteiten. De dataset is belangrijk omdat de acties gelijktijdig werden verzameld met behulp van 1 optisch motion capture systeem, 4 multi-view camera's, 1 Kinect systeem, 4 microfoons en 6 draadloze versnellingsmeters. De auteurs presenteerden resultaten voor elke modaliteit: de Kinect, de mocap, de versnellingsmeter en de audio.
Dovgan et al.12 stelden een prototype voor voor het opsporen van afwijkend gedrag, inclusief vallen, bij ouderen. Ze ontwierpen tests voor drie sensorsystemen om de meest geschikte apparatuur te vinden voor val- en detectie van ongewoon gedrag. Het eerste experiment bestaat uit gegevens van een slim sensorsysteem met 12 tags aan de heupen, knieën, enkels, polsen, ellebogen en schouders. Ze creëerden ook een test dataset met behulp van een Ubisense sensor systeem met vier tags bevestigd aan de taille, borst en beide enkels, en een Xsens versnellingsmeter. In een derde experiment gebruiken vier proefpersonen alleen het Ubisense-systeem tijdens het uitvoeren van 4 soorten vallen, 4 gezondheidsproblemen als afwijkend gedrag en verschillende activiteit van het dagelijks leven (ADL).
Andere werken in literatuur13,14,15 pakken het probleem van het vinden van de beste plaatsing van sensoren of apparaten voor valdetectie vergelijken van de prestaties van verschillende combinaties van sensoren met verschillende classificeerders. Santoyo et al.13 presenteerdeeen systematische beoordeling van het belang van de locatie van 5 sensoren voor valdetectie. Ze vergeleken de prestaties van deze sensorcombinaties met behulp van k-nearest neighbors (KNN), support vector machines (SVM), naïeve Bayes (NB) en decision tree (DT) classifiers. Zij concluderen dat de locatie van de sensor op het onderwerp heeft een belangrijke invloed op de valdetector prestaties onafhankelijk van de gebruikte classificatie.
Een vergelijking van draagbare sensor plaatsingen op het lichaam voor valdetectie werd gepresenteerd door Özdemir14. Om de plaatsing van de sensor te bepalen, analyseerde de auteur 31 sensorcombinaties van de volgende posities: hoofd, taille, borst, rechterpols, rechterenkel en rechterdij. Veertien vrijwilligers voerden 20 gesimuleerde valpartijen en 16 ADL uit. Hij vond dat de beste prestaties werd verkregen wanneer een enkele sensor is gepositioneerd op de taille van deze uitputtende combinatie experimenten. Een andere vergelijking werd gepresenteerd door Ntanasis15 met behulp van özdemir's dataset. De auteurs vergeleken enkele posities op hoofd, borst, taille, pols, enkel en dij met behulp van de volgende classifiers: J48, KNN, RF, random committee (RC) en SVM.
Benchmarks van de prestaties van verschillende rekenmethoden voor valdetectie zijn ook te vinden in literatuur16,17,18. Bagala et al.16 presenteerde een systematische vergelijking om de prestaties van dertien valdetectiemethoden die op echte vallen zijn getest, te benchmarken. Ze beschouwden alleen algoritmen op basis van versnellingsmeter metingen geplaatst op de taille of romp. Bourke et al.17 evalueerden de prestaties van vijf analytische algoritmen voor valdetectie met behulp van een dataset van ACL's en valpartijen op basis van versnellingsmetermetingen. Kerdegari18 maakte ook een vergelijking van de prestaties van verschillende classificatiemodellen voor een reeks geregistreerde versnellingsgegevens. De algoritmen die worden gebruikt voor valdetectie waren zeroR, oneR, NB, DT, multilayer perceptron en SVM.
Een methodologie voor valdetectie werd voorgesteld door Alazrai et al.18 met behulp van motion pose geometrische descriptor om een geaccumuleerde histogram-gebaseerde vertegenwoordiging van menselijke activiteit te construeren. Ze evalueerden het framework met behulp van een dataset verzameld met Kinect-sensoren.
Samengevat vonden we multimodale valdetectie gerelateerde werken10,11,12 die de prestaties van verschillende combinaties van modaliteiten vergelijken. Sommige auteurs pakken het probleem van het vinden van de beste plaatsing van sensoren13,14,15, of combinaties van sensoren13 met verschillende classifiers13,15,16 met meerdere sensoren van dezelfde modaliteit en versnellingsmeters. Er werd geen werk gevonden in de literatuur dat betrekking heeft op plaatsing, multimodale combinaties en classifier benchmark op hetzelfde moment.
Protocol
Alle hier beschreven methoden zijn goedgekeurd door de Onderzoekscommissie van de School of Engineering van Universidad Panamericana.
OPMERKING: Deze methodologie is gebaseerd op de configuratie van de specifieke typen sensoren, machine learning-methoden en procedures om een eenvoudig, snel en multimodaal valdetectie- en human activity recognition-systeem te configureren. Hierdoor wordt het volgende protocol gefaseerd verdeeld: (1) databasecreatie (2) gegevensanalyse (3) systeemvereenvoudiging en (4) evaluatie.
1. Database maken
- Het systeem voor gegevensverwerving instellen. Dit verzamelt alle gegevens van proefpersonen en slaat de informatie op in een database met ophalen.
- Selecteer de soorten draagbare sensoren, omgevingssensoren en op het gezichtsvermogen gebaseerde apparaten die nodig zijn als informatiebronnen. Wijs voor elke informatiebron een identiteitsbewijs toe, het aantal kanalen per bron, de technische specificaties en de bemonsteringsfrequentie van elk van hen.
- Verbind alle informatiebronnen (d.w.z. wearables en omgevingssensoren en op zicht gebaseerde apparaten) met een centrale computer of een gedistribueerd computersysteem:
- Controleer of bekabelde apparaten goed zijn verbonden met één clientcomputer. Controleer of draadloze apparaten volledig zijn opgeladen. Bedenk dat een lage batterij van invloed kan zijn op draadloze verbindingen of sensorwaarden. Bovendien zal het verlies van gegevens met tussenpozen of verloren verbindingen toenemen.
- Stel elk van de apparaten in om gegevens op te halen.
- Stel het systeem voor gegevensverwerving in voor het opslaan van gegevens in de cloud. Vanwege de grote hoeveelheid gegevens die moet worden opgeslagen, wordt cloud computing in dit protocol overwogen.
- Valideren dat het systeem voor gegevensverwerving voldoet aan gegevenssynchronisatie en gegevensconsistentie20 eigenschappen. Dit behoudt de integriteit van gegevensopslag uit alle informatiebronnen. Het vereist mogelijk nieuwe benaderingen in gegevenssynchronisatie. Zie bijvoorbeeld Peñafort-Asturiano et al.20.
- Begin met het verzamelen van bepaalde gegevens met de informatiebronnen en sla gegevens op in een voorkeurssysteem. Neem tijdstempels op in alle gegevens.
- Bevraag de database en bepaal of alle informatiebronnen worden verzameld tegen dezelfde steekproefsnelheden. Ga naar Stap 1.1.6 als u dit goed doet. Anders voert u upsampling of downsampling uit aan de hand van in Peñafort-Asturiano, et.20genoemde criteria .
- Het milieu (of laboratorium) instellen door rekening te houden met de vereiste voorwaarden en de beperkingen die door het doel van het systeem worden opgelegd. Stel voorwaarden in voor de demping van de botskracht in de gesimuleerde watervallen als conforme vloersystemen die in Lachance, et.23 worden voorgesteld om de veiligheid van de deelnemers te garanderen.
- Gebruik een matras of een ander compatibel vloersysteem en plaats het in het midden van de omgeving (of laboratorium).
- Houd alle voorwerpen uit de buurt van de matras om ten minste een meter van de veilige ruimte rondom te geven. Bereid indien nodig persoonlijke beschermingsmiddelen voor deelnemers (bijvoorbeeld handschoenen, pet, bril, kniesteun, enz.).
LET OP: Het protocol kan hier worden onderbroken.
- Bepaal de menselijke activiteiten en vallen die het systeem zal detecteren na configuratie. Het is belangrijk om rekening te houden met het doel van de val detectie en menselijke activiteit erkenning systeem, evenals de doelgroep.
- Definieer het doel van het valdetectie- en human activity recognition-systeem. Schrijf het op in een planningsblad. Voor deze case study, het doel is om de soorten menselijke valpartijen en activiteiten uitgevoerd in een overdekte dagelijkse basis van ouderen te classificeren.
- Definieer de doelpopulatie van het experiment in overeenstemming met het doel van het systeem. Schrijf het op in het planningsblad. In de studie, beschouw ouderen als de doelgroep.
- Bepaal het type dagelijkse activiteiten. Neem een aantal niet-val activiteiten die eruit zien als valt om echte valdetectie te verbeteren. Wijs een ID toe voor alle van hen en beschrijf ze zo gedetailleerd mogelijk. Stel de periode in voor elke activiteit die moet worden uitgevoerd. Schrijf al deze informatie op in het planningsblad.
- Bepaal het type menselijke valpartijen. Wijs een ID toe voor alle van hen en beschrijf ze zo gedetailleerd mogelijk. Stel de tijdsperiode in voor elke val die moet worden uitgevoerd. Bedenk of de watervallen zelf gegenereerd worden door de proefpersonen of gegenereerd door anderen (bijvoorbeeld door het onderwerp te duwen). Schrijf al deze informatie op in het planningsblad.
- Noteer in het planningsblad de reeksen van activiteiten en vallen die een onderwerp zal uitvoeren. Geef de periode, het aantal proeven per activiteit/herfst, de beschrijving voor het uitvoeren van de activiteit/herfst en de activiteit/val-id's op.
LET OP: Het protocol kan hier worden onderbroken.
- Selecteer de relevante onderwerpen aan de studie die de sequenties van activiteiten en vallen zal uitvoeren. Falls zijn zeldzame gebeurtenissen te vangen in het echte leven en meestal optreden bij oude personen. Niettemin, om veiligheidsredenen, omvatten geen bejaarde en gehandicapte mensen in dalingssimulatie onder medisch advies. Stunts zijn gebruikt om verwondingen te voorkomen22.
- Bepaal het geslacht, de leeftijdscategorie, het gewicht en de lengte van de proefpersonen. Definieer eventuele randvoorwaarden die nodig zijn. Definieer ook het minimumaantal onderwerpen dat nodig is voor het experiment.
- Selecteer willekeurig de vereiste set onderwerpen, volgens de voorwaarden die in de vorige stap zijn vermeld. Gebruik een oproep voor vrijwilligers om hen te werven. Voldoe aan alle ethische richtlijnen die van toepassing zijn vanuit de instelling en het land, evenals elke internationale regelgeving bij het experimenteren met mensen.
LET OP: Het protocol kan hier worden onderbroken.
- Gegevens van proefpersonen ophalen en opslaan. Deze informatie zal nuttig zijn voor verdere experimentele analyse. Voer de volgende stappen uit onder supervisie van een klinisch expert of een verantwoordelijke onderzoeker.
- Begin met het verzamelen van gegevens met het systeem voor gegevensverwerving dat is geconfigureerd in stap 1.1.
- Vraag elk van de proefpersonen om de sequenties van activiteiten en vallen uit te voeren die in stap 1.2 zijn aangegeven. Sla duidelijk de tijdstempels van het begin en het einde van elke activiteit/daling op. Controleer of gegevens uit alle informatiebronnen in de cloud worden opgeslagen.
- Als de activiteiten niet goed zijn uitgevoerd of als er problemen waren met apparaten (bijvoorbeeld verloren verbinding, lage batterij, intermitterende verbinding), gooi de monsters weg en herhaal stap 1.4.1 totdat er geen apparaatproblemen zijn gevonden. Herhaal stap 1.4.2 voor elke proef, per onderwerp, aangegeven in de volgorde van stap 1.2.
LET OP: Het protocol kan hier worden onderbroken.
- Verwerk alle verkregen gegevens vooraf. Pas up-sampling en downsampling toe voor elk van de informatiebronnen. Zie details over pre-processing gegevens voor valdetectie en menselijke activiteitsherkenning in Martínez-Villaseñor et al.21.
LET OP: Het protocol kan hier worden onderbroken.
2. Gegevensanalyse
- Selecteer de wijze van gegevensbehandeling. Selecteer Ruwe gegevens als de gegevens die in de database zijn opgeslagen, worden volledig gebruikt (d.w.z. met deep learning voor automatische functieextractie) en ga naar Stap 2.2. Selecteer Functiegegevens als functieextractie wordt gebruikt voor verdere analyse en ga naar Stap 2.3.
- Voor Raw Datazijn geen extra stappen nodig, dus ga naar Stap 2.5.
- Haal voor functiegegevensfuncties uit de ruwe gegevens.
- Segmenteer ruwe gegevens in tijdvensters. Bepaal en bevestig de lengte van het tijdvenster (bijvoorbeeld frames van een seconde grootte). Bepaal bovendien of deze tijdvensters elkaar overlappen of niet. Een goede praktijk is om te kiezen voor 50% overlappende.
- Functies uit elk segment van gegevens extraheren. Bepaal de set tijdelijke en frequente functies die uit de segmenten moeten worden geëxtraheerd. Zie Martínez-Villaseñor et al.21 voor gemeenschappelijke functieextractie.
- Sla de functieextractiegegevensset op in de cloud, in een onafhankelijke database.
- Als er verschillende tijdvensters worden geselecteerd, herhaalt u de stappen 2.3.1 tot en met 2.3.3 en slaat u elke functiegegevensset op in onafhankelijke databases.
LET OP: Het protocol kan hier worden onderbroken.
- Selecteer de belangrijkste uitgepakte functies en verminder de functiegegevensset. Pas een aantal veelgebruikte functieselectiemethoden, toe (bijvoorbeeld univariate selectie, hoofdcomponentenanalyse, recursieve functieeliminatie, functiebelang, correlatiematrix, enz.).
- Selecteer een methode voor het selecteren van functies. Hier gebruikten we functie belang.
- Gebruik elke functie om een bepaald model te trainen (we gebruikten RF) en meet de nauwkeurigheid (zie Vergelijking 1).
- Rangschik de functies door te sorteren in volgorde van de nauwkeurigheid.
- Selecteer de belangrijkste functies. Hier gebruikten we de best gerangschikte eerste tien functies.
LET OP: Het protocol kan hier worden onderbroken.
- Selecteer een classificatiemethode voor machine learning en train een model. Er zijn bekende machine learning-methoden16,17,18,21, zoals: support vector machines (SVM), random forest (RF), multilayer perceptron (MLP) en k-nearest neighbors (KNN), onder vele anderen.
- Optioneel, als een deep learning benadering is geselecteerd, overweeg dan21: convolutional neurale netwerken (CNN), lange korte termijn geheugen neurale netwerken (LSTM), onder anderen.
- Selecteer een set machine learning-methoden. Hier gebruikten we de volgende methoden: SVM, RF, MLP en KNN.
- Fix de parameters van elk van de machine learning methoden, zoals voorgesteld in literatuur21.
- Maak een gecombineerde functiegegevensset (of onbewerkte gegevensset) met behulp van de onafhankelijke functiegegevenssets (of ruwe gegevenssets) om soorten informatiebronnen te combineren. Als er bijvoorbeeld een combinatie van één draagbare sensor en één camera nodig is, combineerdan de functiegegevenssets van elk van deze bronnen.
- Splits de functiegegevensset (of onbewerkte gegevensset) in trainings- en testsets. Een goede keuze is om willekeurig te verdelen 70% voor de opleiding en 30% voor het testen.
- Voer een k-fold cross-validatie21 uit met behulp van de functiegegevensset (of ruwe gegevensset), voor elke machine learning-methode. Gebruik een gemeenschappelijke statistiek van evaluatie, zoals nauwkeurigheid (zie Vergelijking 1)om het beste model te selecteren dat per methode is getraind. Leave-one subject-out (LOSO) experimenten3 zijn ook aan te bevelen.
- Open de gegevensset voor trainingsfuncties (of onbewerkte gegevensset) in de gewenste programmeertaalsoftware. Python wordt aanbevolen. Gebruik voor deze stap de panda'sbibliotheek om een CSV-bestand als volgt te lezen:
training_set = pandas.csv(). - Splits de functiegegevensset (of onbewerkte gegevensset) in paren van ingangen-uitgangen. Gebruik Python bijvoorbeeld om de x-waarden (ingangen) en de y-waarden (uitgangen) te declareren:
training_set_X = training_set.drop('tag',axis=1), training_set_Y = training_set.tag
waar tag de kolom van de functiegegevensset vertegenwoordigt die de doelwaarden bevat. - Selecteer één machine learning-methode en stel de parameters in. Gebruik bijvoorbeeld SVM in Python met de bibliotheek, zoals de volgende opdracht:
classifier = sklearn. SVC(kernel = 'poly')
waarin de kernelfunctie is geselecteerd als polynomial. - Train het machine learning model. Gebruik bijvoorbeeld de bovenstaande classificatie in Python om het SVM-model te trainen:
classifier.fit(training_set_X, training_set_Y). - Bereken de schattingenwaarden van het model met behulp van de gegevensset testfunctie (of de onbewerkte gegevensset). Gebruik bijvoorbeeld de schattingsfunctie in Python als volgt: schattingen = classificatie.voorspellen(testing_set_X) waarbij testing_set_X de x-waarden van de testset vertegenwoordigt.
- Herhaal stap 2.5.6.1 tot en met 2.5.6.5, het aantal keren k opgegeven in de k-fold cross validatie (of het aantal keren dat nodig is voor de LOSO-aanpak).
- Herhaal stap 2.5.6.1 tot en met 2.5.6.6 voor elk geselecteerd machine learning-model.
LET OP: Het protocol kan hier worden onderbroken.
- Open de gegevensset voor trainingsfuncties (of onbewerkte gegevensset) in de gewenste programmeertaalsoftware. Python wordt aanbevolen. Gebruik voor deze stap de panda'sbibliotheek om een CSV-bestand als volgt te lezen:
- Vergelijk de machine learning-methoden door de geselecteerde modellen te testen met de testgegevensset. Andere meetgegevens van de evaluatie kunnen worden gebruikt: nauwkeurigheid (Vergelijking 1), precisie (Vergelijking 2), gevoeligheid ( Vergelijking3), specificiteit (Vergelijking 4) of F1-score (Vergelijking 5), waar TP zijn de echte positieven, TN zijn de echte negatieven, FP zijn de valse positieven en FN zijn de valse negatieven.
- Gebruik andere voordelige prestatiestatistieken, zoals de verwarringsmatrix9, om de classificatietaak van de machine learning-modellen te evalueren, of een beslissingsonafhankelijke precisie-recall9 (PR) of ontvanger operating characteristic9 (ROC) curves. In deze methodologie worden terugroep en gevoeligheid als gelijkwaardig beschouwd.
- Gebruik kwalitatieve kenmerken van de machine learning-modellen om ze te vergelijken, zoals: gemak van machine learning-interpretatie; real-time prestaties; beperkte tijds-, geheugen- en verwerkingsgegevens; en het gemak van machine learning-implementatie in randapparaten of ingesloten systemen.
- Selecteer het beste machine learning-model aan de hand van de informatie uit: De kwaliteitsstatistieken (Vergelijkingen 1–5),de prestatiestatistieken en de kwalitatieve kenmerken van de haalbaarheid van machine learning van stappen 2.5.6, 2.5.7 en 2.5.8.
LET OP: Het protocol kan hier worden onderbroken.
3. Vereenvoudiging van het systeem
- Selecteer de geschikte plaatsingen van informatiebronnen. Soms is het noodzakelijk om de beste plaatsing van bronnen van informatie te bepalen (bijvoorbeeld welke locatie van een draagbare sensor beter is).
- Bepaal de subset van informatiebronnen die worden geanalyseerd. Bijvoorbeeld, als er vijf draagbare sensoren in het lichaam en slechts een moet worden geselecteerd als de beste sensor geplaatst, elk van deze sensoren zal deel uitmaken van de subset.
- Maak voor elke bron van informatie in deze subset een aparte gegevensset en sla deze apart op. Houd er rekening mee dat deze gegevensset de vorige functiegegevensset of de onbewerkte gegevensset kan zijn.
LET OP: Het protocol kan hier worden onderbroken.
- Selecteer een classificatiemethode voor machine learning en train een model voor één bron van informatieplaatsing. De stappen van 2.5.1 tot 2.5.6 uitvoeren met elk van de gegevenssets die zijn gemaakt in stap 3.1.2. Detecteer de meest geschikte bron van informatie plaatsing door ranking. Voor deze casestudy gebruiken we de volgende methoden: SVM, RF, MLP en KNN.
Opmerking: Het protocol kan hier worden onderbroken. - Selecteer de geschikte plaatsingen in een multimodale benadering als een combinatie van twee of meer informatiebronnen nodig is voor het systeem (bijvoorbeeld een combinatie van één draagbare sensor en één camera). Gebruik in dit geval de taille-draagbare sensor en camera 1 (laterale weergave) als modaliteiten.
- Selecteer de beste bron van informatie van elke modaliteit in het systeem en maak een gecombineerde functiegegevensset (of onbewerkte gegevensset) met behulp van de onafhankelijke gegevenssets van deze informatiebronnen.
- Selecteer een classificatiemethode voor machine learning en train een model voor deze gecombineerde informatiebronnen. Voltooi stappen 2.5.1 tot en met 2.5.6 met behulp van de gecombineerde functiegegevensset (of onbewerkte gegevensset). Gebruik in deze studie de volgende methoden: SVM, RF, MLP en KNN.
LET OP: Het protocol kan hier worden onderbroken.
4. Evaluatie
- Bereid een nieuwe gegevensset voor met gebruikers in meer realistische omstandigheden. Gebruik alleen de bronnen van informatie die in de vorige stap zijn geselecteerd. Bij voorkeur het systeem implementeren in de doelgroep (bijvoorbeeld ouderen). Gegevens verzamelen in langere perioden.
- Als de doelgroep alleen wordt gebruikt, maakt u eventueel een selectiegroepsprotocol met uitzonderingsvoorwaarden (bijvoorbeeld een lichamelijke of psychische beperking) en stop criteriapreventie (bijvoorbeeld het detecteren van lichamelijk letsel tijdens de proeven; het lijden van misselijkheid, duizeligheid en/of braken; flauwvallen). Denk ook aan ethische kwesties en gegevensprivacykwesties.
- Evalueer de prestaties van het tot nu toe ontwikkelde valdetectie- en human activity recognition-systeem. Gebruik vergelijkingen 1–5 om de nauwkeurigheid en voorspellende kracht van het systeem of andere prestatiestatistieken te bepalen.
- Bespreek de bevindingen over de experimentele resultaten.
Representative Results
Het creëren van een database
We hebben een multimodale dataset gemaakt voor valdetectie en menselijke activiteitsherkenning, namelijk UP-Fall Detection21. De gegevens werden verzameld over een periode van vier weken aan de School of Engineering van Universidad Panamericana (Mexico-Stad, Mexico). Het testscenario werd geselecteerd met de volgende vereisten: a) een ruimte waarin proefpersonen gemakkelijk en veilig vallen en activiteiten konden uitvoeren, en (b) een binnenomgeving met natuurlijk en kunstlicht die zeer geschikt is voor multimodale sensoren instellingen.
Er zijn gegevensmonsters van 17 proefpersonen die 5 soorten vallen en 6 verschillende eenvoudige activiteiten hebben uitgevoerd, tijdens 3 proeven. Alle informatie werd verzameld met behulp van een in-house data acquisition systeem met 5 draagbare sensoren (tri-as versnellingsmeter, gyroscoop en lichtintensiteit), 1 elektro-encefalograaf helm, 6 infrarood sensoren als omgevingssensoren, en 2 camera's op zij- en voorgezichtspunten. Figuur 1 toont de lay-out van de sensorplaatsing in de omgeving en op het lichaam. De sampling rate van de gehele dataset is 18 Hz. De database bevat twee gegevenssets: de geconsolideerde onbewerkte gegevensset (812 GB) en een functiegegevensset (171 GB). Alle databases die in de cloud zijn opgeslagen voor openbare toegang: https://sites.google.com/up.edu.mx/har-up/. Meer informatie over gegevensverwerving, voorverwerking, consolidatie en opslag van deze database, evenals details over synchronisatie en gegevensconsistentie vindt u in Martínez-Villaseñor et al.21.
Voor deze database waren alle proefpersonen gezonde jonge vrijwilligers (9 mannetjes en 8 vrouwtjes) zonder enige beperking, variërend op 18 tot 24 jaar oud, met een gemiddelde hoogte van 1,66 m en een gemiddeld gewicht van 66,8 kg. Tijdens het verzamelen van gegevens hield de technisch verantwoordelijke onderzoeker toezicht op de correct uitgevoerde activiteiten van de proefpersonen. Proefpersonen uitgevoerd vijf soorten vallen, elk voor 10 seconden, als vallen: vooruit met behulp van handen (1), vooruit met behulp van knieën (2), achteruit (3), zittend in een lege stoel (4) en zijwaarts (5). Ze voerden ook zes dagelijkse activiteiten voor 60 s elk, behalve voor het springen (30 s): wandelen (6), staan (7), het oppakken van een object (8), zitten (9), springen (10) en leggen (11). Hoewel gesimuleerde vallen niet alle soorten vallen in de praktijk kunnen reproduceren, is het op zijn minst belangrijk om representatieve soorten vallen op te nemen die het mogelijk maken om betere valdetectiemodellen te creëren. Het is ook relevant om APL's te gebruiken en, in het bijzonder, activiteiten die meestal kunnen worden verward met vallen, zoals het oppakken van een object. De typen dalingen en APL's werden geselecteerd na een herziening van gerelateerde valdetectiesystemen21. Figuur 2 toont bijvoorbeeld een reeks afbeeldingen van één proef wanneer een onderwerp zijwaarts valt.
We haalden 12 temporele (gemiddelde, standaarddeviatie, maximale amplitude, minimale amplitude, wortelgemiddelde vierkant, mediaan, nul-kruisingsnummer, scheefheid, kurtose, eerste kwartiel, derde kwartiel en autocorrelatie) en 6 frequente (gemiddelde, mediaan, entropie, energie, belangrijkste frequentie en spectrale centroid) functies21 van elk kanaal van de draagbare en omgevingssensoren bestaande uit 756 functies in totaal. We hebben ook berekend 400 visuele functies21 voor elke camera over de relatieve beweging van pixels tussen twee aangrenzende beelden in de video's.
Data-analyse tussen Unimodale en Multimodale benaderingen
Vanuit de UP-Fall Detection database analyseerden we de gegevens voor vergelijkingsdoeleinden tussen unimodale en multimodale benaderingen. In die zin vergeleken we zeven verschillende combinaties van informatiebronnen: alleen infraroodsensoren (IR); draagbare sensoren alleen (IMU); draagbare sensoren en helm (IMU+EEG); infrarood- en draagbare sensoren en helmen (IR+IMU+EEG); camera's alleen (CAM); infraroodsensoren en -camera's (IR+CAM); en draagbare sensoren, helmen en camera's (IMU+EEG+CAM). Daarnaast vergeleken we drie verschillende tijdvensterformaten met 50% overlappende: een seconde, twee seconden en drie seconden. In elk segment hebben we de meest handige functies geselecteerd die functieselectie en rangschikking toepassen. Met behulp van deze strategie hebben we slechts 10 functies per modaliteit gebruikt, behalve in de IR-modaliteit met behulp van 40 functies. Bovendien werd de vergelijking gemaakt over vier bekende machine learning classifiers: RF, SVM, MLP en KNN. We gebruikten 10-voudige cross-validatie, met datasets van 70% trein en 30% test, om de machine learning modellen te trainen. Tabel 1 toont de resultaten van deze benchmark, waarin de beste prestaties worden weergegeven die voor elke modaliteit zijn verkregen, afhankelijk van het machine learning-model en de beste configuratie van de vensterlengte. De evaluatiestatistieken rapporteren nauwkeurigheid, precisie, gevoeligheid, specificiteit en F1-score. Figuur 3 toont deze resultaten in een grafische weergave, in termen van F1-score.
Uit tabel 1, multimodale benaderingen (infrarood en draagbare sensoren en helm, IR + IMU + EEG; en draagbare sensoren en helm en camera's, IMU + EEG + CAM) verkregen de beste F1-score waarden, in vergelijking met unimodale benaderingen (alleen infrarood, IR; en camera's alleen, CAM). We merkten ook dat alleen draagbare sensoren (IMU) vergelijkbare prestaties behaalden dan een multimodale benadering. In dit geval hebben we gekozen voor een multimodale aanpak omdat verschillende informatiebronnen de beperkingen van anderen aankunnen. Obtrusiveness in camera's kan bijvoorbeeld worden afgehandeld met draagbare sensoren en niet met alle draagbare sensoren kan worden aangevuld met camera's of omgevingssensoren.
Wat de benchmark van de datagestuurde modellen betreft, toonden experimenten in tabel 1 aan dat RF de beste resultaten in bijna het hele experiment presenteert; hoewel MLP en SVM niet erg consistent waren in prestaties (bijvoorbeeld standaarddeviatie in deze technieken toont meer variabiliteit dan in RF). Over de venstergrootte, vertegenwoordigden deze geen significante verbetering onder hen. Het is belangrijk op te merken dat deze experimenten werden gedaan voor de herfst en menselijke activiteit classificatie.
Sensorplaatsing en beste multimodale combinatie
Aan de andere kant hebben we de beste combinatie van multimodale apparaten voor valdetectie bepaald. Voor deze analyse beperkten we de informatiebronnen tot de vijf draagbare sensoren en de twee camera's. Deze apparaten zijn de meest comfortabele voor de aanpak. Daarnaast hebben we twee klassen overwogen: vallen (elk type val) of geen val (enige andere activiteit). Alle machine learning-modellen en vensterformaten blijven hetzelfde als in de vorige analyse.
Voor elke draagbare sensor bouwden we een onafhankelijk classificatiemodel voor elke vensterlengte. We trainden het model met 10-voudige cross-validatie met 70% training en 30% testen van datasets. Tabel 2 geeft een overzicht van de resultaten voor de rangschikking van de draagbare sensoren per prestatieclassificatie, op basis van de F1-score. Deze resultaten werden gesorteerd in aflopende volgorde. Zoals te zien in tabel 2,de beste prestaties wordt verkregen bij het gebruik van een enkele sensor in de taille, nek of strakke rechterzak (schaduwgebied). Bovendien, enkel en linker pols draagbare sensoren presteerden het slechtst. Tabel 3 toont de voorkeur voor vensterlengte per draagbare sensor om de beste prestaties in elke classificatie te krijgen. Uit de resultaten, taille, hals en strakke rechter zak sensoren met RF classifier en 3 s venster grootte met 50% overlappende zijn de meest geschikte draagbare sensoren voor valdetectie.
We hebben een soortgelijke analyse uitgevoerd voor elke camera in het systeem. We bouwden een onafhankelijk classificatiemodel voor elke venstergrootte. Voor training hebben we 10-voudige cross-validatie gedaan met 70% training en 30% testen van datasets. Tabel 4 toont de rangschikking van de beste camera gezichtspunt per classificatie, op basis van de F1-score. Zoals waargenomen, de laterale weergave (camera 1) uitgevoerd de beste valdetectie. Bovendien presteerde RF beter dan de andere classifiers. Tabel 5 toont ook de voorkeur voor de vensterlengte per cameragezichtspunt. Uit de resultaten, vonden we dat de beste locatie van een camera is in laterale gezichtspunt met behulp van RF in 3 s venster grootte en 50% overlappende.
Tot slot hebben we gekozen voor twee mogelijke plaatsingen van draagbare sensoren (d.w.z. taille en strakke rechterzak) om te worden gecombineerd met de camera van zijwaartsgezichtspunt. Na dezelfde opleidingsprocedure hebben we de resultaten van tabel 6 verkregen. Zoals getoond, de RF-model classificatie kreeg de beste prestaties in nauwkeurigheid en F1-score in beide multimodaliteiten. Ook de combinatie tussen taille en camera 1 gerangschikt in de eerste positie het verkrijgen van 98,72% in nauwkeurigheid en 95,77% in F1-score.
Figuur 1: Lay-out van de draagbare (links) en ambient (rechts) sensoren in de UP-Fall Detection database. De draagbare sensoren zijn geplaatst in het voorhoofd, de linkerpols, de nek, de taille, de rechterzak van de broek en de linkerenkel. De omgevingssensoren zijn zes gekoppelde infraroodsensoren om de aanwezigheid van onderwerpen en twee camera's te detecteren. Camera's bevinden zich aan de zijdelingse weergave en aan de voorkant, zowel met betrekking tot de menselijke val. Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 2: Voorbeeld van een video-opname uit de UP-Fall Detection-database. Aan de bovenkant is er een opeenvolging van beelden van een onderwerp naar rechts vallen. Aan de onderkant is er een reeks van beelden die de visie functies geëxtraheerd. Deze functies zijn de relatieve beweging van pixels tussen twee aangrenzende afbeeldingen. Witte pixels vertegenwoordigen snellere beweging, terwijl zwarte pixels een langzamere (of bijna nul) beweging vertegenwoordigen. Deze volgorde wordt van links naar rechts gesorteerd, chronologisch. Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 3: Vergelijkende resultaten die de beste F1-score van elke modaliteit rapporteren met betrekking tot het machine learning-model en de beste vensterlengte. Balken vertegenwoordigen de gemiddelde waarden van f1-score. Tekst in gegevenspunten vertegenwoordigt gemiddelde en standaarddeviatie tussen haakjes. Klik hier om een grotere versie van dit cijfer te bekijken.
| Modaliteit | Model | Nauwkeurigheid (%) | Precisie (%) | Gevoeligheid (%) | Specificiteit (%) | F1-score (%) |
| Ir | RF (3 sec) | 67,38 ± 0,65 | 36,45 ± 2,46 | 31,26 ± 0,89 | 96,63 ± 0,07 | 32,16 ± 0,99 |
| SVM (3 sec) | 65,16 ± 0,90 | 26,77 ± 0,58 | 25,16 ± 0,29 | 96,31 ± 0,09 | 23,89 ± 0,41 | |
| MLP (3 sec) | 65,69 ± 0,89 | 28,19 ± 3,56 | 26,40 ± 0,71 | 96,41 ± 0,08 | 25,13 ± 1,09 | |
| kNN (3 sec) | 61,79 ± 1,47 | 30,04 ± 1,44 | 27,55 ± 0,97 | 96,05 ± 0,16 | 27,89 ± 1,13 | |
| IMU (IMU) | RF (1 sec) | 95,76 ± 0,18 | 70,78 ± 1,53 | 66,91 ± 1,28 | 99,59 ± 0,02 | 68,35 ± 1,25 |
| SVM (1 sec) | 93,32 ± 0,23 | 66,16 ± 3,33 | 58,82 ± 1,53 | 99,32 ± 0,02 | 60,00 ± 1,34 | |
| MLP (1 sec) | 95,48 ± 0,25 | 73,04 ± 1,89 | 69,39 ± 1,47 | 99,56 ± 0,02 | 70,31 ± 1,48 | |
| kNN (1 sec) | 94,90 ± 0,18 | 69,05 ± 1,63 | 64,28 ± 1,57 | 99,50 ± 0,02 | 66,03 ± 1,52 | |
| IMU+EEG | RF (1 sec) | 95,92 ± 0,29 | 74,14 ± 1,29 | 66,29 ± 1,66 | 99,59 ± 0,03 | 69,03 ± 1,48 |
| SVM (1 sec) | 90,77 ± 0,36 | 62,51 ± 3,34 | 52,46 ± 1,19 | 99,03 ± 0,03 | 53,91 ± 1,16 | |
| MLP (1 sec) | 93,33 ± 0,55 | 74,10 ± 1,61 | 65,32 ± 1,15 | 99,32 ± 0,05 | 68,13 ± 1,16 | |
| kNN (1 sec) | 92,12 ± 0,31 | 66,86 ± 1,32 | 58,30 ± 1,20 | 98,89 ± 0,05 | 60,56 ± 1,02 | |
| IR+IMU+EEG | RF (2 sec) | 95,12 ± 0,36 | 74,63 ± 1,65 | 66,71 ± 1,98 | 99,51 ± 0,03 | 69,38 ± 1,72 |
| SVM (1 sec) | 90,59 ± 0,27 | 64,75 ± 3,89 | 52,63 ± 1,42 | 99,01 ± 0,02 | 53,94 ± 1,47 | |
| MLP (1 sec) | 93,26 ± 0,69 | 73,51 ± 1,59 | 66,05 ± 1,11 | 99,31 ± 0,07 | 68,19 ± 1,02 | |
| kNN (1 sec) | 92,24 ± 0,25 | 67,33 ± 1,94 | 58,11 ± 1,61 | 99,21 ± 0,02 | 60,36 ± 1,71 | |
| Cam | RF (3 sec) | 32,33 ± 0,90 | 14,45 ± 1,07 | 14,48 ± 0,82 | 92,91 ± 0,09 | 14,38 ± 0,89 |
| SVM (2 sec) | 34,40 ± 0,67 | 13,81 ± 0,22 | 14,30 ± 0,31 | 92,97 ± 0,06 | 13,83 ± 0,27 | |
| MLP (3 sec) | 27,08 ± 2,03 | 8,59 ± 1,69 | 10,59 ± 0,38 | 92,21 ± 0,09 | 7,31 ± 0,82 | |
| kNN (3 sec) | 34,03 ± 1,11 | 15,32 ± 0,73 | 15,54 ± 0,57 | 93,09 ± 0,11 | 15,19 ± 0,52 | |
| IR+CAM | RF (3 sec) | 65,00 ± 0,65 | 33,93 ± 2,81 | 29,02 ± 0,89 | 96,34 ± 0,07 | 29,81 ± 1,16 |
| SVM (3 sec) | 64,07 ± 0,79 | 24,10 ± 0,98 | 24,18 ± 0,17 | 96,17 ± 0,07 | 22,38 ± 0,23 | |
| MLP (3 sec) | 65,05 ± 0,66 | 28,25 ± 3,20 | 25,40 ± 0,51 | 96,29 ± 0,06 | 24,39 ± 0,88 | |
| kNN (3 sec) | 60,75 ± 1,29 | 29,91 ± 3,95 | 26,25 ± 0,90 | 95,95 ± 0,11 | 26,54 ± 1,42 | |
| IMU+EEG+CAM | RF (1 sec) | 95,09 ± 0,23 | 75,52 ± 2,31 | 66,23 ± 1,11 | 99,50 ± 0,02 | 69,36 ± 1,35 |
| SVM (1 sec) | 91,16 ± 0,25 | 66,79 ± 2,79 | 53,82 ± 0,70 | 99,07 ± 0,02 | 55,82 ± 0,77 | |
| MLP (1 sec) | 94,32 ± 0,31 | 76,78 ± 1,59 | 67,29 ± 1,41 | 99,42 ± 0,03 | 70,44 ± 1,25 | |
| kNN (1 sec) | 92,06 ± 0,24 | 68,82 ± 1,61 | 58,49 ± 1,14 | 99,19 ± 0,02 | 60,51 ± 0,85 |
Tabel 1: Vergelijkende resultaten die de beste prestaties van elke modaliteit rapporteren met betrekking tot het machine learning-model en de beste vensterlengte (tussen haakjes). Alle prestatiewaarden vertegenwoordigen het gemiddelde en de standaarddeviatie.
| # | IMU-type | |||
| Rf | Svm | Mlp | KNN (KNN) | |
| 1 | (98.36) Taille | (83.30) Rechterzak | (57.67) Rechterzak | (73.19) Rechterzak |
| 2 | (95.77) Nek | (83.22) Taille | (44.93) Nek | (68.73) Taille |
| 3 | (95.35) Rechterzak | (83.11) Nek | (39.54) Taille | (65.06) Nek |
| 4 | (95.06) Enkel | (82.96) Enkel | (39.06) Linkerpols | (58.26) Enkel |
| 5 | (94.66) Linkerpols | (82.82) Linkerpols | (37.56) Enkel | (51.63) Linkerpols |
Tabel 2: Rangschikking van de beste draagbare sensor per classificatie, gesorteerd op de F1-score (tussen haakjes). De gebieden in de schaduw vertegenwoordigen de top drie classifiers voor valdetectie.
| IMU-type | Vensterlengte | |||
| Rf | Svm | Mlp | KNN (KNN) | |
| Linker enkel | 2-sec | 3-sec | 1-sec | 3-sec |
| Taille | 3-sec | 1-sec | 1-sec | 2-sec |
| Nek | 3-sec | 3-sec | 2-sec | 2-sec |
| Rechterzak | 3-sec | 3-sec | 2-sec | 2-sec |
| Linkerpols | 2-sec | 2-sec | 2-sec | 2-sec |
Tabel 3: Gewenste tijdvensterlengte in de draagbare sensoren per classificatie.
| # | Cameraweergave | |||
| Rf | Svm | Mlp | KNN (KNN) | |
| 1 | (62.27) Laterale weergave | (24.25) Laterale weergave | (13.78) Vooraanzicht | (41.52) Laterale weergave |
| 2 | (55.71) Vooraanzicht | (0.20) Vooraanzicht | (5.51) Zijdelingse weergave | (28.13) Vooraanzicht |
Tabel 4: Rangschikking van het beste camerastandpunt per classificatie, gesorteerd op de F1-score (tussen haakjes). De gebieden in de schaduw vertegenwoordigen de hoogste classificatie voor valdetectie.
| Camera | Vensterlengte | |||
| Rf | Svm | Mlp | KNN (KNN) | |
| Zijdelingse weergave | 3-sec | 3-sec | 2-sec | 3-sec |
| Vooraanzicht | 2-sec | 2-sec | 3-sec | 2-sec |
Tabel 5: Gewenste tijdvensterlengte in de camerastandpunten per classificatie.
| Multimodale | Classificatie | Nauwkeurigheid (%) | Precisie (%) | Gevoeligheid (%) | F1-score (%) |
| Taille + Zijdelingse weergave |
Rf | 98,72 ± 0,35 | 94,01 ± 1,51 | 97,63 ± 1,56 | 95,77 ± 1,15 |
| Svm | 95,59 ± 0,40 | 100 | 70,26 ± 2,71 | 82,51 ± 1,85 | |
| Mlp | 77,67 ± 11,04 | 33,73 ± 11,69 | 37,11 ± 26,74 | 29,81 ± 12,81 | |
| KNN (KNN) | 91,71 ± 0,61 | 77,90 ± 3,33 | 61,64 ± 3,68 | 68,73 ± 2,58 | |
| Rechterzak + Zijdelingse weergave |
Rf | 98,41 ± 0,49 | 93,64 ± 1,46 | 95,79 ± 2,65 | 94,69 ± 1,67 |
| Svm | 95,79 ± 0,58 | 100 | 71,58 ± 3,91 | 83,38 ± 2,64 | |
| Mlp | 84,92 ± 2,98 | 55,70 ± 11,36 | 48,29 ± 25,11 | 45,21 ± 14,19 | |
| KNN (KNN) | 91,71 ± 0,58 | 73,63 ± 3,19 | 68,95 ± 2,73 | 71,13 ± 1,69 |
Tabel 6: Vergelijkende resultaten van de gecombineerde draagbare sensor en camera gezichtspunt met behulp van 3-seconden venster lengte. Alle waarden vertegenwoordigen de gemiddelde en standaarddeviatie.
Discussion
Het is gebruikelijk om uitdagingen tegen te komen als gevolg van synchronisatie, organisatie- en gegevensinconsistentieproblemen20 wanneer een gegevensset wordt gemaakt.
Synchronisatie
Bij het verkrijgen van gegevens ontstaan synchronisatieproblemen, aangezien meerdere sensoren vaak op verschillende samplingsnelheden werken. Sensoren met hogere frequenties verzamelen meer gegevens dan die met lagere frequenties. Gegevens uit verschillende bronnen worden dus niet correct gekoppeld. Zelfs als sensoren met dezelfde bemonsteringssnelheden werken, is het mogelijk dat de gegevens niet worden uitgelijnd. In dit verband kunnen de volgende aanbevelingen helpen om deze synchronisatieproblemen aan te pakken20: i) registertijdstempel, onderwerp, activiteit en proef in elk gegevensmonster dat bij de sensoren is verkregen; ii) de meest consistente en minder frequente informatiebron moet worden gebruikt als referentiesignaal voor synchronisatie; en (iii) automatische of semi-automatische procedures gebruiken om video-opnamen te synchroniseren die handmatige inspectie onpraktisch zou zijn.
Gegevens voorverwerking
Er moet ook sprake zijn van voorverwerking van gegevens en kritische beslissingen zijn van invloed op dit proces: (a) bepalen de methoden voor gegevensopslag en gegevensrepresentatie van meerdere en heterogene bronnen (b) bepalen welke manieren om gegevens op te slaan in de lokale host of in de cloud (c) de organisatie van gegevens selecteren, inclusief de bestandsnamen en mappen (d) omgaan met ontbrekende waarden van gegevens en redundantie in de sensoren , o.a. Bovendien wordt voor de datacloud aanbevolen om waar mogelijk lokale buffering te beperken om het verlies van gegevens tijdens het uploaden te beperken.
Inconsistentie in gegevens
Gegevensinconsistentie komt vaak voor tussen proeven waarbij variaties in de grootte van gegevensmonsters worden gevonden. Deze problemen houden verband met data-acquisitie in draagbare sensoren. Korte onderbrekingen van gegevensverwerving en gegevensbotsing van meerdere sensoren leiden tot gegevensinconsistenties. In deze gevallen zijn inconsistentiedetectiealgoritmen belangrijk om online storingen in sensoren aan te pakken. Het is belangrijk om te benadrukken dat draadloze apparaten tijdens het experiment regelmatig moeten worden gecontroleerd. Een lage batterij kan van invloed zijn op de connectiviteit en leiden tot verlies van gegevens.
Ethische
Toestemming om deel te nemen en ethische goedkeuring zijn verplicht bij elk type experiment waarbij mensen betrokken zijn.
Met betrekking tot de beperkingen van deze methode, is het belangrijk op te merken dat het is ontworpen voor benaderingen die verschillende modaliteiten voor het verzamelen van gegevens overwegen. De systemen kunnen draagbare, omgevings- en/of zichtsensoren bevatten. Er wordt voorgesteld om rekening te houden met het stroomverbruik van apparaten en de levensduur van batterijen in draadloze sensoren, als gevolg van de problemen zoals verlies van gegevensverzameling, afnemende connectiviteit en stroomverbruik in het hele systeem. Bovendien is deze methode bedoeld voor systemen die machine learning-methoden gebruiken. Een analyse van de selectie van deze machine learning modellen moet vooraf worden gedaan. Sommige van deze modellen kunnen nauwkeurig zijn, maar zeer tijdrovend. Er moet rekening worden gehouden met een afweging tussen nauwkeurige schatting en beperkte beschikbaarheid van hulpbronnen voor computergebruik in machine learning-modellen. Het is ook belangrijk op te merken dat bij het verzamelen van gegevens van het systeem de activiteiten in dezelfde volgorde werden uitgevoerd; ook werden proeven uitgevoerd in dezelfde volgorde. Om veiligheidsredenen werd een beschermende matras gebruikt om op te vallen. Bovendien werden de watervallen zelf-inwerking gesteld. Dit is een belangrijk verschil tussen gesimuleerde en echte valpartijen, die over het algemeen optreden in de richting van harde materialen. In die zin valt deze opgenomen dataset met een intuïtieve reactie die probeert niet te vallen. Bovendien zijn er enkele verschillen tussen echte valpartijen bij ouderen of mensen met een handicap en valt de simulatie; en hiermee moet rekening worden gehouden bij het ontwerpen van een nieuw valdetectiesysteem. Deze studie was gericht op jongeren zonder enige beperking, maar het is opmerkelijk om te zeggen dat de selectie van onderwerpen moet worden afgestemd op het doel van het systeem en de doelgroep die het zal gebruiken.
Uit de verwante werken beschreven boven10,11,1212,13,14,15,16,17,18, kunnen we vaststellen dat er auteurs zijn die gebruik maken van multimodale benaderingen gericht op het verkrijgen van robuuste val detectoren of zich richten op plaatsing of prestaties van de classificatie. Vandaar, ze alleen een of twee van de ontwerpproblemen voor valdetectie. Onze methodologie maakt het mogelijk om tegelijkertijd drie van de belangrijkste ontwerpproblemen van een valdetectiesysteem op te lossen.
Voor toekomstig werk stellen we voor om een eenvoudig multimodaal valdetectiesysteem te ontwerpen en te implementeren op basis van de bevindingen die volgens deze methodologie zijn verkregen. Voor de invoering in de praktijk moeten overdrachtsleer, hiërarchische classificatie en deep learning-benaderingen worden gebruikt voor de ontwikkeling van robuustere systemen. Onze implementatie hield geen rekening met kwalitatieve statistieken van de machine learning-modellen, maar er moet rekening worden gehouden met real-time en beperkte computerbronnen voor de verdere ontwikkeling van menselijke val- en activiteitsdetectie-/herkenningssystemen. Ten slotte, om onze dataset te verbeteren, struikelen of bijna dalende activiteiten en real-time monitoring van vrijwilligers tijdens hun dagelijks leven kan worden overwogen.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
Dit onderzoek is gefinancierd door Universidad Panamericana via de subsidie "Fomento a la Investigación UP 2018", onder projectcode UP-CI-2018-ING-MX-04.
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
