April 6th, 2020
We presenteren een methodologie op basis van multimodale sensoren om een eenvoudig, comfortabel en snel valdetectie- en human activity recognition systeem te configureren. Het doel is om een systeem te bouwen voor nauwkeurige valdetectie die eenvoudig kan worden geïmplementeerd en aangenomen.
Onze methodologie voegt belangrijke fasen, selectie van sensorcombinatie, plaatsing en classificatie, toe om het valdetectiesysteem te vereenvoudigen met een diepe analyse. Er zijn eerdere werken die een aantal problemen met het ontwerp van valdetectie aanpakken, maar er is geen werk dat zich richt op holistische methodologie voor het overwinnen van al deze problemen. Deze methodologie kan ook worden gebruikt voor menselijke activiteit erkenning in begeleid wonen, sport prestatie-evaluatie, fysiotherapie en revalidatie toepassingen.
Wanneer een gegevensset wordt gemaakt, kunnen uitdagingen ontstaan als gevolg van synchronisatie, organisatie en gegevensinconsistie. Er moet rekening worden gehouden met een afweging tussen een nauwkeurige schatting en de complexiteit van het model. Het aantonen van de procedure zal Jose Pablo Nunez Martinez, een onderzoeksassistent, en Sofia Pacheco Ibanez, een undergraduate engineering student uit ons laboratorium.
Begin met het opzetten van het systeem voor het verkrijgen van gegevens om het verzamelen en opslaan van betrokkenen te vergemakkelijken. Selecteer de soorten draagbare sensoren, omgevingssensoren en op visie gebaseerde apparaten die nodig zijn als informatiebronnen en wijs een ID toe voor elke bron van informatie, het aantal kanalen per bron, de technische specificaties en de bemonsteringsfrequentie van elk van deze apparaten. Als u alle informatiebronnen wilt verbinden met een centrale computer of een gedistribueerd computersysteem, controleert u eerst of de apparaten op basis van de draad correct zijn aangesloten op één clientcomputer en controleert u of de draadloze apparaten volledig zijn opgeladen.
Als u elk apparaat wilt instellen om gegevens op te halen, stelt u het gegevensverwervingssysteem in om gegevensopslag in de cloud toe te staan en te bevestigen dat het gegevensacquisitiesysteem voldoet aan de juiste eigenschappen voor gegevenssynchronisatie en gegevensconsistentie. Zorg ervoor dat u controleert of alle sensoren consistent en gelijktijdig gegevens verzamelen en labels opnemen voor het identificeren van de activiteit en eigenschappen van het onderwerp. Verzamel voorbeeldgegevens met de apparaten en sla de gegevens op in een voorkeurssysteem.
Vraag de database op en bepaal of alle informatiebronnen met dezelfde steekproefsnelheden worden verzameld. Na het overwegen van de voorwaarden die zijn vereist in de beperkingen opgelegd door het doel van het systeem, het opzetten van de testomgeving het plaatsen van een matras of andere conforme vloersystemen in het centrum van de omgeving om de veiligheid van de deelnemers te waarborgen. Houd alle voorwerpen ten minste één meter van de matras vandaan en bereid alle nodige persoonlijke beschermingsmiddelen voor de deelnemers voor.
Stel vervolgens de juiste camera's en paar infrarood sensoren rond de matras zoals afgebeeld. Definieer het doel van de valdetectie en het systeem voor de herkenning van menselijke activiteiten op een planningsblad en definieer de doelpopulatie van het experiment in overeenstemming met het doel van het systeem. Definieer het type dagelijkse activiteiten, inclusief een aantal activiteiten die niet vallen, die eruit zien als vallen om de echte valdetectie te verbeteren.
Wijs voor elke activiteit een id toe en beschrijf de activiteiten zo gedetailleerd mogelijk. Stel vervolgens de periode in voor elke activiteit die moet worden uitgevoerd. Definieer het type menselijke valpartijen en wijs een ID toe en beschrijf elke val voor elke activiteit, samen met de periode voor elke val die moet worden uitgevoerd.
Overweeg of de watervallen zelf gegenereerd zullen worden door de onderwerpen of gegenereerd door anderen en schrijf deze informatie op het planningsblad. Als u de activiteit wilt verzamelen en de gegevens wilt vallen, plaatst u de opnameapparaten op het onderwerp zoals afgebeeld. Wanneer het onderwerp klaar is, onder toezicht van een klinisch deskundige of een verantwoordelijke onderzoeker, start de gegevensverzameling in het gegevensverwervingssysteem en vraagt het onderwerp om de sequenties van activiteiten en vallen uit te voeren die in het planningsblad worden beschreven en de tijdstempels van het begin en het einde van elke activiteit of val opslaan.
Controleer of de gegevens van alle informatiebronnen na elke activiteit of val in de cloud worden opgeslagen. Als u de verzamelde activiteit en valgegevens wilt analyseren, gebruikt u de functiegegevensset voor elke machine learning-methode om een K-fold cross-validatie uit te voeren. Gebruik een gemeenschappelijke metriek van evaluatie, zoals nauwkeurigheid, om het beste model te selecteren dat per methode is getraind.
Open vervolgens de gegevensset voor trainingsfunctie in de voorkeurstaalsoftware en gebruik de pandabibliotheek om een CSV-bestand te lezen zoals aangegeven. Splits de functiegegevensset in paren van ingangen/uitgangen zoals aangegeven. Selecteer één machine learning-methode en stel de parameters in.
Train het machine learning-model en bereken de schattingswaarden van het model met behulp van de gegevensset testfunctie. Herhaal de K-fold cross-validatie van het aantal keren dat K is opgegeven in de K-fold cross-validatie voor elk geselecteerd machine learning-model. Selecteer de geschikte plaatsingen in de multimodale aanpak als een combinatie van twee of meer informatiebronnen nodig is voor het systeem en selecteer de beste bron van informatie voor elke modaliteit in het systeem.
Maak een gecombineerde functiegegevensset met behulp van de onafhankelijke gegevenssets van deze informatiebronnen en selecteer de classificatiemethode voor machine learning. Train een model voor deze gecombineerde informatiebronnen en herhaal de validatie met behulp van de gecombineerde functiegegevensset. Bereid vervolgens een nieuwe gegevensset met de onderwerpen onder meer realistische omstandigheden met behulp van alleen de bronnen van informatie geselecteerd in de vorige analyse.
Grafische weergave van de beste prestaties verkregen voor elke modaliteit, afhankelijk van de machine learning model en de beste venster lengte configuratie illustreert duidelijk dat multimodale benaderingen de beste F1 score waarden te verkrijgen in vergelijking met sommige unimodale benaderingen. Hoewel met name met behulp van draagbare sensoren alleen, een vergelijkbare prestaties als een multimodale aanpak kan worden verkregen. In termen van de benchmark van de data-driven modellen, random forest presenteert de beste resultaten in bijna alle experimenten, terwijl meerlaagse perceptron en ondersteuning vector machines zijn niet erg consistent in de prestaties.
De beste prestaties worden verkregen wanneer een enkele sensor wordt gebruikt in de taille, nek, of strakke rechterzak. Enkel en linker pols draagbare sensoren presteerden het ergste. Bovendien zijn de taille-, nek- en strakke rechterzaksensoren met willekeurige forests classificatie in een venstergrootte van drie seconden met 50% overlappende sensoren de meest geschikte draagbare sensoren voor valdetectie.
De zijaanzichtcamera voert de beste valdetectie uit en de beste cameralocatie bevindt zich in een zijdelingse weergavepunt met behulp van willekeurig forest in een venstergrootte van drie seconden en 50% overlappend. Bovendien, de random forest model classifier toont de beste prestaties in nauwkeurigheid en F1 score in zowel multi-modaliteiten en de combinatie tussen de taille en camera een gelederen in de eerste positie. In onze experimenten hebben we jonge mensen aangeworven zonder beperkingen, maar onderwerpen moeten worden geselecteerd die aansluiten bij het doel van het systeem en de doelgroep die het systeem gebruikt.
Eenvoudige multimodale valdetectiesystemen kunnen op basis van deze methodologie worden ontworpen en geïmplementeerd. Voor echte wereld aanpassing, overdracht leren en deep learning benaderingen worden aanbevolen voor het ontwikkelen van robuuste systemen.
Deze studie presenteert een uitgebreide methodologie voor valdetectie en herkenning van menselijke activiteiten met behulp van multimodale sensoren. De benadering heeft als doel de nauwkeurigheid te verbeteren en de implementatie te vergemakkelijken in verschillende toepassingen zoals geassisteerd wonen en revalidatie.