Evaluatie van een smartphone op basis van menselijke activiteiten Recognition System in een dagelijkse Leefomgeving

Summary

Er is een gestandaardiseerde evaluatiemethode ontwikkeld voor Draagbare Mobiliteitsbewakingssystemen (WMMS) die continue activiteiten in een realistische dagelijkse leefomgeving omvat. Testen met een reeks dagelijkse levensactiviteiten kan de gevoeligheid van activiteitsherkenning verminderen; daarom worden realistische testcircuits aanbevolen voor een geldige evaluatie van de prestaties van WMMS.

Abstract

Een evaluatiemethode die continue activiteiten in een dagelijkse leefomgeving omvat, werd ontwikkeld voor Draagbare Mobiliteitsbewakingssystemen (WMMS) die proberen gebruikersactiviteiten te herkennen. Deelnemers voerden een vooraf bepaalde reeks dagelijkse leefhandelingen uit binnen een doorlopend testcircuit dat mobiliteitsactiviteiten (lopen, staan, zitten, liggen, trappen op/af stappen), dagelijkse taken (haar kammen, tanden poetsen, eten bereiden, eten, afwas doen) en subtiele omgevingsveranderingen (deuren openen, lift gebruiken, op hellingen lopen, trappen oversteken, buiten lopen) omvatte.

Om de prestaties van WMMS op dit circuit te evalueren, voltooiden vijftien niet-gehandicapte deelnemers de taken terwijl ze een smartphone aan hun rechtervoorste bekken droegen. De WMMS-applicatie gebruikte smartphone-versnellingsmeter- en gyroscoopsignalen om activiteitstoestanden te classificeren. Een vergelijkende dataset met gouden standaard werd gemaakt door elke proef op video op te nemen en de begintijden van de activiteiten handmatig vast te leggen. Gouden standaard en WMMS-gegevens werden offline geanalyseerd. Drie classificatiesets werden berekend voor elke circuit: (i) mobiliteit of immobiliteit, (ii) zitten, staan, liggen of lopen, en (iii) zitten, staan, liggen, lopen, trappen beklimmen of kleine staande beweging. Gevoeligheden, specificiteiten en F-Scores voor activiteitscategorisatie en veranderingen van toestand werden berekend.

De mobiele versus immobiele classificatieset had een gevoeligheid van 86,30% ± 7,2% en een specificiteit van 98,96% ± 0,6%, terwijl de tweede voorspellingsset een gevoeligheid van 88,35% ± 7,80% en een specificiteit van 98,51% ± 0,62% had. Voor de derde classificatieset was de gevoeligheid 84,92% ± 6,38% en de specificiteit 98,17 ± 0,62. F1-scores voor de eerste, tweede en derde classificatiesets waren respectievelijk 86,17 ± 6,3, 80,19 ± 6,36 en 78,42 ± 5,96. Dit toont aan dat de prestaties van WMMS afhankelijk zijn van het evaluatieprotocol naast de algoritmen. Het aangetoonde protocol kan worden gebruikt en aangepast voor het evalueren van systemen voor herkenning van menselijke activiteit in revalidatiegeneeskunde waar mobiliteitsbewaking nuttig kan zijn bij klinische besluitvorming.

Introduction

Alomtegenwoordige sensing is uitgegroeid tot een boeiende onderzoek gebied als gevolg van steeds krachtiger, kleine, lage kosten computing en sensing apparatuur ^1. Mobiliteit monitoren met behulp van draagbare sensoren heeft geleid tot een grote belangstelling, omdat de consument-niveau micro-elektronica zijn voor het opsporen van de beweging kenmerken met een hoge nauwkeurigheid ^1. Menselijke activiteit erkenning (HAR) met behulp van draagbare sensoren is een recent gebied van onderzoek, met de voorlopige studies uitgevoerd in de jaren 1980 en 1990 ^2-4.

Moderne smartphones bevatten de nodige sensoren en real-time berekening capaciteit voor mobiliteitsactiviteit herkenning. Real-time analyse van het apparaat maakt activiteit indeling en uploaden van gegevens zonder dat gebruikers of onderzoeker interventie. Een smartphone met mobiliteit analyse software kon fitness tracking, monitoring van gezondheid bieden, valdetectie, thuis of op het werk automatisering en self-managing exercise s ^5. Smartphones kunnen worden beschouwd traagheidsmeetapparaat platforms voor het opsporen van de mobiele activiteiten en mobiele patronen in mensen, met behulp van gegenereerde wiskundige signaal functies berekend met ingebouwde sensor uitgangen ^6. Gemeen generatie heuristische werkwijzen omvatten, tijdsdomein, frequentiedomein en wavelet-analyse gebaseerde benaderingen ^7.

Moderne smartphone HAR-systemen hebben aangetoond hoge voorspelling nauwkeurigheid bij het ​​detecteren van bepaalde activiteiten ^1,5,6,7. Deze studies variëren in evaluatiemethoden evenals nauwkeurigheid omdat de meeste studies hebben hun eigen training set, milieu setup, en het verzamelen van gegevens protocol. Gevoeligheid, specificiteit, nauwkeurigheid, recall, precisie, en F-Score worden vaak gebruikt om de voorspelling kwaliteit te beschrijven. Echter, weinig tot geen informatie beschikbaar over de methoden voor "gelijktijdige activiteit" erkenning en evaluatie van het vermogen om activiteit veranderingen in real-time detectie^1, voor HAR systemen die proberen meerdere activiteiten categoriseren. Evaluatiemethoden voor de juistheid HAR systeem aanzienlijk verschillen tussen de studies. Ongeacht de classificatie algoritme of toegepaste kenmerken, beschrijvingen van de gouden standaard evaluatiemethoden zijn vaag voor de meeste HAR onderzoek.

Activiteit erkenning in een dagelijkse leefomgeving is niet uitgebreid onderzocht. De meeste smartphone gebaseerde activiteitssystemen herkenning worden geëvalueerd op een gecontroleerde wijze, waardoor een evaluatie protocol dat voordelig kan zijn om het algoritme in plaats realistisch een echte omgeving. Binnen hun evaluatie regeling, de deelnemers presteren vaak alleen de beoogde voor het voorspellen acties, in plaats van het toepassen van een groot scala aan realistische activiteiten voor de deelnemer na elkaar uit te voeren, het nabootsen van real-life events.

Sommige smartphone HAR bestudeert ^8,9 groep soortgelijke activiteiten samen, zoals trappen en wandelen, Maar exclusief andere activiteiten van de dataset. Voorspellingsnauwkeurigheid wordt dan bepaald door hoe goed het algoritme die het doelwit activiteiten. Dernbach et al. ⁹ hadden de deelnemers de activiteit die zij op het punt stonden uit te voeren voordat u, het onderbreken van voortdurende verandering-van-toestandsovergangen schrijven. HAR systeem evaluaties moet het algoritme te beoordelen, terwijl de deelnemer voert natuurlijke acties in een dagelijkse woon-instelling. Dit zou een real-life evaluatie die het dagelijks gebruik van de applicatie repliceert toestaan. Een realistische schakeling bevat vele veranderingen-van-state en een combinatie van maatregelen niet voorspelbaar door het systeem. Een onderzoeker kan dan beoordelen reactie van het algoritme deze extra bewegingen, waardoor de robuustheid van het algoritme evalueren om abnormale bewegingen.

Dit document presenteert een Wearable Mobility Monitoring System (WMMS) evaluatie protocol dat een gecontroleerde cursus die real-life dagelijkse leefomgeving weerspiegelt gebruikt. WMMSevaluatie kan vervolgens worden gemaakt onder gecontroleerde maar realistische omstandigheden. In dit protocol gebruiken we een derde generatie WMMS die werd ontwikkeld aan de Universiteit van Ottawa en Ottawa Hospital Research Institute ^11-15. De WMMS is ontworpen voor smartphones met een tri-axis accelerometer en gyroscoop. De mobiliteit algoritme vertegenwoordigt gebruiker variabiliteit geeft een vermindering van het aantal valse positieven wijzigingen state-of-identificatie en verhoogt de gevoeligheid van de activiteit categorisatie. Minimaliseren van valse positieven is belangrijk omdat de WMMS triggers korte video clip opname wanneer activiteit veranderingen van de staat worden gedetecteerd, voor context-gevoelige activiteit evaluatie die verder verbetert WMMS classificatie. Onnodige video-opname creëert inefficiënties in de opslag en het gebruik van de batterij. De WMMS algoritme is gestructureerd als een laag-zelflerende model en geëvalueerd met verschillende niveaus voorspelling, waarbij een verhoogde voorspelling level betekent een toename van de hoeveelheidherkenbare acties.

Protocol

Dit protocol werd goedgekeurd door de Ottawa Health Science Network Research Ethics Board.

1. Voorbereiding

1. Bieden de deelnemers met een overzicht van het onderzoek, eventuele vragen te beantwoorden, en geïnformeerde toestemming te verkrijgen. Record deelnemer kenmerken (zoals leeftijd, geslacht, lengte, gewicht, taille omtrek, been hoogte van de spina iliaca anterior superior aan de mediale malleolus), identificatiecode, en datum op een fiche. Zorg ervoor dat de tweede smartphone die wordt gebruikt om de video-opname wordt ingesteld op ten minste 30 frames per seconde vast te leggen tarief.
2. Stevig te bevestigen een telefoon holster naar rechtsvoor riem of broek taille van de deelnemer. Start de smartphone applicatie die wordt gebruikt om de sensordata (dwz data logging of WMMS applicatie) op de mobiliteit meting smartphone verzamelen en te waarborgen dat de toepassing adequaat wordt uitgevoerd. Plaats de smartphone in de houder, met de achterkant van het toestel (achterzijde camera) naar buiten gericht.
3. Start digitale video-opname op een tweede smartphone. Anonimiteit, nemen de vergelijking video zonder dat het gezicht van de persoon, maar ervoor te zorgen dat alle activiteiten overgangen opnemen. De telefoon kan handheld zijn.

2. Activiteit Circuit

1. Volg de deelnemer en video hun acties, op de tweede smartphone, terwijl ze de volgende acties, door de onderzoeker gesproken uitvoeren:
   1. Vanuit een staande positie, schud de smartphone aan het begin van het proces aan te geven.
   2. Verder staan ​​gedurende ten minste 10 sec. Deze permanente fase kan worden gebruikt voor telefoongesprekken oriëntatie kalibratie ^14.
   3. Lopen naar een nabijgelegen stoel en ga zitten.
   4. Sta op en loop 60 meter naar een lift.
   5. Staan en wachten voor de lift en loop dan naar de lift.
   6. Neem de lift naar de tweede verdieping.
   7. Draaien en lopen in de thuisomgeving.
   8. Lopen in de badkamer en siMulate tanden poetsen.
   9. Simuleren haar kammen.
   10. Simuleren handen wassen.
   11. Droge handen met een handdoek.
   12. Loop naar de keuken.
   13. Neem gerechten uit een rek en plaats ze op de toonbank.
   14. Vul een ketel met water uit de gootsteen.
   15. Plaats de ketel op de kachel element.
   16. Plaats brood in een broodrooster.
   17. Loop naar de eetzaal.
   18. Zitten aan een eettafel.
   19. Simuleren van het eten van een maaltijd aan tafel.
   20. Staan en lopen terug naar het aanrecht.
   21. Spoel de gerechten en plaats ze in een rek.
   22. Loop vanaf de keuken terug naar de lift.
   23. Staan en wachten voor de lift en loop dan naar de lift.
   24. Neem de lift naar de eerste verdieping.
   25. Loop 50 meter tot een trappenhuis.
   26. Open de deur en ga het trappenhuis.
   27. Lopen trappen (13 stappen, rond de landing, 13 stappen).
   28. Open het trappenhuis deur naar de hal.
   29. Sla rechtsaf en loop de zaal voor 15 meter.
   30. Draai je om en loop 15 meter terug naar het trappenhuis.
   31. Open de deur en ga het trappenhuis.
   32. Loop trap (13 stappen, rond de landing, 13 stappen).
   33. Verlaat het trappenhuis en lopen in een kamer.
   34. Liggen op een bed.
   35. Opstaan ​​en lopen 10 meter naar een helling.
   36. Loop de helling, draai je om, dan naar beneden de helling (20 meter).
   37. Blijven lopen in de hal en open de deur naar buiten.
   38. Loop 100 meter op de verharde weg.
   39. Draai je om en loop terug naar de kamer.
   40. Lopen in de kamer en staan ​​bij het beginpunt.
   41. Blijven staan, en dan schud de smartphone aan het einde van het proces aan te geven.

3. Trial Voltooiing

1. Stop de video-opname smartphone en vragen de deelnemer te verwijderen en terug te keren van de smartphone en holster. Stop de data logging of WMMS applicatie op de smartphone. Kopieer de verworven beweging gegevensbestanden en het videobestand van beide telefoons op een computer voor post-processing.

4. Post-processing

1. Synchroniseren timing tussen de video- en sensorgegevens onbewerkte door het bepalen van het tijdstip waarop de shake actie gestart. Deze schudbeweging correspondeert met een afzonderlijke accelerometersignaal en videoframe. Controleer synchronisatiefout door het aftrekken eind schudden tijd vanaf het begin schudden tijd sensor en videogegevens bronnen. Tijd verschillen moeten vergelijkbaar tussen de twee datasets zijn.
2. Bepaal werkelijke change of state tijden van de gouden standaard video-opname door het tijdsverschil vanaf het begin schudden tijd om de video frame aan de overgang tussen de activiteiten. Gebruik video-editing software om timing te verkrijgen om binnen 0.033 sec (dwz, 30 frames per seconde video-tarief). Gebruik WMMS software om vergelijkbare veranderingen-van-state van de sensor data te genereren.
3. Genereren twee datasets éénmet echte activiteiten en de tweede met voorspelde activiteiten door het merken van de activiteit van elk videoframe (gebaseerd op de faseovergang timing) en dan het voorspelde activiteit bij elke videoframetijd de WMMS uitgang. Voor WMMS evaluatie van de prestaties, te berekenen waar positieven, vals negatieven, waar negatieven valse positieven tussen de gouden standaard activiteit en WMMS voorspelde activiteit. Gebruik deze parameters om de gevoeligheid, specificiteit en F-score uitkomsten maatregelen te berekenen.
   Opmerking: Een tolerantie instelling 3 datavensters aan weerszijden van het venster te analyseren gas kunnen worden gebruikt voor het bepalen change of state resultaten en 2 datavensters voor indeling resultaten. Aangezien bijvoorbeeld 1 seconde data windows werden gebruikt voor de WMMS in deze studie, 3 seconden vóór en na het huidige venster onderzocht zodat opeenvolgende veranderingen binnen deze tolerantie worden genegeerd. De overweging was dat veranderingen van de staat die gebeuren in minder dan 3 seconden kan worden genegeerd bruto Human bewegingsanalyse, aangezien deze staten zouden voorbijgaande worden beschouwd.

Results

De studie protocol werd uitgevoerd met een gemak steekproef van vijftien valide deelnemers van wie de gemiddelde gewicht was 68,9 (± 11,1) kg, hoogte was 173,9 (± 11,4) cm en leeftijd was 26 (± 9) jaar, gerekruteerd uit de Ottawa Hospital en Universiteit van Ottawa medewerkers en studenten. Een smartphone sensor gegevens die zijn vastgelegd met een variabele 40-50 Hz tarief. Sample rate variaties zijn typisch voor de bemonstering smartphone sensor. Een tweede smartphone werd gebruikt om digitale video op te nemen op 128...

Discussion

Menselijke activiteit erkenning met een draagbare bewaking mobiliteitssysteem heeft meer aandacht gekregen in de afgelopen jaren als gevolg van de technische vooruitgang in de draagbare computers en smartphones en systematische behoefte aan kwantitatieve uitkomstmaten die helpen met de klinische besluitvorming en de gezondheid interventie evalueren. De in dit document beschreven methode effectief was voor het evalueren van WMMS ontwikkeling sinds activiteit classificatie fouten werden gevonden die niet aanwezig zou zijn...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Smartphone of draagbaar meetapparaat	Blackberry	Z10
Smartphone voor video-opname	Blackberry	Z10 of 9800
Telefoonholster	Alle
Datalogger-applicatie voor de smartphone	BlackBerry World - TOHRC Data Logger voor BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Draagbare mobiliteitsmeting	Aangepaste Blackberry 10 en Matlab software voor mobiliteitsbewaking		http://www.irrd.ca/cag/smartphone/
Videobewerkings- of analysesoftware	Motion Analysis Tools		http://www.irrd.ca/cag/mat/