Evaluering af en smartphone-baserede Menneskelig aktivitet Recognition System i en Daily Living Miljø

Introduction

Allestedsnærværende sensing er blevet en engagerende forskningsområde grund stadig mere magtfuld, små, lave omkostninger computing og sensing udstyr ^1. Mobilitet overvågning ved hjælp af bærbare sensorer har skabt en stor interesse, idet forbrugerne niveau mikroelektronik er i stand til at detektere bevægelseskarakteristika med stor nøjagtighed ^1. Aktivitet anerkendelse Human (HAR) ved hjælp af bærbare sensorer er en nyere forskningsområde, med indledende undersøgelser udført i 1980'erne og ^{1990'erne: 2 - 4.}

Moderne smartphones indeholder de nødvendige sensorer og real-time beregning kapacitet for mobilitet aktivitet anerkendelse. Real-time analyse på enheden tillader aktivitet klassifikation og data upload uden brugerens eller investigator indgriben. En smartphone med mobilitet analyse software kunne give fitness tracking, sundhedsovervågning, falde afsløring, hjemme- og arbejdsadresse automatisering, og selv-styre exercise-programmer ^5. Smartphones kan betragtes inerti måling platforme til påvisning mobile aktiviteter og mobile mønstre hos mennesker, ved hjælp genererede matematiske signal funktioner beregnet med indbyggede sensor udgange ^6. Fælles træk generation metoder omfatter heuristisk, tid-domæne, frekvens-domæne og wavelet analyse tilgange ^7.

Moderne smartphone här systemer har vist høje forudsigelse nøjagtighed, når der detekteres bestemte aktiviteter ^1,5,6,7. Disse undersøgelser varierer i evalueringsmetode samt nøjagtighed, da de fleste undersøgelser har deres egen uddannelse sæt, miljømæssige opsætning, og dataindsamling protokol. Følsomhed, specificitet, nøjagtighed, tilbagekaldelse, præcision, og F-Score er almindeligt anvendt til at beskrive forudsigelse kvalitet. Men lidt at der ikke foreligger oplysninger om metoder til "sideløbende aktivitet" anerkendelse og evaluering af evnen til at opdage aktivitet ændringer i realtid^1, for HAr systemer, der forsøger at kategorisere flere aktiviteter. Vurderingsmetoder for HAR-system nøjagtighed varierer betydeligt mellem studier. Uanset klassificeringen algoritme eller anvendte funktioner, beskrivelser af guld standard evalueringsmetoder er vage for de fleste HAR forskning.

Aktivitet anerkendelse i en daglig levende miljø er ikke blevet grundigt undersøgt. De fleste smartphone-baserede aktivitet genkendelsessystemer evalueres på en kontrolleret måde, hvilket fører til en evaluering protokol, som kan være en fordel at algoritmen snarere end realistisk at den virkelige verden miljø. Inden for deres vurdering ordning, deltagerne ofte kun udføre de handlinger, der er beregnet til forudsigelse, snarere end at anvende en lang række realistiske aktiviteter for deltageren at udføre efter hinanden, efterligne virkelige begivenheder.

Nogle smartphone HAR studerer ^8,9 gruppere lignende aktiviteter sammen, såsom trapper og gåture, Men udelukke andre aktiviteter fra datasættet. Forudsigelsesnøjagtighed bestemmes derefter ved hvor godt algoritmen identificeret Målaktiviteterne. Dernbach et al. ⁹ havde deltagerne skriver den aktivitet, de var ved at udføre før du flytter, afbryde kontinuerlig forandring-of-state overgange. Här systemets evalueringer bør vurdere den algoritme, mens deltageren udfører naturlige handlinger i en daglig levende indstilling. Dette ville muliggøre en real-life evaluering, der kopierer daglig brug af ansøgningen. En realistisk kreds indeholder mange ændringer-of-state samt en blanding af handlinger ikke forudsigelig af systemet. En efterforsker kan derefter vurdere den algoritme reaktion på disse yderligere bevægelser, således at evaluere den algoritme robusthed til anormale bevægelser.

Denne artikel præsenterer en Wearable Mobility Monitoring System (WMMS) evaluering protokol, som anvender en kontrolleret kursus, der afspejler det virkelige liv dagligdags miljøer. WMMSkan derefter foretages evaluering under kontrollerede men realistiske forhold. I denne protokol, bruger vi en tredje generation WMMS, der blev udviklet på University of Ottawa og Ottawa Hospital Research Institute ^11-15. Den WMMS designet til smartphones med en tri-akse accelerometer og gyroskop. Mobiliteten algoritme tegner sig for brugeren variabilitet, medfører en reduktion af antallet af falske positiver for ændringer-of-state identifikation og øger følsomheden i aktiviteten kategorisering. Minimering falske positiver er vigtig, da WMMS udløser kort videoklip optagelse, når der registreres aktivitet tilstandsændringer for kontekstafhængig aktivitet evaluering, yderligere forbedrer WMMS klassificering. Unødvendig videooptagelse skaber ineffektivitet i opbevaring og batteri brug. Den WMMS algoritmen er opbygget som en lav-beregningsmæssige læringsmodel og vurderes ved hjælp af forskellige forudsigelse niveauer, hvor en stigning i forudsigelse niveau angiver en stigning i mængdenaf genkendelige handlinger.

Protocol

Denne protokol blev godkendt af Ottawa Health Science Network Research Ethics Board.

1. Fremstilling

1. Give deltagerne et overblik over den forskning, besvare eventuelle spørgsmål, og indhente informeret samtykke. Optag deltageren egenskaber (f.eks, alder, køn, højde, vægt, talje omkreds, ben højde fra den forreste overlegne iliaca rygsøjlen til den mediale malleol), identifikationskode, og dato på et datablad. Sørg for, at den anden smartphone, der bruges til at optage video er sat til mindst en 30 frames per sekund capture sats.
2. Fastgør en telefon hylster til deltagerens forreste højre bælte eller bukser taljen. Start din smartphone program, der vil blive brugt til at indsamle sensordata (dvs. data logging eller WMMS ansøgning) på mobilitet måling smartphone og sikre, at programmet kører korrekt. Placer smartphone i hylsteret, med bagsiden af ​​enheden (bageste CAMera) vender udad.
3. Start digital videooptagelse på en anden smartphone. Om anonymitet, optage sammenligningen video uden at vise personens ansigt, men sikre at registrere alle aktivitet overgange. Telefonen kan være håndholdt.

2. Aktivitet Circuit

1. Følg deltageren og video deres handlinger, på den anden smartphone, mens de udfører følgende handlinger, der tales af investigator:
   1. Fra stående stilling, ryst din smartphone til at angive starten af ​​forsøget.
   2. Fortsæt henstand i mindst 10 sek. Denne stående fase kan bruges til telefon orientering kalibrering ^14.
   3. Gå til en nærliggende stol og sidde ned.
   4. Stå op og gå 60 meter til en elevator.
   5. Stå og vente på elevatoren og derefter gå ind i elevatoren.
   6. Tag elevatoren til anden sal.
   7. Vend og gå ind i hjemmet.
   8. Gå ind i badeværelset og siMulate børste tænder.
   9. Simuler kæmning hår.
   10. Simuler vaske hænder.
   11. Tørre hænder ved hjælp af et håndklæde.
   12. Gå til køkkenet.
   13. Tag retter fra et rack og placere dem på tælleren.
   14. Fyld en kedel med vand fra køkkenvasken.
   15. Placer kedlen på komfuret element.
   16. Placer brød i en brødrister.
   17. Gå til spisestuen.
   18. Sidde ved et spisebord.
   19. Simuler spise et måltid på bordet.
   20. Stå og gå tilbage til køkkenvasken.
   21. Skyl opvasken og placere dem i et rack.
   22. Gåtur fra køkkenet tilbage til elevatoren.
   23. Stå og vente på elevatoren og derefter gå ind i elevatoren.
   24. Tag elevatoren til første sal.
   25. Gå 50 meter til en trappeskakt.
   26. Åbn døren og gå ind i trappeopgangen.
   27. Gå op ad trappen (13 trin, omkring landing, 13 trin).
   28. Åbn havepasning døren til gangen.
   29. Drej til højre og gå ned ad gangen til 15 meter.
   30. Vend rundt og gå 15 meter tilbage til trapperummet.
   31. Åbn døren og gå ind i trappeopgangen.
   32. Gå ned ad trappen (13 trin, omkring landing, 13 trin).
   33. Afslut trappeskakt og gå ind i et rum.
   34. Ligge på en seng.
   35. Stå op og gå 10 meter til en rampe.
   36. Gå op ad rampen, vende rundt, derefter ned ad rampen (20 meter).
   37. Fortsæt med at gå ind i hallen og åbne døren til udenfor.
   38. Walk 100 meter på den asfalterede vej.
   39. Vend rundt og gå tilbage til værelset.
   40. Gå ind i lokalet og stå ved udgangspunktet.
   41. Fortsæt stående, og derefter ryste din smartphone for at angive slutningen af ​​forsøget.

3. Trial Afslutning

1. Stop videooptagelsen smartphone og bede deltageren at fjerne og returnere din smartphone og hylster. Stop datalogging eller WMMS program på smartphone. Kopier de erhvervede motion datafiler og videofilen fra begge telefoner til en computer til efterbehandling.

4. Efterbehandling

1. Synkroniser timing mellem videoen og den rå sensor data ved at bestemme det tidspunkt, hvor ryste handling i gang. Denne rystebevægelse svarer til et særskilt accelerometer signal og videoramme. Check for synkronisering fejl ved at fratrække slutningen ryste tid fra start ryste tid, for sensor og video datakilder. Tidsforskelle skal være ens mellem de to datasæt.
2. Bestem egentlige forandring-of-state gange fra guld-standard video ved at registrere tidsforskellen fra start ryste tid til videorammen ved overgangen mellem aktiviteter. Bruge video redigeringssoftware til at få timingen til inden for 0,033 sek (dvs. 30 fps video sats). Brug WMMS software til at generere sammenlignelige ændringer-of-state fra sensordataene.
3. Generer to datasæt, enmed ægte aktiviteter og den anden med forudsagte aktiviteter, ved mærkning af aktivitet for hvert videobillede (baseret på tilstandsændring timing) og derefter beregne den forudsagte aktivitet ved hver videoramme tiden fra WMMS output. For WMMS evaluering af ydeevne, beregne sande positiver, falsk negative, sande negativer, falske positiver mellem guld-standard aktivitet og WMMS forudsagt aktivitet. Brug disse parametre til at beregne sensitivitet, specificitet, og F-score Resultater foranstaltninger.
   Bemærk: En tolerance indstilling af 3 data-vinduer på hver side af vinduet, der analyseres, kan anvendes til at bestemme forandringer-of-state udfald, og 2 data vinduer for udfald klassificering. For eksempel, da 1 sekund datavinduer blev anvendt til WMMS i denne undersøgelse, 3 sek før og efter det aktuelle vindue blev undersøgt, således at på hinanden følgende ændringer inden for denne tolerance ignoreres. Vederlaget blev, at ændringer i stat, der sker i mindre end 3 sek kan ignoreres for grov human bevægelse analyse, da disse stater ville blive betragtet som forbigående.

Representative Results

Undersøgelsen protokol blev udført med en bekvemmelighed prøve af femten raske deltagere hvis gennemsnitlige vægt var 68,9 (± 11,1) kg, højde var 173,9 (± 11,4) cm, og alder var 26 (± 9) år, rekrutteret fra Ottawa Hospital og University of Ottawa medarbejdere og studerende. En smartphone erobrede sensordata med en variabel 40-50 Hz sats. Sample Rate variationer er typisk for prøvetagning smartphone sensor. En anden smartphone blev brugt til at optage digital video på 1280x720 (720p) opløsning.

Hylsteret blev fastgjort til deltagerens forreste højre bælte eller bukser uden yderligere standardisering af placeringen. Dette viste en naturlig metode til at placere enheden i hostler på hoften. Med enheden placeres i hylstret og datalogger program kørende, hver person gennemkøres kredsløbet én gang, på et selvvalgt tempo. Kredsløbet blev ikke beskrevet på forhånd til deltageren og proceeding aktiviteter vartales af investigator sekventielt under retssagen.

Den WMMS bestod af en beslutningsproces, træ med øvre og nedre randbetingelser, svarende til at arbejde af Wu, et al. ^13. Den reviderede klassificeringen brugte en 1 sek vindue størrelse og funktioner fra den lineære acceleration signal (sum af rækkevidde, enkel glidende gennemsnit, sum af standardafvigelse) og alvor signal (forskel for Y, varians summen gennemsnitlige forskel) ^15. Tre klassificering sæt blev beregnet for evaluering: (i) mobilitet eller immobilitet, (ii) sidde, stå, ligge eller gå, og (iii) sidde, stå, ligge, gå, gå på trapper, eller lille stående bevægelse. Dagligdags aktiviteter blev mærket som små bevægelser. Repræsentative resultater er vist i tabel 1.

Klassifikation					TP		FN		TN		FP		Følsomhed (%)			Specificitet (%)			F1-Score (%)
Klassifikation Set 1					350		55		8701		91		86,30 ± 7,2			98,96 ± 0,6			86,17 ± 6,3
Klassifikation Set 2					359		47		8660		131		88,35 ± 7,80			98,51 ± 0,62			80,19 ± 6,36
Klassifikation Set 3					423		75		8540		159		98,17 ± 0,62			78,42 ± 5,96
Klassifikation Set 1
Immobile til Mobile					177		19
Mobile til Immobile					171		36
Under Mobile									3990		73
Under Immobile									4711		18
Klassifikation Set 2
Står til at Walk					134		17
Gå til Stand					137		26
Gå til Sit					29		0
Sit to Walk					30		0
Gå til Lie					11		4
Lie to Walk					15		0
Under Stand							2872		73
Under Sit									644		9
Under Lie									447		9
Under Walk									4697		40
Klassifikation Set 3
Står til at Walk					70		7
Gå til Stand					74		14
Gå til Sit					29		0
Sit to Walk					30		0
Gå til Lie					15		0
Lie to Walk					15		0
Gå til Lille Move					68		7
Lille Flyt til Walk					61		13
13		2
Trapper til Walk					13		2
Lille Flyt til små Move					35		30
Under Stand									1584		25
Under Sit							643		10
Under Lie									447		15
Under Walk									4398		56
Under Trapper									246		0
Under børste tænder									190		12 </ td>
Under Comb Hår									158		2
Under Vask hænder									152		6
Under tørre hænder									119		4
Under Move Retter									93		5
Under Fyld Kettle									190		5
Under Toast Brød									70		1
Under vaske op									250		18

Tabel 1. Resultater for change-of-state bestemmelse; herunder, sande positive (TP), falsk negative (FN), sande negativer (TN) falske positive (FP), samlede ændringer-of-state, følsomhed, specificitet, enND F1-Score. Under refererer til TN og FP for ændringer-of-tilstand under den angivne handling.

Fra tabel 1, den mobile versus immobile klassifikation sæt havde en følsomhed på 86,30% ± 7,2% og specificitet på 98,96% ± 0,6%, mens den anden forudsigelse sæt havde en følsomhed på 88,35% ± 7,80% og specificitet på 98,51% ± 0,62% . For tredje klassificering sæt, følsomhed var 84,92% ± 6,38% og specificitet var 98,17 ± 0,62. F1 scores for det første, andet og tredje klassificering sæt var 86,17 ± 6,3, 80,19 ± 6,36 og 78,42 ± 5,96 hhv.

Figur 1. Ændringer-of-state følsomhed, specificitet, og F1-Score tre klassificering sæt.

Discussion

Aktivitet anerkendelse menneske med en bærbar overvågning mobilitet systemet har fået mere opmærksomhed i de senere år på grund af de tekniske fremskridt inden for wearable computing og smartphones og systematiske behov for kvantitative resultatmål, der hjælper med den kliniske beslutningsproces og sundhed indgriben evaluering. Beskrevet i dette papir metodik var effektivt til evaluering WMMS udvikling siden Erhvervsklassifikationskode fejl blev fundet, at der ikke ville have været til stede, hvis en bred vifte af dagligdags aktiviteter og walking scenarier ikke var medtaget i evalueringen.

Den WMMS evaluering Protokollen består af to hoveddele: dataopsamling under realistiske, men kontrollerede forhold med en ledsagende guld standard datasæt og data efterbehandling. Digital video var en holdbar løsning for at levere guldstandarden data, når test WMMS algoritme forudsigelser tværs af protokol aktiviteter. Kritiske trin i protokollener (i) at sikre, at guldstandarden video indfanger smartphone ryste, da dette muliggør synkronisering af guldstandarden video med data indhentet fra deltageren fortærskede telefon og (ii) at sikre, at guld-standard videooptagelser alle overgange udført ved forsøget deltager (dvs. skal personen optagelse guld-standard video være i den korrekte position, når følgende forsøget deltager).

Evalueringen Protokollen indeholder walking aktiviteter, en daglig levende miljø, og forskellige terræner og overgange. Alle handlinger er udført efter hinanden, mens en deltager-slidte smartphone registrerer kontinuerligt data fra accelerometer, gyroskop, magnetometer, og GPS-sensorer, og en anden smartphone bruges til video alle aktiviteter, der udføres af forsøget deltager. Protokollen kan ændres ved at tilpasse rækkefølgen af ​​aktiviteter baseret på testen placering, så længe en række kontinuerte-udførte daglige gøremål are indarbejdet. Ti til femten minutter var nødvendig for at fuldføre kredsløbet, afhængigt af deltageren. Under pilotforsøg, kunne nogle deltagere med handicap kun fuldføre en cyklus, derfor enkelt forsøg test bør overvejes med nogle befolkningsgrupper for at sikre en komplet datasæt.

Begrænsninger i den foreslåede WMMS evalueringsmetode er, at timing resolution er begrænset til video frame rate på kameraet bruges til at optage guld-standard komparator video og svært ved at identificere markant ændring-of-state timing fra video til dagligdags aktiviteter. Variation af flere rammer, når identificere en change-of-state fører til forskelle mellem guld-standard og WMMS resultater, der kunne skyldes fortolkning af aktivitet starter snarere end WMMS fejl. En tolerance på hver ændring-of-state, hvor der ikke sammenligninger er foretaget, kan gennemføres for at hjælpe redegøre for disse afvigelser.

Generelt øge antalletaf aktiviteter, der klassificeres og kategoriseringen vanskeligheder (dvs. trapper, små bevægelser) reducerede den gennemsnitlige sensitivitet, specificitet, og F1 score. Dette kan forventes, idet forøgelse af antallet af aktiviteter øger chancen for falske positiver og falske negativer. Evaluering protokoller, der kun bruger aktiviteter, der er fordelagtige for algoritmen vil producere resultater, der er vildledende og sandsynligvis ikke vil producere lignende resultater, når vurderet under virkelige forhold. Derfor betydningen i forhold til de eksisterende metoder er, at protokollen vil resultere i mere konservative resultater for WMMS systemer end de tidligere rapporter i litteraturen. Imidlertid vil resultaterne bedre afspejler resultaterne i praksis. Kan bruges den foreslåede metode til WMMS evalueringer til at vurdere en række bærbare teknologier, der måler eller hjælpe menneskelig bevægelse.

Materials

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/