Evaluering av en smarttelefon-basert Menneskelig aktivitet Recognition System i en Daily Living Environment

Introduction

Allestedsnærværende sensing har blitt et engasjerende forskningsområde på grunn av stadig kraftigere, små, lave kostnader databehandling og sensing utstyr ^1. Mobilitet overvåking ved hjelp av bærbare sensorer har generert stor interesse siden forbruker-nivå mikroelektronikk er i stand til å oppdage bevegelsesegenskaper med høy nøyaktighet ^1. Menneskelig aktivitet gjenkjenning (HAR) ved hjelp av bærbare sensorer er en fersk forskningsområde, med foreløpige studier utført på 1980-tallet og 1990-tallet ^{2 - 4.}

Moderne smarttelefoner inneholder de nødvendige sensorer og real-time beregning evne til mobilitet aktivitet anerkjennelse. Sanntidsanalyse på enheten tillater aktivitet klassifisering og dataopplasting uten at brukeren eller etterforsker intervensjon. En smarttelefon med mobilitet analyse programvare kan gi fitness sporing, helseovervåkning, faller deteksjon, hjemme eller på jobb automatisering og selvadministrerende exercise-programmer ^5. Smarttelefoner kan betraktes treghet måle plattformer for påvisning mobile aktiviteter og mobile mønstre hos mennesker, ved hjelp genererte matematiske signal funksjoner kalkulert med ombord sensorutganger ^6. Felles generasjon metoder inkluderer heuristisk, tid-domene, frekvens-domene, og wavelet analyse baserte tilnærminger ^7.

Moderne smarttelefon HAR systemer har vist høye prediksjon nøyaktighet når det oppdages spesifiserte aktiviteter ^1,5,6,7. Disse studiene varierer i evalueringsmetodikk samt nøyaktighet ettersom de fleste studier har sitt eget treningssett, miljø oppsett, og datainnsamling protokollen. Sensitivitet, spesifisitet, nøyaktighet, husker, presisjon, og F-Score blir ofte brukt for å beskrive prediksjon kvalitet. Men lite eller ingen informasjon er tilgjengelig på metoder for "samtidig aktivitet" anerkjennelse og evaluering av evnen til å oppdage aktivitetsendringer i sanntid^1, for HAR systemer som forsøker å kategorisere flere aktiviteter. Vurderingsmetoder for HAR system nøyaktigheten varierer betydelig mellom studier. Uavhengig av klassifisering algoritme eller anvendt funksjoner, beskrivelser av gullstandarden evalueringsmetoder er vage for de fleste HAR forskning.

Aktivitet anerkjennelse i et levende miljø har ikke blitt grundig undersøkt. De fleste smartphone-basert aktivitet anerkjennelse systemer er vurdert på en kontrollert måte, fører til en evalueringsprotokoll som kan være en fordel å algoritmen fremfor realistiske til en real-world miljø. Innenfor sin evaluering ordningen, deltakerne utfører ofte bare de handlinger som er ment for prediksjon, heller enn å bruke et stort spekter av realistiske aktiviteter for deltakeren å utføre fortløpende, etterligne virkelige hendelser.

Noen smarttelefon HAR studerer ^8,9 gruppe lignende aktiviteter sammen, for eksempel trapper og gang, Men utelukker andre aktiviteter fra datasettet. Prediksjonsnøyaktigheten er da bestemt av hvor godt algoritmen identifisert målet aktiviteter. Dernbach et al. ^{9 hadde} deltakere skrive aktiviteten de var i ferd med å utføre før du flytter, avbryter kontinuerlig endring-av-tilstand overganger. HAR system evalueringer bør vurdere algoritmen mens deltakeren utfører naturlige handlinger i et levende miljø. Dette ville tillate en real-life evaluering som reproduserer daglig bruk av programmet. En realistisk krets omfatter mange endringer av staten, samt en blanding av handlinger ikke forutsigbare av systemet. En etterforsker kan deretter vurdere algoritmen respons på disse ekstra bevegelser, og dermed evaluere algoritmen robusthet til anomale bevegelser.

Dette notatet presenterer en Wearable Mobility Monitoring System (WMMS) evaluering protokoll som bruker en kontrollert kurs som gjenspeiler reelle daglige levende miljøer. WMMSevaluering kan da gjøres under kontrollerte, men realistiske forhold. I denne protokollen, bruker vi en tredje generasjons WMMS som ble utviklet ved University of Ottawa og Ottawa Hospital Research Institute ^11-15. Den WMMS er designet for smarttelefoner med en tri-akse akselerometer og gyroskop. Mobiliteten algoritme står for brukeren variasjon, gir en reduksjon i antall falske positiver for endringer av staten identifikasjon, og øker følsomheten i kategorisering aktivitet. Minimere falske positiver er viktig siden den WMMS utløser kort videoopptak når aktivitetsendringer tilstand blir oppdaget, for kontekstavhengig aktivitet evaluering som ytterligere forbedrer WMMS klassifisering. Unødvendig videoopptak skaper ineffektivitet Lagring og batteribruk. Den WMMS algoritmen er strukturert som en lav-beregningsmodell læring og evaluert ved å bruke forskjellige prediksjon nivåer, hvor en økning i forutsigelse nivå betegner en økning i mengdenav gjenkjennelige handlinger.

Protocol

Denne protokollen ble godkjent av Ottawa Health Science Network forskningsetikk Board.

1. Forberedelse

1. Gi deltakerne en oversikt over forskning, svare på spørsmål, og få informert samtykke. Rekord deltaker egenskaper (f.eks, alder, kjønn, høyde, vekt, midje omkrets, leg høyde fra fremre overlegen iliaca ryggraden til den mediale malleol), identifikasjonskode og dato på en datablad. Sørg for at den andre smarttelefonen som brukes til å fange video er satt til minst et 30 bilder per sekund fangingsgrad.
2. Trygt feste en telefon hylster til deltakeren til høyre foran belte eller bukse midje. Start smarttelefon program som skal brukes til å samle inn sensordata (dvs. data logging eller WMMS applikasjons) på mobilitet måling smarttelefonen og sikre at programmet kjører på riktig måte. Plasser smarttelefonen i hylsteret, med baksiden av enheten (bak camera) vendt utover.
3. Begynn digital video-opptak på en annen smarttelefon. For anonymitet, ta sammenligningen video uten å vise personens ansikt, men sørge for å registrere alle aktivitets overganger. Telefonen kan være håndholdt.

2. Aktivitet Circuit

1. Følg deltakeren og video sine handlinger, på den andre smarttelefonen, mens de utfører disse handlingene, som snakkes av utprøver:
   1. Fra en stående posisjon, rist smarttelefonen for å indikere starten på rettssaken.
   2. Fortsette å stå i minst 10 sek. Dette står fase kan brukes for telefon orientering kalibrering ^14.
   3. Gå til en nærliggende stol og sitte ned.
   4. Stå opp og gå 60 meter til en heis.
   5. Stå og vente på heisen og deretter gå inn i heisen.
   6. Ta heisen til andre etasje.
   7. Snu og gå inn i hjemmemiljøet.
   8. Gå inn på badet og siMulate pusse tennene.
   9. Simulere gre håret.
   10. Simulere vaske hendene.
   11. Tørre hender ved hjelp av et håndkle.
   12. Gå til kjøkkenet.
   13. Ta retter fra et rack og plassere dem på disken.
   14. Fyll en kjele med vann fra kjøkkenbenken.
   15. Sett kjelen på komfyren element.
   16. Plasser brød i en brødrister.
   17. Gå til spisestuen.
   18. Sitte på et spisebord.
   19. Simulere spise et måltid på bordet.
   20. Stå og gå tilbake til kjøkkenbenken.
   21. Skyll av rettene og plassere dem i et stativ.
   22. Gange fra kjøkkenet tilbake til heisen.
   23. Stå og vente på heisen og deretter gå inn i heisen.
   24. Ta heisen til første etasje.
   25. Gå 50 meter til et trappehus.
   26. Åpne døren og gå inn i trappeoppgangen.
   27. Gå opp trappen (13 trinn, rundt landing, 13 trinn).
   28. Åpne trappe døren inn i gangen.
   29. Ta til høyre og gå ned i hallen for 15 meter.
   30. Snu og gå 15 meter tilbake til trapperommet.
   31. Åpne døren og gå inn i trappeoppgangen.
   32. Gå ned trapper (13 trinn, rundt landing, 13 trinn).
   33. Avslutt trapperommet og gå inn i et rom.
   34. Ligge på en seng.
   35. Kom deg opp og gå 10 meter til en rampe.
   36. Gå opp rampen, snu, deretter ned rampen (20 meter).
   37. Fortsett å gå inn i hallen og åpne døren til utenfor.
   38. Gå 100 meter på asfaltert vei.
   39. Snu og gå tilbake til rommet.
   40. Går inn i rommet og stå på startpunktet.
   41. Fortsett stående, og rist smarttelefonen for å angi slutten av rettssaken.

3. Trial Completion

1. Stopp videoopptak smarttelefonen og be deltakeren å fjerne og returnere smarttelefonen og hylster. Stopp datalogging eller WMMS program på smartphone. Kopier de oppkjøpte bevegelsesdatafiler og videofilen fra begge telefonene til en datamaskin for etterbehandling.

4. Post-prosessering

1. Synkron timing mellom video- og den rå sensordata ved å bestemme det tidspunkt da riste handlingen startet. Dette risting bevegelse tilsvarer en distinkt akselerometer signal og videobilde. Kontroller for synkroniseringsfeil ved å trekke utgangen riste tiden fra starten shake tid, for sensor- og videodatakilder. Tidsforskjeller bør være lik mellom de to datasettene.
2. Bestem faktiske endring-av-statlige ganger fra gull-standard video ved å registrere tidsforskjellen fra start shake tid til videobildet ved overgangen mellom aktivitetene. Bruke programvare for videoredigering å få timingen til innenfor 0,033 sek (dvs. 30 bilder per sekund video sats). Bruk WMMS programvare til å generere sammenlignbare endringer av staten fra sensordataene.
3. Generere to datasett, ettmed ekte aktiviteter og den andre med forutsagte aktivitet, ved merking aktiviteten for hver videoramme (basert på endring av tilstanden timing), og deretter beregning av den forutsagte aktivitet ved hver videoramme gang fra WMMS utgang. For WMMS ytelse evaluering, beregne sanne positive, falske negativer, sanne negativer, falske positiver mellom gull-standard aktivitet og WMMS spådd aktivitet. Bruk disse parametrene for å beregne sensitivitet, spesifisitet, og F-rilleutbytte tiltak.
   Merk: En toleranse innstilling av 3 data vinduer på hver side av vinduet som analyseres kan brukes for å bestemme endring-av-state utfall, og 2 data vinduer for utfall i fulltekst. For eksempel, siden 1 andre data vinduene ble brukt til WMMS i denne studien, 3 sek før og etter gjeldende vindu ble undersøkt, slik at påfølgende endringer innenfor toleransen blir ignorert. Vederlaget ble at endringer av staten som skjer i mindre enn tre sekunder kan ignoreres for brutto Human bevegelsesanalyse siden disse statene ville bli betraktet som forbigående.

Representative Results

Studieprotokollen ble gjennomført med en praktisk prøve av femten fullbefarne deltakere som gjennomsnittsvekt var 68,9 (± 11.1) kg, høyde var 173,9 (± 11,4) cm, og alder var 26 (± 9) år, rekruttert fra The Ottawa Hospital og University of Ottawa ansatte og studenter. En smarttelefon fanget sensordata på en variabel 40-50 Hz rate. Samplingsfrekvens variasjoner er typisk for smartphone sensor prøvetaking. En annen smarttelefon ble brukt til å spille inn digital video på 1280x720 (720p) oppløsning.

Hylsteret var festet til deltakeren rett foran belte eller bukse uten ytterligere standardisering av plasseringen. Dette viste en naturlig metode for å plassere enheten i hostler på hoften. Med anordningen plassert i hylsteret og dataloggerapplikasjonen i gang, hver person gjennomløpt kretsen en gang, på en selvvalgt tempo. Kretsen ble ikke beskrevet på forhånd til deltakeren og rettssaken aktiviteter varsnakkes av utprøver sekvensielt under rettssaken.

Den WMMS besto av en beslutnings tre med øvre og nedre grensebetingelser, tilsvarende arbeid ved å Wu et al. ^13. Den reviderte klassifikator brukte en 1 sek vindu størrelse og funksjoner fra den lineære akselerasjonssignalet (summen av rekkevidde, enkel glidende gjennomsnitt, summen av standardavvik) og gravitasjon signal (forskjell for Y, varians sum gjennomsnittlig forskjell) ^15. Tre sett klassifiserings ble beregnet for evaluering: (i) mobilitet eller immobilitet, (ii) sitte, stå, ligge, eller gå, og (iii) sitte, stå, ligge, gå, gå i trapper, eller liten stående bevegelse. Dagliglivets aktiviteter ble stemplet som små bevegelser. Representative resultater er vist i tabell 1.

Klassifikasjon					TP		FN		TN		FP		Følsomhet (%)			Spesifisitet (%)			F1-Score (%)
Klassifisering Set 1					350		55		8701		91		86,30 ± 7,2			98,96 ± 0,6			86,17 ± 6,3
Klassifisering Set 2					359		47		8660		131		88,35 ± 7,80			98,51 ± 0,62			80,19 ± 6,36
Klassifisering Set 3					423		75		8540		159		98,17 ± 0,62			78,42 ± 5,96
Klassifisering Set 1
Immobile til Mobile					177		19
Mobile til Immobile					171		36
Under Mobile									3990		73
Under Immobile									4711		18
Klassifisering Set 2
Stand til Walk					134		17
Gange til Stand					137		26
Gå til Sit					29		0
Sitt i Walk					30		0
Gå til Lie					11		4
Lyve til Walk					15		0
Under Stand							2 872		73
Under Sit									644		9
Under Lie									447		9
Under Walk									4697		40
Klassifisering Set 3
Stand til Walk					70		7
Gange til Stand					74		14
Gå til Sit					29		0
Sitt i Walk					30		0
Gå til Lie					15		0
Lyve til Walk					15		0
Gange til Small Move					68		7
Liten Flytt til Walk					61		1. 3
1. 3		2
Trapper til Walk					1. 3		2
Liten Flytt til liten Move					35		30
Under Stand									1 584		25
Under Sit							643		10
Under Lie									447		15
Under Walk									4398		56
Under Stairs									246		0
Under børste tennene									190		12 </ td>
Under gre håret									158		2
Under Vask hendene									152		6
Under tørre hender									119		4
Under Flytt Retter									93		5
Under Fill Kettle									190		5
Under Toast Brød									70		1
Under vaske									250		18

Tabell 1. Resultater for endring-av-statlige besluttsomhet; inkludert, sanne positive (TP), falske negative (FN), sanne negativer (TN) falske positiver (FP), total endring av staten, sensitivitet, spesifisitet, ennd F1-Score. Under viser til TN og FP for endringer av staten under den angitte handlingen.

Fra tabell 1 er den mobile versus ubevegelig sett klassifisering hadde en sensitivitet på 86,30% ± 7,2% og spesifisiteten av 98,96% ± 0,6%, mens den andre prediksjon apparatet hadde en sensitivitet på 88,35% ± 7,80% og spesifisiteten av 98,51% ± 0,62% . For det tredje settet klassifisering, sensitivitet var 84,92% ± 6,38% og spesifisitet var 98,17 ± 0,62. F1 score for første, andre og tredje sett klassifiserings var 86,17 ± 6,3, 80,19 ± 6,36 og 78,42 ± 5,96, henholdsvis.

Figur 1. Endringer av staten sensitivitet, spesifisitet, og F1-Score for tre sett i fulltekst.

Discussion

Menneskelig aktivitet anerkjennelse med en bærbar mobilitet overvåkingssystem har fått mer oppmerksomhet de siste årene på grunn av de tekniske fremskritt innen bærbar databehandling og smartphones og systema behov for kvantitative resultatmål som bidrar med klinisk beslutningstaking og helse intervensjon evaluering. Metodikken er beskrevet i denne artikkelen var effektivt for å evaluere WMMS utvikling siden aktivitetsklassifiserings ble funnet feil som ikke ville ha vært til stede hvis et bredt spekter av dagliglivets aktiviteter og gang scenarier ikke hadde blitt tatt med i evalueringen.

Den WMMS evaluering protokollen består av to hoveddeler: datainnsamling under realistiske men kontrollerte forhold med en medfølgende gull standard datasett og data etter behandlingen. Digital video var en levedyktig løsning for å gi gullstandarden data ved testing WMMS algoritmen spådommer over protokoll aktiviteter. Kritiske trinn i protokollener (i) for å sikre at gullstandarden video fanger smart shake siden dette tillater synkronisering av gullstandarden video med data innhentet fra deltaker-slitt telefon og (ii) for å sikre at de gull standard video plater alle overgangene utført av rettssaken deltaker (dvs. personen opptak gull-standard video må være i riktig posisjon når følge rettssaken deltaker).

Evalueringen protokollen omfatter gang aktiviteter, en daglig bomiljø, og ulike terreng og overganger. Alle handlinger er gjort fortløpende mens en deltaker-slitt smarttelefon registrerer data kontinuerlig fra akselerometer, gyroskop, magnetometer, og GPS-sensorer, og en annen smarttelefon brukes til video alle aktiviteter som utføres av rettssaken deltaker. Protokollen kan endres ved å tilpasse rekkefølgen av aktiviteter basert på test plassering, så lenge en rekke kontinuerlige-utført dagliglivets aktiviteter are innarbeidet. Ti til femten minutter var nødvendig for å fullføre kretsen, avhengig av deltakeren. Under pilottester, kan noen deltakere med nedsatt funksjonsevne bare fullføre en syklus, derfor enkelt utprøving bør vurderes med noen bestander for å sikre en komplett datasett.

Begrensninger av den foreslåtte WMMS evalueringsmetode er at timingen oppløsningen er begrenset til videobildefrekvens på kameraet brukes til å registrere gullstandard komparator video og problemer med å identifisere tydelig endring av staten timing fra video for dagliglivets aktiviteter. Variasjon av flere rammer når identifisere en endring av staten fører til forskjeller mellom gull-standard og WMMS resultater som kan være grunn til tolkning av aktivitet starter fremfor WMMS feil. En toleranse ved hver endring av staten, der ingen sammenligninger er gjort, kan iverksettes for å hjelpe konto for disse avvikene.

Vanligvis, øke antallaktiviteter blir klassifisert og kategoriseringen vanskelighetsgrad (dvs., trapper, små bevegelser) redusert gjennomsnittlig sensitivitet, spesifisitet, og F1 poengsum. Dette kan forventes da å øke antall aktiviteter øker sannsynligheten for falske positive og falske negative. Evaluerings protokoller som bare bruker aktiviteter som er fordelaktig for algoritmen vil produsere resultater som er misvisende og er usannsynlig å produsere lignende resultater når evaluert under reelle forhold. Derfor betydning i forhold til eksisterende metoder er at protokollen vil resultere i mer konservative resultater for WMMS systemer enn tidligere rapporter i litteraturen. Imidlertid vil resultatene bedre reflektere resultater i praksis. Den foreslåtte metoden for WMMS evalueringer kan brukes til å vurdere en rekke bærbare teknologier som måler eller bistå menneskelig bevegelse.

Materials

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/