Utvärdering av en Smartphone-baserade Human Activity Recognition System i en Daily Living miljö

Introduction

Ubiquitous analys har blivit ett engagerande forskningsområde på grund av allt kraftfullare, liten, låg kostnad computing och avkänning utrustning ^1. Övervakning rörlighet med hjälp av bärbara sensorer har genererat en hel del intresse, eftersom konsumentnivå mikroelektronik kan detektera rörelseegenskaper med hög noggrannhet ^1. Mänsklig verksamhet erkännande (HAR) med hjälp av bärbara sensorer är en ny forskningsområde, med förstudier utförts under 1980-talet och 1990-talet ^2-4.

Moderna smartphones innehåller nödvändiga sensorer och realtidsberäkningskapacitet till rörlighet aktivitet erkännande. Realtidsanalys på enheten medger näringsgrensindelningen och dataöverföring utan att användaren eller utredare ingripande. En smartphone med rörlighet analysprogram kunde ge fitness spårning, hälsoövervakning, falla upptäckt, hemma eller på jobbet automation, och självstyrande exercise program ^5. Smartphones kan anses tröghetsmätningsplattformar för att upptäcka mobilt arbete och mobila mönster hos människor, med hjälp av genererade matematiska signalfunktioner beräknade med ombord sensorutgångar ^6. Gemensamt har generation metoder inkluderar heuristisk, tidsdomänen, frekvensdomänen och wavelet analys baserade metoder ^7.

Moderna smartphone HAR system har visat hög förutsägelse noggrannhet vid detektering av viss verksamhet ^1,5,6,7. Dessa studier varierar i utvärderingsmetodik samt noggrannhet eftersom de flesta studier har sin egen utbildning set, miljö installation och datainsamlingsprotokoll. Känslighet, specificitet, noggrannhet, återkallelse, precision och F-Score används ofta för att beskriva förutsägelse kvalitet. Men, lite eller ingen information finns om metoder för "samtidig aktivitet" erkännande och utvärdering av förmågan att upptäcka aktivitetsändringar i realtid^1, för HAR system som försöker kategorisera flera aktiviteter. Bedömningsmetoder för HAR noggrannhet varierar kraftigt mellan studier. Oberoende av klassificeringen algoritm eller tillämpade funktioner, beskrivningar av guldmyntfoten utvärderingsmetoder är vaga för de flesta HAR forskning.

Aktivitet erkännande i en daglig livsmiljö har inte undersökts genomgripande. De flesta smartphone-baserade system aktivitetsigenkännings utvärderas på ett kontrollerat sätt, vilket leder till en utvärderingsprotokoll som kan vara fördelaktigt att algoritmen i stället realistiskt att en verklighetstrogen miljö. Inom utvärderingen systemet, deltagarna utför ofta bara de åtgärder som är avsedda för prediktion, snarare än att tillämpa ett stort utbud av realistiska aktiviteter för deltagaren att utföra följd, härma verkliga händelser.

Vissa smartphone HAR studier ^8,9 gruppera liknande aktiviteter tillsammans, såsom trappor och promenader, Men utesluta andra aktiviteter från datamängden. Förutsägelse noggrannhet därefter bestäms av hur väl algoritmen identifierade målgrupp aktiviteter. Dernbach et al. ⁹ hade deltagarna skriva verksamhet som de var på väg att köra innan du flyttar, avbryter kontinuerliga change of state övergångar. HAR systemet utvärderingar bör bedöma algoritmen medan deltagaren utför naturliga åtgärder i det dagliga livet inställning. Detta skulle möjliggöra en verklig utvärdering som replikerar daglig användning av programmet. En realistisk krets innehåller många förändringar-of-state samt en blandning av åtgärder som inte förutsägbara av systemet. En utredare kan sedan bedöma algoritmen svar på dessa ytterligare rörelser och därmed utvärdera algoritm robusthet till onormala rörelser.

Denna uppsats presenterar en Wearable Mobility Monitoring System (WMMS) utvärderingsprotokoll som använder en kontrollerad kurs som speglar verkliga dagliga livsmiljöer. WMMSUtvärderingen kan sedan göras under kontrollerade men realistiska förhållanden. I detta protokoll använder vi en tredje generationens WMMS som utvecklades vid universitetet i Ottawa och Ottawa Hospital Research Institute ^11-15. Den WMMS designades för smartphones med en tri-axlig accelerometer och gyroskop. Rörligheten algoritm står för användar variabilitet, åstadkommer en minskning av antalet falska positiva för förändringar-of-state identifiering, och ökar känsligheten i aktivitet kategorisering. Minimering falska positiva är viktigt eftersom WMMS utlöser kort videoklipp inspelning när aktivitetsändringar stats upptäcks, för sammanhangsberoende aktivitet utvärdering som ytterligare förbättrar WMMS klassificering. Onödig videoinspelning skapar ineffektivitet i lagring och användning av batteriet. Den WMMS algoritmen är strukturerad som en låg beräkningsinlärningsmodell och utvärderas med hjälp av olika prognosnivåer, där en ökning av förutsägelsenivån innebär en ökning i mängdenav igenkännbara åtgärder.

Protocol

Detta protokoll godkändes av Ottawa Health Science Network forskningsetik Board.

1. Förberedelse

1. Ge deltagarna en översikt av forskningen, svara på frågor och få informerat samtycke. Spela deltagare egenskaper (t.ex. ålder, kön, längd, vikt, midja omkrets, ben höjd från den främre överlägsen iliaca ryggraden till den mediala fotknölen), identifieringskod, och datum på ett datablad. Se till att den andra smartphone som används för att fånga video är inställd på åtminstone en 30 bildrutor per sekund avskiljningsgrad.
2. Säkert bifoga en telefon hölster till deltagarens främre högra bälte eller byxa midjan. Starta smartphone program som ska användas för att samla in sensordata (dvs, dataloggning eller WMMS ansökan) på rörligheten mätningen smartphone och se till att programmet körs på rätt sätt. Placera smartphone i hölstret, med baksidan av enheten (bakre caMera) vänd utåt.
3. Börja digital videoinspelning på en andra smartphone. För anonymitet, spela jämförelse video utan att visa personens ansikte, men se till att registrera alla aktivitet övergångar. Telefonen kan vara handhållen.

2. Verksamhet Circuit

1. Följ deltagaren och video sina insatser på andra smartphone, medan de utför följande åtgärder, som talas av prövaren:
   1. Från en stående position, skaka smartphone för att indikera början av rättegången.
   2. Fortsätt stå i minst 10 sekunder. Detta stående fas kan användas för telefon orientering kalibrering ^14.
   3. Gå till en närliggande stol och sitta ner.
   4. Stå upp och gå 60 meter till en hiss.
   5. Stå och vänta på hissen och sedan gå in i hissen.
   6. Ta hissen upp till andra våningen.
   7. Vänd och gå in i hemmiljön.
   8. Gå in i badrummet och siMulate tandborstning.
   9. Simulera kamma håret.
   10. Simulera handtvätt.
   11. Torra händer med hjälp av en handduk.
   12. Gå till köket.
   13. Ta rätter från ett rack och placera dem på disken.
   14. Fyll en vattenkokare med vatten från diskbänken.
   15. Placera vattenkokaren på spisen elementet.
   16. Placera bröd i en brödrost.
   17. Promenera till matsalen.
   18. Sitta vid ett matsalsbord.
   19. Simulera äter en måltid vid bordet.
   20. Stå och gå tillbaka till diskbänken.
   21. Skölj av disken och placera dem i ett rack.
   22. Promenad från köket tillbaka till hissen.
   23. Stå och vänta på hissen och sedan gå in i hissen.
   24. Ta hissen till första våningen.
   25. Promenera 50 meter till ett trapphus.
   26. Öppna dörren och gå in i trapphuset.
   27. Gå uppför trapporna (13 steg, runt landning, 13 steg).
   28. Öppna trapphuset dörren till korridoren.
   29. Sväng höger och gå ner i korridoren för 15 meter.
   30. Vänd dig om och gå 15 meter tillbaka till trapphuset.
   31. Öppna dörren och gå in i trapphuset.
   32. Gå ner för trappor (13 steg, runt landning, 13 steg).
   33. Avsluta trapphuset och gå in i ett rum.
   34. Ligga på en säng.
   35. Få upp och gå 10 meter till en ramp.
   36. Gå upp rampen, vända, sedan nerför rampen (20 meter).
   37. Fortsätt gå in i salen och öppna dörren till utsidan.
   38. Promenera 100 meter på asfalterad väg.
   39. Vänd dig om och gå tillbaka till rummet.
   40. Gå in i rummet och stå vid startpunkten.
   41. Fortsätt stående, och sedan skaka smartphone för att indikera slutet av rättegången.

3. Trial Slutförande

1. Stoppa inspelningen smartphone video och be deltagaren att ta bort och återsmartphone och hölster. Stoppa dataloggning eller WMMS applikation på smartphone. Kopiera de förvärvade rörelse datafiler och videofilen från båda telefonerna till en dator för efterbehandling.

4. Efterbehandling

1. Synkronisera tiden mellan videon och den råa sensordata genom att bestämma den tidpunkt då skaka åtgärden började. Detta skakande rörelse motsvarar en distinkt accelerometer signal och videobild. Kontrollera för synkronisering fel genom att subtrahera slutet skaka tiden från starten skaka tiden för givar och videodatakällor. Tidsskillnader bör vara densamma mellan de två datauppsättningarna.
2. Bestäm faktiska change of state tider från guldstandard video genom att spela in tidsskillnaden från start skaka tid till videobilden vid övergången mellan verksamhet. Använd videoredigeringsprogram för att få timing till inom 0,033 sekunder (dvs 30 bildrutor per sekund video hastighet). Använd WMMS programvara för att generera jämförbara förändringar-of-state från sensordata.
3. Generera två datauppsättningar, enmed verkliga aktiviteter och andra med förväntade verksamhet, genom märkning av aktivitet för varje videobild (baserat på förändringen av statens timing) och därefter beräkna den förväntade aktiviteten vid varje video ramtiden från WMMS utgång. För WMMS utvärdering av prestanda, beräkna sant positiva, falska negativa, sanna negativa, falska positiva mellan guldstandardaktivitet och WMMS förutspådde aktivitet. Använd dessa parametrar för att beräkna känslighet, specificitet, och F-score utfall åtgärder.
   Obs: En tolerans inställningen 3 data fönster på vardera sidan av fönstret som analyseras kan användas för att bestämma change of state utfall, och 2 data fönster för klassificeringsresultat. Till exempel, eftersom 1 andra datafönster användes för WMMS i denna studie, 3 sek före och efter det aktuella fönstret undersöktes så att på varandra följande förändringar inom denna tolerans ignoreras. Köpeskillingen var att tillståndsförändringar som sker på mindre än 3 sekunder kan ignoreras för grov humaanalys n rörelse eftersom dessa stater skulle anses övergående.

Representative Results

Studieprotokollet genomfördes med ett bekvämlighetsurval av femton arbetsföra deltagare vars genomsnittliga vikten var 68,9 (± 11,1) kg, höjd var 173,9 (± 11,4) cm, och ålder var 26 (± 9) år, rekryterades från Ottawa Hospital och University of Ottawa personal och studenter. En smartphone fångade sensordata med en variabel 40-50 Hz takt. Prov differenser är typiska för smartphone givare provtagning. En andra smartphone användes för att spela in digital video i 1280x720 (720p) upplösning.

Hölstret fästes till deltagarens högra front bälte eller byxa utan ytterligare standardisering av platsen. Detta visade en naturlig metod för att placera enheten i hostler på höften. Med enheten placeras i hölstret och datalogger program körs, varje person korsade kretsen en gång, vid en självvald takt. Kretsen beskrevs inte i förväg till de deltagande och fortsätta verksamhet vartalas av utredaren sekventiellt under rättegången.

Den WMMS bestod av ett beslutsträd med övre och nedre randvillkor, liknande arbete genom att Wu, et al. ^13. Den reviderade klassificerare använde en 1 sekund fönsterstorlek och funktioner från den linjära accelerationssignalen (summan av intervallet, enkla glidande medelvärde, summan av standardavvikelse) och allvar signalen (skillnaden till Y, varians summa genomsnittlig skillnad) ^15. Tre klassificerings set beräknades för utvärdering: (i) rörlighet eller orörlighet, (ii) sitta, stå, lögn, eller promenader, och (iii) sitta, stå, lögn, promenader, gå i trappor, eller liten stående rörelse. Dagliga aktiviteter märktes som små rörelser. Representativa resultat visas i tabell 1.

Klassificering					TP		FN		TN		FP		Känslighet (%)			Specificitet (%)			F1-Score (%)
Klassificering Set 1					350		55		8701		91		86,30 ± 7,2			98,96 ± 0,6			86,17 ± 6,3
Klassificering Set 2					359		47		8660		131		88,35 ± 7,80			98,51 ± 0,62			80,19 ± 6,36
Klassificering Set 3					423		75		8540		159		98,17 ± 0,62			78,42 ± 5,96
Klassificering Set 1
Orörlig till Mobile					177		19
Mobile Immobile					171		36
Under Mobile									3990		73
Under Orörlig									4711		18
Klassificering Set 2
Stand to Walk					134		17
Promenera till Stand					137		26
Promenera till Sitt					29		0
Sitt to Walk					30		0
Promenera till Lie					11		4
Lie to Walk					15		0
Under Stand							2872		73
Under Sit									644		9
Under Lie									447		9
Under Walk									4697		40
Klassificering Set 3
Stand to Walk					70		7
Promenera till Stand					74		14
Promenera till Sitt					29		0
Sitt to Walk					30		0
Promenera till Lie					15		0
Lie to Walk					15		0
Promenera till Small Move					68		7
Liten Move to Walk					61		13
13		2
Stairs to Walk					13		2
Liten Flytta till små Flytta					35		30
Under Stand									1584		25
Under Sit							643		10
Under Lie									447		15
Under Walk									4398		56
Under Trappa									246		0
Under borsta tänderna									190		12 </ td>
Under kamma håret									158		2
Under Tvätta händerna									152		6
Under torra händer									119		4
Under Move fat									93		5
Under fyllning Kokare									190		5
Under Toast Bread									70		1
Under diska									250		18

Tabell 1. Resultaten för change-of-state bestämning; inklusive sant positiva (TP), falskt negativa (FN), sant negativa (TN) falska positiva (FP), totalt förändringar-of-state, känslighet, specificitet, ennd F1-Score. Under hänvisar till TN och FP för förändringar-of-state under den angivna åtgärden.

Från tabell 1, den mobila kontra orörlig klassificering set hade en känslighet på 86,30% ± 7,2% och specificitet 98,96% ± 0,6%, medan den andra förutsägelsen uppsättningen hade en känslighet på 88,35% ± 7,80% och specificitet 98,51% ± 0,62% . För det tredje klassificering set, känslighet var 84,92% ± 6,38% och specificitet var 98,17 ± 0,62. F1 poäng för första, andra och tredje klassificerings uppsättningar var 86,17 ± 6,3, 80,19 ± 6,36 och 78,42 ± 5,96 respektive.

Figur 1. Ändringar-of-state känslighet, specificitet, och F1-Score för tre klassificerings set.

Discussion

Mänsklig aktivitet erkännande en bärbar system för rörlighet övervakning har fått mer uppmärksamhet under de senaste åren på grund av de tekniska framstegen inom bärbara datorer och smartphones och systematiska behov av kvantitativa resultatmått som hjälper till med kliniskt beslutsfattande och hälsa ingripande utvärdering. Den metod som beskrivs i detta dokument var effektivt för att utvärdera WMMS utveckling sedan aktivitets fel klassificeringskonstaterades att inte skulle ha funnits om ett brett utbud av aktiviteter i det dagliga livet och walking scenarier inte hade tagits med i utvärderingen.

Den WMMS utvärdering protokoll består av två huvuddelar: datainsamling under realistiska men kontrollerade förhållanden med en tillhörande guldstandarddata som och data efterbehandling. Digital video var en hållbar lösning för att tillhandahålla guldmyntfot uppgifter när man testar WMMS algoritm prognoser över protokoll aktiviteter. Kritiska steg i protokolletär (i) för att säkerställa att guldmyntfoten videon fångar smartphone skaka eftersom detta tillåter synkronisering av guldmyntfoten video med data som erhållits från deltagaren slitna telefon och (ii) för att säkerställa att de guld standard videoinspelningar alla övergångar utförs av försöksdeltagare (dvs. måste personen registrera guldstandardvideo vara i rätt position när man följer rättegången deltagare).

Utvärderingsprotokollet omfattar promenader verksamhet, en daglig livsmiljö, och olika terränger och övergångar. Alla åtgärder görs efter varandra medan en deltagare sliten smartphone spelar kontinuerligt data från accelerometer, gyroskop, magnetometer, och GPS-sensorer och en andra smartphone används till video alla aktiviteter som utförs av försöksdeltagare. Protokollet kan modifieras genom att anpassa ordningen för aktiviteter som bygger på test plats, så länge som en rad av kontinuerliga-utfört dagliga aktiviteter are beaktades. Tio till femton minuter erfordrades för att fullborda kretsen, beroende på deltagaren. Under pilottester, kan några deltagare med funktionshinder bara fylla en cykel, därför enda rättegång testning bör övervägas med vissa populationer för att säkerställa en komplett uppsättning data.

Begränsningar av den föreslagna WMMS utvärderingsmetod är att tids resolutionen begränsas till videobildfrekvens på kameran används för att registrera guldstandardjämför video och svårt att identifiera tydlig förändring-of-state timing från video för dagliga aktiviteter. Variation av flera ramar när identifiera en förändring-of-state leder till skillnader mellan guld standard och WMMS resultat som kan vara på grund av tolkningen av aktivitet startar snarare än WMMS fel. En tolerans vid varje förändring-of-state, där inga jämförelser görs, kan genomföras för att hjälpa redogöra för dessa skillnader.

I allmänhet ökar antaletverksamhet klassificeras och kategoriseringen svårigheter (dvs, trappor, små rörelser) minskade den genomsnittliga känslighet, specificitet, och F1 poäng. Detta kan förväntas eftersom en ökning av antalet aktiviteter ökar chansen för falska positiva och falska negativa. Utvärderings protokoll som bara använder aktiviteter som är fördelaktigt för algoritmen kommer att ge resultat som är vilseledande och sannolikt inte kommer att ge liknande resultat när utvärderades under verkliga förhållanden. Därför är betydelsen i förhållande till befintliga metoder att protokollet kommer att leda till mer konservativa resultat WMMS system än tidigare rapporter i litteraturen. Däremot kommer resultaten bättre återspegla resultat i praktiken. Den föreslagna metoden för WMMS utvärderingar kan användas för att bedöma en rad bärbara teknik som mäter eller hjälpa mänsklig rörelse.

Materials

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/