Valutazione di un sistema di riconoscimento attività umana basata-Smartphone in un ambiente di vita quotidiana

Summary

È stato sviluppato un metodo di valutazione standardizzato per i sistemi di monitoraggio della mobilità indossabile (WMMS) che include attività continue in un ambiente di vita quotidiana realistico. I test con una serie di attività della vita quotidiana possono ridurre la sensibilità al riconoscimento dell'attività; pertanto, sono incoraggiati circuiti di test realistici per una valutazione valida delle prestazioni del WMMS.

Abstract

È stato sviluppato un metodo di valutazione che include attività continue in un ambiente di vita quotidiana per i sistemi di monitoraggio della mobilità indossabile (WMMS) che tentano di riconoscere le attività dell'utente. I partecipanti hanno eseguito una serie predeterminata di azioni della vita quotidiana all'interno di un circuito di test continuo che includeva attività di mobilità (camminare, stare in piedi, sedersi, sdraiarsi, salire/scendere le scale), attività della vita quotidiana (pettinarsi i capelli, lavarsi i denti, preparare il cibo, mangiare, lavare i piatti) e sottili cambiamenti ambientali (aprire le porte, usare un ascensore, camminare su pendii, attraversare pianerottoli delle scale, camminare all'aperto).

Per valutare le prestazioni del WMMS su questo circuito, quindici partecipanti normodotati hanno completato i compiti indossando uno smartphone sul bacino anteriore destro. L'applicazione WMMS utilizzava i segnali dell'accelerometro e del giroscopio dello smartphone per classificare gli stati di attività. È stato creato un set di dati di confronto gold standard registrando video ogni prova e registrando manualmente i tempi di insorgenza dell'attività. I dati gold standard e WMMS sono stati analizzati offline. Per ogni circuito sono stati calcolati tre set di classificazione: (i) mobilità o immobilità, ii) sedersi, stare in piedi, sdraiarsi o camminare e (iii) sedersi, stare in piedi, sdraiarsi, camminare, salire le scale o piccoli movimenti in piedi. Sono state calcolate le sensibilità, le specificità e gli F-Score per la categorizzazione dell'attività e i cambiamenti di stato.

Il set di classificazione mobile vs immobile aveva una sensibilità dell'86,30% ± 7,2% e una specificità del 98,96% ± 0,6%, mentre il secondo set di predizione aveva una sensibilità dell'88,35% ± 7,80% e una specificità del 98,51% ± 0,62%. Per il terzo set di classificazione, la sensibilità era dell'84,92% ± 6,38% e la specificità era del 98,17 ± 0,62. I punteggi F1 per il primo, il secondo e il terzo set di classificazione sono stati rispettivamente 86,17 ± 6,3, 80,19 ± 6,36 e 78,42 ± 5,96. Ciò dimostra che le prestazioni di WMMS dipendono dal protocollo di valutazione oltre che dagli algoritmi. Il protocollo dimostrato può essere utilizzato e adattato per valutare i sistemi di riconoscimento dell'attività umana in medicina riabilitativa, dove il monitoraggio della mobilità può essere utile nel processo decisionale clinico.

Introduction

Rilevamento onnipresente è diventata un'area di ricerca coinvolgente a causa di sempre più potenti, piccolo, di calcolo a basso costo e apparecchiature di rilevamento ^1. Mobilità monitoraggio tramite sensori indossabili ha generato un grande interesse da microelettronica a livello dei consumatori siano in grado di rilevare caratteristiche di movimento con elevata precisione ^1. Riconoscimento L'attività umana (HAR) utilizzando sensori indossabili è una recente settore della ricerca, con studi preliminari effettuati negli anni 1980 e 1990 ^2-4.

Moderni smartphone contengono i sensori necessari e la capacità di calcolo in tempo reale per il riconoscimento di attività di mobilità. Analisi in tempo reale sul dispositivo consente classificazione delle attività e caricamento dei dati, senza l'intervento dell'utente o investigatore. Uno smartphone con il software di analisi della mobilità potrebbe fornire fitness tracking, il monitoraggio sanitario, cadere rilevamento di casa e l'automazione di lavoro, e di auto-gestione exercisprogrammi di e ^5. Gli smartphone possono essere considerati piattaforme di misura inerziale per la rilevazione di attività mobili e modelli di mobili negli esseri umani, con caratteristiche di segnale matematici generati calcolati con uscite del sensore a bordo ^6. Metodi di generazione di funzionalità comuni includono euristica, nel dominio del tempo, nel dominio della frequenza, e wavelet approcci di analisi basati su ^7.

Sistemi smartphone HAR moderni hanno mostrato elevate precisioni di previsione quando rileva attività specificate ^1,5,6,7. Questi studi variano in metodologia di valutazione, così come la precisione da maggior parte degli studi hanno un proprio insieme di addestramento, l'installazione ambientale, e il protocollo di raccolta dei dati. La sensibilità, la specificità, la precisione, richiamo, precisione, e F-Score sono comunemente usati per descrivere la qualità previsione. Tuttavia, a poco a non sono disponibili informazioni sui metodi per il riconoscimento "attività simultanee" e valutazione della capacità di rilevare i cambiamenti di attività in tempo reale^1, per i sistemi HAR che tentano di classificare diverse attività. Metodi di valutazione per HAR precisione del sistema variano notevolmente tra gli studi. Indipendentemente dal algoritmo di classificazione o funzioni applicate, le descrizioni dei metodi di valutazione standard di oro sono vaghi per la maggior parte della ricerca HAR.

Il riconoscimento di attività in un ambiente di vita quotidiana non è stato ampiamente studiato. La maggior parte dei sistemi di riconoscimento di attività basati smartphone-sono valutate in modo controllato, portando ad un protocollo di valutazione che può essere vantaggioso per l'algoritmo piuttosto che realistico un ambiente reale. All'interno del loro schema di valutazione, i partecipanti spesso eseguono solo le azioni previste per la previsione, piuttosto che l'applicazione di una vasta gamma di attività realistici per il partecipante di eseguire consecutivamente, imitando eventi della vita reale.

Alcuni HAR smartphone studia ^8,9 gruppo attività simili insieme, come scale e passeggiate, Ma escludere altre attività dal set di dati. Accuratezza previsione è quindi determinato da quanto bene l'algoritmo ha individuato le attività target. Dernbach et al. ⁹ hanno avuto partecipanti scrivono l'attività che stavano per eseguire, prima di trasferirsi, di interrompere le transizioni continue di cambiamento di stato. Le valutazioni del sistema HAR dovrebbero valutare l'algoritmo mentre il partecipante compie azioni naturali in un ambiente vita quotidiana. Ciò consentirebbe una valutazione in vivo che riproduce l'uso quotidiano dell'applicazione. Un circuito realistico include molti cambiamenti di stato e un insieme di azioni non prevedibili dal sistema. Un investigatore può quindi valutare la risposta dell'algoritmo di questi movimenti supplementari, valutando in tal modo la robustezza dell'algoritmo di movimenti anomali.

Questo articolo presenta un protocollo di valutazione Wearable Mobility System Monitoring (WMMS) che utilizza un percorso controllato che riflette ambienti di vita quotidiana della vita reale. WMMSvalutazione può quindi essere effettuata in condizioni controllate, ma realistiche. In questo protocollo, si usa un WMMS terza generazione che è stato sviluppato presso l'Università di Ottawa e Ottawa Hospital Research Institute ^11-15. Il WMMS è stato progettato per gli smartphone con un accelerometro a tre assi e giroscopio. Conti L'algoritmo mobilità variabilità utente, fornisce una riduzione del numero di falsi positivi per l'identificazione cambiamenti di stato, e aumenta la sensibilità nell'attività categorizzazione. Minimizzare falsi positivi è importante in quanto la WMMS innesca breve registrazione video clip quando vengono rilevate modifiche di attività di stato, per la valutazione attività sensibile al contesto che migliora ulteriormente la classificazione WMMS. Registrazione video inutile crea inefficienze di immagazzinamento e l'uso della batteria. L'algoritmo WMMS è strutturata come un modello a basso computazionale apprendimento e valutata utilizzando diversi livelli di previsione, in cui un aumento del livello previsione indica un aumento nella quantitàazioni di riconoscibili.

Protocol

Questo protocollo è stato approvato dal Consiglio di Ricerca Etica Ottawa Health Science Network.

1. Preparazione

1. Fornire ai partecipanti un quadro della ricerca, rispondere alle domande, e ottenere il consenso informato. Caratteristiche dei partecipanti record (ad esempio, età, sesso, altezza, peso, circonferenza vita, altezza gamba dal spinale anteriore superiore iliaca al malleolo mediale), il codice di identificazione, e la data su una scheda tecnica. Verificare che il secondo smartphone che viene utilizzata per catturare video è impostato su almeno 30 fotogrammi al secondo tasso di acquisizione.
2. Trovare e collegare una fondina per telefono anteriore destra cintura o mutanda vita del partecipante. Avviare l'applicazione per smartphone che verrà utilizzato per raccogliere i dati del sensore (ad esempio, di registrazione dei dati o di applicazione WMMS) sullo smartphone di misura di mobilità e assicurare che l'applicazione è in esecuzione in modo appropriato. Posizionare lo smartphone nella custodia, con la parte posteriore del dispositivo (ca posterioreMera) rivolto verso l'esterno.
3. Avviare la registrazione video digitale su un secondo smartphone. Per l'anonimato, registrare il video confronto senza mostrare il volto della persona, ma assicurarsi di registrare tutte le transizioni di attività. Il telefono può essere tenuto in mano.

2. Circuito Attività

1. Seguire il partecipante e il video le loro azioni, il secondo smartphone, mentre compiono le seguenti azioni, pronunciate dal ricercatore:
   1. Da una posizione eretta, agitare lo smartphone per indicare l'inizio del processo.
   2. Continuare in piedi per almeno 10 secondi. Questa fase in piedi può essere utilizzato per la calibrazione orientamento telefono ^14.
   3. A piedi da una sedia e sedersi.
   4. Alzarsi e camminare 60 metri di un ascensore.
   5. Stand e aspettare l'ascensore e poi a piedi in ascensore.
   6. Prendete l'ascensore fino al secondo piano.
   7. Girare e camminare in ambiente domestico.
   8. Entrate in bagno e siMulate lavarsi i denti.
   9. Simulare pettinatura dei capelli.
   10. Simulare lavarsi le mani.
   11. Asciugare le mani con un asciugamano.
   12. A piedi in cucina.
   13. Prendete i piatti da un rack e metterli sul banco.
   14. Riempire una pentola con l'acqua del lavandino della cucina.
   15. Posizionare il bollitore sul fornello elemento.
   16. Mettere il pane in un tostapane.
   17. A piedi dalla sala da pranzo.
   18. Sedersi a un tavolo da pranzo.
   19. Simulare mangiare un pasto a tavola.
   20. Alzarsi e camminare di nuovo al lavello della cucina.
   21. Risciacquare i piatti e metterli in un rack.
   22. A piedi dalla cucina di nuovo verso l'ascensore.
   23. Stand e aspettare l'ascensore e poi a piedi in ascensore.
   24. Prendete l'ascensore fino al primo piano.
   25. A piedi a 50 metri di una tromba delle scale.
   26. Aprire la porta ed entrate nella tromba delle scale.
   27. Salire le scale (13 gradini, circa atterraggio, 13 scalini).
   28. Aprire la porta delle scale nel corridoio.
   29. Girare a destra e proseguire a piedi lungo il corridoio per 15 metri.
   30. Girarsi e camminare 15 metri di nuovo alla tromba delle scale.
   31. Aprire la porta ed entrate nella tromba delle scale.
   32. Proseguire a piedi lungo le scale (13 gradini, circa atterraggio, 13 scalini).
   33. Uscire dalla tromba delle scale e entrare in una stanza.
   34. Sdraiatevi su un letto.
   35. Alzati e cammina 10 metri ad una rampa.
   36. Salite la rampa, girare intorno, poi giù per la rampa (20 metri).
   37. Proseguire a piedi nel corridoio ed aprite la porta verso l'esterno.
   38. Camminare per 100 metri sul sentiero lastricato.
   39. Girare intorno e tornare indietro per la stanza.
   40. Camminare nella stanza e stare al punto di partenza.
   41. Continuare in piedi, e poi agitare lo smartphone per indicare la fine della prova.

3. Completamento Trial

1. Fermare lo smartphone di registrazione video e chiedere al partecipante di rimuovere e restituire lo smartphone e fondina. Arrestare la registrazione dei dati o l'applicazione WMMS sulla SMARTphone. Copiare i file di dati acquisiti movimento e il file video da entrambi i telefoni a un computer per la post-elaborazione.

4. post-elaborazione

1. Sincronizzazione temporale tra il video ei dati grezzi sensore determinando il momento in cui l'azione shake iniziato. Questo movimento agitando corrisponde ad un telaio segnale dell'accelerometro e il video distinti. Verificare la presenza di errore di sincronizzazione sottraendo il tempo scossa fine dal momento scossa di inizio, per le origini dati di sensori e video. Differenze di tempo dovrebbero essere simili tra i due insiemi di dati.
2. Determinare i tempi effettivi di cambiamento di stato dal video gold-standard registrando la differenza di tempo dal momento in scossa inizio per il fotogramma video nel passaggio tra le attività. Utilizzare software di editing video per ottenere i tempi entro 0,033 sec (ad esempio, 30 fotogrammi al secondo tasso di video). Utilizzare il software WMMS per generare cambiamenti-of-state analoghe, i dati del sensore.
3. Generare due insiemi di dati, unocon veri attività e la seconda con attività previste, etichettando l'attività per ogni fotogramma video (in base al cambiamento di temporizzazione di stato) e poi calcolando l'attività prevista in ogni fotogramma video dall'uscita WMMS. Per la valutazione delle prestazioni WMMS, calcolare veri positivi, falsi negativi, veri negativi, falsi positivi tra l'attività gold-standard e WMMS predetto attività. Utilizzare questi parametri per calcolare misure esiti sensibilità, specificità, e F-score.
   Nota: L'impostazione di tolleranza di 3 finestre di dati su entrambi i lati della finestra analizzato può essere utilizzato per determinare i risultati di cambiamento di stato, e 2 finestre di dati per i risultati di classificazione. Ad esempio, dal 1 finestre secondi dati sono stati utilizzati per la WMMS in questo studio, 3 sec prima e dopo la finestra corrente sono stati esaminati in modo che i cambiamenti consecutivi all'interno della stessa tolleranza vengono ignorati. Il corrispettivo è stato che i cambiamenti di stato che avvengono in meno di 3 secondi può essere ignorato per Huma lordoanalisi del movimento n in quanto questi Stati sarebbe considerato transitorio.

Results

Il protocollo dello studio è stato condotto con un campione di convenienza di quindici partecipanti normodotati il ​​cui peso medio era 68,9 (± 11,1) kg, altezza era 173,9 (± 11.4) cm, e l'età era di 26 (± 9) anni, reclutati da L'ospedale di Ottawa e Università di Ottawa e personale degli studenti. Uno smartphone catturato dati del sensore a una velocità di 40-50 Hz variabile. Variazioni dei tassi di campionamento sono tipiche per il campionamento del sensore smartphone. Un secondo smartphone è stato utilizzato per la r...

Discussion

Riconoscimento L'attività umana, con un sistema di monitoraggio della mobilità indossabile ha ricevuto più attenzione negli ultimi anni grazie ai progressi tecnici nel campo dell'informatica e smartphone indossabili e le esigenze sistematici per misure quantitative di esito che aiutano con processo decisionale clinico e valutazione intervento sanitario. La metodologia descritta nel presente documento è stato efficace per valutare lo sviluppo WMMS poiché si è constatato che non sarebbe stato presente se una vasta...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Smartphone o dispositivo di misurazione indossabile	Blackberry	Z10
Smartphone per la registrazione video	Blackberry	Z10 o 9800
Fondina per telefono	Qualsiasi
applicazione Data logger per smartphone	BlackBerry World - TOHRC Data Logger per BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Misurazione della mobilità indossabile	Software personalizzato Blackberry 10 e Matlab per il monitoraggio		http://www.irrd.ca/cag/smartphone/
Editing video o software di analisi	Motion Analysis Tools		http://www.irrd.ca/cag/mat/