Évaluation d'un système de reconnaissance de l'activité humaine basée à Smartphone dans un milieu de vie quotidien

Summary

Une méthode d’évaluation standardisée a été développée pour les systèmes de surveillance de la mobilité portable (WMMS) qui inclut des activités continues dans un environnement de vie quotidien réaliste. Le test avec une série d’activités de la vie quotidienne peut diminuer la sensibilité à la reconnaissance des activités ; par conséquent, des circuits d’essai réalistes sont encouragés pour une évaluation valide des performances WMMS.

Abstract

Une méthode d’évaluation qui inclut des activités continues dans un environnement de vie quotidienne a été développée pour les systèmes de surveillance de la mobilité portable (WMMS) qui tentent de reconnaître les activités de l’utilisateur. Les participants ont effectué un ensemble prédéterminé d’actions de la vie quotidienne dans un circuit d’essai continu qui comprenait des activités de mobilité (marcher, se tenir debout, s’asseoir, s’allonger, monter et descendre des escaliers), des tâches de la vie quotidienne (peigner les cheveux, se brosser les dents, préparer les aliments, manger, faire la vaisselle) et des changements subtils de l’environnement (ouvrir des portes, utiliser un ascenseur, marcher sur des pentes, traverser des paliers d’escaliers, marcher à l’extérieur).

Pour évaluer les performances WMMS sur ce circuit, quinze participants valides ont accompli les tâches en portant un smartphone sur leur bassin avant droit. L’application WMMS utilisait les signaux de l’accéléromètre et du gyroscope du smartphone pour classer les états d’activité. Un ensemble de données de comparaison de référence a été créé en enregistrant vidéo chaque essai et en enregistrant manuellement les heures de début d’activité. Les données de référence et WMMS ont été analysées hors ligne. Trois ensembles de classification ont été calculés pour chaque circuit : (i) mobilité ou immobilité, ii) s’asseoir, se tenir debout, s’allonger ou marcher, et (iii) s’asseoir, se tenir debout, mentir, marcher, monter des escaliers ou petit mouvement debout. Les sensibilités, les spécificités et les scores F pour la catégorisation des activités et les changements d’état ont été calculés.

L’ensemble de classification mobile par rapport à immobile avait une sensibilité de 86,30 % ± 7,2 % et une spécificité de 98,96 % ± 0,6 %, tandis que le deuxième ensemble de prédictions avait une sensibilité de 88,35 % ± 7,80 % et une spécificité de 98,51 % ± 0,62 %. Pour le troisième ensemble de classification, la sensibilité était de 84,92 % ± 6,38 % et la spécificité était de 98,17 ± 0,62. Les scores F1 pour les première, deuxième et troisième séries de classement étaient respectivement de 86,17 ± 6,3, 80,19 ± 6,36 et 78,42 ± 5,96. Cela démontre que les performances de WMMS dépendent du protocole d’évaluation en plus des algorithmes. Le protocole démontré peut être utilisé et adapté pour évaluer les systèmes de reconnaissance de l’activité humaine en médecine de réadaptation où la surveillance de la mobilité peut être bénéfique dans la prise de décision clinique.

Introduction

Détection Ubiquitous est devenue un domaine de recherche engageante raison de plus en plus puissant, petit, faible coût de l'informatique et de l'équipement de détection ^1. Suivi de la mobilité en utilisant les capteurs portables a suscité beaucoup d'intérêt depuis la microélectronique au niveau des consommateurs sont capables de détecter des caractéristiques de mouvement avec une grande précision ^1. La reconnaissance de l'activité humaine (HAR) en utilisant les capteurs portables est une zone récente de la recherche, des études préliminaires effectuées dans les années 1980 et 1990 ^{2 - 4.}

Smartphones modernes contiennent les capteurs nécessaires et de la capacité de calcul en temps réel pour la reconnaissance de l'activité de mobilité. Analyse en temps réel sur le dispositif permet la classification de l'activité et le téléchargement de données sans intervention de l'utilisateur ou enquêteur. Un smartphone avec le logiciel d'analyse de la mobilité pourrait fournir un suivi de remise en forme, la surveillance de la santé, détection de chute, la maison ou l'automatisation de travail, et exercis autogestionnaireles programmes de ^E5. Smartphones peuvent être considérés comme des plates-formes de mesure inertielle pour détecter les activités mobiles et les modèles mobiles chez les humains, en utilisant les caractéristiques de signaux mathématiques générées calculées avec des sorties de capteurs embarqués ^6. Méthodes de production de longs courants comprennent heuristique, dans le domaine temporel, domaine de fréquence, et les approches fondées sur l'analyse en ^{ondelettes-7.}

Systèmes de smartphones HAR modernes ont montré une précision élevées de prédiction lors de la détection des activités spécifiées ^1,5,6,7. Ces études varient dans la méthodologie d'évaluation ainsi que la précision puisque la plupart des études ont leur propre ensemble de la formation, la configuration de l'environnement, et le protocole de collecte des données. Sensibilité, la spécificité, la précision, le rappel, la précision, et F-score sont couramment utilisés pour décrire la qualité de prédiction. Cependant, peu ou pas d'informations sont disponibles sur les méthodes pour "activité simultanée" la reconnaissance et l'évaluation de la capacité de détecter les changements d'activité en temps réel^1, pour les systèmes HAR qui tentent de catégoriser plusieurs activités. Les méthodes d'évaluation pour la précision du système HAR varient considérablement entre les études. Indépendamment de l'algorithme de classification ou caractéristiques appliquées, des descriptions de méthodes d'évaluation standard d'or sont vagues pour la plupart des recherches HAR.

La reconnaissance de l'activité dans un environnement de la vie quotidienne n'a pas été largement étudié. La plupart des systèmes de reconnaissance activité basée smartphone sont évalués d'une manière contrôlée, conduisant à un protocole d'évaluation qui peuvent être avantageux de l'algorithme plutôt que réaliste à un environnement du monde réel. Au sein de leur système d'évaluation, les participants effectuent souvent que les actions destinées à la prévision, plutôt que l'application d'un large éventail d'activités réalistes pour le participant à effectuer consécutivement, imitant les événements de la vie réelle.

Certains smartphones HAR étudie ^8,9 groupe des activités similaires ensemble, tels que les escaliers et la marche, Mais excluent les autres activités de l'ensemble de données. Précision de la prédiction est alors déterminé par la façon dont l'algorithme a identifié les activités cibles. Dernbach et al. ⁹ avaient participants écrivent l'activité qu'ils étaient sur ​​le point d'exécuter avant de passer, interrompre transitions continues de changement d'état. HAR système évaluations devraient évaluer l'algorithme alors que le participant effectue des actions naturelles dans un cadre de vie quotidien. Cela permettrait une évaluation de la vie réelle qui reproduit l'utilisation quotidienne de l'application. Un circuit réaliste comprend de nombreux changements d'état ainsi que d'un mélange des actions non prévisibles par le système. Un enquêteur peut alors évaluer la réponse de l'algorithme à ces mouvements supplémentaires, évaluant ainsi la robustesse de l'algorithme à des mouvements anormaux.

Cet article présente un système de surveillance de la mobilité Wearable (WMMS) protocole d'évaluation qui utilise un cours contrôlé qui tient compte des environnements de la vie quotidienne de la vie réelle. WMMSévaluation peut alors être faite dans des conditions contrôlées, mais réalistes. Dans ce protocole, nous utilisons une troisième génération WMMS qui a été développé à l'Université d'Ottawa et Ottawa Hospital Research Institute ^11-15. Le WMMS a été conçu pour les smartphones avec un accéléromètre tri-axe et du gyroscope. Représente l'algorithme de la mobilité pour l'utilisateur de la variabilité, permet une réduction dans le nombre de faux positifs pour l'identification des changements d'état, et augmente la sensibilité de l'activité catégorisation. Minimiser les faux positifs est important car la WMMS déclenche court enregistrement de vidéo clip lorsque l'activité des changements d'état sont détectées, pour l'évaluation de l'activité contextuel qui améliore encore la classification WMMS. Enregistrement vidéo inutile crée des inefficacités dans le stockage et l'utilisation de la batterie. L'algorithme WMMS est structuré comme un modèle d'apprentissage à faible calcul et évaluée en utilisant différents niveaux de prédiction, où une augmentation du niveau de prédiction, signifie une augmentation de la quantitéactions de reconnaissable.

Protocol

Ce protocole a été approuvé par le Comité d'éthique de la recherche en santé d'Ottawa Science Network.

1. Préparation

1. Fournir aux participants un aperçu de la recherche, répondre à vos questions, et obtenir le consentement éclairé. Les caractéristiques des participants d'enregistrement (par exemple, âge, sexe, taille, poids, tour de taille, la hauteur des pieds de l'épine iliaque antéro-supérieure de la malléole interne), code d'identification, et la date sur une feuille de données. Assurez-vous que le second smartphone qui est utilisé pour capturer de la vidéo est fixé à au moins 30 images par seconde taux de capture.
2. Attacher solidement un étui de téléphone à la ceinture avant droite ou pantalon taille du participant. Démarrez l'application smartphone qui sera utilisé pour collecter les données de capteur (par exemple, l'exploitation forestière de données ou application WMMS) sur le smartphone de mesure de la mobilité et de veiller à ce que l'application fonctionne correctement. Placez le smartphone dans l'étui, avec le dos de l'appareil (à l'arrière camera) vers l'extérieur.
3. Début de l'enregistrement vidéo numérique sur un deuxième smartphone. Pour l'anonymat, enregistrer la vidéo de comparaison sans montrer le visage de la personne, mais veiller à enregistrer toutes les transitions d'activité. Le téléphone peut être portatif.

2. Activité Circuit

1. Suivez le participant et vidéo à leurs actions, sur le deuxième smartphone, pendant qu'ils effectuent les actions suivantes, prononcées par l'enquêteur:
   1. À partir d'une position debout, secouer le smartphone pour indiquer le début du procès.
   2. Continuer debout pendant au moins 10 secondes. Cette phase debout peut être utilisé pour l'orientation de téléphone étalonnage ^14.
   3. Marchez à une chaise à proximité et asseoir.
   4. Levez-vous et marchez 60 mètres à un ascenseur.
   5. Levez-vous et attendre l'ascenseur, puis marcher dans l'ascenseur.
   6. Prenez l'ascenseur jusqu'au deuxième étage.
   7. Tournez et marcher dans l'environnement de la maison.
   8. Promenez-vous dans la salle de bains et SiMulate se brosser les dents.
   9. Simuler peigner les cheveux.
   10. Simuler le lavage des mains.
   11. Séchez vos mains avec une serviette.
   12. Marche pour la cuisine.
   13. Prenez des plats à partir d'un rack et placez-les sur le comptoir.
   14. Remplir une bouilloire avec de l'eau de l'évier de la cuisine.
   15. Placer la bouilloire sur l'élément de fourneau.
   16. Placez le pain dans un grille-pain.
   17. Marche pour la salle à manger.
   18. Asseyez-vous à une table de salle à manger.
   19. Simuler un repas à la table.
   20. Se tenir debout et marcher de nouveau à l'évier de cuisine.
   21. Rincez les plats et les placer dans un rack.
   22. Marche de la cuisine vers l'ascenseur.
   23. Levez-vous et attendre l'ascenseur, puis marcher dans l'ascenseur.
   24. Prenez l'ascenseur jusqu'au premier étage.
   25. Marcher 50 mètres pour une cage d'escalier.
   26. Ouvrez la porte et entrez la cage d'escalier.
   27. Monter des escaliers (13 étapes, autour de l'atterrissage, 13 étapes).
   28. Ouvrez la porte de la cage d'escalier dans le couloir.
   29. Tournez à droite et marcher dans le couloir de 15 mètres.
   30. Tourner autour et marcher 15 mètres en arrière de la cage d'escalier.
   31. Ouvrez la porte et entrez la cage d'escalier.
   32. Descendez les escaliers (13 étapes, autour de l'atterrissage, 13 étapes).
   33. Sortez de la cage d'escalier et marcher dans une pièce.
   34. Allongez-vous sur un lit.
   35. Se lever et marcher 10 mètres pour une rampe.
   36. Marcher jusqu'à la rampe, tourner autour, puis vers le bas de la rampe (20 mètres).
   37. Continuez à marcher dans le couloir et ouvrez la porte vers l'extérieur.
   38. Marcher 100 mètres sur la voie pavée.
   39. Demi-tour et revenir à pied à la salle.
   40. Marchez dans la salle et se tenir au point de départ.
   41. Continuer debout, puis secouer le smartphone pour indiquer la fin du procès.

3. fin de l'essai

1. Arrêtez le smartphone d'enregistrement vidéo et de demander au participant de retirer et de retourner le smartphone et l'étui. Arrêter l'enregistrement de données ou application WMMS sur le SMArtphone. Copiez les fichiers de données de mouvement acquis et le fichier vidéo de deux téléphones à un ordinateur pour le post-traitement.

4. Post-traitement

1. Synchroniser la synchronisation entre la vidéo et les données de capteur brutes en déterminant le moment où l'action d'agitation a commencé. Ce mouvement d'agitation correspond à une trame de signal de l'accéléromètre et de la vidéo distincte. Vérifiez erreur de synchronisation en soustrayant le temps de bougé de l'extrémité de l'heure de début de bougé, pour les sources de données de capteurs et vidéo. Les différences de temps devrait être similaire entre les deux ensembles de données.
2. Déterminer les temps de la vidéo de l'étalon-or réelles de changement d'état par l'enregistrement de la différence de temps entre l'heure de début de l'agitation pour la trame vidéo à la transition entre les activités. Utilisez un logiciel de montage vidéo pour obtenir le calendrier à l'intérieur de 0,033 sec (soit 30 images par seconde vidéo). Utilisez un logiciel pour générer WMMS changements d'état comparables à partir des données de capteurs.
3. Générer deux ensembles de données, l'uneavec des activités vrai et le deuxième avec les activités prévues, par marquage de l'activité pour chaque trame vidéo (sur la base du changement d'état de synchronisation), puis en calculant l'activité prévue à chaque fois à partir de la sortie WMMS de trame vidéo. Pour l'évaluation de la performance WMMS, calculer vrais positifs, faux négatifs, vrais négatifs, faux positifs entre l'activité de l'étalon-or et WMMS prévu une activité. Utilisez ces paramètres pour calculer les résultats sensibilité, la spécificité, et F-scores mesures.
   Note: Un réglage de tolérance de 3 fenêtres de données de chaque côté de la fenêtre en cours d'analyse peut être utilisée pour la détermination des résultats de changement de l'état, et de 2 fenêtres de données pour les résultats de classification. Par exemple, depuis 1 seconde fenêtres de données ont été utilisés pour la WMMS dans cette étude, 3 secondes avant et après la fenêtre en cours ont été examinés afin que les changements consécutifs à l'intérieur de cette tolérance sont ignorés. La contrepartie a été que les changements d'état qui se produisent en moins de 3 secondes peut être ignorée de HUMA brutn analyse de mouvement puisque ces Etats serait considérée comme transitoire.

Results

Le protocole de l'étude a été menée auprès d'un échantillon de commodité de quinze participants valides dont le poids moyen était de 68,9 (± 11,1) kg, hauteur était de 173,9 (± 11,4) cm, et l'âge était de 26 (± 9) ans, recrutés dans L'Hôpital d'Ottawa et de l'Université d'Ottawa du personnel et des étudiants. Un smartphone capturé les données des capteurs à un taux de 40-50 Hz variable. Les variations de taux d'échantillonnage sont typiques pour l'échantillonnage du capteur de smartphone. Un deuxième téléphone intellige...

Discussion

La reconnaissance de l'activité humaine avec un système de surveillance de la mobilité portable a reçu plus d'attention au cours des dernières années en raison des progrès techniques dans l'informatique et les smartphones portable et systématique des besoins pour les mesures des résultats quantitatifs qui aident à la prise de décision clinique et l'évaluation des interventions en santé. La méthodologie décrite dans le présent document a été efficace pour évaluer le développement WMMS car les erreurs de c...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Smartphone ou appareil de mesure portable	Blackberry	Z10
Smartphone pour l’enregistrement vidéo	Blackberry	Z10 ou 9800
Étui de téléphone	N’importe quelle
application d’enregistrement de données pour le smartphone	BlackBerry World - TOHRC Enregistreur de données pour BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Mesure de la mobilité portable	Logiciel Blackberry 10 et Matlab personnalisé pour le suivi de la		http://www.irrd.ca/cag/smartphone/
Montage vidéo ou logiciel d’analyse	Outils d’analyse		http://www.irrd.ca/cag/mat/