Article de méthode

Capturer l’utilisation représentative des mains à la maison à l’aide d’une vidéo égocentrique chez les personnes atteintes d’une déficience des membres supérieurs

DOI :

10.3791/61898

⸱

23 décembre 2020

 ,  ,  , 
1Institute of Biomedical Engineering, University of Toronto, 2Department of Occupational Science and Occupational Therapy, University of Toronto, 3KITE, Toronto Rehabilitation Institute, University Health Network, 4Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, 5Rehabilitation Sciences Institute, University of Toronto

Dans cet article

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Un protocole est proposé pour capturer la fonction naturelle de la main des personnes ayant une déficience de la main au cours de leurs routines quotidiennes à l’aide d’une caméra égocentrique. L’objectif du protocole est de s’assurer que les enregistrements sont représentatifs de l’utilisation typique de la main par une personne pendant les activités de la vie quotidienne à la maison.

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Une altération de la fonction de la main après des lésions neurologiques peut avoir un impact majeur sur l’indépendance et la qualité de vie. La plupart des évaluations existantes des membres supérieurs sont effectuées en personne, ce qui n’indique pas toujours l’utilisation de la main dans la communauté. De nouvelles approches pour capturer la fonction de la main dans la vie quotidienne sont nécessaires pour mesurer le véritable impact des interventions de réadaptation. La vidéo égocentrique combinée à la vision par ordinateur pour l’analyse automatisée a été proposée pour évaluer l’utilisation de la main à la maison. Cependant, il y a des limites à la durée des enregistrements continus. Nous présentons un protocole conçu pour s’assurer que les vidéos obtenues sont représentatives des routines quotidiennes tout en respectant la vie privée des participants.

Un calendrier d’enregistrement représentatif est sélectionné à l’aide d’un processus de collaboration entre les chercheurs et les participants, afin de s’assurer que les vidéos capturent les tâches et les performances naturelles, tout en étant utiles pour l’évaluation des mains. L’utilisation de l’équipement et des procédures est démontrée aux participants. Au total, 3 heures d’enregistrements vidéo sont prévues sur deux semaines. Pour réduire les préoccupations en matière de protection de la vie privée, les participants ont le contrôle total pour démarrer et arrêter les enregistrements, et la possibilité de modifier les vidéos avant de les retourner à l’équipe de recherche. Des rappels sont fournis, ainsi que des appels d’aide et des visites à domicile si nécessaire.

Le protocole a été testé auprès de 9 survivants d’un AVC et de 14 personnes souffrant d’une lésion de la moelle épinière cervicale. Les vidéos obtenues contenaient une variété d’activités, telles que la préparation des repas, le lavage de la vaisselle et le tricot. Une moyenne de 3,11 ± 0,98 h de vidéo ont été obtenus. Les périodes d’enregistrement variaient de 12 à 69 j, en raison d’une maladie ou d’événements inattendus dans certains cas. Les données ont été obtenues avec succès auprès de vingt-deux des 23 participants, 6 participants ayant besoin de l’aide des enquêteurs pendant la période d’enregistrement à domicile. Le protocole était efficace pour recueillir des vidéos contenant des informations précieuses sur le fonctionnement de la main à la maison après des blessures neurologiques.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La fonction de la main est un déterminant de l’indépendance et de la qualité de vie dans les populations cliniques présentant des déficiences des membres supérieurs1,2. La capture de la fonction de la main des personnes ayant une déficience de la main à la maison est essentielle pour évaluer les progrès de leur capacité à effectuer des activités de la vie quotidienne (ADL) pendant et après la réadaptation. La plupart des évaluations cliniques de la fonction de la main sont effectuées dans un environnement clinique ou de laboratoire, plutôt qu’à la maison3,4. Les évaluations cliniques existantes de la fonction de la main qui cherchent à saisir l’impact sur les ALD à domicile sont des questionnaires et reposent sur des évaluations subjectives autodéclarées5,6,7. Une évaluation objective visant à évaluer l’impact ultime de la réadaptation sur la fonction de la main à domicile n’est toujours pas disponible.

Au cours des dernières années, de nombreuses technologies portables ont été développées et mises en œuvre pour capturer la fonction des membres supérieurs dans des environnements réels. Les capteurs portables tels que les accéléromètres et les unités de mesure inertielle (IMU) ont été couramment utilisés pour mesurer les mouvements des membres supérieurs dans la vie quotidienne. Cependant, ces dispositifs ne distinguent généralement pas si les époques détectées appartiennent à des mouvements fonctionnels des membres supérieurs8,9, définis comme des mouvements intentionnels destinés à accomplir une tâche souhaitée. Par exemple, certains capteurs portables sont sensibles à la présence de balancements des membres supérieurs pendant la marche, ce qui n’est pas un mouvement fonctionnel du membre supérieur. De plus, bien que les accéléromètres portés au poignet capturent les mouvements des membres supérieurs, ils ne peuvent pas capturer les détails du fonctionnement de la main dans des environnements réels. Les gants sensorisés permettent de capturer des informations plus détaillées sur les manipulations de la main10, mais ils peuvent être encombrants pour les personnes dont la fonction et la sensation de la main sont déjà altérées. Des approches portables ont également été proposées pour capturer les mouvements des doigts par magnétométrie ou accéléromètres portés par les doigts11,12,13, mais l’interprétation fonctionnelle de ces mouvements reste difficile14. Ainsi, bien que les dispositifs portables proposés précédemment soient petits et pratiques à utiliser, ils sont insuffisants pour décrire les détails et le contexte fonctionnel de l’utilisation des mains.

Des caméras portables ont été proposées pour combler ces lacunes et capturer les détails du fonctionnement de la main pendant les AVD à la maison pour les applications de neuroréadaptation15,16,17,18,19. L’analyse automatisée de vidéos égocentriques à l’aide de la vision par ordinateur a un potentiel considérable pour quantifier la fonction de la main en contexte, en fournissant des informations à la fois sur les mains elles-mêmes et sur les tâches effectuées dans les ADL réels20. D’autre part, la durée des enregistrements continus est généralement limitée à environ 1 à 1,5 h par des considérations de batterie, de stockage et de confort. Ici, dans le cadre de ces contraintes, nous présentons un protocole de collecte vidéo égocentrique destiné à obtenir des données à la fois représentatives de la vie quotidienne d’un individu et informatives pour l’évaluation du fonctionnement de la main.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Protocole

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L’étude a été approuvée par le Comité d’éthique de la recherche du Réseau universitaire de santé. Le consentement éclairé signé a été obtenu de chaque participant avant l’inscription à l’étude. Un consentement éclairé signé a également été obtenu de tous les soignants ou membres du ménage apparaissant dans des enregistrements vidéo.

1. Vérification de l’applicabilité du protocole à l’individu

NOTE : Ce protocole est destiné à être appliqué aux personnes ayant une fonction de la main altérée mais pas complètement absente (des critères spécifiques peuvent être adaptés à la population et/ou à la question d’intérêt).

  1. Demandez aux participants si leurs mains touchées ont un impact sur leur capacité à effectuer des ADL.
    REMARQUE: Il est recommandé de demander aux participants de donner quelques exemples de tâches qu’ils peuvent et ne peuvent pas effectuer indépendamment avec leurs mains affectées.
  2. Vérifiez que le score total à l’Évaluation cognitive de Montréal (MoCA) est supérieur à 21, afin d’éviter les difficultés potentielles à comprendre et à suivre les procédures du protocole.

2. Détermination de la routine quotidienne des participants

  1. Demandez aux participants de se rappeler leurs routines quotidiennes au cours des deux dernières semaines. Documentez quelles tâches quotidiennes sont effectuées, pendant combien de temps et à peu près à quelle heure.
  2. En collaboration avec les participants, sélectionnez 3 créneaux horaires de 1,5 h chacun pendant lesquels enregistrer des vidéos. Sélectionnez des créneaux horaires qui sont répartis sur différents jours de la semaine et qui ont lieu lorsque les ADL impliquant les mains sont généralement effectuées en séquence.
    REMARQUE : Les ADL sélectionnés doivent être représentatifs des activités typiques de chaque participant et être perçus par eux comme significatifs. La planification des périodes d’enregistrement à différents jours vise à accroître la variété des ADL enregistrés et à promouvoir la capture de données utiles et significatives.
    REMARQUE: Les créneaux horaires d’enregistrement sont programmés pour l’efficacité de l’enregistrement, mais les participants doivent comprendre qu’ils ont un contrôle total sur le moment de commencer et d’arrêter les enregistrements.

3. Entente sur les horaires d’enregistrement et le contenu vidéo cible avec les participants

  1. Obtenir l’accord de chaque participant sur les horaires d’enregistrement, après avoir discuté de toute préoccupation qu’ils pourraient avoir.
  2. Fixez-vous un objectif de 3 h de vidéos sur deux semaines. Informer les participants qu’un nombre insuffisant de vidéos peut entraîner une prolongation de leur période d’enregistrement.

4. Accent mis sur l’importance d’exécuter les ADL naturellement

  1. Demandez aux participants de se concentrer sur la capture de routines réalistes, au lieu de spécifier des activités particulières à enregistrer. L’intention de l’instruction est de décourager les participants d’enregistrer artificiellement des activités spécifiques en plus grande quantité que ce qui est typique pour eux.

5. Notification des problèmes potentiels de confidentialité lors des enregistrements à la maison

  1. Assurez-vous que les participants comprennent que tous les enregistrements doivent avoir lieu à l’intérieur de leur maison, et non dans des lieux publics, afin d’éviter les problèmes de protection de la vie privée.
  2. Donnez quelques exemples qui peuvent soulever des préoccupations en matière de protection de la vie privée, comme le bain, l’habillage et le déshabillage et la vérification des renseignements confidentiels. Rappelez aux participants d’être conscients des miroirs, qui peuvent montrer leur visage dans les enregistrements.
  3. Suggérez aux participants d’éviter autant que possible la présence d’autres personnes telles que des membres de la famille ou des soignants dans les vidéos.
    REMARQUE : Dans le contexte des études de recherche, dans les cas où la présence d’autres personnes est inévitable, le consentement éclairé devrait être obtenu de ces personnes.

6. Instructions sur l’appareil photo et la tablette

REMARQUE : Si les participants indiquent au cours du premier contact qu’ils ont besoin de l’aide d’un soignant pour bon nombre de leurs besoins quotidiens, ils sont encouragés à assister également à la visite d’étude et à être formés à l’utilisation de l’équipement, afin qu’ils puissent aider ultérieurement le participant.

  1. Montrer comment utiliser une caméra égocentrique (Table des matériaux) aux participants.
    1. Montrez comment allumer et éteindre l’appareil photo.
    2. Montrez comment contrôler les enregistrements (démarrage, pause, arrêt) à l’aide de la caméra.
  2. Montrez comment utiliser une tablette (Table des matériaux) avec l’application de caméra préinstallée pour contrôler les enregistrements, le cas échéant.
    REMARQUE: La démonstration comprend le contrôle des enregistrements à partir de l’application de l’appareil photo, ainsi que la relecture et l’édition (par exemple, couper ou supprimer) les vidéos enregistrées. Une télécommande de caméra a d’abord été envisagée(fichiers supplémentaires),mais dans la pratique, elle n’a pas été utilisée car les participants étaient à l’aise avec l’appareil photo ou la tablette pour démarrer et arrêter les enregistrements.
    1. Montrez comment allumer et éteindre la tablette.
    2. Montrez comment connecter la tablette à l’appareil photo via l’application appareil photo.
    3. Montrez comment contrôler les enregistrements à partir de l’application caméra.
    4. Montrez comment examiner les vidéos enregistrées à partir de l’application appareil photo.
    5. Montrez comment découper ou supprimer les vidéos de l’application appareil photo.
  3. Montrez comment enfiler et en enfiler la caméra à l’aide d’un bandeau élastique réglable sur la tête du participant.
    REMARQUE : Voir la figure 1.
    figure-protocol-1
    Graphique 1. Configuration de la caméra portable.  (A) Positionnement de la caméra égocentrique. (B) Angle de vision de la caméra. Veuillez cliquer ici pour voir une version agrandie de cette figure.
    1. Placez la caméra sur le front du participant. Ajustez le bandeau pour porter l’appareil photo confortablement et régulièrement.
    2. Assurez-vous d’un angle optimal de la caméra par rapport au front.
    3. Demandez aux participants d’enregistrer un court segment de vidéo tout en déplaçant les mains devant eux et en manipulant un objet (par exemple, la tablette).
    4. Examinez la vidéo enregistrée et assurez-vous que les deux mains étaient clairement visibles dans la région centrale de la scène lors des tâches de manipulation.
    5. Pratiquez l’utilisation de l’appareil photo et de la tablette avec les participants et leurs soignants, jusqu’à ce qu’ils démontrent leur compétence.

7. Donner l’équipement

  1. Donnez la trousse avec tout l’équipement aux participants pour enregistrer leurs ADL à la maison. En plus de l’appareil photo et de la tablette, le kit comprend des batteries d’appareil photo supplémentaires, des chargeurs de batterie pour l’appareil photo et la tablette, des câbles de charge, un bandeau pour l’appareil photo et un ensemble imprimé de directives pour l’utilisation de l’appareilphoto (voir le matériel supplémentaire ).

8. Dépannage expérimental et suivi

  1. Fournir les coordonnées des chercheurs pour aider à résoudre les obstacles lors des enregistrements réels à la maison. Après une semaine, les chercheurs appellent les participants pour documenter les progrès de l’enregistrement et résoudre tout problème technique potentiel.

9. Récupération de l’équipement et des vidéos

  1. Réappriez tout l’équipement et les vidéos des participants en personne ou par colis postaux prépayés.
  2. Assurez-vous que les participants acceptent de partager toutes les vidéos retournées. Les participants sont encouragés à examiner toutes les vidéos recueillies avant de les retourner à l’équipe de recherche et à supprimer toutes les parties qu’ils ne souhaitent pas partager.
  3. Pour les études de recherche, examinez les vidéos retournées et vérifiez si quelqu’un apparaît dans la vidéo sans avoir donné son consentement. Si c’est le cas, envoyez des formulaires de consentement ou appelez les personnes qui apparaissent dans les vidéos pour obtenir leur consentement à l’utilisation des vidéos. Si les individus ne sont pas joignables, les parties des vidéos dans lesquelles elles apparaissent sont supprimées par les chercheurs.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Résultats

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Données démographiques et critères d’inclusion des participants
Un échantillon de 23 participants a été recruté pour ces études : 9 survivants d’AVC (6 hommes, 3 femmes) et 14 personnes atteintes d’ICSc (12 hommes, 2 femmes). Les informations démographiques et cliniques sommaires pour l’échantillon recruté sont présentées dans le tableau 1.

<...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Nous avons présenté un protocole pour l’enregistrement de vidéos d’ADL à la maison à l’aide de caméras portables chez des personnes ayant des déficiences des membres supérieurs, telles que l’ICSc et un accident vasculaire cérébral. Le protocole est flexible et peut être orienté vers des objectifs pour capturer la performance de la fonction de la main dans des ADL spécifiques ou pour suivre les progrès de la réadaptation à distance chez les personnes vivant à la maison. Le paradigme de la vision égocentrique a un grand po...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Déclarations de divulgation

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs n’ont rien à divulguer.

Remerciements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les études utilisant ce protocole ont été financées par la Fondation des maladies du cœur et de l’AVC (G-18-0020952), la Fondation Craig H. Neilsen (542675), le Conseil de recherches en sciences naturelles et en génie du Canada (RGPIN-2014-05498) et le ministère de la Recherche, de l’Innovation et des Sciences de l’Ontario (ER16-12-013).

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
GoProInc., CA, États-UnisGoPro Hero 4 et 5Une caméra qui enregistre à la première personne.
Chargeur de batterie et batteriesGoPro Inc., CA, USAMAX Double chargeur de batterie + batterieBatteries supplémentaires pour l’appareil photo et chargeur de batterie
Chargeur d’appareil photoGoPro Inc., CA, USASuperchargeurCe chargeur est connecté directement à l’appareil photo sans démonter le cadre de l’appareil photo.
Cadre de caméraGoPro Inc., CA, USALe cadre Lacharnière du cadre de la caméra peut être utilisée pour régler l’angle de vue de la caméra.
Bandeau pour la caméraGoPro Inc., CA, USASerre-tête + carte SD QuickClip
SanDisk, CA, USATablette microSD
ASUSTeK Computer Inc., TaiwanZenPad 8.0 Z380MLa tablette est installée avec l’application GoPro afin de se connecter à la caméra.
32GB

Références

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors' quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
  2. Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
  3. Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
  4. Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
  5. Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
  6. Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
  7. Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
  8. Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
  9. van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
  10. Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2(2012).
  11. Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
  12. Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
  13. Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
  14. Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
  15. Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
  16. Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83(2019).
  17. Tsai, M. -F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
  18. Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
  19. Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
  20. Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
  21. Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Réimpressions et autorisations

Demander l’autorisation de réutiliser le texte ou les figures de cet article JoVE

Demander une autorisation

Mots-clés

valuation de la fonction manuelleanalyse par vision par ordinateurenregistrement des activit s quotidiennescontr le de la confidentialit des participantssurvivants d un accident vasculaire c r brall sion de la moelle pini resuivi des progr s de la r adaptationprotocole de cam ra portable

Articles connexes