Articolo metodologico

Catturare l'uso rappresentativo della mano a casa usando video egocentrici in individui con compromissione degli arti superiori

DOI:

10.3791/61898

⸱

23 dicembre 2020

 ,  ,  , 
1Institute of Biomedical Engineering, University of Toronto, 2Department of Occupational Science and Occupational Therapy, University of Toronto, 3KITE, Toronto Rehabilitation Institute, University Health Network, 4Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, 5Rehabilitation Sciences Institute, University of Toronto

In questo articolo

Sommario

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Viene proposto un protocollo per catturare la funzione naturale della mano di individui con disabilità della mano durante le loro routine quotidiane utilizzando una fotocamera egocentrica. L'obiettivo del protocollo è garantire che le registrazioni siano rappresentative dell'uso tipico della mano di un individuo durante le attività della vita quotidiana a casa.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La compromissione della funzione della mano dopo lesioni neurologiche può avere un impatto importante sull'indipendenza e sulla qualità della vita. La maggior parte delle valutazioni degli arti superiori esistenti vengono effettuate di persona, il che non è sempre indicativo dell'uso della mano nella comunità. Sono necessari nuovi approcci per catturare la funzione della mano nella vita quotidiana per misurare il vero impatto degli interventi di riabilitazione. Il video egocentrico combinato con la visione artificiale per l'analisi automatizzata è stato proposto per valutare l'uso delle mani a casa. Tuttavia, ci sono limitazioni alla durata delle registrazioni continue. Presentiamo un protocollo progettato per garantire che i video ottenuti siano rappresentativi della routine quotidiana nel rispetto della privacy dei partecipanti.

Un programma di registrazione rappresentativo viene selezionato attraverso un processo collaborativo tra ricercatori e partecipanti, per garantire che i video catturino compiti e prestazioni naturali, pur essendo utili per la valutazione manuale. L'uso delle attrezzature e delle procedure è dimostrato ai partecipanti. Un totale di 3 ore di registrazioni video sono programmate nell'arco di due settimane. Per ridurre i problemi di privacy, i partecipanti hanno il pieno controllo per avviare e interrompere le registrazioni e l'opportunità di modificare i video prima di restituirli al team di ricerca. Vengono forniti promemoria, nonché chiamate di aiuto e visite a domicilio, se necessario.

Il protocollo è stato testato con 9 sopravvissuti all'ictus e 14 individui con lesioni del midollo spinale cervicale. I video ottenuti contenevano una varietà di attività, come la preparazione dei pasti, il lavaggio dei piatti e il lavoro a maglia. Sono stati ottenuti in media 3,11 ± 0,98 ore di video. I periodi di registrazione variavano da 12 a 69 d, a causa di malattie o eventi imprevisti in alcuni casi. I dati sono stati ottenuti con successo da ventidue partecipanti su 23, con 6 partecipanti che hanno richiesto assistenza agli investigatori durante il periodo di registrazione a casa. Il protocollo era efficace per la raccolta di video che contenevano preziose informazioni sulla funzione della mano a casa dopo lesioni neurologiche.

Introduzione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La funzione della mano è un fattore determinante dell'indipendenza e della qualità della vita tra le popolazioni cliniche con compromissione degli arti superiori1,2. Catturare la funzione della mano di individui con disabilità della mano a casa è vitale per valutare i progressi della loro capacità di svolgere attività di vita quotidiana (ADL) durante e dopo la riabilitazione. La maggior parte delle valutazioni cliniche della funzione della mano sono condotte in un ambiente clinico o di laboratorio, piuttosto che a casa3,4. Le valutazioni cliniche della funzione della mano esistenti che cercano di catturare l'impatto sulle ADL a casa sono questionari e si basano su valutazioni soggettive auto-riferiti5,6,7. Una valutazione obiettiva per valutare l'impatto finale della riabilitazione sulla funzione della mano a casa non è ancora disponibile.

Negli ultimi anni, molte tecnologie indossabili sono state sviluppate e implementate per catturare la funzione degli arti superiori in ambienti reali. Sensori indossabili come accelerometri e unità di misura inerziale (ICU) sono stati comunemente usati per misurare i movimenti degli arti superiori nella vita quotidiana. Tuttavia, questi dispositivi in genere non distinguono se le epoche rilevate appartengono ai movimenti funzionali degli arti superiori8,9, definiti come movimenti intenzionali destinati a completare un compito desiderato. Ad esempio, alcuni sensori indossabili sono sensibili alla presenza di oscillazioni degli arti superiori durante la deambulazione, che non è un movimento funzionale dell'arto superiore. Inoltre, sebbene gli accelerometri da polso catturino i movimenti degli arti superiori, non possono catturare i dettagli della funzione della mano in ambienti reali. I guanti sensorizzati consentono di acquisire informazioni più dettagliate sulle manipolazioni delle mani10, ma possono essere ingombranti per le persone la cui funzione e sensazione della mano sono già compromesse. Sono stati proposti anche approcci indossabili per catturare i movimenti delle dita attraverso la magnetometria o gli accelerometriindossatidalle dita11, 12,13,ma l'interpretazione funzionale di tali movimenti rimane impegnativa14. Pertanto, sebbene i dispositivi indossabili precedentemente proposti siano piccoli e convenienti da usare, sono insufficienti per descrivere i dettagli e il contesto funzionale dell'uso manuale.

Le fotocamere indossabili sono state proposte per colmare queste lacune e catturare i dettagli della funzione della mano durante le ADL a casa per applicazioni di neuroriabilitazione15,16, 17,18,19. L'analisi automatizzata di video egocentrici utilizzando la visione artificiale ha un notevole potenziale per quantificare la funzione della mano nel contesto, fornendo informazioni sia sulle mani stesse che sui compiti svolti in ADLreali 20. D'altra parte, la durata delle registrazioni continue è in genere limitata a circa 1-1,5 ore da batteria, archiviazione e considerazioni di comfort. Qui, all'interno di questi vincoli, presentiamo un protocollo di raccolta video egocentrico destinato a ottenere dati che sono sia rappresentativi della vita quotidiana di un individuo che informativi per la valutazione della funzione della mano.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Protocollo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Lo studio è stato approvato dal Research Ethics Board dell'University Health Network. Il consenso informato firmato è stato ottenuto da ciascun partecipante prima dell'arruolamento nello studio. Il consenso informato firmato è stato ottenuto anche da eventuali caregiver o membri della famiglia che appaiono nelle registrazioni video.

1. Verifica dell'applicabilità del protocollo all'individuo

NOTA: Questo protocollo è destinato ad essere applicato a individui con funzione della mano compromessa ma non completamente assente (criteri specifici possono essere adattati alla popolazione e / o alla questione di interesse).

  1. Chiedi ai partecipanti se le loro mani colpite influiscono sulla loro capacità di eseguire ADL.
    NOTA: Si consiglia di chiedere ai partecipanti di fornire alcuni esempi di attività che possono e non possono eseguire in modo indipendente con le mani interessate.
  2. Verificare che il punteggio totale sul Montreal Cognitive Assessment (MoCA) sia superiore a 21, al fine di evitare potenziali difficoltà di comprensione e seguire le procedure di protocollo.

2. Determinazione della routine quotidiana dei partecipanti

  1. Chiedi ai partecipanti di ricordare le loro routine quotidiane nelle ultime due settimane. Documentare quali attività quotidiane vengono eseguite, per quanto tempo e approssimativamente a che ora.
  2. In collaborazione con i partecipanti, selezionare 3 fasce orarie di 1,5 ore ciascuna durante le quali registrare video. Seleziona le fasce orarie che sono distribuite in diversi giorni della settimana e si verificano quando le ADL che coinvolgono le mani vengono in genere eseguite in sequenza.
    NOTA: le ADL selezionate devono essere rappresentative delle attività tipiche di ciascun partecipante ed essere percepite da loro come significative. La pianificazione di periodi di registrazione in giorni diversi ha lo scopo di aumentare la varietà di ADL registrati e di promuovere l'acquisizione di dati utili e significativi.
    NOTA: le fasce orarie di registrazione sono programmate per l'efficienza della registrazione, ma i partecipanti devono capire che hanno il pieno controllo di quando avviare e interrompere le registrazioni.

3. Accordo sui programmi di registrazione e sui contenuti video target con i partecipanti

  1. Ottenere l'accordo di ciascun partecipante sui programmi di registrazione, dopo aver discusso eventuali dubbi che potrebbero avere.
  2. Imposta un obiettivo di 3 ore di video in due settimane. Informare i partecipanti che video insufficienti possono portare a prolungare i loro periodi di registrazione.

4. Enfasi sull'importanza di eseguire ADL in modo naturale

  1. Istruisci i partecipanti a concentrarsi sull'acquisizione di routine realistiche, invece di specificare particolari attività da registrare. L'intento dell'istruzione è quello di scoraggiare i partecipanti dal registrare artificialmente attività specifiche in quantità maggiori di quelle tipiche per loro.

5. Notifica di potenziali problemi di privacy durante le registrazioni a casa

  1. Assicurati che i partecipanti comprendano che tutte le registrazioni dovrebbero avvenire all'interno delle loro case, non in luoghi pubblici per evitare problemi di privacy.
  2. Fornire alcuni esempi che potrebbero sollevare problemi di privacy, come fare il bagno, vestirsi / spogliarsi e controllare le informazioni riservate. Ricorda ai partecipanti di essere consapevoli degli specchi, che possono mostrare i loro volti nelle registrazioni.
  3. Suggerisci ai partecipanti di evitare il più possibile la presenza di altre persone come familiari o caregiver nei video.
    NOTA: Nel contesto di studi di ricerca, nei casi in cui la presenza di altre persone è inevitabile, è necessario ottenere il consenso informato da tali individui.

6. Istruzioni per fotocamera e tablet

NOTA: Se i partecipanti indicano durante il contatto iniziale che hanno bisogno dell'assistenza del caregiver per molte delle loro esigenze quotidiane, il caregiver è incoraggiato a partecipare anche alla visita di studio e ad essere addestrato sull'uso dell'attrezzatura, in modo che possano successivamente assistere il partecipante.

  1. Dimostrare come utilizzare una fotocamera egocentrica (Tabella dei materiali) ai partecipanti.
    1. Dimostrare come accendere e spegnere la fotocamera.
    2. Dimostrare come controllare le registrazioni (avvio, pausa, arresto) utilizzando la fotocamera.
  2. Dimostrare come utilizzare un tablet (Tabella dei materiali) con l'app fotocamera preinstallata per controllare le registrazioni, se applicabile.
    NOTA: la dimostrazione include il controllo delle registrazioni dall'app della fotocamera, nonché la riproduzione e la modifica (ad esempio, tagliare o eliminare) i video registrati. Inizialmente è stato preso in considerazione un telecomando per fotocamera(File supplementari),ma in pratica non è stato utilizzato perché i partecipanti si sono abituati a utilizzare la fotocamera o il tablet per avviare e interrompere le registrazioni.
    1. Dimostrare come accendere e spegnere il tablet.
    2. Dimostrare come collegare il tablet alla fotocamera tramite l'app fotocamera.
    3. Dimostrare come controllare le registrazioni dall'app della fotocamera.
    4. Dimostra come rivedere i video registrati dall'app della fotocamera.
    5. Dimostra come tagliare o eliminare i video dall'app della fotocamera.
  3. Dimostrare come donare e sventolare la fotocamera utilizzando una fascia elastica regolabile sulla testa del partecipante.
    NOTA: vedere la Figura 1.
    figure-protocol-1
    Figura 1. Configurazione della fotocamera indossabile.  (A) Posizionamento della telecamera egocentrica. (B) Angolo di visione dalla telecamera. Fare clic qui per visualizzare una versione più grande di questa figura.
    1. Posizionare la fotocamera sulla fronte del partecipante. Regolare l'archetto per indossare la fotocamera in modo comodo e costante.
    2. Garantire un angolo ottimale della fotocamera rispetto alla fronte.
    3. Chiedi ai partecipanti di registrare un breve segmento di video mentre muovi le mani davanti a loro e manipolano un oggetto (ad esempio, il tablet).
    4. Rivedi il video registrato e assicurati che le due mani fossero chiaramente visibili nella regione centrale della scena durante lo svolgimento di attività di manipolazione.
    5. Pratica l'uso della fotocamera e del tablet con i partecipanti e i loro caregiver, fino a quando non dimostrano competenza.

7. Dare l'attrezzatura

  1. Dare il kit con tutta l'attrezzatura ai partecipanti per registrare i loro ADL a casa. Oltre alla fotocamera e al tablet, il kit include batterie aggiuntive per fotocamera, caricabatterie per fotocamera e tablet, cavi di ricarica, archetto per la fotocamera e una serie stampata di linee guida per l'utilizzo della fotocamera (vedere il materiale supplementare).

8. Risoluzione dei problemi sperimentale e follow-up

  1. Fornire le informazioni di contatto dei ricercatori per aiutare a risolvere gli ostacoli durante le registrazioni effettive a casa. Dopo una settimana, i ricercatori chiamano i partecipanti per documentare i progressi della registrazione e risolvere eventuali problemi tecnici.

9. Recupero di attrezzature e video

  1. Ritreive tutte le attrezzature e i video dei partecipanti di persona o tramite pacchi postali prepagati.
  2. Assicurati che i partecipanti accettino di condividere tutti i video restituiti. I partecipanti sono incoraggiati a rivedere tutti i video raccolti prima di restituirli al team di ricerca e ad eliminare tutte le parti che non desiderano condividere.
  3. Per gli studi di ricerca, rivedere i video restituiti e verificare se qualcuno appare nel video senza aver dato il proprio consenso. In tal caso, invia moduli di consenso o chiama le persone che appaiono nei video per ottenere i loro consensi per l'uso dei video. Se gli individui non sono raggiungibili, le parti dei video in cui appaiono vengono eliminate dai ricercatori.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Risultati

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dati demografici e criteri di inclusione dei partecipanti
Un campione di 23 partecipanti è stato reclutato per questi studi: 9 sopravvissuti all'ictus (6 uomini, 3 donne) e 14 individui con cSCI (12 uomini, 2 donne). Le informazioni demografiche e cliniche riassuntive per il campione reclutato sono riportate nella Tabella 1.

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Discussione

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Abbiamo presentato un protocollo per la registrazione di video di ADL a casa utilizzando telecamere indossabili in individui con disabilità degli arti superiori, come cSCI e ictus. Il protocollo è flessibile e può essere diretto all'obiettivo di catturare le prestazioni della funzione della mano in ADL specifici o di monitorare i progressi della riabilitazione da remoto nelle persone che vivono a casa. Il paradigma della visione egocentrica ha un grande potenziale per il monitoraggio remoto della funzione della mano negl...

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Dichiarazioni

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori non hanno nulla da rivelare.

Ringraziamenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli studi che utilizzano questo protocollo sono stati finanziati dalla Heart and Stroke Foundation (G-18-0020952), dalla Craig H. Neilsen Foundation (542675), dal Natural Sciences and Engineering Research Council of Canada (RGPIN-2014-05498) e dal Ministero della Ricerca, dell'Innovazione e della Scienza, Ontario (ER16-12-013).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Materiali

Elenco dei materiali utilizzati in questo articolo
NomeAziendaNumero di catalogoCommenti
Fotocamera egocentricaGoPro Inc., CA, USAGoPro Hero 4 e 5Una fotocamera che registra da un'angolazione in prima persona.
Caricabatteria e batterieGoPro Inc., CA, USAMAX Caricabatteria doppio + batteriaBatterie extra per la fotocamera e il caricabatteria
CaricabatteriaGoPro Inc., CA, USASuperchargerQuesto caricabatterie è collegato direttamente alla fotocamera senza smontare il telaio della fotocamera.
Cornice della fotocameraGoPro Inc., CA, USALa corniceLa cerniera della cornice della fotocamera può essere utilizzata per regolare l'angolo di campo della fotocamera.
Archetto per la fotocameraGoPro Inc., CA, USAtesta + scheda SD QuickClip
SanDisk, CA, USATablet microSD
ASUSTeK Computer Inc., TaiwanZenPad 8.0 Z380MIl tablet è installato con l'app GoPro per connettersi alla fotocamera.
Fascia per la da 32 GB

Riferimenti

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors' quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
  2. Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
  3. Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
  4. Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
  5. Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
  6. Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
  7. Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
  8. Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
  9. van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
  10. Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2(2012).
  11. Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
  12. Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
  13. Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
  14. Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
  15. Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
  16. Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83(2019).
  17. Tsai, M. -F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
  18. Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
  19. Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
  20. Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
  21. Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).

Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.

Ristampe e permessi

Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE

Richiedi permesso

Tag

Hand Function AssessmentComputer Vision AnalysisDaily Activity RecordingParticipant Privacy ControlStroke SurvivorsSpinal Cord InjuryRehabilitation Progress TrackingWearable Camera Protocol

Articoli correlati