Methodenartikel

Representatief handgebruik thuis vastleggen met behulp van egocentrische video bij personen met een beperking van de bovenste ledematen

DOI:

10.3791/61898

⸱

23 december 2020

 ,  ,  , 
1Institute of Biomedical Engineering, University of Toronto, 2Department of Occupational Science and Occupational Therapy, University of Toronto, 3KITE, Toronto Rehabilitation Institute, University Health Network, 4Edward S. Rogers Sr. Department of Electrical and Computer Engineering, University of Toronto, 5Rehabilitation Sciences Institute, University of Toronto

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Er wordt een protocol voorgesteld om de natuurlijke handfunctie van personen met handbeperkingen tijdens hun dagelijkse routines vast te leggen met behulp van een egocentrische camera. Het doel van het protocol is om ervoor te zorgen dat de opnames representatief zijn voor het typische handgebruik van een persoon tijdens activiteiten van het dagelijks leven thuis.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Een verminderde handfunctie na neurologisch letsel kan een grote impact hebben op de onafhankelijkheid en kwaliteit van leven. De meeste bestaande beoordelingen van de bovenste ledematen worden persoonlijk uitgevoerd, wat niet altijd indicatief is voor handgebruik in de gemeenschap. Nieuwe benaderingen om de handfunctie in het dagelijks leven vast te leggen zijn nodig om de werkelijke impact van revalidatie-interventies te meten. Egocentrische video in combinatie met computervisie voor geautomatiseerde analyse is voorgesteld om handgebruik thuis te evalueren. Er zijn echter beperkingen aan de duur van continue opnames. We presenteren een protocol dat is ontworpen om ervoor te zorgen dat de verkregen video's representatief zijn voor de dagelijkse routines met respect voor de privacy van de deelnemers.

Een representatief opnameschema wordt geselecteerd door middel van een samenwerkingsproces tussen de onderzoekers en deelnemers, om ervoor te zorgen dat de video's natuurlijke taken en prestaties vastleggen, terwijl ze nuttig zijn voor handbeoordeling. Het gebruik van de apparatuur en procedures wordt gedemonstreerd aan de deelnemers. In totaal zijn er 3 uur aan video-opnames gepland over twee weken. Om privacyproblemen te verminderen, hebben deelnemers volledige controle over het starten en stoppen van opnames en de mogelijkheid om de video's te bewerken voordat ze worden terugsturen naar het onderzoeksteam. Herinneringen worden verstrekt, evenals hulpoproepen en huisbezoeken indien nodig.

Het protocol werd getest met 9 overlevenden van een beroerte en 14 personen met cervicale dwarslaesie. De verkregen video's bevatten een verscheidenheid aan activiteiten, zoals maaltijdbereiding, afwassen en breien. Er werden gemiddeld 3,11 ± 0,98 h video verkregen. De opnameperiodes varieerden van 12-69 d, in sommige gevallen als gevolg van ziekte of onverwachte gebeurtenissen. Gegevens werden met succes verkregen van tweeëntwintig van de 23 deelnemers, waarbij 6 deelnemers hulp van de onderzoekers nodig hadden tijdens de thuisopnameperiode. Het protocol was effectief voor het verzamelen van video's met waardevolle informatie over de handfunctie thuis na neurologische verwondingen.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Handfunctie is een determinant van onafhankelijkheid en kwaliteit van leven in klinische populaties met stoornissen in de bovenste ledematen1,2. Het vastleggen van de handfunctie van personen met handbeperkingen thuis is van vitaal belang voor het evalueren van de voortgang van hun vermogen om activiteiten van het dagelijks leven (ACL's) uit te voeren tijdens en na revalidatie. De meeste klinische handfunctiebeoordelingen worden uitgevoerd in een klinische of laboratoriumomgeving, in plaats van thuis3,4. Bestaande klinische handfunctiebeoordelingen die de impact op ACL's thuis proberen vast te leggen, zijn vragenlijsten en vertrouwen op subjectieve zelfgerapporteerde beoordelingen5,6,7. Een objectieve evaluatie om de uiteindelijke impact van revalidatie op de handfunctie thuis te beoordelen, is nog steeds niet beschikbaar.

In de afgelopen jaren zijn veel draagbare technologieën ontwikkeld en geïmplementeerd om de functie van de bovenste ledematen in echte omgevingen vast te leggen. Draagbare sensoren zoals versnellingsmeters en traagheidsmeeteenheden (ICU's) worden vaak gebruikt om bewegingen van de bovenste ledematen in het dagelijks leven te meten. Deze apparaten maken echter meestal geen onderscheid of de gedetecteerde tijdperken behoren tot functionele bewegingen van de bovenste ledematen8,9, gedefinieerd als doelgerichte bewegingen die bedoeld zijn om een gewenste taak te voltooien. Sommige draagbare sensoren zijn bijvoorbeeld gevoelig voor de aanwezigheid van schommelingen van de bovenste ledematen tijdens het lopen, wat geen functionele beweging van de bovenste ledemaat is. Bovendien, hoewel pols gedragen versnellingsmeters bewegingen van de bovenste ledematen vastleggen, kunnen ze de details van de handfunctie in echte omgevingen niet vastleggen. Sensorhandschoenen maken het mogelijk om meer gedetailleerde informatie over handmanipulaties vast te leggen10, maar ze kunnen omslachtig zijn voor mensen van wie de handfunctie en het gevoel al zijn aangetast. Draagbare benaderingen zijn ook voorgesteld om vingerbewegingen vast te leggen door middel van magnetometrie of door de vinger gedragen versnellingsmeters11,12,13,maar de functionele interpretatie van die bewegingen blijft een uitdaging14. Hoewel eerder voorgestelde draagbare apparaten dus klein en gemakkelijk te gebruiken zijn, zijn ze onvoldoende om de details en functionele context van handgebruik te beschrijven.

Draagbare camera's zijn voorgesteld om deze hiaten op te vullen en details van de handfunctie vast te leggen tijdens ACL's thuis voor neurorevalidatietoepassingen15,16,17,18,19. Geautomatiseerde analyse van egocentrische video's met behulp van computervisie heeft een aanzienlijk potentieel om de handfunctie in context te kwantificeren, door informatie te verstrekken over zowel de handen zelf als over de taken die in echte ACL's worden uitgevoerd20. Aan de andere kant is de duur van continue opnames meestal beperkt tot ongeveer 1 tot 1,5 uur door overwegingen van batterij, opslag en comfort. Hier, binnen deze beperkingen, presenteren we een egocentrisch videoverzamelingsprotocol dat bedoeld is om gegevens te verkrijgen die zowel representatief zijn voor het dagelijks leven van een individu als informatief voor de evaluatie van handfuncties.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De studie werd goedgekeurd door de Research Ethics Board van het University Health Network. Ondertekende geïnformeerde toestemming werd verkregen van elke deelnemer vóór inschrijving in het onderzoek. Ondertekende geïnformeerde toestemming werd ook verkregen van zorgverleners of leden van het huishouden die in video-opnamen verschenen.

1. Verificatie van de toepasbaarheid van het protocol op het individu

OPMERKING: Dit protocol is bedoeld om te worden toegepast op personen met een verminderde maar niet volledig afwezige handfunctie (specifieke criteria kunnen worden aangepast aan de populatie en / of kwestie van belang).

  1. Vraag deelnemers of hun aangetaste handen van invloed zijn op hun vermogen om ACL's uit te voeren.
    OPMERKING: Het wordt aanbevolen om deelnemers te vragen enkele voorbeelden te geven van taken die ze wel en niet zelfstandig met hun aangetaste handen kunnen uitvoeren.
  2. Controleer of de totale score op de Montreal Cognitive Assessment (MoCA) hoger is dan 21, om mogelijke problemen met het begrijpen en volgen van protocolprocedures te voorkomen.

2. Bepaling van de dagelijkse routine van de deelnemers

  1. Vraag deelnemers om hun dagelijkse routines van de afgelopen twee weken te herinneren. Documenteer welke dagelijkse taken worden uitgevoerd, voor hoe lang en op ongeveer welk tijdstip.
  2. Selecteer in samenwerking met deelnemers 3 tijdsloten van elk 1,5 uur om video's op te nemen. Selecteer tijdsloten die verspreid zijn over verschillende dagen van de week en vinden plaats wanneer ACL's waarbij de handen betrokken zijn, meestal achter elkaar worden uitgevoerd.
    OPMERKING: De geselecteerde ACL's moeten representatief zijn voor de typische activiteiten van elke deelnemer en door hen als zinvol worden ervaren. Het plannen van opnameperioden op verschillende dagen is bedoeld om de verscheidenheid aan geregistreerde ACL's te vergroten en het vastleggen van nuttige en zinvolle gegevens te bevorderen.
    OPMERKING: Opnametijdslots zijn gepland voor opname-efficiëntie, maar deelnemers moeten begrijpen dat ze volledige controle hebben over wanneer ze opnames moeten starten en stoppen.

3. Overeenkomst over opnameschema's en doelvideo-inhoud met deelnemers

  1. Verkrijg instemming van elke deelnemer over de opnameschema's, na het bespreken van eventuele zorgen die ze hebben.
  2. Stel een doel van 3 uur video's gedurende twee weken. Informeer deelnemers dat onvoldoende video's kunnen leiden tot verlenging van hun opnameperiode.

4. Nadruk op het belang van het op natuurlijke wijze uitvoeren van ACL's

  1. Instrueer deelnemers om zich te concentreren op het vastleggen van realistische routines, in plaats van specifieke activiteiten op te geven om op te nemen. De bedoeling van de instructie is om deelnemers te ontmoedigen om specifieke activiteiten kunstmatig op te nemen in grotere hoeveelheden dan typisch voor hen is.

5. Melding van mogelijke privacyproblemen tijdens opnames thuis

  1. Zorg ervoor dat deelnemers begrijpen dat alle opnames thuis moeten plaatsvinden, niet op openbare plaatsen om privacyschendingen te voorkomen.
  2. Geef enkele voorbeelden die privacyproblemen kunnen veroorzaken, zoals baden, aan- en uitkleden en het controleren van vertrouwelijke informatie. Herinner deelnemers eraan zich bewust te zijn van spiegels, die hun gezichten in de opnames kunnen laten zien.
  3. Stel voor dat deelnemers de aanwezigheid van andere mensen zoals familieleden of verzorgers zoveel mogelijk vermijden in de video's.
    OPMERKING: In het kader van onderzoeksstudies, in gevallen waarin de aanwezigheid van andere mensen onvermijdelijk is, moet geïnformeerde toestemming van die personen worden verkregen.

6. Camera en tablet instructie

OPMERKING: Als deelnemers tijdens het eerste contact aangeven dat ze hulp van de verzorger nodig hebben voor veel van hun dagelijkse behoeften, wordt de zorgverlener aangemoedigd om ook het studiebezoek bij te wonen en getraind te worden in het gebruik van de apparatuur, zodat ze de deelnemer later kunnen helpen.

  1. Demonstreer hoe je een egocentrische camera(Table of Materials) kuntgebruiken aan deelnemers.
    1. Demonstreer hoe u de camera in- en uitschakelt.
    2. Demonstreer hoe u opnames (starten, pauzeren, stoppen) kunt bedienen met behulp van de camera.
  2. Demonstreer hoe u een tablet(Tabel met materialen)kunt gebruiken met de vooraf geïnstalleerde camera-app om de opnames te bedienen, indien van toepassing.
    OPMERKING: De demonstratie omvat het bedienen van de opnames vanuit de camera-app, evenals het opnieuw afspelen en bewerken (bijvoorbeeld bijsnijden of verwijderen) van de opgenomen video's. Een camera-afstandsbediening werd aanvankelijk overwogen(Supplemental Files),maar werd in de praktijk niet gebruikt omdat deelnemers de camera of tablet comfortabel gebruikten om opnames te starten en te stoppen.
    1. Demonstreer hoe u de tablet in- en uitschakelt.
    2. Demonstreer hoe u de tablet via de camera-app met de camera verbindt.
    3. Demonstreer hoe u de opnames vanuit de camera-app kunt bedienen.
    4. Demonstreer hoe u opgenomen video's van de camera-app kunt bekijken.
    5. Demonstreer hoe u de video's uit de camera-app kunt bijsnijden of verwijderen.
  3. Demonstreer hoe je de camera aan en uit moet doen met behulp van een elastische hoofdband die verstelbaar is op het hoofd van de deelnemer.
    OPMERKING: Zie figuur 1.
    figure-protocol-1
    Figuur 1. Draagbare camera-instelling.  (A) Positionering van de egocentrische camera. (B) Kijkhoek van de camera. Klik hier om een grotere versie van deze figuur te bekijken.
    1. Plaats de camera op het voorhoofd van de deelnemer. Pas de hoofdband aan om de camera comfortabel en stabiel te dragen.
    2. Zorg voor een optimale hoek van de camera ten opzichte van het voorhoofd.
    3. Vraag deelnemers om een kort videosegment op te nemen terwijl ze de handen voor hen bewegen en een object (bijvoorbeeld de tablet) manipuleren.
    4. Bekijk de opgenomen video en zorg ervoor dat de twee handen duidelijk zichtbaar waren in het centrale gebied van de scène tijdens het uitvoeren van manipulatietaken.
    5. Oefen het gebruik van de camera en tablet met deelnemers en hun verzorgers, totdat ze vaardigheid aantonen.

7. Het geven van de apparatuur

  1. Geef de kit met alle apparatuur aan deelnemers om hun ABL's thuis op te nemen. Naast de camera en tablet bevat de kit extra camerabatterijen, batterijladers voor zowel camera als tablet, oplaadkabels, hoofdband voor de camera en een gedrukte set richtlijnen voor het gebruik van de camera (zie het aanvullende materiaal).

8. Experimentele probleemoplossing en follow-up

  1. Geef contactgegevens van de onderzoekers om obstakels tijdens de daadwerkelijke opnames thuis op te lossen. Na een week bellen onderzoekers de deelnemers om de voortgang van de opname te documenteren en eventuele technische problemen op te lossen.

9. Ophalen van apparatuur en video's

  1. Retreive alle apparatuur en video's van deelnemers in persoon of via pre-paid postpakketten.
  2. Zorg ervoor dat deelnemers ermee instemmen om alle geretourneerde video's te delen. Deelnemers worden aangemoedigd om alle verzamelde video's te bekijken voordat ze deze terugsturen naar het onderzoeksteam en om delen te verwijderen die ze niet willen delen.
  3. Bekijk voor onderzoeksstudies de geretourneerde video's en controleer of er iemand in de video verschijnt zonder toestemming te hebben gegeven. Stuur dan toestemmingsformulieren of bel de personen die in de video's voorkomen om hun toestemming te krijgen voor het gebruik van de video's. Als de personen niet bereikbaar zijn, worden de delen van de video's waarin ze verschijnen door de onderzoekers verwijderd.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Demografie van deelnemers en inclusiecriteria
Een steekproef van 23 deelnemers werd gerekruteerd voor deze studies: 9 overlevenden van een beroerte (6 mannen, 3 vrouwen) en 14 personen met cSCI (12 mannen, 2 vrouwen). Beknopte demografische en klinische informatie voor de gerekruteerde steekproef is opgenomen in tabel 1.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We presenteerden een protocol voor het opnemen van video's van ABL's thuis met behulp van draagbare camera's bij personen met beperkingen van de bovenste ledematen, zoals cSCI en beroerte. Het protocol is flexibel en kan doelgericht zijn om de prestaties van de handfunctie in specifieke ACL's vast te leggen of om de voortgang van revalidatie op afstand bij thuiswonende mensen te volgen. Het egocentrische visieparadigma heeft een groot potentieel voor het op afstand monitoren van de handfunctie bij personen die in de geme...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben niets te onthullen.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De studies met behulp van dit protocol werden gefinancierd door de Heart and Stroke Foundation (G-18-0020952), de Craig H. Neilsen Foundation (542675), de Natural Sciences and Engineering Research Council of Canada (RGPIN-2014-05498) en het Ministerie van Onderzoek, Innovatie en Wetenschap, Ontario (ER16-12-013).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
Egocentrische cameraGoPro Inc., CA, USAGoPro Hero 4 en 5Een camera die opneemt vanuit een first-person hoek.
Batterijlader en batterijenGoPro Inc., CA, USAMAX Dual Battery Charger + BatteryExtra batterijen voor de camera en batterijlader
CameraladerGoPro Inc., CA, USASuperchargerDeze lader is rechtstreeks op de camera aangesloten zonder de camerabehuizing te demonteren.
CamerabehuizingGoPro Inc., CA, USAThe FrameDe scharnier van de camerabehuizing kan worden gebruikt om de kijkhoek van de camera aan te passen.
Hoofdband voor de cameraGoPro Inc., CA, USAHead Strap + QuickClip
SD-kaartSanDisk, CA, USA32GB microSD
TabletASUSTeK Computer Inc., TaiwanZenPad 8.0 Z380MDe tablet is geïnstalleerd met de GoPro-app om verbinding te maken met de camera.

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Nichols-Larsen, D. S., Clark, P., Zeringue, A., Greenspan, A., Blanton, S. Factors influencing stroke survivors' quality of life during subacute recovery. Stroke. 36 (7), 1480-1484 (2005).
  2. Anderson, K. D. Targeting recovery: priorities of the spinal cord-injured population. Journal of Neurotrauma. 21 (10), 1371-1383 (2004).
  3. Gladstone, D. J., Danells, C. J., Black, S. E. The Fugl-Meyer assessment of motor recovery after stroke: a critical review of its measurement properties. Neurorehabilitation and Neural Repair. 16 (3), 232-240 (2002).
  4. Barreca, S. R., Stratford, P. W., Lambert, C. L., Masters, L. M., Streiner, D. L. Test-retest reliability, validity, and sensitivity of the Chedoke arm and hand activity inventory: a new measure of upper-limb function for survivors of stroke. Archives of Physical Medicine and Rehabilitation. 86 (8), 1616-1622 (2005).
  5. Uswatte, G., Taub, E., Morris, D., Vignolo, M., McCulloch, K. Reliability and validity of the upper-extremity Motor Activity Log-14 for measuring real-world arm use. Stroke. 36 (11), 2493-2496 (2005).
  6. Duncan, P. W., Bode, R. K., Lai, S. M., Perera, S., Antagonist, G. Rasch analysis of a new stroke-specific outcome scale: the Stroke Impact Scale. Archives of Physical Medicine and Rehabilitation. 84 (7), 950-963 (2003).
  7. Marino, R. J., Shea, J. A., Stineman, M. G. The capabilities of upper extremity instrument: reliability and validity of a measure of functional limitation in tetraplegia. Archives of Physical Medicine and Rehabilitation. 79 (12), 1512-1521 (1998).
  8. Hayward, K. S., et al. Exploring the role of accelerometers in the measurement of real world upper-limb use after stroke. Brain Impairment. 17 (1), 16-33 (2016).
  9. van der Pas, S. C., Verbunt, J. A., Breukelaar, D. E., van Woerden, R., Seelen, H. A. Assessment of arm activity using triaxial accelerometry in patients with a stroke. Archives of Physical Medicine and Rehabilitation. 92 (9), 1437-1442 (2011).
  10. Oess, N. P., Wanek, J., Curt, A. Design and evaluation of a low-cost instrumented glove for hand function assessment. Journal of Neuroengineering and Rehabilitation. 9 (1), 2(2012).
  11. Friedman, N., Rowe, J. B., Reinkensmeyer, D. J., Bachman, M. The manumeter: a wearable device for monitoring daily use of the wrist and fingers. IEEE Journal of Biomedical Health Informatics. 18 (6), 1804-1812 (2014).
  12. Liu, X., Rajan, S., Ramasarma, N., Bonato, P., Lee, S. I. The use of a finger-worn accelerometer for monitoring of hand use in ambulatory settings. IEEE Journal of Biomedical Health Informatics. 23 (2), 599-606 (2018).
  13. Lee, S. I., et al. A novel upper-limb function measure derived from finger-worn sensor data collected in a free-living setting. PloS One. 14 (3), (2019).
  14. Rowe, J. B., et al. The variable relationship between arm and hand use: a rationale for using finger magnetometry to complement wrist accelerometry when measuring daily use of the upper extremity. 2014 36th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4087-4090 (2014).
  15. Dousty, M., Zariffa, J. Tenodesis Grasp Detection in Egocentric Video. IEEE Journal of Biomedical and health. , (2020).
  16. Likitlersuang, J., et al. Egocentric video: a new tool for capturing hand use of individuals with spinal cord injury at home. Journal of Neuroengineering and Rehabilitation. 16 (1), 83(2019).
  17. Tsai, M. -F., Wang, R. H., Zariffa, J. Generalizability of Hand-Object Interaction Detection in Egocentric Video across Populations with Hand Impairment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 3228-3231 (2020).
  18. Bandini, A., Dousty, M., Zariffa, J. A wearable vision-based system for detecting hand-object interactions in individuals with cervical spinal cord injury: First results in the home environment. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2159-2162 (2020).
  19. Dousty, M., Zariffa, J. Towards Clustering Hand Grasps of Individuals with Spinal Cord Injury in Egocentric Video. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). , 2151-2154 (2020).
  20. Bandini, A., Zariffa, J. Analysis of the hands in egocentric vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. , (2020).
  21. Likitlersuang, J., Sumitro, E. R., Theventhiran, P., Kalsi-Ryan, S., Zariffa, J. Views of individuals with spinal cord injury on the use of wearable cameras to monitor upper limb function in the home and community. Journal of Spinal Cord Medicine. 40 (6), 706-714 (2017).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Beoordeling van de handfunctiecomputer vision analyseregistratie van dagelijkse activiteitencontrole op privacy van deelnemersoverlevers van een beroerteruggenmergletselvolgen van revalidatievoortgangprotocol voor draagbare camera s

Gerelateerde artikelen