Webgebaseerde gids voor klinisch personeel om compatibele video op te nemen van gestandaardiseerde drinktaakkinematica voor computervisie-analyse

Samenvatting

Kinematische metrieken van de drinktaak zijn aanbevolen voor gebruik bij de revalidatie van een beroerte in de bovenste ledemaat, maar conventionele benaderingen van kinematische studies worden als onpraktisch beschouwd. Het huidige protocol beschrijft een webgebaseerde gids om video's van de drinktaak vast te leggen, die compatibel zijn met computer vision om aanbevolen kinematische metrieken te extraheren.

Samenvatting

De beoordeling van de bovenste ledemaat is van groot belang voor de revalidatiecyclus. In de afgelopen twee decennia is aangetoond dat kinematische beoordeling van de drinkactiviteit valide is en responsief is op klinische veranderingen in revalidatiepopulaties die getroffen zijn door uiteenlopende ziekten, waaronder beroertes en musculoskeletale aandoeningen. Dit fundamentele werk aan drinktaakkinematica heeft geleid tot consensusaanbevelingen voor de toepassing van bovenste ledematiekinematica in revalidatieonderzoek. Er zijn echter praktische zorgen geuit, die de acceptatie binnen de onderzoeksgemeenschap en de overstap naar de klinische praktijk in gevaar brengen. Barrières voor adoptie zijn onder andere de technische complexiteit van conventionele motion capture-methoden om kinematica te verkrijgen en de nauwkeurigheid van de activiteitsprotocollen achter de kinematica. Wat betreft het eerste, verminderen doorbraken in het AI-subveld dat computer vision wordt genoemd de technische last van kinematische analyse drastisch. Wat het laatste betreft, presenteren we nu een webgebaseerde applicatie (app) die clinici begeleidt bij video-opnames van een sterk gestandaardiseerd drinkactiviteitsprotocol met behulp van een standaard stereocamera, een computer en basismaterialen die beschikbaar zijn in een poliklinische klinische omgeving. Bovendien demonstreren we de compatibiliteit van deze video-opname met een op maat gemaakte computer vision-pijplijn om kinematische metrieken van de drinktaak te extraheren. Door voortdurende validatie- en bruikbaarheidsstudies voorzien wij dat zo'n hulpmiddel de toegang tot sterk gestandaardiseerde kinematische metrics voor de bovenste ledematen aanzienlijk zal verbeteren, die naar verwachting onderzoek en klinische zorg bij revalidatiepopulaties met een beperking van de bovenste ledematen zullen bevorderen.

Inleiding

De meeste taken in de bovenste ledematen in het dagelijks leven vereisen beide ledematen. Verlies van bovenste ledematenvaardigheden komt vaak voor na neurologische verwondingen, waarbij ongeveer 80% van de beroerteoverlevenden een tekort aan de bovenste ledematen^{ervaart 1}. Deze tekorten staan bekend om het verminderen van de functie en de kwaliteit van leven². Revalidatie blijft een primaire interventie om functie³ te herstellen, en revalidatie wordt beschreven als een cyclus gebaseerd op nauwkeurige beoordeling⁴. Kinematische beoordeling van de bovenste ledemaat heeft de afgelopen twee decennia meer aandacht gekregen. Deze aandacht is deels te danken aan de beperkingen van de huidige klinische beoordelingen, die nadelen hebben erkend zoals subjectiviteit van menselijke beoordelaars en slechte resolutie voor subtiele veranderingen⁵.

Kinematica is een subvakgebied van de biomechanica dat zich bezighoudt met de studie van menselijke bewegingen tijdens bewegingen van het lichaam, de ledematen en de gewrichten. Onder eerdere onderzoekswerken hebben kinematische studies van de drinktaak veel aandacht gekregen van de onderzoeksgemeenschap⁶. De populariteit van de drinktaak in de kinematische beoordeling wordt toegeschreven aan de complexiteit van de beweging, de doelgerichte taakspecificiteit en de cyclische beweging⁷. Naast een reeks studies bij neurotypische volwassenen en kinderen, is de drinktaak ook onderzocht bij een breed scala aan neurologische aandoeningen 8,9,10,11. Bij beroertepopulaties hebben deze studies belangrijke kinematische metrics geïdentificeerd, die valide, betrouwbaar en responsief zijn op klinische veranderingen 12,13,14. Kinematische beoordeling wordt echter al lange tijd als onpraktisch beschouwd vanwege de complexe/dure systemen en technische kennis die^{vereist zijn 15}.

Met de komst van kunstmatige intelligentie worden praktische barrières voor kinematische beoordeling aanzienlijk verminderd. Zo kan computer vision – een subgebied van AI dat informatie uit digitale beelden haalt – nu worden ingezet om markerloze motion capture-systemen te realiseren met relatief eenvoudige camera's en computers 16,17,18. Om deze vooruitgang in computer vision te benutten, is het doel van dit methodenartikel om een webgebaseerd hulpmiddel te beschrijven dat clinici begeleidt bij het volgende: (i) het implementeren van een gestandaardiseerd activiteitsprotocol voor de drinktaak en (ii) het opnemen van video's van de drinktaak die compatibel zijn met een computer vision-workflow voor het extraheren van kinematische metrieken. Hoewel deze kinematische metrieken nog geen deel uitmaken van standaard klinische zorg, is het doel van het huidige protocol om clinici te betrekken die biomechanisch onderzoek in hun praktijk willen integreren. De verwachte impact is een sterk verbeterde klinische toegang tot kinematische metrics van de bovenste ledemaat, wat naar verwachting de huidige revalidatieprotocollen zal informeren en het onderzoek en de ontwikkeling van nieuwe behandelprotocollen zal ondersteunen.

Protocol

De cijfers die in de sectie representatieve resultaten worden gepresenteerd, komen overeen met twee afzonderlijke casestudy's die zijn uitgevoerd in overeenstemming met de Verklaring van Helsinki. Geïnformeerde toestemming werd van alle deelnemers verkregen voorafgaand aan de gegevensverzameling. Omdat deze afzonderlijke casestudy's slechts twee deelnemers omvatten, voldeden ze niet aan de definitie van klinisch onderzoek zoals gedefinieerd door de lokale Institutional Review Board; daarom is er geen toegewezen IRB-protocolnummer beschikbaar.

OPMERKING: Het protocol en de bijbehorende webgebaseerde app zijn onderverdeeld in voornamelijk drie stappen, als volgt: (i) werkruimte-setup; (ii) kalibratieactiviteiten; en (iii) drinkactiviteit. Een infographic (Figuur 1) geeft een visuele illustratie van deze stappen, inclusief de workflows die gebruikers kunnen verwachten tijdens het gebruik van de webgebaseerde app (https://mobile-motion-lab-public.web.app).

Figuur 1: Infographic die het protocol samenvat. Naast screenshots van de webgebaseerde app wordt een illustratie geleverd van elke belangrijke stap, inclusief de werkruimte-opstelling (linker paneel), de kalibratieworkflow (midden paneel) en de drinktaak-workflow (rechter paneel). Klik hier om een grotere versie van deze figuur te bekijken.

1. Werkruimte-inrichting

OPMERKING: Deze stap geeft aan hoe je de werkruimte correct instelt (Figuur 2) voor de daaropvolgende kalibratieactiviteit en drinktaakactiviteit. Een juiste setup is essentieel om standaardisatie en kwaliteit van video-opnames te waarborgen voor betrouwbare nabewerking en het extraheren van kinematische metingen met behulp van een computer vision-workflow.

1. Positie van stoel, tafel en onderwerp
   1. Plaats een stoel op verstelbare hoogte met een rugleuning zodat het onderwerp met de handpalmen naar beneden op de tafel kan zitten en de polsplooi op de tafelrand ligt.
   2. Stel de zithoogte aan zodat de heupen en knieën van het onderwerp ongeveer 90° buigen.
   3. Stel de tafelhoogte aan om ervoor te zorgen dat de armen comfortabel aan de zijkanten rusten, met een rechtopstaande zithouding en een elleboogbuiging van 90°.
2. Plaatsing van de drinktaak activiteiten-placemat
   1. Maak de placemat aan met het afdrukbare bestand (Drinking Task Activity Placement) in het Resources-menu van de web-app (https://mobile-motion-lab-public.web.app/resources) en tabloidformaat printerpapier van 10 inch x 17 inch.
   2. Lijn de voorrand van de placemat uit met de rand van de tafel direct voor het onderwerp. Zorg ervoor dat het vierkante vakje van het doel gecentreerd is op de middenlijn van het onderwerp.
   3. Bevestig de placemat stevig aan het tafeloppervlak met lijmtape.
3. Bekerplaatsing
   1. Plaats een plastic beker van 250 mL op het vierkant op de placemat. Dit plaatst de beker op 30 cm van de rand van de tafel en direct voor het onderwerp. Vul het glas met 100 ml drinkwater.
4. Cameraplaatsing
   1. Plaats de stereocamera (met 4 mm brandpuntsafstand) om het onderwerp en de bedekking te fotograferen vanuit een frontaal bovenaanzicht. Een stereocamera met een compatibele verbinding met een personal computer met webtoegang is vereist (bijvoorbeeld een USB-verbinding met een kliniekwerkstation). Een stereocamera met een hogere brandpuntsafstand wordt aanbevolen om de effecten van lensvervorming op opgenomen beelden/video te minimaliseren. Een standaard camerastatief kan worden gebruikt.
      OPMERKING: Zodra de camera is gekalibreerd (die in toekomstige stappen zal worden uitgevoerd), hangt het handhaven van deze kalibratie af van het behouden van de camerapositie. Om deze reden heeft de camera de voorkeur voor een solide fundering, zoals een op de vloer gemonteerde statief of een op een desktop gemonteerde statief op een massief oppervlak, bijvoorbeeld een permanent aanrechtblad of een zware tafel.
   2. Pas de camerapositie aan om het doelvolume vast te leggen, dat wil zeggen de denkbeeldige kubus die het onderwerp volledig in zijn beginpositie bevat, met voldoende ruimte om de proximale en distale bovenste ledemaatactiviteit (bijvoorbeeld inclusief handbewegingen) volledig vast te leggen die door het subject tijdens latere activiteitsproeven (bijvoorbeeld tijdens de drinktaak) wordt uitgevoerd.
      1. Hoewel de ideale plaatsing van de stereocamera afhangt van de intrinsieke parameters van het specifieke apparaat (d.w.z. beeldsensorgrootte, brandpuntsafstand, gezichtsveld), begin met het plaatsen van de stereocamera ongeveer 150 cm van de tafelrand (d.w.z. de rand van de tafel het dichtst bij het onderwerp) en met de camerahoogte op ongeveer 100 cm boven het tafeloppervlak.
      2. Vanuit deze startpositie kun je indien nodig verder aanpassen om de camerapositie te optimaliseren zodat het genoemde doelvolume wordt vastgelegd. Opmerkelijk is dat het kalibratieproces van de camera automatisch rekening houdt met variaties in de extrinsieke parameters van de camera (bijv. roll/yaw/pitch).
5. Verlichtingsopstelling
   1. Zorg ervoor dat de kamer goed verlicht is met zachte, gelijkmatige verlichting als dat mogelijk is. Vermijd sterke tegenlicht, zoals fel zonlicht van een nabijgelegen raam, omdat schittering de succesvolle detectie van het dambordrasterpatroon tijdens de kalibratieactiviteit kan belemmeren.
   2. Vermijd het toevoegen van schaduwen in het camerabeeld, omdat schaduwen het succes van kalibratie en het succes van de daaropvolgende menselijke houdingsinschatting door computer vision kunnen verminderen. Gebruik plafondlampen of lampen die zo zijn geplaatst dat de schaduwen op het onderwerp worden verminderd. Als schittering problematisch is, overweeg dan licht aan te passen met lichtdiffusers.

2. Kalibratieactiviteit

OPMERKING: Deze stap beschrijft hoe je de kalibratieactiviteit succesvol kunt voltooien en zorgt voor een juiste curatie van afbeeldingen naar een geschikte opslagbestemming via de web-app. De kalibratie kan eenmaal per dag worden uitgevoerd voorafgaand aan het verzamelen van videogegevens met proefpersonen. Als de camerapositie om welke reden dan ook gedurende de dag wordt veranderd, waaronder onbedoelde veranderingen doordat een voorbijganger de camera/statief raakt, wordt een nieuwe kalibratie aanbevolen en moeten alle daaropvolgende video-opnames tijdens elke computer vision-workflow aan deze nieuwe kalibratie worden gekoppeld.

1. Kalibratievoorbereiding
   1. Maak het dambordrasterpatroon voor kalibratie aan met behulp van het afdrukbare bestand (Calibration Checkerboard Printout) uit het Resources-menu van de web-app (https://mobile-motion-lab-public.web.app/resources).
   2. Print het zwart-wit dambordrasterpatroon uit met standaard letterformaat papier van 8,5 inch x 11 inch. Gebruik papier- en printeropties zonder glanzende afwerking.
   3. Bevestig de print van het dambordrasterpatroon op een vlak oppervlak (bijvoorbeeld de achterkant van een klembord) en zet het vast met tape. Zorg ervoor dat de tape geen enkel deel van het dambordpatroon blokkeert en dat de bevestigde papieren print minimale vervormingen vertoont. Anders kunnen occlusies of vervormingen van het dambordrasterpatroon de kans op succesvolle kalibratie door een computer vision-oplossing verminderen.
2. Kalibratiebeelden vastleggen
   1. Open de kalibratieactiviteitsmodule (Calibration Activity Guide) die je vindt in het dashboardmenu van de webapp (https://mobile-motion-lab-public.web.app/calibrationActivity). Deze module is ontworpen om het kalibratieproces te begeleiden.
      1. Voer de kalibratie uit met het volgende proces: (i) het bekijken van een videodemonstratie van de kalibratieactiviteit; (ii) het verifiëren van de stereocamera-identiteit; en (iii) het live beelden van de stereocamera vóór de opname. Maak tenslotte een opname om de kalibratieactiviteit vast te leggen, waarbij het dambordpatroon door het werkruimtegebied wordt verplaatst terwijl de beelden worden gemaakt.
   2. Ga door de gids totdat er een preview van de stereocamera en het Startopname-icoon beschikbaar zijn.
   3. Voordat je de opname start, plaats je het dambord in de beginpositie. Gebaseerd op een persoon die aan de tafel zit zoals eerder beschreven, houdt de startpositie van het dambord in dat het patroon ongeveer op borsthoogte en loodrecht op het tafelblad wordt gehouden (Figuur 3).
   4. Start de opname door op het Start-opname-icoon in de web-app te klikken. Wanneer het wordt gestart, wordt er een visuele/audio-aftelling van 3 seconden door de app gegeven, waarna een volgende visuele/audio-aanwijzing aangeeft wanneer de kalibratieactiviteit moet worden uitgevoerd.
      OPMERKING: Als de kalibratie solo wordt uitgevoerd, geeft de aftelling de gebruiker tijd om de opname te starten en vervolgens het checkboardpatroon te positioneren voordat de opname begint.
   5. Wanneer het signaal wordt gegeven om de kalibratieactiviteit te starten, beweeg je het dambordpatroon soepel en gecontroleerd door het werkruimtegebied (richting de camera). Zodra je volledig vooruit door de werkruimte bent beweegd (de denkbeeldige kubus die voor het onderwerp en de beker is toegewezen), draai dan de beweging om het patroon soepel en gecontroleerd naar achteren te bewegen (weg van de camera). Herhaal deze voorwaartse en achterwaartse beweging van het dambordpatroon totdat de beeldopname voltooid is. De totale beeldopnameduur is 10 seconden.
      1. Vermijd het te snel bewegen van het checkboard-patroon. Snelle bewegingen kunnen vervaging veroorzaken van beelden die door de camera zijn vastgelegd, en deze vervaging kan het vermogen van een computer vision-workflow om geschikte kalibratieparameters te extraheren verminderen.
         OPMERKING: Ter herinnering: de web-app bevat een videodemonstratie tijdens de kalibratieactiviteitsmodule. Alternatief wordt beweging van het kalibratiepatroon ook gedemonstreerd in de Getting Started Video op de web-app bronpagina.
3. Beoordeling van de kalibratieregistratie
   1. Bekijk de opgenomen kalibratie. Direct na het opnemen van de kalibratieactiviteit wordt een videoweergave in de web-app gepresenteerd. Bekijk deze videoweergave met aandacht voor de volgende punten.
      1. Beeldkwaliteit: Zorg ervoor dat het hele dambordpatroon volledig zichtbaar is in de hele video. Beeldvervaging moet zoveel mogelijk worden vermeden, en als er aanzienlijk bewijs is van vervaging, overweeg dan de kalibratieregistratie opnieuw te proberen met langzamere bewegingen van het dambordpatroon. Door de beeldkwaliteit te verbeteren, zullen latere computer vision-workflows het dambordpatroon waarschijnlijk beter kunnen detecteren, wat een noodzakelijke referentie is voor het extraheren van diepte- en positiemetingen.
      2. Heldere zichtbaarheid: Zorg dat de verlichting voldoende is. Vermijd duidelijke donkere schaduwen of wit-out schitteringen die het zicht op het schachbordpatroon belemmeren. Zorg ervoor dat tijdens het vastleggen geen belemmeringen van het camerazicht worden (bijvoorbeeld een omstander die door de voorgrond loopt).
         OPMERKING: Als referentie voor het beoordelen van beeldkwaliteit en zichtbaarheid zijn voorbeelden van een kalibratievideo beschikbaar in de calibratieactiviteitsmodule en in de Getting Started Video in het Resources-menu van de web-app.
      3. Probeer het opnieuw, indien nodig. Als er zorgen zijn over de prestaties van de kalibratieactiviteit en de kwaliteit van de kalibratievideo-opname, kies dan de optie 'Opnieuw proberen' om de video-opname opnieuw te starten voor een volgende poging. Anders kun je kalibreringsafbeeldingen indienen/opslaan.
4. Kalibratiebeelden opslaan
   1. Na succesvolle voltooiing van de kalibratieactiviteit en opname selecteer je het pictogram Calibratiebeelden opslaan . Dit opent een vensterprompt waarmee je kunt kiezen welke locatie voor kalibratiebeelden opgeslagen wordt. Standaard wordt de bestandsopslagbestemming ingesteld als het bureaublad met een standaard bestandsnaamconventie (d.w.z. calibration_[Datum]_[Tijd]_[Cameratype]).
   2. Zodra het opslaan van kalibratiebeelden is bevestigd, kies je Bevestig Opslaan om verder te gaan. Na het opslaan verschijnt er een bevestigingsbericht, evenals opties om door te gaan naar de volgende Drinking Task Activity Guide-module of de Calibration Task Activity Guide-module opnieuw te starten.

3. Drinkactiviteit

OPMERKING: Deze stap beschrijft hoe je deelnemers kunt begeleiden bij het voltooien van de drinkopdracht, hoe je video-opnames maakt van de drinkopdracht, en hoe je zorgt voor een juiste curatie van video's naar een opgeslagen bestemming via de web-app.

1. Voorbereiding op de drinktaak
   1. Plaats het onderwerp in de juiste begin-/eindpositie voor de drinkactiviteit. Stel de zithoogte aan zodat het onderwerp comfortabel kan zitten met heupen en knieën in een hoek van 90°. Pas de tafelhoogte aan indien nodig. Zorg dat het onderwerp rechtop in een stoel zit met de armen ontspannen langs de zij, ellebogen in een hoek van 90°, de handpalmen comfortabel op de tafel op schouderbreedte, polsplooien uitgelijnd met de rand van de tafel, en de middenlijn uitgelijnd met de plek van de cup op de placemat.
   2. Geef de proefpersoon de opdracht om een bepaalde hand (rechts of links) te gebruiken voor de eerste opname.
      OPMERKING: Verdere aanvullende proeven met de drinkactiviteit zijn mogelijk via de web-app. Tijdens eventuele aanvullende proeven kan de lateraliteit van de hand worden aangegeven in de webapp, die automatisch wordt gekoppeld aan de respectievelijke proefbestandsnamen tijdens de datacuratie.
   3. Geef de proefpersoon de instructie om de drinkactiviteit te oefenen. Proefpersonen kunnen één of twee oefenproeven uitvoeren van de drinkactiviteit (zonder opname). Herinner de proefpersoon eraan dat slechts een kleine slok nodig is voordat je het kopje en de hand terugbrengt naar hun respectievelijke startpositie.
      1. Vermijd het onderwerp te veel te coachen met betrekking tot de drinkactiviteit. Het doel is om gedrag vast te leggen zoals het in de echte wereld zou gebeuren. Als het subject om verdere instructies vraagt, adviseer dan het subject om rekening te houden met een situatie in de echte wereld in het dagelijks leven.
2. Noteer de drinkactiviteit
   1. Open de drinktaakactiviteitsmodule (Drinking Task Activity Guide) die zich bevindt in het web-app dashboardmenu (https://mobile-motion-lab-public.web.app/drinkingTaskActivity).
      OPMERKING: Deze module is ontworpen om video-opname te begeleiden van een proefpersoon die de drinktaak uitvoert. Dit proces omvat het volgende: (i) het bekijken van een voorbeeldopname van de drinkactiviteit; (ii) het verifiëren van de stereocamera-identiteit en het invoeren van de onderwerpidentificatie; (iv) het betreden van de lateraliteit van de hand die voor de specifieke proef gebruikt moet worden, bijvoorbeeld rechts of links; en (v) het live beeld van de stereocamera vóór de opname.
   2. Oriënteer het onderwerp voordat je begint met opnemen naar de aftelling. De mobiele app geeft een visuele/audio-aftelling van 3 seconden aan, waarna een volgend visueel/audiosignaal aangeeft wanneer je moet beginnen met de drinkactiviteit.
   3. Start de video-opname door op het Startopname-icoon in de web-app te klikken. Met behulp van de aftelling/cues vraag je het onderwerp om de drinktaak uit te voeren (Figuur 3). De totale duur die is toegewezen aan de drinkactiviteit is 20 s.
      OPMERKING: Het proefpersoon hoeft slechts een kleine slok uit het kopje te nemen voordat het kopje teruggezet wordt naar het omlijnde gebied op de placemat en vervolgens de hand weer terugbrengt naar het omlijnde gebied.
3. Bekijk de video-opname van de drinkopdracht. Direct na de opname wordt een videoweergave weergegeven in de web-app. Bekijk deze videoweergave met aandacht voor de volgende punten.
   1. Onderwerp in beeld: Zorg ervoor dat het gezicht, de romp, de bovenste ledematen en de beker van het onderwerp volledig worden vastgelegd in alle videobeelden tijdens de hele drinkpartij.
   2. Afwezigheid van visuele verstoringen: Zorg voor voldoende verlichting, zonder afleidende schaduwen of schittering. Vermijd het onbedoeld vastleggen van andere mensen op de voor- of achtergrond van de video. Anders kunnen de kansen dat een computer vision-workflow het onderwerp van interesse succesvol identificeert in gevaar komen.
   3. Taak voltooien: Zorg ervoor dat het subject de hele taak voltooit, inclusief het oppakken van het kopje, het drinken van een slok uit het kopje, het terugplaatsen van het kopje in zijn oorspronkelijke positie en het terugbrengen van het lichaam/handen naar de startpositie.
   4. Probeer het opnieuw, indien nodig. Als je zorgen maakt over de kwaliteit van de video-opname van de drinkopdracht, kies dan de optie 'Opnieuw proberen ' om de video opnieuw te starten voor een nieuwe poging.
      OPMERKING: De optie 'opnieuw proberen' zal de vorige video-opname weggooien. Als het verwijderen van de video niet gewenst is, vermijd dan de keuze voor Retry en ga in plaats daarvan verder met aanvullende proeven zoals hieronder beschreven.
4. Het vastleggen van aanvullende proeven van de drinkactiviteit
   1. Als er aanvullende proeven van de drinktaak voor dezelfde proefpersoon worden gewild, kies dan de optie Herhaal een andere proef.
      OPMERKING: De module Drinking Task Activity Guide is ontworpen om als een unieke instantie voor elk uniek onderwerp te worden uitgevoerd (bijvoorbeeld, de module moet opnieuw worden gestart voor elk uniek onderwerp).
   2. Ga verder met het opnemen en beoordelen van aanvullende onderzoeken voor hetzelfde onderwerp volgens de bovengenoemde instructies.
      OPMERKING: Voor herhaalde onderzoeken met dezelfde proefpersoon worden de oorspronkelijk ingevoerde proefpersoonsidentificatie en cameraidentificatie automatisch aan alle onderzoeken gekoppeld. Anders vereist elke proef alleen de volgende stappen: (i) voer de lateraliteit van de hand in die door het proefpersoon gebruikt moet worden, bijvoorbeeld rechts of links; (ii) de live feed van de stereocamera bekijken voordat je opneemt; (iii) het starten van de video-opname van de drinkactiviteit; en (iv) het opnemen indien nodig te herzien/opnieuw proberen.
5. Video-opnamen opslaan
   1. Nadat alle gewenste proeven zijn opgenomen, selecteer je 'Voltooid met alle proeven' om videobestanden op de gewenste bestemming op te slaan.
   2. Voeg in het veld dat Notities wordt aangeduid als opmerkingen die relevant zijn voor toekomstige verwerking, analyse en interpretatie van de gegevens. Selecteer het pakket en voeg notities toe om verder te gaan.
   3. Selecteer het pictogram ' Spaar Drinkopdracht Video's . Dit opent een vensterprompt waarmee je de bestemming van het bestand kunt kiezen. Standaard is de bestandsopslagbestemming ingesteld als het bureaublad.
      OPMERKING: Zodra de bestandsopslagbestemming is ingesteld, cureert de web-app automatisch de videogegevens met een map-/submapstructuur die een naam heeft gebaseerd op eerdere gebruikersinvoer die is ingevoerd tijdens het voltooien van de web-app gids. Dit resulteert in een hoofdmap met een gestandaardiseerde naam (d.w.z. subj[identifier]_drinktask_[Date]_[Tijd]_[Camera Type]) evenals submappen met gestandaardiseerde naamgeving (d.w.z. [Lateraliteit]_[Proefnummer]_[Frame Rate]), die de respectievelijke video's voor elke activiteitsproef bevatten.
   4. Zodra het bestand van video's is opgeslagen, selecteer je Bevestig Opslaan om verder te gaan. Na het opslaan verschijnt er een bevestigingsmelding, evenals een optie om de Drinking Task Activity Guide-module opnieuw te starten. Zoals aangetoond in het onderstaande resultaatgedeelte, kunnen opgeslagen video's vervolgens worden gekoppeld aan een computer vision-workflow om kinematica te extraheren.

Resultaten

Een belangrijke motivatie voor de webgebaseerde clinician guide is het verminderen van technische barrières die anders clinici zouden kunnen weerhouden om computervisie te gebruiken om de biomechanica van de bovenste ledematen van hun patiënten te beoordelen. De webgebaseerde clinician-gids zal naar verwachting twee primaire uitgangen voor de gebruiker opleveren: (i) een reeks gesynchroniseerde beelden van het dambordkalibratiepatroon gebaseerd op de dubbele beeldsensoren van een stereocamera, en (ii) voor elke proef die door de proefpersoon wordt uitgevoerd, een paar gesynchroniseerde video's van de gestandaardiseerde drinkactiviteit (Figuur 3). De webgebaseerde gids biedt instructies in meerdere formaten, waaronder schriftelijke procedures, video-/audiodemonstraties en een interactieve virtuele walkthrough. Om de administratieve last te verminderen, wordt datacuratie geautomatiseerd. Beeld- en videogegevens worden opgeslagen in een voorkeursmap met digitale bestanden zoals aangegeven door de gebruiker, bijvoorbeeld op een computerdesktop of een institutioneel cloudnetwerk. De data wordt automatisch georganiseerd in gecomprimeerde mappen, inclusief geneste submappen en gestandaardiseerde bestandsnamen op basis van onderwerpidentificatie, datum/tijd van gegevensverwerving, hand-lateraliteit, cameratype/lateraliteit en proefnummer.

Figuur 2: Polikliniek opstelling voor het opnemen van beelden en video. Kinematica van de drinktaak kan worden afgeleid uit compatibele video met behulp van computervisie, wat kan worden bereikt met de weergegeven opstelling van een stereocamera, een computer en voorwerpen die vaak in een kliniek voorkomen (stoelen, tafels, printmaterialen, klemborden, bekers, drinkwater). Hoewel de exacte cameraplaatsing en oriëntatie variëren afhankelijk van het apparaatmodel, (A) wordt een ongeveer positie getoond, (B) die kan worden aangepast om de verwachte werkruimte vast te leggen die het lichaam en de bovenste ledematen van het onderwerp volledig bevat tijdens de drinktaak. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Compatibele beelden en video's gemaakt door een webgebaseerde gids voor een klinisch specialist. De belangrijkste uitkomsten van de webgebaseerde clinician-gids omvatten (A) een reeks gesynchroniseerde beelden van het dambordkalibratiepatroon en (B) een paar gesynchroniseerde video's die de prestaties van de proefpersoon in alle fasen van de drinkactiviteit vastleggen. Klik hier om een grotere versie van deze figuur te bekijken.

Op basis van de verzamelde beeld- en videogegevens kan de biomechanica van de bovenste ledematen tijdens de drinktaak vervolgens worden geëxtraheerd met behulp van computer vision. Belangrijk is dat het verzamelen van ruwe data en de toepassing van computer vision losgekoppeld kunnen worden. In eerdere literatuur zijn verschillende computer vision-workflows beschreven voor toepassing op dergelijke data^16,18 of gebruikers kunnen hun eigen op maat gemaakte workflows toepassen. Zo hebben we eerder een computer vision-workflow ontwikkeld voor het schatten van de driedimensionale menselijke houding (Figuur 4) en vervolgens drie kinematicametrieken geëxtraheerd. Kort gezegd omvat deze computer vision-workflow de volgende belangrijke stappen: (i) kalibratie om intrinsieke en extrinsieke camera-eigenschappen te extraheren voor het mappen van pixels naar echte dimensies; (ii) detectie van menselijke houdingen om de pixellocaties van anatomische sleutelpunten van het menselijk lichaam in tweedimensionale beelden te annoteren; (iii) toepassing van een liftprocedure om driedimensionale informatie te berekenen uit duale tweedimensionale beelden; en (iv) toepassing van filters voor trajectoirisatie, bijvoorbeeld voortschrijdend gemiddelde en Kalman-filters. Een meer gedetailleerde beschrijving valt buiten het bestek van het huidige artikel, maar is te vinden in eerdere werken¹⁶. Door deze workflow toe te passen, kwantificeren de geëxtraheerde kinematische metrics de soepelheid van bewegingen (bijv. aantal bewegingseenheden, NMU), compensatie (bijv. rompverplaatsing, TD) en bewegingstijd (MT), die valide, betrouwbaar en responsief zijn voor klinische veranderingen in beroerte-revalidatiestudies ^5,13,14. In vergelijking met een conventioneel marker-gebaseerd motion capture-systeem levert deze computer vision-workflow kleine fouten op (_NMU-fout -0,12 eenheden,_TD-fout 3,4 mm en_MT-fout 0,15 s) ten opzichte van schattingen van klinisch significante verandering (3-7 NMU, 20-50 mm TD en 2,5-5 s MT)¹⁶. Om een specifieke kinematische metriek te illustreren, namelijk bewegingssoepelheid volgens NMU (Figuur 5), toont een grafiek van het polssnelheidsprofiel tijdens de drinktaak de NMU (bijvoorbeeld elke bewegingseenheid aangeduid met een rood sterretje) gemeten tijdens een casestudy van een persoon met een voorgeschiedenis van een beroerte (51-jarige vrouw, rechtshandige dominant, geschiedenis van ischemische beroerte van de rechter medulla met milde linkerhemiparese, Aanvang van beroerte >6 maanden eerder, comorbiditeiten waaronder hypertensie en rechter carpaal tunnelsyndroom).

Figuur 4: Computervisie-toepassing op afbeeldingen en video voor het extraheren van menselijke bewegingsgegevens. Er zijn verschillende computer vision-workflows beschreven om de kinematica van de drinktaak te bereiken. (A) Een initiële kalibratiestap vereist 2D-beelden om pixels af te beelden van de afmetingen van de echte wereld, (B) die kunnen worden omgezet naar 3D-coördinaten met behulp van projectieve geometrie. Vervolgens kunnen door het toepassen van menselijke houdingsschatting op video's van de drinktaak automatisch (C) 2D-anatomische sleutelpunten worden gedetecteerd, die kunnen worden omgezet in (D) 3D-sleutelpunten voor diverse metrische berekeningen en visualisaties, bijvoorbeeld sleutelpunttrajecten. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Kinematische maatstaf van bewegingssoepelheid tijdens de drinktaak. Op basis van 3D-menselijke bewegingsgegevens van de drinktaak kunnen verschillende kinematische metrics na een beroerte worden behaald. Op basis van een proefpersoon in de chronische fase van het herstel van een beroerte kan een kinematische maat voor bewegingssoepelheid (bijv. aantal bewegingseenheden, NMU, zoals weergegeven door het aantal rode asterisken op het polssnelheidsprofiel) uit video met computervisie worden gehaald om een objectief verschil in motorische functie tussen de (A) linker- en (B) rechterbovenste ledemaat te tonen. Klik hier om een grotere versie van deze figuur te bekijken.

Discussie

Kinematische beoordeling van de drinktaak is aanbevolen voor gebruik in onderzoek naar beroerte-revalidatie⁶. Praktische zorgen zijn echter genoemd als belemmeringen voor de adoptie van kinematica in revalidatieonderzoek, waaronder de kosten en technische vereisten voor motion capture-technologieën die conventioneel worden gebruikt om menselijke biomechanica te meten¹⁵. Deze zorgen belemmeren vervolgens de klinische opname en vertaling van kinematische beoordeling naar de klinische praktijk. Alternatief kan een meer praktische benadering om kinematica via computer vision te extraheren worden gerealiseerd met een enkele stereocamera, een personal computer en items die vaak voorkomen in een polikliniek¹⁶. We presenteren een protocol dat is ontworpen voor clinici en een webgebaseerde gids gebruikt om beelden en video's op te nemen die compatibel zijn met een computer vision-workflow om kinematische metrikken van de drinktaak te extraheren. Het langetermijndoel is om de toegankelijkheid van deze meetmethoden te vergroten, die eerder zijn ontwikkeld en aanbevolen voor gebruik in onderzoek naar revalidatie^van beroerte 5,6,12,13,14.

Videosynchronisatie is belangrijk voor dual-camera benaderingen van computer vision. Dual-camera opstellingen bootsen menselijke ogen na, die tegelijkertijd een scène in de echte wereld vanuit iets verschillende gezichtspunten waarnemen om dieptezicht mogelijk te maken. In het geval van computer vision is passende synchronisatie dan cruciaal voor de nauwkeurigheid van driedimensionale informatie (bijv. positie van de menselijke pols in een Cartesisch coördinatensysteem) die wordt bepaald uit twee tweedimensionale bronnen (bijv. pixellocatie van de menselijke pols op een foto). Uit onze ervaring kunnen dubbele camera's redelijke resultaten leveren wanneer ze gesynchroniseerd zijn tot binnen 1 ms¹⁶. Verschillende factoren kunnen de synchronisatie verminderen, waaronder onbetrouwbare cameraframerates, beperkte datatransmissiesnelheden in kabels, software-inefficiënties en beperkte hardwarespecificaties (bijv. laag RAM of laag-tier processors). Om synchronisatieproblemen te verlichten, maakt dit protocol gebruik van een standaard stereocamera, die profiteert van een kleinere fysieke footprint en is ontworpen als een plug-and-play apparaat (bijvoorbeeld een enkele USB-verbinding met een standaard personal computer) om automatisch gesynchroniseerde beelden vast te leggen van twee ingebouwde beeldsensoren.

Camerakenmerken vereisen zorgvuldige overweging bij elke toepassing van computervisie. In theorie bieden beelden met een hogere resolutie en hogere framerate-opnames van menselijke bewegingen meer gegevens om anatomische sleutelpunten met grotere ruimtelijke nauwkeurigheid te detecteren. Er is echter een onvermijdelijke balans nodig tussen de hoeveelheid data en de beschikbare rekenmiddelen om de data te verwerken. Het beschreven protocol is gebaseerd op een stereocamera die video opneemt met een resolutie van 1280 x 720 pixels bij een framerate van 60 Hz, wat vergelijkbaar is met eerdere studies waarin computervisie werd toegepast voor drinktaakkinematica^16,18. Voor het opnemen van deze video's hebben we betrouwbaar succes gezien met een consumentencomputer van hogere kwaliteit (bijvoorbeeld 3,2 GHz CPU met 128 GB RAM) en wisselend succes met een laptop (bijvoorbeeld 2,6 GHz CPU met 16 GB RAM). Bij het toepassen van lagere niveaus computers is een typisch probleem het missen van videoframes, wat vaak wordt weergegeven als een uitvoervideo met een duur van minder dan de bedoelde 20 seconden video-opname. Opmerkelijk is dat, hoewel datacomputing een veelvoorkomende boosdoener is achter ontbrekende videoframes, datatransmissie ook van belang is. In de gezondheidszorg kunnen bijvoorbeeld beveiligingsinstellingen die gekoppeld zijn aan computertoegangspoorten (zoals USB-sticks) leiden tot vertragingen in gegevensoverdracht die de betrouwbare video-opname verstoren.

Line-of-sight interferentie zal belangrijke stappen in een computer vision-workflow uitdagen, waaronder kalibratie en menselijke houdingsschatting. Kalibratie is afhankelijk van digitale beelden van een standaard dambordpatroon, waarmee computervisie beeldpixels kan koppelen aan de fysieke afmetingen van de echte wereld. Duidelijke visualisatie van het dambordpatroon verbetert het slagingspercentage van deze mapping. Visuele interferentie kan ontstaan door verschillende oorzaken, waaronder maar niet beperkt tot: (i) lichtproblemen (bijv. felle schittering van een nabijgelegen raam of donkere schaduwen); (ii) extreem snelle bewegingen van het dambord (bijv. beeldvervaging door langere belichtingstijd van de camera); of (iii) ongeschikte intrinsieke camera-eigenschappen (bijv. verkeerde brandpuntsafstand of ernstige lensvervorming). Menselijke houdingsschatting maakt gebruik van kunstmatige intelligentie om automatisch anatomische herkenningspunten te annoteren uit beelden van één persoon (enkelvoudige houdingsschatting) of meerdere personen (multi-pose schatting). Duidelijke visualisatie van de mens is dan cruciaal voor het slagingspercentage van houdingsinschatting. Sommige visuele interferentie kan worden getolereerd afhankelijk van computer vision-parameters (bijv. AI-architectuur, voorspellingsdrempels). Om echter de geschiktheid van een video voor menselijke houding te beoordelen, zijn veelvoorkomende valkuilen om op te letten de volgende: (i) omstanders in zicht bij schatting van een enkele houding; (ii) lichaamssegmenten die af en toe buiten het cameraveld vallen; en (iii) zelfocclusies door overlappende lichaamssegmenten.

Het loskoppelen van dataverzameling van de computer vision-workflow zelf biedt zowel voordelen als nadelen. Een opvallend nadeel is de vertraging in klinisch relevante informatie die beschikbaar is voor clinici en patiënten om besluitvorming te ondersteunen. Een mogelijk voordeel is verminderde interferentie met de interactie tussen clinicus en patiënt. Bijvoorbeeld, ervan uitgaande dat de kalibratie vóór het consult van een patiënt wordt uitgevoerd, zou het video-opnemen van 10 herhalingen van de drinktaak zoals beschreven in eerdere literatuur¹² idealiter minder dan 4 minuten video-opnametijd vereisen, plus alle tijd die nodig is om patiënten die onervaren zijn met het protocol te oriënteren. Bovendien kan deze ontkoppeling de acceptatie door clinici vergroten door de verantwoordelijkheid voor informatie te verdelen. Binnen deze scheiding van taken neemt de clinicus eigenaarschap over wanneer en waarom video-assessments plaatsvinden, en nemen data scientists/engineers verantwoordelijkheid voor het verfijnen van de computer vision-workflow die verantwoordelijk is voor nauwkeurige/betrouwbare klinische metrics (bijvoorbeeld drinktaakkinematica). Dit kan inderdaad worden vergeleken met de huidige realiteit van veel bloedgebaseerde (bijvoorbeeld volledige metabole panelen) en beeldgebaseerde tests (zoals MRI-studies) die routinematig door clinici worden aangelegd. Tot slot kan deze ontkoppeling voordelig zijn naarmate het AI-veld zich blijft ontwikkelen. De vandaag verkregen videodata kan herhaald worden geanalyseerd door geavanceerdere computer vision-oplossingen van morgen, die mogelijk meer kinematische metrieken met meer snelheid, nauwkeurigheid en betrouwbaarheid kunnen extraheren.

Ons doel is om de toegang tot kinematica van bovenste ledematen binnen de revalidatiegemeenschap verder te verbeteren, waaronder clinici in poliklinische settings en mogelijk individuen thuis (bijvoorbeeld telerevalidatie). Dit protocol en de webgebaseerde app moeten worden gezien als een vroege ontwikkelingsfase, die tot nu toe een zeer gerichte activiteit (d.w.z. de drinktaak) en een relatief gerichte groep belanghebbenden (d.w.z. klinische gebruikers en deelnemers die de drinktaak gemakkelijk kunnen uitvoeren) heeft beschouwd. Toekomstige versies zullen nodig zijn om een diversere gebruikersgroep, meer diverse activiteiten en meer diverse proefpopulaties (bijvoorbeeld personen met ernstige tekorten die aanpassing aan activiteit vereisen) te accommoderen. Daarnaast zal toekomstige ontwikkeling belangrijke controlepunten omvatten voordat ze breed worden ingevoerd, zoals integratie in elektronische medische dossiers en het behoud van patiëntprivacy en vertrouwelijkheid. Deze toekomstige versies zullen waarschijnlijk ook nieuwe technologie bevatten en de momenteel beschikbare technologie verfijnen. Het huidige protocol gaat bijvoorbeeld uit van een computer vision-workflow gebaseerd op binoculair zicht (bijvoorbeeld stereocamera's). Een logische volgende ontwikkeling is een protocol met monoculair zicht (bijvoorbeeld meer basale camera's), dat mogelijk mogelijk is door gebruik te maken van AI getraind op binoculaire datasets. Opmerkelijk is dat het huidige protocol beeld- en videodata levert die compatibel zijn met de huidige geavanceerde computer vision-oplossingen, die al in prestaties worden vervangen door nieuwere oplossingen¹⁸. Het hier beschreven webgebaseerde protocol kan clinici in staat stellen een fundament voor computer vision in hun praktijk te integreren, dat waarschijnlijk sterk zal groeien naarmate AI-technologie de gezondheidszorg doordringt.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Camera Mounting Arm, 2-section single articulated with camera platform	Manfrotto	196B-2	Steun voor stereocamera
Camera Tripod, compatible with 1/4-in and 3/8-in standard mounting screws	iFootage	CB3 Base	Statieve om stereocamera te monteren
Clipboard, standard letter size	N/A	N/A	Oplaakoplossing om het kalibratiepatroon te bevestigen
Cup, 8-oz plastic	N/A	N/A	Watercontainer voor drinktaak
Height-adjustable chair, with locking caster wheels	Vermund Larsen A/S	VELA Independence	Stoel voor proefpersoon
Height-adjustable table, with locking caster wheels	Midmark Corporation	6215 Rectangular Workstation	Tafel voor drinktaakopstelling
Printout of the Calibration Checkerboard	N/A	N/A	Patroon voor kalibratievideo
Printout of the Drinking Task Activity Placemat,	N/A	N/A	Deksel om drinktaakopstelling te begeleiden
Stereo Camera, 4mm focal length, no polarizer, 5m USB 3.0 cable	Stereolabs	Zed 2i	Stereocamera voor video-opname
Tape	N/A	N/A	Lijmpistool voor afdrukken