Method Article

Multimodale Motion Capture Toolbox voor Verbeterde Analyse van Intersegmentale Coördinatie bij kinderen met cerebrale parese en typisch ontwikkelende

DOI:

10.3791/69604

⸱

December 16th, 2025

 ,  ,  , 
1Department of Physical Therapy, University of North Florida, 2School of Physical Education and Sport of Ribeirão Preto, University of São Paulo, 3Department of Clinical and Applied Movement Sciences, University of North Florida

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deze studie introduceert een gereedschapskist die motion capture-technologieën combineert om kinematische signalen te analyseren en fullbody coördinatiepatronen te kwantificeren met hoek-hoek plots. Ontworpen om de uitdagingen van traditionele marker-gebaseerde systemen te overwinnen, ondersteunt de toolbox flexibiliteit binnen onderzoek, klinische en praktijkomgevingen, en bevordert individuele zorg en functionele beoordelingen voor kinderen met motorische beperkingen.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Driedimensionale marker-gebaseerde motion capture-systemen zijn de gouden standaard voor het evalueren van kinematische patronen in menselijke beweging, en bieden nauwkeurige kwantificatie van segment- en gewrichtsposities. Traditionele marker-gebaseerde systemen brengen echter verschillende uitdagingen met zich mee, vooral voor kinderen met neurologische beperkingen en sensorische verwerkingsafwijkingen, zoals die waargenomen worden bij kinderen met cerebrale parese. Deze uitdagingen belemmeren het gebruik van kinematische markers en beperken gedetailleerde analyses van bewegingspatronen. Recente ontwikkelingen in markerless motion capture-systemen die gebruikmaken van deep learning-gebaseerde menselijke houdingsschatting, stelden ons in staat kosteneffectieve alternatieven te verkennen voor traditionele optische systemen en de daaropvolgende dataverwerkingsmethoden. Er werd een geïntegreerde gereedschapskist ontwikkeld, die meerdere motion capture-technologieën combineerde: kinematische apparatuur van onderzoeksniveau, kinematische clusters, traagheidsmeetunits, driedimensionale (3D) markerloze systemen en tweedimensionale (2D) markerloze systemen met commercieel verkrijgbare camera's (via MediaPipe). Voor deze huidige studie presenteren we de uitkomsten van 3D-marker-gebaseerde versus 2D-markerloze motion capture, het belangrijkste lopende probleem in biomechanische studies van menselijke proefpersonen, om coördinatieve patronen te beschrijven via heup-kniehoek-hoek-hoekplots. De cyclogrambenadering werd gekozen omdat deze een robuuste metriek en gemakkelijk interpreteerbaar kader biedt voor het analyseren van coördinatie via gekoppelde beweging tussen lichaamssegmenten. Twee typisch ontwikkelende kinderen en twee kinderen met cerebrale parese voerden een functioneel bewegingspatroon uit, de sit-to-stand taak. De bevindingen hier toonden de haalbaarheid aan van het integreren van multimodale systemen voor kinematische analyses, wat flexibiliteit biedt voor onderzoek en klinische omgevingen. Bovendien pakt de nieuwe open-source benadering die in dit werk wordt gepresenteerd de uitdagingen aan die veel patiëntenpopulaties met sensorische verwerkingsproblemen ondervinden, waardoor een geavanceerd en individueel zorgplan mogelijk is.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Driedimensionale kinematische motion capture-evaluaties hebben betrouwbare informatie geleverd bij de kwantificering van verwachte en abnormale bewegingspatronen. Dergelijke informatie is cruciaal bij het ontwerpen van revalidatieplannen1 en het vaststellen van veiligheidsbenaderingen voor patiëntbetrokkenheid met klinische apparatuur (bijv. 2,3). Bij het overwegen van kinderen met neurologisch veroorzaakte beperkingen kunnen deze kinematische evaluaties extra zorg bieden door veranderingen in coördinatiepatronen in verschillende functionele taken zoals gang4, zit-op-stand taak5 en bovenste ledemaat tot6 aan te pakken.

Hoewel driedimensionale (3D) kinematische evaluaties worden beschouwd als de gouden standaard voor nauwkeurige motion capture-analyse7, is het plaatsen van kinematische markers op de huid een vereiste om een nauwkeurige kwantificering van segment- en gewrichtsbewegingen te waarborgen. Deze marker-gebaseerde evaluatie vereist kennis van specifieke anatomische herkenningspunten voor degenen die deze evaluatie uitvoeren, evenals de tolerantie en acceptatie van tapes die op de huid van de onderzochte personen worden bevestigd. Hoewel het eerste geleerd kan worden, is het tweede een probleem bij verschillende patiëntenpopulaties. Als voorbeeld kunnen kinderen met hersenletsel of cerebrale parese stoornissen vertonen bij de verwerking van sensorische informatie 8,9,10. Deze aandoening kan zich uiten als overgevoeligheid, waardoor clinici en onderzoekers worden verhinderd de kinematische markers op de huid van de kinderen aan te brengen, wat op zijn beurt de kwantificering van veranderingen in bewegingsmogelijkheden en een efficiënt individueel zorgplan kan belemmeren.

Naast het probleem van markerplaatsing op de huid van patiëntenpopulaties zijn de meeste meetsystemen die in kinematicastudies worden gebruikt niet betaalbaar, beperkt tot laboratoriumruimtes en alleen beschikbaar met hooggekwalificeerd personeel, waardoor ze onpraktisch zijn voor routinematig klinisch gebruik. Echter, huidige ontwikkelingen in motion capture-technologie ondersteunen verschillende benaderingen voor het vastleggen van kinematische data. Zo heeft automatische menselijke houdingsinschatting met behulp van deep learning-technieken de aandacht getrokken onder computervisieonderzoekers. Deze markerless motion capture-technieken kunnen een veelbelovende oplossing bieden voor technische en praktische uitdagingen die samenhangen met marker-gebaseerde bewegingsanalyse11. In plaats van te vertrouwen op het volgen van markers, gebruikt deze aanpak getrainde neurale netwerken om de posities van het gehele monument12 te schatten. Deze ontwikkeling verbetert de algehele efficiëntie en aanpassingsvermogen van menselijke houdingsherkenningstechnologie.

Het is goed vastgesteld dat de kinematische relatie tussen lichaamssegmenten onderliggende controlemechanismen kan onthullen die variabiliteit in bewegingspatronen ondersteunen. Hoewel verschillende methoden kunnen worden gebruikt om coördinatie tussen segmenten13 te meten, maken hoek-hoek plots (cyclogrammen) een inherent interpreteerbare kwantificering van gekoppelde beweging tussen segmenten/voegen over een vastgestelde tijdsperiode 14,15 mogelijk. Omdat veel kinderen met cerebrale parese moeite hebben met het uitvoeren van bewegingspatronen van het hele lichaam door een verminderde selectieve motorische controle16, kozen we ervoor om de eenvoudige, maar met complexe onderliggende controle17, beweging van zit-tot-staan te onderzoeken. Het doel van deze studie was om de haalbaarheid aan te tonen van een open-source toolbox die motion capture-technologieën combineert om kinematische evaluaties van coördinatieve patronen bij kinderen met een beperking te vergemakkelijken.

In dit werk zullen we heup-knie cyclogrammen gebruiken om coördinatie tussen romp/bekken en dij/schenkel segmenten aan te tonen, waarbij de heup- en kniegewrichten worden gebruikt als representatieve intersegmentale koppelingen die relevant zijn voor de zit-tot-staan biomechanica. Heup-knie coördinatie werd gekozen omdat het de primaire koppeling van het gewricht vastlegt die de verticale progressie van het massamiddelpunt tijdens de zit-tot-stand taak aanstuurt, een functioneel cruciale beweging voor kinderen met een beperking die vaak vertrouwen op compenserende strategieën voor de onderbenen vanwege een verminderde selectieve motorische controle16 die de gewrichtssynergieën beïnvloedt. De integratie van verschillende technologieën (d.w.z. van onderzoekskwaliteit 3D-kinematische apparatuur tot commercieel verkrijgbare camera's) in één verwerkingsgereedschapskist maakt flexibiliteit mogelijk in gebruik van onderzoeksomgevingen tot veld- en klinische omgevingen. De toolbox maakt ook gedetailleerde kinematische evaluaties mogelijk wanneer het plaatsen van markers niet haalbaar is vanwege sensorische verwerkingsafwijkingen bij kinderen met een beperking via markerless motion capture signaalverwerkingsfuncties.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deze studie werd uitgevoerd als caseserie met representatieve resultaten van vier kinderen om de haalbaarheid van het protocol aan te tonen in plaats van statistische inferentie. Twee kinderen die zich typisch ontwikkelen (man 4 jaar, 100 cm, 14,5 kg; man 10 jaar, 144 cm, 40,8 kg) en twee kinderen met cerebrale parese, Gross Motor Function Classification System III (vrouw 4 jaar, 93 cm, 13,8 kg; man 4 jaar, 102 cm, 16,7 kg) namen deel aan deze studie. Ouders/wettelijke voogden en kinderen gaven vooraf geïnformeerde toestemming/instemming voorafgaand aan deelname in overeenstemming met ons door de Institutional Review Board goedgekeurde studieprotocol (IRB-FY2024-33).

OPMERKING: Hoewel dit protocol procedures beschrijft voor zowel 3D-marker-gebaseerde als 2D-markerloze motion capture-systemen, ligt de focus van deze studie op de implementatie van de 2D-markerloze benadering, die de kernklinische en praktische toepassing van dit werk vertegenwoordigt. De kernimplementatie van het huidige protocol vereist een marker-gebaseerd motion capture-systeem (minimaal 8 camera's) voor 3D-kinematische data-acquisitie, en een enkele RGB-camera (minimale resolutie 1920 × 1080 pixels, 50 Hz) die loodrecht op het sagittale vlak is geplaatst voor 2D-markerloze opname. De methode is geschikt voor gecontroleerde klinische of laboratoriumomgevingen met voldoende verlichting (> 500 lux) en minimale achtergrondrommel. Om de robuustheid in niet-ideale omgevingen te verbeteren, integreert de vailá-toolbox voorverwerkingstools (bijv. drawbox-maskering, video-bijsnijden/verkleinen) waarmee gebruikers de deelnemer kunnen isoleren van achtergrondafleidingen of suboptimale camerakadering kunnen aanpassen. Belangrijke beperkingen zijn onder meer verminderde nauwkeurigheid voor de enkelcamera, markerloze benadering voor kinderen die aanzienlijke bewegingen buiten het vlak vertonen, omdat deze aanpak geen diepte-informatie of bewegingen buiten het gezichtsveld van de camera kan vastleggen. Gebruikers moeten ervoor zorgen dat deelnemers binnen het vooraf gedefinieerde capture volume blijven en de sagittale vlakuitlijning behouden tijdens taakuitvoering om de markeringsloze trackingprestaties te optimaliseren.

1. Pre-test controles

  1. Zet het infrarood motion capture-camerasysteem en de videocamera aan en warm op. Het infrarood motion capture-systeem vereist ongeveer 30-60 minuten warming om thermische stabilisatie te bereiken voordat kalibratie en dataverzameling plaatsvindt. Controleer de bemonsteringsfrequentie bij 100Hz (infraroodcamera's voor marker-gebaseerde systemen) en 50Hz (videocamera voor markerloze systemen).
  2. Maak reflecterende objecten uit het capture volume vrij en/of bedek die reflecteren.

2. Cameraplaatsing

  1. Marker-gebaseerd systeem (3D-camerasysteem)
    1. Positiecamera's ongeveer 1,5-2,5 m van het midden van het bewegingsgebied, gemonteerd op hoogtes van 0,5-2,5 m. Zorg ervoor dat de camera's gelijkmatig over het opnamevolume zijn verdeeld om de zichtbaarheid van de marker te optimaliseren en occlusie tijdens de zit-tot-staan-taak te minimaliseren. Alternatieve elevaties van camerapositie om de triangulatienauwkeurigheid te verbeteren en de zichtlijninterferentie te verminderen.
    2. Elk punt binnen het doelvolume (waar het kind de taak zal uitvoeren) moet te allen tijde zichtbaar zijn voor minstens twee camera's, volgens standaardaanbevelingen voor optimale 3D-data-opname. Definieer het capturevolume op basis van de antropometrie van de pediatrische deelnemers en de te evalueren taak.
      OPMERKING: De werkruimte was ongeveer 0,80 m boven de vloer gecentreerd.
    3. Gebruik de softwaretools van het marker-gebaseerde systeem om de drie belangrijkste optische instellingen (zoom, diafragma, focus) te verfijnen om lage kalibratieresiduen en hoge consistentie van markertracking tussen proeven te garanderen.
  2. Markerloos systeem (2D-camera)
    1. Plaats de videocamera zijwaarts op 3,0 m afstand van de deelnemer (of dichterbij, indien mogelijk, zolang het hele lichaam van het onderwerp tijdens de hele taak zichtbaar is, van zitten tot staand), gecentreerd op bekkenhoogte wanneer de deelnemer staat, orthogonaal op het sagittale vlak.
    2. Richt de optische as (geen rol) en lijn de middellijn van het beeld uit met het middengebied van het heupgewricht.
    3. Configureer de camera met vaste beeldparameters voor alle opnames.
      1. Stel de acquisitieregio in op een interessegebied van 1920 × 1200 px om de effectieve resolutie te definiëren. Gebruik een 20 mm brandpuntslens en houd het diafragma (voldoende contrast tussen de omgeving en de deelnemer) constant gedurende het hele experiment.
      2. Stel de framerate in op 50 Hz en zet de sluitertijd vast op 5 ms. Pas de volgende hardware-instellingen toe en pas deze niet aan tijdens het verzamelen van gegevens: gain 9,998, gamma 0,4, zwartniveau 0, verzadiging 1.
      3. Schakel alle automatische belichtings- en witbalanscorrecties uit om temporele afwijkingen in het beelduiterlijk te voorkomen.
        OPMERKING: Om de focus aan te passen kan een bord worden gebruikt met een korte zin geschreven in het lettertype Calibri, stijl vet, grootte 48, geplaatst op de plek waar de deelnemer de taak zal uitvoeren. Binnen het gezichtsveld van de camera moeten de letters scherp zijn, zonder zichtbare onscherpte.
    4. Bij gebruik van een lens met merkbare vervorming, bereid dan een Charuco/Checkerboard18,19 voor voor kalibratie/ontvorming (optioneel voor strikt sagittale, stationaire taken).
      OPMERKING: Zowel marker-gebaseerde als markerloze videocamerasystemen worden gebruikt worden weergegeven in Figuur 1.

Figuur 1
Figuur 1: Close-up van de twee camerasystemen die in deze studie zijn gebruikt. De infraroodcamera van het 3D-kinematicasysteem (links) werd gebruikt, waarbij 12 camera's het systeem vormden voor de marker-gebaseerde benadering, en één videocamera (rechts) werd gebruikt voor de markerloze benadering. Klik hier om een grotere versie van deze figuur te bekijken.

3. Synchronisatie

OPMERKING: Deze stap is alleen nodig wanneer verschillende systemen gelijktijdig worden gebruikt. Synchronisatie tussen systemen is niet noodzakelijk bij gebruik van slechts één kinematisch (2D of 3D) systeem.

  1. Verbind de LockLab (of een gelijkwaardige besturings-/synchronisatie-eenheid) om een transistor-transistor logic (TTL) trigger naar beide systemen te sturen aan het begin van elke proef.
  2. Als hardwaretriggers niet beschikbaar zijn, gebruik dan een zichtbare lichtgevende diode (LED) flits (voorkeursmethode) of een hoorbare klap die door beide systemen wordt vastgelegd voor latere uitlijning.

4. Calibratie van het opnamevolume (marker-gebaseerd systeem)

  1. Inspecteer visueel het gezichtsveld van camera's (zowel infrarood- als videocamera's) om onnodige objecten uit elk beeld te verwijderen. In de software van het marker-gebaseerde systeem maskeert men reflecterende objecten die niet uit het camerabeeld verwijderd kunnen worden (bijvoorbeeld andere camera's).
  2. Voer de toverstokkalibratie uit op de plek waar de taak zal worden uitgevoerd. Beweeg de toverstok door het volledige vangvolume om ervoor te zorgen dat de hele ruimte bedekt is. Accepteer alleen kalibratie als de ruimtelijke nauwkeurigheid 1 mm (gemiddelde residu) ≤.
    OPMERKING: Controleer of tijdens deze procedure minstens drie camera's gelijktijdig de kalibratiewanden bekijken. Beweeg de stok door het vangvolume met een snelheid die de verwachte beweging in de experimentele taak benadert: Voor taken met hoge snelheid beweeg je de stok snel; Voor langzamere bewegingen zwaai je de toverstok langzamer. Controleer aan het einde van de kalibratieronde de software-indicatoren voor camera's die niet voldoende beelden van de stok hebben vastgelegd en voer extra gerichte bewegingen uit binnen het gezichtsveld van die camera's voordat de kalibratie wordt afgerond. Restfouten na de kalibratie van de wanden liggen meestal tussen 0,3 en 0,8 mm wanneer de wandpassage soepel is, het opnamevolume uniform wordt verlicht en alle camera's onbelemmerd zicht hebben.
  3. Stel de volumeoorsprong in door de kalibratiestok op de aangewezen oorsprong binnen de gedefinieerde testruimte te plaatsen. Definieer het vloervlak volgens de instructies van de fabrikant.

5. Markeringsplaatsing (op marker gebaseerd systeem)

  1. Plaats retroreflectieve markeringen volgens het Plug-in Gait 20,21,22-model (Figuur 2) door een getrainde examinator.
  2. Controleer de zichtbaarheid van bilaterale heup-, knie- en rompmarkeringen tijdens een korte testbeweging voordat statische test wordt verzameld (vereist voor 3D-marker-gebaseerde systemen).

Figuur 2
Figuur 2: Plug-in gangmodel aangepast voor deze studie. De standaard markeringsset werd toegepast om segmenten van onderledematen, bekken, romp en hoofd te definiëren. De markeringen voor de bovenste ledematen werden verwijderd om zich uitsluitend te richten op de kinematica van het onderlichaam en de romp. Deze aanpassing behoudt de integriteit van het oorspronkelijke Plug-in Gait fullbody-model, terwijl armbeweging uit de analyse wordt uitgesloten. Klik hier om een grotere versie van deze figuur te bekijken.

6. Voorzitter en omgeving

  1. Gebruik een armloze stoel en stel de zithoogte zo aan dat de heup- en kniehoeken ~90° zijn, met de voeten plat op de vloer. Noteer de zithoogte (cm) voor elke deelnemer.
  2. Zorgen voor uniforme verlichting; Vermijd tegenlicht en occlusies in het sagittale beeld. Zorg voor een uniforme, contrastrijke achtergrond.

7. Participatie-instructie en veiligheid

  1. Bevestig dat er geen identificeerbare informatie is opgenomen in opnamebestanden (alleen niet-identificeerbare alfanumerieke codes voor elke deelnemer).
  2. Voor zit-tot-stand-onderzoeken moet de deelnemers op de hoogte zijn van de juiste instructies en protocollen.
    1. Geef instructies aan deelnemers die zich doorgaans ontwikkelen (TD) om hun handen in hun zij te houden.
    2. Voor kinderen met cerebrale parese (GMFCS III) moet je handmatig ondersteuning bieden om een rechtopstaande houding te bereiken zonder de veiligheid in gevaar te brengen.
      OPMERKING: Hoewel pediatrische patiënten mogelijk handmatige ondersteuning nodig hebben om veiligheid en taakuitvoering te waarborgen, moet er zorgvuldig op worden gelet om occlusie van lichaamssegmenten of markers te minimaliseren, omdat dit de datakwaliteit kan aantasten.
    3. Zet de beweging mondeling in ("omhoog") en laat een zelfgekozen comfortabele snelheid toe tijdens zit-tot-staan-proeven.

8. Proefverwerving

  1. Voordat je de dynamische proeven vastlegt, maak je een statische kalibratieproef waarbij de deelnemer in een neutrale positie staat met de voeten schouderbreedte uit elkaar en de armen op 90° van abductie.
    1. Zorg ervoor dat alle markeringen zichtbaar zijn voor ten minste twee camera's; Controleer in de acquisitiesoftware van het marker-gebaseerde systeem dat ≥ 95% van de markers op alle camera's wordt gedetecteerd. Record voor 2-3 seconden. Eén 3D-perspectiefframe moet alle markeringen bevatten.
    2. In de software van het marker-gebaseerde systeem past u het statische Plug-in Gait-model toe om gewrichtscentra en segmentcoördinatensystemen te definiëren. Controleer de juiste pasvorm van het model door de 3D-skeletvisualisatie te inspecteren en anatomisch plausibele posities van het gewrichtscentrum te bevestigen.
      OPMERKING: Deze statische proef levert de biomechanische modelparameters die nodig zijn voor de daaropvolgende 3D-dynamische verwerking. In deze stap moet men de antropometrische maten van de deelnemer invoeren (bijvoorbeeld gewicht, lengte, beenlengte, enz.) in de software van het marker-gebaseerde systeem. Wanneer handmatige ondersteuning nodig is voor pediatrische patiënten tijdens de statische studie, moet er zorgvuldig op worden gelet om markerocclusie te voorkomen, wat de datakwaliteit kan aantasten.
  2. Record van drie zit-tot-stand23 proeven per deelnemer. De rustperiode tussen de proeven kan per deelnemer worden geïnvesteerd, aangezien dit geen fysiek uitdagende taak is.
  3. Gebruik een gestandaardiseerde bestandsnaamgevingsconventie inclusief groep (bijv. TD, CP), alfanumerieke deelnemer-ID en proefnummer.
  4. In de software van het marker-gebaseerde systeem worden markertrajecten gereconstrueerd met behulp van het gekalibreerde camerasysteem.
    1. Label elke marker volgens de nomenclatuur van de Plug-in Gait markerset. Gebruik automatische gap-filling (maximale gap-grootte: 10 frames) voor korte occlusies.
    2. Controleer de nauwkeurigheid van de etikettering door het skelet visueel in 3D-perspectief te inspecteren. Zodra alle markers correct zijn gelabeld en trajecten continu zijn, exporteer je de proef als een .c3d-bestand voor analyse in de vailá-toolbox .
  5. Sla optische gegevens op als .c3d en videoframes of stream als verliesvrije of hoog-bitrate gecomprimeerde bestanden.

9. Gegevensverwerking

OPMERKING: De vailá toolbox (v0.10.21)24 is cross-platform (Windows, macOS, Linux) en vereist Python 3.12 of nieuwer. De markerloze analysemodules (bijv. MediaPipe25) zijn geoptimaliseerd om efficiënt te draaien op standaard CPU's, waardoor toegankelijkheid in klinische omgevingen zonder gespecialiseerde hardware wordt gegarandeerd. Een GPU met CUDA is optioneel en wordt alleen gebruikt als de gebruiker alternatieve hogesnelheidsmotoren (bijv. YOLO-Pose) kiest voor snellere verwerking. Voor gedetailleerde uitvoeringscommando's, stapsgewijze handleidingen en volledige documentatie worden gebruikers doorverwezen naar de online bronnen en geïntegreerde hulpbestanden van de toolbox, beschikbaar op: https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis.

  1. Marker-gebaseerde aanpak: In de software van het marker-gebaseerde systeem worden de statische en dynamische proeven verwerkt. Pas het Dynamic Plug-in Gait-model toe op de gelabelde markertrajecten (zie stap 7.4) om de tijdreeks van de gewrichtshoek te berekenen.
    1. Exporteer de verwerkte trialgegevens als een .c3d-bestand. Zorg ervoor dat de berekende tijdreeks van de gewrichtshoek (bijv. heup-, knie- en enkelhoeken) is opgenomen in de export.
    2. Importeer het verwerkte .c3d-bestand in de vailá-toolbox met behulp van de vaila.load_c3d() -functie. De toolbox haalt automatisch de vooraf berekende tijdreeksgegevens van de gewrichtshoek uit het bestand.
    3. Pas het4-de-orde zero-lag Butterworth low-pass filter toe (6 Hz cutoff) op de verbinding hoekgegevens met behulp van de geïntegreerde filterfuncties (zoals beschreven in stap 9.2.4 hieronder) om consistente verwerking met de markerloze data te garanderen.
    4. Vervolganalyses (bijv. cyclogramgeneratie, coördinatie-metriek) worden vervolgens uitgevoerd binnen vailá.
  2. Markerloze benadering: Load MediaPipe Pose schattingsmodule (v0.10.21) binnen vailá. Stel de volgende parameters in: static_image_mode = Onwaar, model_complexity = 1-2 (gebruik niveau 2 wanneer GPU/CPU-bronnen hogere nauwkeurigheid toelaten), smooth_landmarks = Waar, min_detection_confidence = 0,6, min_tracking_confidence = 0,6.
    OPMERKING: Alternatieve houdingsraamwerk, zoals OpenPose, kunnen hier worden gebruikt.
    1. Verwerk elk videoframe om de MediaPipe 33-herkenningspunten te extraheren (Figuur 3). Verwijder frames met detectievertrouwen onder de drempel of pas interpolatie toe voor ontbrekende data.
      OPMERKING: MediaPipe detecteert 33 herkenningspunten van het lichaam, waaronder gezicht, romp en ledemaatsleutels (Figuur 3). Voor het huidige protocol werden alleen de romp- en onderlichaamsherkenningspunten gebruikt die relevant zijn voor de zit-tot-staan-analyse: Schouder [herkenningspunten 11 (linker schouder) en 12 (rechter schouder)], Heup [herkenningspunten 23 (linkerheup) en 24 (rechterheup)], Knie [herkenningspunten 25 (linker knie) en 26 (rechter knie)], en Enkel [herkenningspunten 27 (linker enkel) en 28 (rechter enkel)]. Deze herkenningspunten worden automatisch gedetecteerd uit de RGB-video en worden geschat op basis van visuele kenmerken (in plaats van retroreflectieve markeringen zoals gebruikt in het Plug-in Gait-model).
    2. Controleer met vertrouwen dat alle belangrijke herkenningspunten (schouder, heup, knie, enkel) zijn gedetecteerd ≥ 0,7.
    3. (Optioneel) Als lensvervorming relevant is, vervorm dan de frames met kalibratieparameters (cameramatrix en vervormingscoëfficiënten) voordat je MediaPipe gebruikt.
    4. YOLO-Pose: Laad parallel de YOLO-Pose module die in vailá is geïntegreerd.
      1. Configureer het model met standaardgewichten voor detectie van menselijke skeletten (keypoint set consistent met het COCO-formaat). Elk frame wordt verwerkt om skeletsleutelpunten te detecteren met behulp van de YOLO-backbone, geoptimaliseerd voor robuuste prestaties onder bewegingsonscherpte, occlusie of complexe achtergronden.
      2. Pas temporele gladmakingsfilters toe om frame-tot-frame jitter te verminderen en gedetecteerde sleutelpunten uit te lijnen met het coördinatensysteem dat voor MediaPipe wordt gebruikt.
      3. Voor het temporele gladstrijkfilter past u een laagdoorlaatfilter van4-de-orde Butterworth toe met een cutoff-frequentie van 6 Hz (zit-tot-stand-bewegingen hebben dominante frequentieinhoud onder 5 Hz) op alle tijdreeksgegevens van de gewrichtshoeken, zowel marker-gebaseerd als markerloos, om hoogfrequente ruis te verwijderen terwijl het bewegingssignaal behouden blijft.
      4. Implementeer dit filter door gebruik te maken van de functies scipy.signal.butter() en scipy.signal.filtfilt() in Python, waarbij zero-phase voorwaarts-achterwaarts filtering wordt gebruikt om temporele verschuivingen te vermijden.
    5. Gegevensverwerking in vailá: Exporteer baanbrekende trajecten van beide pijplijnen (MediaPipe en YOLO-Pose) in een gestandaardiseerd .csv- of .json formaat. Sla metadata (framenummer, tijdstempel, detectievertrouwen) op samen met keypointcoördinaten. Dit zorgt voor vergelijkbaarheid tussen methoden en reproduceerbaarheid van analyses.
  3. Coördinatendefinities en gewrichtshoeken: Definieer sagittale heupflexie en knieflexiehoeken met positieve waarden voor flexie.
    1. Voor markerloze gegevens leidt u gewrichtscentra/segmenten af van MediaPipe-herkenningspunten (bijv. heup: bekkenproxy; knie: femur-tibia; romp: schouder-heup segment) en bereken u sagittale hoeken met behulp van een consistent gewrichtscoördinatensysteem.
      OPMERKING: Sagittale vlakhoeken worden geometrisch berekend uit de 2D-herkenningscoördinaten. De vailá-toolbox berekent de hoek (θ) tussen twee segmentvectoren (vector a en vector b) met behulp van de arccosine van hun inpuntproduct: θ = arccos((a · b) / (|a| |b|)). Heupflexie wordt gedefinieerd als de hoek tussen de 'romp'-vector (vector die MediaPipe-herkenningspunten 11/12 [schouder] en 23/24 [heup]) en de 'dij'-vector (vector die 23/24 [heup] en 25/26 [knie]) verbindt). Knieflexie wordt gedefinieerd als de hoek tussen de 'dij'-vector (vector die 23/24 [heup] en 25/26 [knie]) en de 'schenkel'-vector (vector die 25/26 [knie] en 27/28 [enkel]) verbindt).
    2. Pas dezelfde tekenconventie en filtering toe (indien nodig) op beide benaderingen om de vergelijking te vergemakkelijken.
  4. Temporele synchronisatie: Lijn gegevens van beide benaderingen uit met behulp van de LockLab triggertijdstempel; Anders lijn je het eerste zichtbare flash/clap-frame over datastromen uit.
    1. Herbemonster tijdreeksen, indien nodig, naar een gemeenschappelijke tijdsbasis vóór vergelijkingen.
  5. Definieer de bewegingscyclus:
    1. Definieer de zit-tot-staan-cyclus vanaf het begin van voorwaartse rompleuning (positieve romphoeksnelheidsdrempel) tot stabiele rechtopstaande houding voor kinderen die zich typisch ontwikkelen (romphoeksnelheid ~0 en knie-volledige strekking) en, voor kinderen met cerebrale parese, stabiele rechtopstaande houding en hoogste positie van de cervixmarker (marker-gebaseerd systeem).
    2. Voor kinderen met cerebrale parese, die mogelijk niet volledige extensie bereiken (d.w.z. romp uitgelijnd met het bekken, heup in 0° buiging, knieën volledig gestrekt) zoals bij kinderen die zich meestal ontwikkelen, wordt het einde van de cyclus gedefinieerd als de meest rechtopstaande houding die consistent is met de statische staande proef, en bevestigd door visuele inspectie om een stabiele houding te waarborgen vóór de volgende proef.
    3. Tijd-normaliseer niet voor de representatieve plots; Rapporteer de daadwerkelijke taakduur per proef. (Tijdgenormaliseerde analyses kunnen, indien gewenst, als aanvulling worden aangeboden.)
  6. Cyclogramberekening en metriek: Plot heup- (x-as) versus kniehoek (y-as) voor elke proef om heup-knie cyclogrammen te genereren.
    1. Overlay proeven en benaderingen (marker-gebaseerd versus markerloos) voor visuele vergelijking.
    2. Bereken optionele samenvattende metrics: heup/kniebewegingsbereik, lusoppervlak, lusoriëntatie (hoofdashoek) en padlengte.
    3. Exporteer verwerkte tijdreeksen en metrieken als .csv voor statistische analyse.

Figuur 3
Figuur 3: MediaPipe's 33 herkenningspunten. Voor deze studie gebruikten we alleen de herkenningspunten die relevant zijn voor de zit-tot-staan-taak, met name herkenningspunten 11 en 12 (schouders), 23 en 24 (heupen), 25 en 26 (knieën) en 27 en 28 (enkels). Klik hier om een grotere versie van deze figuur te bekijken.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De open-source Python-gebaseerde toolbox kwantificeerde met succes heup-kniecoördinatiepatronen van zowel marker-gebaseerde als markerloze systemen bij pediatrische deelnemers tijdens de sit-to-stand taak. Om een kwantitatieve vergelijking te bieden naast de visuele cyclogrammen, worden belangrijke samenvattende meetinstrumenten (heup- en kniebewegingsbereik) voor de representatieve proeven gepresenteerd in Tabel 1. Representatieve hoek-hoekgrafieken van typisch ontwikkelende kinderen (

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het doel van dit werk was om de haalbaarheid en toepassing aan te tonen van een open-source, multimodale toolbox die in staat is marker-gebaseerde en markerloze motion capture-systemen te integreren om de coördinatie van het hele lichaam in pediatrische populaties te analyseren. In representatieve toepassingen produceerde het protocol met succes heup-knie cyclogrammen die vergelijkbaar waren tussen marker-gebaseerde en markerloze systemen bij typisch ontwikkelende kinderen, terwijl het o...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben niets te onthullen.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We willen graag de financiële steun erkennen die (aan PI: Cesar) is verleend door de 2023 Pediatric Physical Therapy Research Grant van de Foundation for Physical Therapy Research, door het MedNexus Research Innovation Fund en door de Eunice Kennedy Shriver National Institute for Child Health and Human Development-subsidie (1R03HD114548-01).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
FLIR Blackfly cameraFLIR SystemsModel: BFS-U3-200S6C-CGebruikt voor 2D markerloze bewegingsregistratie (50 Hz, 1980×1200 px)
Hikvision PoE cameraHikvisionN/AAlternatieve video-opname voor 2D markerloze registratie
LockLab hardware triggerViconLockLabGebruikt voor temporele synchronisatie
Logitech C920 cameraLogitechHD Pro Webcam C920Alternatieve consumentencamera voor markerloze registratie
MediaPipeGoogle Researchv0.10.21Gebruikt voor real-time 2D pose schatting. Beschikbaar online op https://ai.google.dev/edge/mediapipe/solutions/guide
OpenPose softwareCarnegie Mellon University / OpenPose communityVersie 1.7.0Gebruikt voor real-time 2D pose schatting
Plug-in Gait full body modelViconStandaardmodelGebruikt als het biomechanische model voor anatomische markerplaatsing
Vero infraroodcamera'sViconVero serieGebruikt voor 3D marker-gebaseerde bewegingsregistratie (100 Hz)

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Tavernese, E., Paoloni, M., Mangone, M., Castelli, E., Santilli, V. Coordination between pelvis and shoulder girdle during walking in bilateral cerebral palsy. Clin Biomech. 32, 142-149 (2016).
  2. Cesar, G. M., Buster, T. W., Gonabadi, A. M., Burnfield, J. M. Muscle demand and kinematic similarities between pediatric-modified motor-assisted elliptical training at fast speed and fast overground walking:Real-world implications for pediatric gait rehabilitation. J Electromyogr Kinesiol. 63, 102639(2022).
  3. Burnfield, J. M., Cesar, G. M., Buster, T. W., Irons, S. L., Nelson, C. A. Kinematic and muscle demand similarities between motor-assisted elliptical training and walking:Implications for pediatric gait rehabilitation. Gait Posture. 51, 194-200 (2017).
  4. Swinnen, E., Van Goten, L., De Koster, B., Degelaen, M. Thorax and pelvis kinematics during walking, a comparison between children with and without cerebral palsy:A systematic review. NeuroRehabilitation. 38 (2), 129-146 (2016).
  5. Boonyong, S., Suriyaamarit, D. The effects of anterior seat inclination on movement time, mechanical work and kinematics during sit-to-stand in children with spastic diplegic cerebral palsy. Disabil Rehabil Assist Technol. 16 (5), 479-482 (2021).
  6. Aboelnasr, E. A., Hegazy, F. A., Altalway, H. A. Kinematic characteristics of reaching in children with hemiplegic cerebral palsy:A comparative study. Brain Inj. 31 (1), 83-89 (2017).
  7. Suo, X., Tang, W., Li, Z. Motion capture technology in sports scenarios:A survey. Sensors. 24 (9), 2947(2024).
  8. Thielen, H., Tuts, N., Welkenhuyzen, L., Huenges Wajer, I. M., Lafosse, C., Gillebert, C. R. Sensory sensitivity after acquired brain injury:A systematic review. J Neuropsychol. 17 (1), 1-31 (2023).
  9. de Sain, A. M., et al. Sensory hypersensitivity after acquired brain injury:The patient perspective. Disabil Rehabil. 46 (16), 3586-3593 (2024).
  10. Pavão, S. L., Rocha, N. A. Sensory processing disorders in children with cerebral palsy. Infant Behav Dev. 46, 1-6 (2017).
  11. Realtime multi-person 2D pose estimation using part affinity fields. Cao, Z., Simon, T., Wei, S. E., Sheikh, Y. Proc IEEE Conf Comput Vis Pattern Recognit, 2017, 1302-1310 (2017).
  12. Mathis, A., et al. DeepLabCut:Markerless pose estimation of user-defined body parts with deep learning. Nat Neurosci. 21 (9), 1281-1289 (2018).
  13. Dubois, A., et al. A guide to inter-joint coordination characterization for discrete movements:A comparative study. J Neuroeng Rehabil. 20, 132(2023).
  14. Saegner, K., et al. Inter-joint coordination with and without dopaminergic medication in Parkinson's disease:A case-control study. J Neuroeng Rehabil. 21, 118(2024).
  15. Hallemans, A., Aerts, P. Effects of visual deprivation on intra-limb coordination during walking in children (3-11 years) and adults:Thigh-shank and shank-foot angle-angle plots reveal modulation of loop shape with visual condition. Exp Brain Res. 198 (1), 95-106 (2009).
  16. Yun, G., Huang, M., Cao, J., Hu, X. Selective motor control correlates with gross motor ability, functional balance and gait performance in ambulant children with bilateral spastic cerebral palsy. Gait Posture. 99, 9-13 (2023).
  17. Park, E. S., et al. The characteristics of sit-to-stand transfer in young children with spastic cerebral palsy based on kinematic and kinetic data. Gait Posture. 17 (1), 43-49 (2003).
  18. Bradski, G. The OpenCV library. Dr Dobb's J Softw Tools. 120, 122-125 (2000).
  19. Garrido-Jurado, S., Muñoz-Salinas, R., Madrid-Cuevas, F. J., Marín-Jiménez, M. J. Automatic generation and detection of highly reliable fiducial markers under occlusion. Pattern Recognit. 47 (6), 2280-2292 (2014).
  20. Kadaba, M. P., Ramakrishnan, H. K., Wootten, M. E. Measurement of lower extremity kinematics during level walking. J Orthop Res. 8 (3), 383-392 (1990).
  21. Davis, R. B., Õunpuu, S., Tyburski, D., Gage, J. R. A gait analysis data collection and reduction technique. Hum Mov Sci. 10, 575-587 (1991).
  22. Vicon Motion Systems Ltd. Plug-in gait reference guide. , Vicon Motion Systems Ltd. Oxford. https://help.vicon.com/download/attachments/11378719/Plug-in%20Gait%20Reference%20Guide.pdf (2016).
  23. Romin, E., Lindgren, A., Rodby-Bousquet, E., Cloodt, E. Sit-to-stand performance in children with cerebral palsy: A population-based cross-sectional study. BMC Musculoskelet Disord. 25 (1), 460(2024).
  24. vailá: A multimodal toolbox for analysis and integration in biomechanics. Santiago, P. R. P., Chinaglia, A. G., Bedo, B. L. S., Mochida, L. Y., Cesar, G. M. Int Soc Biomech Conf, July 27-31, Stockholm, Sweden, , (2025).
  25. MediaPipe v0.10.21. , MediaPipe. Available at: https://pypi.org/project/mediapipe/ (2025).
  26. Kim, D., et al. Learning-based 3D human kinematics estimation using behavioral constraints from activity classification. Nat Commun. 16 (1), 3454(2025).
  27. Friedrich, M. U., et al. Validation and application of computer vision algorithms for video-based tremor analysis. NPJ Digit Med. 7 (1), 165(2024).
  28. Cappozzo, A., et al. Human movement analysis using stereophotogrammetry. Gait Posture. 21 (2), 186-196 (2005).
  29. Maas, S. A., Göcking, T., Stojan, R., Voelcker-Rehage, C., Kutz, D. F. Synchronization of neurophysiological and biomechanical data in a real-time virtual gait analysis system (GRAIL):A proof-of-principle study. Sensors. 24 (12), 3779(2024).
  30. Wade, L., Needham, L., McGuigan, P., Bilzon, J. L. Applications and limitations of current markerless motion capture methods for clinical gait biomechanics. PeerJ. 10, e13292(2022).
  31. Wade, L., et al. Examination of 2D frontal and sagittal markerless motion capture:Implications for markerless applications. PLoS One. 18 (11), e0293917(2023).
  32. Arbogast, K. B., et al. Consensus head acceleration measurement practices (CHAMP): Origins, methods, transparency and disclosure. Ann Biomed Eng. 50 (11), 1317-1345 (2022).
  33. Yang, J., Park, K. Improving gait analysis techniques with markerless pose estimation based on smartphone location. Bioengineering. 11 (2), 141(2024).
  34. Washabaugh, E. P., Shanmugam, T. A., Ranganathan, R., Krishnan, C. Comparing the accuracy of open-source pose estimation methods for measuring gait kinematics. Gait Posture. 97, 188-195 (2022).
  35. Lee, H., et al. Automated gait analysis based on a marker-free pose estimation model. Sensors. 23 (14), 6489(2023).
  36. Hundza, S. R., et al. Multi-view gait analysis by temporal geometric features of human body parts. Appl Sci. 14 (7), 2824(2024).
  37. Shvets, A., et al. Improving gesture recognition efficiency with MediaPipe and YOLO-Pose. Int Arch Photogramm Remote Sens Spatial Inf Sci. 48, 13-18 (2025).
  38. Gonabadi, A. M., Cesar, G. M., Buster, T. W., Burnfield, J. M. Effect of gap-filling technique and gap location on linear and nonlinear calculations of motion during locomotor activities. Gait Posture. 94, 85-92 (2022).
  39. Cesar, G. M., Buster, T. W., Burnfield, J. M. Cardiorespiratory fitness, balance and walking improvements in an adolescent with cerebral palsy (GMFCS II) and autism after motor-assisted elliptical training. Eur J Physiother. 22 (3), 124-132 (2020).
  40. Basystiuk, O., Rybchak, Z., Zavushchak, I., Marikutsa, U. Evaluation of multimodal data synchronization tools. Comput Des Syst Theory Pract. 6, 104-111 (2024).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Motion CaptureMarkerless Motion CaptureCerebral PalsyIntersegmental CoordinationHuman Movement AnalysisKinematic PatternsDeep Learning Pose EstimationInertial Measurement UnitsCyclogram ApproachSit To Stand Task

Related Articles