多模态动作捕捉工具箱，用于增强脑瘫儿童及典型发育儿童节段间协调分析

Summary

本研究引入了结合动作捕捉技术的工具箱，用于分析运动学信号，并通过角度-角度图量化全身协调模式。该工具箱旨在克服传统基于标记系统的挑战，支持研究、临床和实地环境的灵活性，推动运动障碍儿童的个性化护理和功能评估。

Abstract

基于标记的三维动作捕捉系统是评估人体运动运动模式的黄金标准，能够精确量化节段和关节位置。然而，传统的标记系统面临诸多挑战，尤其是对于神经系统障碍和感觉处理异常的儿童，如脑瘫儿童所观察到的情况。这些挑战阻碍了运动学标记的使用，限制了对运动模式的详细分析。基于深度学习的人体姿估计的无标记动作捕捉系统的最新进展，使我们能够探索传统光学系统的成本效益高的替代方案及后续数据处理方法。开发了一套集成工具箱，结合了多种动作捕捉技术：研究级运动学设备、运动学集群、惯性测量单元、三维（3D）无标记系统，以及二维（2D）无标记系统，配备商业化摄像机（通过MediaPipe）。本研究展示了基于3D标记与无标记的动作捕捉结果，这是人体生物力学研究中的主要持续问题，旨在通过髋膝角度-角度图描述协调模式。选择环图方法是因为它提供了一个稳健的度量框架，且易于解释，用于分析身体段间耦合运动的协调。两名发育正常的儿童和两名脑瘫儿童执行了功能性运动模式——坐站任务。本研究结果展示了将多模态系统整合为运动学分析的可行性，为研究和临床环境提供了灵活性。此外，本研究提出的新颖开源方法解决了许多患者群体面临的感官处理问题，实现了先进且个性化的护理计划。

Introduction

三维运动学动作捕捉评估为量化预期和异常运动模式提供了可靠信息。这些信息对于设计康复计划¹和建立患者使用临床设备的安全方法至关重要（例如，^2,3）。在考虑神经系统引发性残疾的儿童时，这些运动学评估可以通过关注不同功能任务（如步态⁴、坐站任务⁵和上^肢伸展6）协调模式的变化，提供更强的护理。

尽管三维（3D）运动学评估被认为是准确动作^{捕捉分析的}黄金标准7，但将运动学标记放置在皮肤上是确保节段和关节运动精确量化的必要条件。这种基于标记的评估要求执行者了解具体的解剖标志，以及对贴在受试者皮肤上的胶带的耐受性和接受度。前者可以学习，但后者在多个患者群体中存在问题。例如，脑损伤或脑瘫儿童可能表现出感官信息处理障碍 ^8,9,10。该障碍可能表现为过敏反应，阻碍临床医生和研究人员在儿童皮肤上应用运动学标志，进而阻碍对运动能力变化的量化和高效的个别护理计划。

除了在患者皮肤上放置标记的问题外，大多数用于运动学研究的测量系统价格不高，仅限于实验室空间，且仅由高素质人员使用，因此不适合常规临床使用。然而，当前动作捕捉技术的发展支持了不同的运动学数据记录方法。例如，利用深度学习技术进行自动人体姿态估计，已引起计算机视觉研究者的关注。这些无标记动作捕捉技术可能为基于标记的运动分析相关的技术和实际挑战提供了有前景的解决方案¹¹。这种方法不依赖标记追踪，而是利用训练有素的神经网络来估计整个¹²个标志的位置。这一发展提升了人体姿势识别技术的整体效率和适应性。

已有充分证据表明，身体各节段之间的运动学关系可以揭示支持运动模式变异的潜在控制机制。虽然可以使用多种方法测量^段间的协调，但角度-角度图（圆图）本身可以量化段/关节间在规定时间范围内的耦合运动，^14,15。由于许多脑瘫儿童在执行全身运动模式时因选择性运动控制受损而感到困难¹⁶，我们选择研究简单但基础控制复杂的坐站运动¹⁷。本研究的目标是展示结合动作捕捉技术的开源工具箱，以促进对残障儿童协调模式的运动学评估的可行性。

本研究将利用髋膝环图来展示躯干/骨盆与大腿/腿段之间的协调，使用髋关节和膝关节作为与坐立生物力学相关的代表性节段间耦合。选择髋膝协调是因为它捕捉了在坐站任务中驱动质心垂直推进的主要关节耦合，该动作对残疾儿童来说至关重要，因为他们常依赖代偿性下肢策略，原因是选择性运动控制受损，¹⁶ 影响关节协同作用。将不同技术（如研究级3D运动学设备到市售相机）集成到一个处理工具箱，使从科研环境到现场和临床环境的使用更加灵活。当残障儿童因感觉处理异常无法放置标记时，工具箱还支持通过无标记动作捕捉信号处理功能进行详细的运动学评估。

Protocol

本研究以病例系列形式进行，采用四名儿童的代表性结果，以证明方案的可行性，而非统计推断。本研究参与者包括两名典型发育儿童（4岁男性，100厘米，14.5公斤;10岁男性，144厘米，40.8公斤）和两名脑瘫儿童（大运动功能分类系统III的女性，4岁女性，93厘米，13.8公斤;4岁男性，102厘米，16.7公斤）。父母/法定监护人和儿童在参与前根据我们机构审查委员会批准的研究方案（IRB-FY2024-33）提供了知情同意/同意。

注意：虽然本方案描述了基于3D标记和2D无标记的动作捕捉系统的作程序，但本研究的重点在于无标记方法的实现，这代表了本工作的核心临床和实际应用。当前协议的核心实现需要基于标记的动作捕捉系统（至少8台摄像机）用于3D运动学数据采集，以及一台RGB摄像机（最低分辨率1920×1080像素，50赫兹）位于矢状面垂直位置，实现二维无标记采集。该方法适用于受控的临床或实验室环境，且光照充足（>500勒克斯）且背景杂波最小。为了在非理想环境中提高鲁棒性， vailá 工具箱集成了预处理工具（如绘框遮罩、视频裁剪/调整），允许用户将参与者隔离于背景干扰或调整次优摄像机构图。主要局限性在于单摄像机无标记方法对表现出明显平面外运动的儿童来说精度降低，因为该方法无法捕捉摄像机视野外的深度信息或运动。用户应确保参与者保持在预设的捕获体积内，并在任务执行时保持矢面对齐，以优化无标记跟踪性能。

1. 预测试检查

1. 开机并预热红外动作捕捉系统和摄像机。红外运动捕捉系统需要大约30-60分钟的预热以达到热稳定，然后进行校准和数据收集。验证采样率为100Hz（红外相机用于标记系统）和50Hz（视频摄像机用于无标记系统）。
2. 清除和/或遮盖捕捉体中的反光物体。

2. 摄像机位置

1. 基于标记的系统（3D摄像机系统）
   1. 位置摄像机距离移动区域中心约1.5-2.5米，安装高度为0.5-2.5米。确保摄像机均匀分布在拍摄体积周围，以优化标记的可见度，并减少坐立任务中的遮挡。相机位置的交替仰角，以提高三角测量精度并减少视线干扰。
   2. 目标体积内的每个点（孩子将执行任务的地方）必须始终至少有两台摄像头看到，遵循最佳3D数据采集的标准建议。根据儿科参与者的人体测量数据和所评估任务，定义捕获量。
      注：工作区位于距地面约0.80米的中心位置。
   3. 使用基于标记系统的软件工具，优化三大光学设置（变焦、光圈、对焦），以确保低校准残差和高标记跟踪一致性。
2. 无标记系统（2D相机）
   1. 将摄像机横向放置在距离参与者3.0米处（或尽可能靠近，只要在整个任务过程中能看到受试者的全身，从坐着到站立），中心位于骨盆高度，且与矢状面垂直。
   2. 将光轴调平（无滚轴），并将图像中线对准髋关节中心区域。
   3. 为所有录制配置固定的成像参数。
      1. 将采集区域设为1920×1200像素以确定有效分辨率。使用20毫米焦镜头，并在整个实验过程中保持光圈（环境与参与者之间的对比度足够）恒定。
      2. 将帧率设置为50 Hz，快门时长固定在5毫秒。应用以下硬件设置，且在数据采集过程中勿更改：增益9.998，伽马0.4，黑色电平0，饱和度1。
      3. 关闭所有自动曝光和白平衡调整，以防止图像外观的时间漂移。
         注意：调整焦点时，可以使用一个标牌，并附上一个用Calibri字体、粗体、48号字体写成的短语，放置在参与者将执行任务的位置。在相机视野内，字母应清晰，不可见模糊。
   4. 使用任何明显畸变的镜头时，准备一个Charuco/^{Checkerboard 18,19}用于校准/去畸变（严格矢状、静止作可选）。
      注意：图 1展示了基于标记和无标记的视频摄像系统。

图1：本研究中使用的两套摄像机系统的特写。 采用了3D运动学系统的红外摄像机（左），其中12台摄像机组成系统用于无标记进近，右侧使用一台摄像机进行无标记进近。 请点击此处查看该图的放大版本。

3. 同步

注意：此步骤仅在同时使用不同系统时使用。仅使用单一运动学（2D或3D）系统时，系统间不必要同步。

1. 连接LockLab（或等效控制/同步单元），在每次试验开始时向两个系统发送晶体管-晶体管逻辑（TTL）触发器。
2. 如果无法使用硬件触发器，可以使用可见光二极管（LED）闪光灯（更优方法）或两系统同时捕捉的声音拍手声，以便后续对准。

4. 捕获体积校准（基于标记的系统）

1. 目视检查摄像头的视野（包括红外和视频摄像头），以去除每个视角中不必要的物体。在基于标记器的系统软件中，会遮罩那些无法从相机视野中移除的反光物体（例如其他相机）。
2. 在任务将要执行的地方进行探棒校准。在整个捕捉体积内移动魔杖，确保整个空间都被覆盖。仅在空间精度≤1毫米（平均残差）时接受校准。
   注意：在此过程中，请确认至少有三台相机同时查看校准棒。以接近实验任务预期运动速度的速度移动魔杖穿过捕捉体积：对于高速任务，快速移动魔杖;动作慢的时候，可以慢慢扫动。校准结束后，检查软件指示器，查找未捕捉到足够视野的摄像头，并在这些摄像头视野内进行额外的针对性探棒移动，然后完成校准。当扫描仪平滑、拍摄体积均匀且所有相机视野无阻挡时，灯泡校准后的残余误差通常在0.3到0.8毫米之间。
3. 通过将校准棒放置在指定测试空间内的指定起点位置来设置体积原点。根据制造商的说明定义底板。

5. 标记放置（基于标记的系统）

1. 根据训练有素的考官根据插入式步态^20,21,22模型（见图2）放置回溯反射标记。
2. 在采集静态试验前（3D标记系统要求），在短暂测试动作中确认双侧髋关节、膝盖和躯干标记的可见性。

图2：为本研究调整的插拔步态模型。 标准标记集用于定义下肢、骨盆、躯干和头部节段。上肢标记被移除，专注于下半身和躯干的运动学。这种调整保留了原始插电式步态全身模型的完整性，同时排除了手臂运动。 请点击此处查看该图的放大版本。

6. 主席与环境

1. 使用无扶手椅，调整座高，使髋部和膝盖角为~90°，双脚平放在地板上。记录每位参与者的座椅高度（厘米）。
2. 提供统一照明;避免矢状面视角的逆光和遮挡。确保背景均匀且对比度高。

7. 参与者指导与安全

1. 确认录音文件中不包含可识别信息（仅为每位参与者提供不可识别的字母数字代码）。
2. 对于坐立试验，确保参与者了解正确的指导和作流程。
   1. 指导发育正常（TD）参与者双手叉腰。
   2. 对于患有脑瘫（GMFCS III）的儿童，应根据需要提供手动支持，帮助他们在不影响安全的情况下实现直立站立。
      注意：虽然儿科患者可能需要手动支持以确保安全和完成任务，但必须尽量减少身体节段或标志物的阻塞，因为这会影响数据质量。
   3. 口头提示动作（“向上”），并在坐站试验中允许自选舒适的速度。

8. 试用获取

1. 在拍摄动态试验前，先录制一个静态校准试验，参与者站立为中立姿势，双脚与肩同宽，双臂与外展90°角。
   1. 确保所有标记至少对两台摄像头可见;在基于标记的系统的采集软件中核实，所有摄像头中95%的标记≥被检测到。记录为2-3秒。一个三维透视帧必须包含所有标记。
   2. 在基于标记的系统的软件中，应用 插件步态静态 模型来定义关节中心和段坐标系。通过检查3D骨骼可视化并确认解剖学上合理的关节中心位置，验证模型的正确匹配度。
      注：本静态试验提供了后续三维动态试验处理所需的生物力学模型参数。在此步骤中，需在基于标记的系统软件中输入参与者的人体测量指标（如体重、身高、腿长等）。在静态试验期间，儿童患者需要手动支持时，必须注意避免标记物阻塞，因为这可能影响数据质量。
2. 每位参与者记录三次坐立试验，^共23 次。试验间的休息时间可以根据每个参与者的需求调整，因为这不是一项体力挑战性任务。
3. 使用标准化的文件命名规范，包括组别（如TD、CP）、参与者字母数字ID和试验编号。
4. 在基于标记的系统软件中，利用校准相机系统重建标记轨迹。
   1. 按照插入式步态标记集命名法为每个标记标记。短暂遮挡时使用自动填充间隙（最大间隙大小：10帧）。
   2. 通过三维视角目视骨骼来验证标签准确性。当所有标记正确标注且轨迹连续后，将试验导出为.c3d文件，用于 vailá 工具箱分析。
5. 将光学数据保存为.c3d和视频帧，或以无损或高码率压缩文件形式流传输。

9. 数据处理

注意： vailá 工具箱（v0.10.21）²⁴ 支持跨平台（Windows、macOS、Linux），并要求使用 Python 3.12 或更新版本。无标记分析模块（如MediaPipe²⁵）经过优化，能够高效运行于标准CPU上，确保在临床环境中无需专用硬件即可访问。支持CUDA的GPU是可选的，只有在用户选择其他高速引擎（如YOLO-Pose）以加快处理速度时才会使用。如需详细执行命令、逐步指南和完整文档，用户可访问工具箱的在线资源和集成帮助文件，访问网址：https://github.com/vaila-multimodaltoolbox/vaila/tree/main/docs/modules/markerless-analysis。

1. 基于标记的方法：在基于标记系统的软件中，处理静态和动态试验。将动态插电步态模型应用于标记的标记轨迹（见步骤7.4），计算关节角度时间序列。
   1. 导出处理后的试验数据为.c3d文件。确保导出时包含计算出的关节角度时间序列（例如髋部角、膝盖角、踝角）。
   2. 使用 vaila.load_c3d（） 函数将处理后的 .c3d 文件导入 vailá 工具箱。工具箱会自动从文件中提取预先计算的关节角度时间序列数据。
   3. 使用集成滤波函数（如下步骤9.2.4所述）对联合角度数据应用4^阶零滞Butterworth低通滤波器（6 Hz截止），以确保与无标记数据的处理一致。
   4. 随后在 vailá内进行后续分析（如环图生成、协调指标计算）。
2. 无标记方法：在 vailá中加载MediaPipe姿态估计模块（v0.10.21）。设置以下参数：static_image_mode = False，model_complexity = 1-2（当 GPU 或 CPU 资源允许更高精度时使用等级 2），smooth_landmarks = True，min_detection_confidence = 0.6，min_tracking_confidence = 0.6。
   注意：此处可以使用其他姿态估计框架，如 OpenPose。
   1. 处理每个视频帧以提取MediaPipe 33的标志点（见图3）。在检测置信度低于阈值的情况下丢弃帧，或对缺失数据进行插值。
      注：MediaPipe检测到33个身体标志，包括面部、躯干和肢体关键点（见图3）。在当前方案中，仅使用了与坐站分析相关的躯干和下半身标志：肩部[标志标11（左肩）和12（右肩）]，髋关节[标志标23（左髋）和24（右髋）]，膝盖[标志标25（左膝）和26（右膝）]，以及踝关节[标志27（左踝）和28（右踝）]。这些标志是从RGB视频中自动检测到的，并根据视觉特征估算（而非插入式步态模型中使用的反射标记位置）。
   2. 确认所有关键标志（肩膀、臀部、膝盖、脚踝）均被置信度检测到，置信度为0.7≥。
   3. （可选）如果镜头畸变相关，使用校准参数（相机矩阵和畸变系数）进行去畸变，再运行MediaPipe。
   4. YOLO-Pose：同时加载集成在 vailá中的YOLO-Pose模块。
      1. 将模型配置为默认权重以用于人体骨骼检测（关键点设置与COCO格式一致）。每一帧都经过处理，利用YOLO骨干网检测骨架关键点，优化以适应运动模糊、遮挡或复杂背景下的稳健性能。
      2. 应用时间平滑滤波器以减少帧间抖动，并将检测到的关键点与MediaPipe所用坐标系对齐。
      3. 对于时间平滑滤波器，对所有关节角度时间序列数据（包括基于标记和无标记）应用低通四阶巴特沃斯滤波器，截止频率为6 Hz（坐立运动的频率含量低于5 Hz），以去除高频噪声同时保持运动信号。
      4. 通过在 Python 中使用 scipy.signal.butter（） 和 scipy.signal.filtfilt（） 函数实现此滤波器，采用零相位正后滤波以避免时间偏移。
   5. vailá 的数据处理：将两个管道（MediaPipe 和 YOLO-Pose）的里程碑轨迹导出为标准化的 .csv 或 .json 格式。将元数据（帧号、时间戳、检测置信度）及关键点坐标一起存储。这确保了各方法的可比性和分析的可重复性。
3. 坐标定义和关节角度：定义矢状面髋屈曲和膝盖屈曲角，屈曲角度为正值。
   1. 对于无标记数据，可从MediaPipe标志（如髋关节：骨盆代理;膝盖：股骨-胫骨;躯干：肩髋节段）推导关节中心/段，并使用一致的关节坐标系计算矢状角。
      注意：矢状面接缝角度是根据二维地标坐标几何计算得出的。 vailá 工具箱利用两个线段向量（向量a和向量b）的点积的弧经线计算两个线段向量之间的角度（θ）：θ = arccos（（a · b） / （|a| |b|））。髋屈曲定义为“躯干”向量（连接MediaPipe标志11/12[肩部]和23/24[髋部]）与“大腿”向量（连接23/24[臀部]和25/26[膝盖]的向量）之间的夹角。膝关节屈曲定义为“大腿”向量（连接23/24[髋]和25/26[膝盖]）与“腿部”向量（连接25/26[膝盖]和27/28[脚踝]）之间的夹角。
   2. 对两种方法应用相同的符号约定和过滤（如有需要），以便于比较。
4. 时间同步：使用LockLab触发时间戳对齐两种方法的数据;否则，将第一个可见闪光/拍手帧对齐到数据流中。
   1. 如有必要，在比较前将时间序列重新采样为共同时间基。
5. 定义运动周期：
   1. 定义典型发育儿童从前倾躯干前倾（正躯干角速度阈值）到稳定直立站立的坐立周期（躯干角速度~0，膝盖完全伸展），以及脑瘫儿童稳定直立站立和颈椎标志最高位置（基于标记系统）。
   2. 对于脑瘫儿童，可能未能实现完全伸展（即躯干与骨盆对齐，髋关节0°屈曲，膝盖完全伸展），如发育期儿童所观察到的，应将周期结束定义为与静态站立试验一致并通过目视确认的最高挺直姿势，以确保在下次试验前保持稳定姿势。
   3. 不要对代表图进行时间归一化;报告每个试验的实际任务时长。（如有需要，时间归一化分析可作为补充提供。）
6. 环图计算与度量：每次试验绘制髋角（x轴）与膝角（y轴）的角度，生成髋膝环图。
   1. 叠加试验和方法（基于标记与无标记）用于视觉比较。
   2. 计算可选的总结指标：髋关节/膝关节活动范围、环面积、环方向（主轴角）和路径长度。
   3. 导出处理过的时间序列和指标作为统计分析.csv。

图3：MediaPipe的33个地标。 本研究仅使用与坐站任务相关的标志，具体为11和12（肩部）、23和24（髋部）、25和26（膝盖）以及27和28（脚踝）。 请点击此处查看该图的放大版本。

Results

基于Python的开源工具箱成功量化了基于标记和无标记系统的儿童参与者在坐站任务中的髋膝协调模式。为了与视觉环图进行定量比较，表1中列出了代表性试验的关键总结指标（髋关节和膝关节活动范围）。典型发育儿童的代表性角度图（图4A，B）显示无标记系统的协调特征与金标准的基于标记的3D动作捕捉结果非常匹配。一致性证实了所提方法能够高精度捕捉规范性的全身协调策略，验证了该工具箱在受控条件下复制既定运动学结果的能力。

脑瘫儿童的代表性结果见图4C，D。如预期，整体协调模式与正常发育儿童不同，反映了该患者群体中常见的运动控制改变。值得注意的是，虽然横移运动的范围相似（例如基于标记的20°至80°，无标记的从0°到60°），但无标记和基于标记的结果在儿童间并不均匀对齐。对于一名参与者（图4D），无标记系统未能重现与基于标...

Discussion

本研究旨在展示开源、多模态工具箱的可行性和应用，能够整合基于标记和无标记的动作捕捉系统，分析儿科人群中的全身协调。在代表性应用中，该方案成功生成了基于标记和无标记系统的髋膝环图，适用于典型发育儿童，同时也突出了脑瘫儿童在运动超出矢状面时（如躯干横旋）的相似性和差异。我们有意在两个儿科病例系列中测试该工具箱，因为运动行为在不同年龄段（例如5岁与10岁）之间存在差异，且在发育正常的儿童与脑瘫儿童之间存在差异。协议中的关键步骤是选择参考系统和记录几何形状。基于三维标记的光学动作捕捉仍是评估其他方法的基准^26,27。静态校准和精确的时间同步在整合多模态数据流以实现跨方法验证时至关重要²⁸。在这项研究中，通过3D运动学系统的LockLab触发器实现了同步;然而，当硬件触发器^不可用时，诸如可见LED闪光或光电二极管捕获等替代方法可以提供稳健的对准。相机定位同样关键：对于像...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
FLIR 黑蝇相机	FLIR系统	型号：BFS-U3-200S6C-C	用于2D无标记动作捕捉（50 Hz，1980年及以下;1200像素）
海康视 PoE 摄像头	海康威视	无	用于2D无标记采集的替代视频录制
LockLab 硬件扳机	维孔	LockLab	用于时间同步
罗技 C920 摄像头	罗技	HD Pro 网络摄像头 C920	无标记拍摄的替代消费级相机
媒体管道	谷歌研究	v0.10.21	用于实时二维姿态估计。在线可 https://ai.google.dev/edge/mediapipe/solutions/guide
OpenPose 软件	卡内基梅隆大学 / OpenPose 社区	版本 1.7.0	用于实时二维姿态估计
插电式步态全身模型	维孔	标准模型	用作解剖标记放置的生物力学模型
Vero 红外摄像头	维孔	Vero 系列	用于基于3D标记的动作捕捉（100 Hz）