本研究提供了一个通过基于标记的方法估计骨骼姿态的体内数据集。文中包含一种用于培训操作人员改进其基于模型的姿态初始估计并降低操作者间差异性的方法。
本文内容
摘要
摘要
测量足部小骨骼的运动对于理解病理性功能丧失至关重要。双平面视频透视成像技术非常适合用于测量in vivo（活体）骨骼运动，但在估算每块骨骼的旋转与平移（位姿）时仍存在挑战。骨骼位姿通常通过基于标记物或基于模型的方法进行估算。基于标记物的方法虽然精度很高，但由于具有侵入性，因此在in vivo（活体）研究中较少使用。基于模型的方法更为常见，但目前精度较低，因其依赖于用户输入和实验室特定的算法。本研究提供了一套罕见的in vivo（活体）数据集，包含跟骨、距骨和胫骨在跑步与跳跃过程中的位姿，这些数据通过基于标记物的方法测量获得。本文还提供了一种培训方法，指导用户利用基于标记物的视觉反馈，改进其在基于模型的位姿估算软件中的初始估计。新操作者能够将骨骼位姿的估算误差控制在旋转±2°以内、平移±1 mm以内，接近基于模型软件专家用户的水平，且显著优于以往报道的操作者间变异性。此外，该数据集可用于验证其他基于模型的位姿估算软件。最终，共享此数据集将提升用户从双平面视频透视成像中测量骨骼位姿的速度与准确性。
引言
测量足部小骨骼的运动对于理解病理性功能丧失至关重要。然而，由于骨骼和关节体积小且排列紧密，动态测量足骨运动具有较大挑战性。1,2双平面视频放射成像（BVR）技术非常适用于测量 体内 足部与踝关节小骨在动态活动中的三维（3D）运动。双平面X射线成像系统（BVR）通过两套耦合图像增强器的X射线源，将动态运动的X射线影像转换为可见光，从而揭示关节运动学特征。当足部在捕捉体积内运动时，高速相机同步采集图像。通过标定后的相机位置，对图像进行去畸变处理并投影至捕捉体积内3,4然后使用基于标记或基于模型的方法估计骨骼的六自由度（6 d.o.f.）位姿（3 d.o.f. 用于位置，3 d.o.f. 用于方向）3.
基于标记物或模型的姿态估计算法在不同实验室和学科之间存在差异。动态BVR姿态测量的金标准是在目标骨内植入微小的钽标记物4,5。每块骨至少需要三个标记物才能估算其姿态，增加标记物数量可提高精度5,6。由于该方法具有侵入性，需通过手术植入标记物，且标记物将永久嵌入骨组织中，因此在活体（in vivo）中的应用较少7。另一种替代方法是基于模型的追踪技术，该方法利用其他成像模态（如计算机断层扫描（CT）或磁共振成像）获取的体积信息，在BVR图像上重建模型2,3,8,9,10,11,12,13,14,15。随后通过半手动方式调整模型以最佳匹配图像（即逐帧描摹，rotoscoping），通常结合用户输入提供初始估计，并采用互相关优化算法完成匹配3,8,9,10,15。基于模型的姿态估计侵入性较低，因此更为常用，但处理时间更长，且需要人工参与。由于目前的逐帧描摹过程仍为半自动操作，仍需对操作人员进行可靠培训，以应对不同操作者之间的均方根（RMS）误差差异，该误差在单个轴向或绕轴方向上可从0.83 mm至4.96 mm，以及0.58°至10.29°不等1。此外，模型匹配算法虽在不断改进，但仍需通过尽可能接近活体（in vivo）条件的实验范式进行验证。
基于模型的姿态估测准确性通常以基于标记的测量指标作为评估标准。例如，已有研究通过在植入标记物的人体尸体足部上模拟运动姿势来进行验证13,14,16。采集到的双平面X射线视频成像（BVR）图像随后输入基于模型的逐帧追踪方法，并与基于标记的测量结果进行比较，以评估其准确性（偏差与精确度）。尽管使用静态尸体足部是一种有价值的方法，但在评估真实in vivo（体内）骨骼姿态准确性方面仍存在局限性。例如，由于缺乏肌肉活动和in vivo（体内）载荷，尸体足部的关节位置相对恒定，因此可能无法代表多种运动任务中关节运动的实际范围。关节姿态的变化会影响BVR图像中的遮挡情况，而这对体积小且排列紧密的足部骨骼姿态估测而言，是测量误差的一个来源13。此外，在使用图像匹配算法时，BVR图像中标记物的存在可能会引入结果偏差。尽管一些研究团队已从计算机断层扫描（CT）的数字成像与通信医学（DICOM）图像中去除了标记物9,14,16，但这些标记物仅偶尔也从双平面X射线视频成像图像中被移除16。
本研究提供了一个开源的BVR数据集，记录了一名参与者进行单脚跳和跑步的动作 体内，其足部和踝关节骨骼中植入了标记物（图1）。基于标记点的姿态估计用于 体内 胫骨、距骨和跟骨的骨骼运动数据已提供。为减少在评估基于模型的追踪准确性时引入的偏差，已将标记物从X射线和CT图像中移除。该数据集可用于评估任何基于模型的姿态估计算法的准确性，并优化半手动流程中初始姿态估计的选择。本数据集最适合旨在提升BVR图像处理流程速度与准确性的研究人员，以及希望在初始姿态估计中实现较低操作者间差异的实验室使用。
图1提供的双平面视频放射照相（BVR）数据集概述。 植入标记物的追踪 体内 作为骨姿态估计的金标准。为避免对基于模型的追踪产生偏差，已将BVR图像和计算机断层扫描中的标记物进行数字去除。任何基于模型的追踪软件所估计的姿态均可与基于标记物追踪的金标准进行比较。基于标记物的姿态估计结果还可用于培训新操作人员，以提高其在基于模型追踪中的初始骨姿态估计准确性。 请点击此处以查看此图的放大版本。
方案
实验方案已获皇后大学健康科学与附属教学医院研究伦理委员会批准。参与者在数据采集前已签署知情同意书。
1. 患者准备与数据集生成
注意：该受试者（男性，49岁，体重83 kg，身高1.75 m）既往已在跟骨（3个标记点）、距骨（4个标记点）和胫骨（5个标记点）内植入多个直径为0.8 mm的钽标记物（图1）。
- 在受试者踝关节最大程度跖屈的姿势下，使用金属伪影减少算法（以减少金属植入物引起的图像失真）获取其足部的CT扫描图像，像素尺寸为0.500 mm或更小，层厚为0.625 mm或更小。
注意：本研究中，受试者右足的扫描分辨率为0.441 mm × 0.441 mm × 0.625 mm。标记物的位置并非置于骨骼内特定解剖位置4；而是分布于骨骼内部各处5。 - 有关双平面X线透视视频成像数据采集及详细处理方法，请参见17。简要而言，要求受试者完成目标动作，起始位置需调整至其足部落入双平面X线透视成像体积范围内。使用校准物体和去畸变网格分别对摄像机进行定位和图像去畸变处理18。
注意：本研究中的受试者完成了两种不同动作的试验。其按照108 bpm节拍器进行单脚跳跃，并缓慢慢跑通过成像体积区域。图像以250 Hz连续采集，快门速度为1111 µs，X射线系统设置为70 kV和100 mA。 - 使用3D医学图像处理软件对标记物进行单独分割。在光栅图像编辑器中利用内容感知填充算法及已知的标记物位置，从DICOM图像中去除标记物。通过对无标记物图像进行分割，生成骨骼的部分体积图像和面片化网格，方法如文献17所示。将部分体积图像和网格均对齐后，保存于CT空间中。
- 对每一帧，在XMALab中汇总各标记物未经滤波的x-y图像坐标并导出18。使用MATLAB中的计算机视觉工具箱进行三维坐标三角测量。通过最小二乘法匹配X射线空间中的三维标记物位置与CT空间中球面拟合的质心位置，估计骨骼姿态19。在光栅图像编辑器中使用相同算法去除X射线图像中的标记物，为后续追踪做好准备。
2. 访问数据集和代码
- 从此处下载数据集。每个试验均包含BVR图像、校准文件，以及以.tra格式保存的参考姿态估计结果（图2）。从以下地址下载或克隆代码包：https://github.com/skelobslab/JOVE_BVR_FootModelAndMarkerBased。
图 2：JOVE_BVR_Foot_ModelAndMarkerBased 训练包的数据树结构。 文件夹以黑色框表示，代码以浅灰色框表示，文件说明包含在深灰色框内。 请点击此处查看该图的放大版本。
3. 评估模型跟踪算法的准确性
- 将姿态估计结果保存为该试验参考文件夹中的 .tra 文件。将 .tra 文件按 1 行 × 16 列的格式排列，每一行对应一个帧，4 × 4 姿态矩阵按[第一列、第二列、第三列、第四列]的顺序书写。
注意：在此数据集中，骨空间与 CT 空间同义。 - 通过在计算平台中打开脚本 verifyAssessmentPoses.m，然后点击 运行 来验证姿态估计结果。根据提示加载文件。该脚本将计算基于模型和基于标记的姿态估计之间的螺旋轴，并返回跟踪数据每一帧的旋转和平移差异。
4. 新操作员培训
注意：本节介绍针对新操作人员的带反馈训练。此处选用 Autoscoper 作为基于模型的位姿估计算法软件，但也可使用其他软件替代。
- 从以下网址下载最新版本的姿态估计算法软件：https://simtk.org/projects/autoscoper。
- 为定位本地 BVR 文件，请使用文本编辑器打开文件（.\JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\POINTER_T0019_jog001.cfg）。该软件使用指针文件（.cfg）来定位相关文件。请修改目录路径，使其指向正确的本地文件。保存文件后关闭。
- 为加载 BVR 图像和相机信息，请打开姿态估计算法软件，点击 加载试验（Load Trial）。浏览至前一步保存的指针配置文件，然后点击 打开（Open）。
- 进行跟踪时，请遵循 Akhbari 等人17 中的协议（基于模型的跟踪）。简要步骤如下：通过点击并拖动骨骼上的坐标轴来旋转和平移骨骼，直至对跟骨的位置和方向满意为止。按下键盘上的 S 键，保存当前帧的跟骨（cal）数据。
注意：滤波设置包含在 \JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\ 目录中，可参照 Akhbari 等人17 的方法进行滤波处理。 - 为保存文件，请点击 保存跟踪结果（Save Tracking）。将文件保存为 [试验编号]_[受试者编号]_[试验名称]_[三位骨骼代码].tra 格式（例如：T0019_SOL001A_jog0001_cal.tra），并存放在指定目录下。导出设置选择为：current、matrix、column、comma、none、mm、degrees。
注意：胫骨和距骨的三位骨骼代码分别为 tib 和 tal。 - 为生成用于评估跟踪准确性的文件，请打开计算平台并运行代码文件夹中的 animateBonesWithReferences.m 脚本。根据对话框提示，导航至训练包中的相应文件夹。
注意：animateBonesWithReferences.m 代码是专为培训设计的代码，可将基于标记的数据姿态作为反馈，帮助新操作员提高跟踪精度。 - 从以下网址安装可视化软件：https://github.com/DavidLaidlaw/WristVisualizer/tree/master。为可视化跟踪结果，请在可视化软件中打开第 4.6 步生成的 .pos 文件；其文件路径将显示在计算平台的命令窗口中。
- 验证被跟踪骨骼（灰色）与参考骨骼的对齐情况。绿色表示姿态处于旋转和平移阈值范围内，红色则表示超出阈值。继续跟踪和可视化，直到所有帧均显示为绿色。如有需要，可在 animateBonesWithReferences.m 脚本的第 10 和第 11 行修改阈值（phi - 旋转，trans - 平移）。
注意：若参考骨骼显示为红色（图 3A），表示其姿态与基于标记的姿态之间的差异超过 1 mm 或 2°，该差异通过螺旋轴测量得出。若为绿色且视觉上合理，则表明该帧的跟踪效果足够好（图 3B）。 - 为跟踪踝关节复合体中的其他骨骼，请对距骨和胫骨重复执行步骤 4.4 至 4.8。使用可视化软件确保骨骼之间未发生碰撞。
- 为完成评估，请在名为“评估试验（assessment trial）”的试验中对胫骨、距骨和跟骨进行跟踪和可视化。
- 打开计算平台并运行 animateBonesGeneral.m 代码。根据对话框提示，导航至训练包中的相应文件夹。使用可视化软件中的 .pos 文件验证骨骼姿态。该代码可推广至其他试验，用于骨骼的三维可视化。
注意：真实的基于标记的姿态将不再可用，仅显示灰色骨骼。
- 打开计算平台并运行 animateBonesGeneral.m 代码。根据对话框提示，导航至训练包中的相应文件夹。使用可视化软件中的 .pos 文件验证骨骼姿态。该代码可推广至其他试验，用于骨骼的三维可视化。
- 为评估姿态估计结果，请在计算平台中打开 verifyAssessmentPoses.m 脚本并点击 运行（Run）。该脚本将计算基于模型与基于标记的姿态估计之间的螺旋轴，并返回每帧跟踪数据的旋转和平移差异。该操作将生成与 animateBonesWithReferences.m 相同的图表，但不会生成动画。
- 确认所有数据点在旋转和平移两个维度上均低于所选阈值（水平直线）。如有需要，将结果保存为 .csv 文件。
图3：可接受与不可接受跟踪效果的可视化。（A）使用基于模型的跟踪方法（灰色；也由灰色箭头指示）追踪的跟骨，其姿态与基于标记的姿态估计结果（红色；也由红色箭头指示）不充分匹配。（B）与基于标记的姿态估计结果充分匹配的跟骨。此时，标记跟踪的跟骨以绿色显示（也由灰色和绿色箭头指示）。请点击此处查看此图的放大版本。
结果
两名新操作员和一名专家完成了基于模型的培训。通过评估试验中的41帧图像测量了他们基于模型追踪的熟练程度（图4）。操作员的姿态估计通常远低于设定的阈值。各骨块在旋转方面的平均中位偏差（范围）分别为：跟骨0.75°（0.69°至0.85°），距骨0.40°（0.37°至0.46°），胫骨0.89°（0.76°至1.07°）。在平移方面的平均中位偏差为：跟骨0.10 mm（0.05 mm至0.16 mm），距骨0.31 mm（0.22 mm至0.41 mm），胫骨0.33 mm（0.27 mm至0.37 mm）。这些结果表明，该教程在训练操作员达到设定容差范围内具有良好的效果。
图4：新操作者与专家的旋转和平移偏差。 小提琴图20显示了两位新操作者和一位专家在基于模型与基于标记点的姿态估计之间的（A）（C）（E）旋转偏差和（B）（D）（F）平移偏差，分别对应（A）（B）跟骨、（C）（D）距骨和（E）（F）胫骨。评估试验的全部41帧均以数据点形式展示，其中白色圆圈表示中位数，粗垂直线表示四分位距，粗水平线表示均值。黑色线条在2°和1 mm处表示所选阈值。在（E）中，新操作者2有六个超出阈值的帧未显示。 请点击此处查看该图的放大版本。
一名新操作员在胫骨追踪中有六个帧超过了2°的旋转阈值。这些帧是通过 verifyAssessmentPoses.m 中生成的图形之一确定的（图5）。由于另一只脚摆动穿过视野造成胫骨遮挡，这六个帧更难追踪。
图5: 支撑相各帧的旋转偏差。 跑步支撑相部分阶段中第二位新操作员的旋转追踪示例，用于（A跟骨，（B距骨，以及（C）胫骨。注意图（C）中的红框标示了误差较大的帧。D左侧为代表性图像，显示胫骨前缘橙色线与蓝色线在对齐程度上的大致差异（由橙色和黑色箭头指示）。右侧图像显示胫骨跟踪效果良好的示例（由白色箭头指示）。 请点击此处以查看此图的放大版本。
补充文件。 请点击此处下载该文件。
讨论
基于模型的精确位姿估计对于关节运动学和骨骼运动的测量至关重要。以往对位姿估计的验证方法主要基于植入标记物的尸体标本，但缺乏 体内 加载与关节活动范围。这 体内 基于标记点的跑步与跳跃数据集可实现基于模型算法的验证。此外，该数据集经过组织化处理，可用于训练新操作者，使大多数基于模型算法所需的初始估计值处于预设容差范围内，从而降低操作者间的变异性。提供MATLAB代码，以实现骨骼动画的生成并自动输出姿态质量反馈。
新操作员的培训成功达到了旋转误差在2°以内、平移误差在1 mm以内的设定容差范围。这些限值远低于已报道的操作者间可靠性水平，后者可能高达5 mm和10°1。然而，所选定的容差范围仍比其他完整尸体足部实验的均方根误差（RMS误差）高出2至4倍（0.59 mm和0.71°16）。尽管该容差包含了RMS误差中较高范围的数值，但相较于已报道的操作者间变异性，仍代表了显著的改进。此外，由于骨骼遮挡、软组织形变以及高速运动通过X射线扫描区域时产生的伪影等因素，in vivo条件下的追踪难度远高于静态足部姿态。新操作员在规定容差范围内成功完成了各试验的逐帧追踪，其结果接近专家水平，仅图5C所示的六个帧存在偏差。因此，该设定容差相较于已报道的操作者间变异性有所提升，且结果表明本方法能够有效培训新操作员，使其达到此容差范围内的操作水平。
本方案中的一个关键步骤是在所选软件中进行动态描记与三维可视化之间的反复迭代。这种迭代对于理解骨骼在空间中的方位至关重要。它使操作者能够验证骨骼姿态在生物学上是否合理，以及是否与其他骨骼发生碰撞。在动态描记与可视化之间持续切换，可提高最终骨骼姿态估计的准确性，并有助于发现优化过程中的错误。
训练集，特别是评估试验，包含了具有挑战性的跟踪场景，旨在测试新操作员的极限。本数据集中X射线源和影像增强器的位置导致摆动的足部遮挡了视野，为骨骼模型的配准带来了困难。新的操作员在旋转阈值以上的若干帧中受到了对侧足部遮挡视野的影响。调整滤波器设置以及在遮挡前后对帧进行逐帧描摹等策略，有助于缓解这些问题。此外，DICOM数据与姿态估计算法中的坐标系方向差异较大，导致胫骨出现角度翻转。操作员必须在此时逐帧跟踪以克服这一挑战。这些情况在数据收集中并不罕见，代表了未来基于模型的自动姿态估计应具备应对能力的挑战，因此为本数据集增添了重要价值。
本方案存在某些局限性。首先，将基于标记物的姿态估计视为金标准存在争议，因为基于标记物与基于模型的姿态估计之间的准确度差异通常并未达到一个数量级2,3,10。然而，in vivo 数据采集过程中BVR图像出现的视觉变化（例如运动伪影、软组织干扰以及骨骼遮挡）更有可能导致基于模型的姿态估计产生误差，相比之下，基于标记物的方法受影响较小。需要进一步实验以验证这一假设。此外，本数据集并未涵盖所有双平面X射线采集条件。相机的朝向可能导致骨骼处于不同的相对位置，从而改变骨骼特征的显著性，并相应地影响姿态匹配算法的代价函数。此外，这些特征可能受到图像滤波设置的影响15,17。因此，该数据集并不能必然推广为对BVR准确性的普适性评估。相反，它是一个用于训练用户输入合适初始姿态估计值的工具，并可用于改进基于模型的姿态估计算法，直至不再需要手动逐帧描记的初始猜测。
披露
作者声明无利益冲突。
致谢
本工作由加拿大自然科学与工程研究委员会发现基金（NSERC Discovery Grant，项目编号：RGPIN/04688-2015）和安大略省早期研究者奖资助。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Autoscoper | 布朗大学 | https://simtk.org/projects/autoscoper；姿态估计算法软件 | |
| 代码 | 女王大学 | https://github.com/skelobslab/JOVE_BVR_FootModelAndMarker 基于 | |
| 内容识别填充算法，Photoshop | Adobe | ||
| 数据集 | 女王大学 | 点击此处下载 | |
| MATLAB | MathWorks 公司 | 不适用 | 计算平台 |
| Mimics | Materialise 公司，比利时 | 三维图像处理软件 | |
| Revolution HD | 通用电气医疗系统公司 | 所使用的 CT 扫描设备 | |
| WristVisualizer | 布朗大学 | https://bitbucket.org/xromm/xmalab/src/master/；可视化软件 | |
| XMALab | 布朗大学 | https://bitbucket.org/xromm/xmalab/src/master/ |
参考文献
- Maharaj, J. N., et al. The reliability of foot and ankle bone and joint kinematics measured with biplanar videoradiography and manual scientific rotoscoping. Frontiers in Bioengineering and Biotechnology. 8 (106), (2020).
- Iaquinto, J. M., et al. Model-based tracking of the bones of the foot: A biplane fluoroscopy validation study. Computers in Biology and Medicine. 92, 118-127 (2018).
- Miranda, D. L., et al. Static and dynamic error of a biplanar videoradiography system using marker-based and markerless tracking techniques. Journal of Biomechanical Engineering. 133 (12), 121002(2011).
- Tashman, S., Anderst, W. In-vivo measurement of dynamic joint motion using high speed biplane radiography and CT: application to canine ACL deficiency. Journal of Biomechanical Engineering. 125 (2), 238-245 (2003).
- Brainerd, E. L., et al. X-ray reconstruction of moving morphology (XROMM): precision, accuracy and applications in comparative biomechanics research. Journal of Experimental Zoology Part A: Ecological Genetics and Physiology. 313 (5), 262-279 (2010).
- Challis, J. H. A procedure for determining rigid body transformation parameters. Journal of Biomechanics. 28 (6), 733-737 (1995).
- Lundberg, A., Goldie, I., Kalin, B. O., Selvik, G. Kinematics of the ankle/foot complex: plantarflexion and dorsiflexion. Foot & ankle. 9 (4), 194-200 (1989).
- You, B. -M., Siy, P., Anderst, W., Tashman, S. In vivo measurement of 3-D skeletal kinematics from sequences of biplane radiographs: Application to knee kinematics. IEEE Transactions on Medical Imaging. 20 (6), 514-525 (2001).
- Bey, M. J., Zauel, R., Brock, S. K., Tashman, S. Validation of a new model-based tracking technique for measuring three-dimensional, in vivo glenohumeral joint kinematics. Journal of Biomechanical Engineering. 128 (4), 604-609 (2006).
- Anderst, W., Zauel, R., Bishop, J., Demps, E., Tashman, S. Validation of three-dimensional model-based tibio-femoral tracking during running. Medical Engineering & Physics. 31 (1), 10-16 (2009).
- Martin, D. E., et al. Model-based tracking of the hip: implications for novel analyses of hip pathology. The Journal of Arthroplasty. 26 (1), 88-97 (2011).
- Massimini, D. F. Non-invasive determination of coupled motion of the scapula and humerus-An in-vitro validation. Journal of Biomechanics. 44 (3), 408-412 (2011).
- Ito, K., et al. Direct assessment of 3D foot bone kinematics using biplanar X-ray fluoroscopy and an automatic model registration method. Journal of Foot and Ankle Research. 8 (1), 1-10 (2015).
- Wang, B., et al. Accuracy and feasibility of high-speed dual fluoroscopy and model-based tracking to measure in vivo ankle arthrokinematics. Gait & Posture. 41 (4), 888-893 (2015).
- Akhbari, B., et al. Accuracy of biplane videoradiography for quantifying dynamic wrist kinematics. Journal of Biomechanics. 92, 120-125 (2019).
- Cross, J. A., et al. Biplane fluoroscopy for hindfoot motion analysis during gait: A model-based evaluation. Medical Engineering & Physics. 43, 118-123 (2017).
- Akhbari, B., Morton, A. M., Moore, D. C., Crisco, J. J. Biplanar videoradiography to study the wrist and distal radioulnar joints. JoVE Journal of Visualized Experiments. (168), e62102(2021).
- Knörlein, B. J., Baier, D. B., Gatesy, S. M., Laurence-Chasen, J. D., Brainerd, E. L. Validation of XMALab software for marker-based XROMM). Journal of Experimental Biology. 219 (23), 3701-3711 (2016).
- Söderkvist, I., Wedin, P. -Å Determining the movements of the skeleton using well-configured markers. Journal of Biomechanics. 26 (12), 1473-1477 (1993).
- Bechtold, B. Violin Plots for Matlab. , Available from: https://github.com/bastibe/Violinplot-Matlab (2021).
重印与许可
标签
