用于基于模型的姿态估计开发和新用户培训的双平面视频射线照相数据集

摘要

这项工作提出了一个 体内数据集 ，其中包含使用基于标记的方法估计的骨骼姿势。这里包括一种方法，用于训练作员改进基于模型的姿态估计的初始估计并减少作员间的可变性。

摘要

测量小脚骨的运动对于了解病理性功能丧失至关重要。双平面视频射线照相非常适合测量 体内 骨骼运动，但在估计每块骨骼的旋转和平移（姿势）时会出现挑战。骨骼的姿势通常使用基于标记或模型的方法进行估计。基于标记的方法非常准确，但由于其侵入性， 在体内 并不常见。基于模型的方法更常见，但目前不太准确，因为它们依赖于用户输入和特定于实验室的算法。这项工作提出了一个罕见的跟骨、距骨和胫骨姿势的 体内 数据集，在跑步和跳跃过程中用基于标记的方法测量。包括一种方法，用于训练用户使用基于标记的视觉反馈将他们的初始猜测改进为基于模型的姿态估计软件。新作员能够在基于标记的姿势旋转 2° 和平移 1 mm 以内的骨骼姿势，类似于基于模型的软件的专家用户，并且比以前报道的作员间可变性有了重大改进。此外，该数据集可用于验证其他基于模型的姿态估计软件。最终，共享此数据集将提高用户从双平面视频 X 射线照相中测量骨骼姿势的速度和准确性。

引言

测量小脚骨的运动对于了解病理性功能丧失至关重要。然而，由于骨骼和关节的体积小且结构密集，动态足部骨骼运动测量具有挑战性 ^1,2。双平面视频射线照相 （BVR） 技术非常适合测量动态活动期间足部和脚踝小骨的体内三维 （3D） 运动。BVR 通过使用两个与图像增强器耦合的 X 射线源来深入了解关节运动学，图像增强器将动态运动的 X 射线转换为可见光。当脚在拍摄体积中移动时，高速相机会捕获图像。图像不会失真，并使用校准的相机位置 ^3,4 投影到捕获体积中。然后使用基于标记或基于模型的方法³ 估计六个自由度 （6 d. o.f.） 骨骼姿势（位置 3 d.o.f.，方向 3 d.o.f.）。

基于标记或模型的姿态估计方法因实验室和学科而异。动态 BVR 位姿测量的黄金标准是将小钽标记物植入感兴趣的骨骼中 ^4,5。估计姿势时，每个骨骼至少需要三个标记，标记越多，准确性越高 ^5,6。由于其侵入性，这种方法在体内不太常见，因为它需要手术植入，然后将标志物永久嵌入骨骼^{中 7}。或者，基于模型的跟踪使用来自其他成像模式的体积信息，例如计算机断层扫描 （CT） 或磁共振成像，在 BVR 图像上重新创建模型 2,3,8,9,10,11,12,13,14,15 .然后对模型进行半手动作以最好地匹配图像（动态抠像），通常使用用户输入作为初始估计和互相关优化的组合 3,8,9,10,15。基于模型的姿态估计侵入性较小，因此更常见，但处理时间更长，并且需要用户输入。由于目前动态抠像过程是半手动的，因此仍然需要对作人员进行实验室专用软件的可靠培训，因为作者间均方根 （RMS） 误差范围为 0.83 mm 至 4.96 mm，沿或围绕单个轴¹ 的误差范围为 0.58° 至 10.29°。此外，模型匹配算法正在改进，但需要使用尽可能接近体内条件的实验范式进行验证。

基于模型的姿态估计的准确性通常根据基于标记的指标进行评估。例如，植入标记的人类尸体脚已经通过模拟的运动位置^13、14、16 移动。然后，将捕获的 BVR 图像馈送到基于模型的动态抠像方法，并与基于标记的指标进行比较，以确定准确性（偏差和精度）。虽然使用静态尸体足是一种有价值的方法，但它在评估真实的体内骨骼姿势准确性方面存在局限性。例如，尸体足的关节位置相对恒定，没有肌肉活动和体内负荷。因此，它可能不代表不同运动任务中关节运动的极限。关节姿势的变化会改变 BVR 图像中的遮挡，这是估计小而密集的足骨姿势时测量误差的来源¹³。此外，当使用图像匹配算法时，BVR 图像中存在标记可能会使结果产生偏差。虽然各组已经从计算机断层扫描 （CT） 数字成像和医学通讯 （DICOM） 图像中删除了标记物 ^9,14,16，但它们只是偶尔从双平面视频射线照相图像中删除¹⁶。

这项工作提供了一个开源的 BVR 数据集，该数据集显示了一名参与者 在体内跳跃和跑步，他的脚和踝骨中植入了标记物（图 1）。为胫骨、距骨和跟骨的 体内 骨骼运动提供了基于标记的姿势估计。从 X 射线和 CT 图像中删除标记，以限制在评估基于模型的跟踪精度期间引入的任何偏差。此数据集旨在评估任何基于模型的姿态估计软件的准确性，并改进半手动过程的初始姿态估计的选择。它最适合旨在提高 BVR 图像处理管道速度和准确性的个人，以及希望在初始姿态估计中实现低作员间可变性的实验室。

图 1:提供的双平面视频射线照相 （BVR） 数据集概述。 植入的标记物在 体内 被跟踪，作为骨骼姿势估计的金标准。从 BVR 图像和计算机断层扫描扫描中以数字方式去除标记，以防止基于模型的跟踪中出现偏差。从任何基于模型的跟踪软件估计的姿势都可以与基于标记的跟踪的黄金标准进行比较。基于标记的姿势估计还可用于训练新作员，以改进其初始骨骼姿势估计，以实现基于模型的跟踪。 请单击此处查看此图的较大版本。

方案

实验方案已获得女王大学健康科学和附属教学医院研究伦理委员会的批准。参与者在参与数据收集之前给予了知情同意。

1. 患者准备和数据集生成

注意:参与者（男性，49 岁，83 公斤，身高 1.75 m）之前在跟骨（3 个标志物）、距骨（4 个标志物）和胫骨（5 个标志物）中植入了几个直径为 0.8 毫米的钽标志物; 图 1）。

1. 使用金属伪影减少算法（以减少由于金属植入物引起的图像失真）在参与者的脚上以最大跖屈踝关节姿势获取 CT 扫描，像素尺寸为 0.500 毫米或更小，切片厚度为 0.625 毫米或更小。
   注意:在这里，参与者的右脚以 0.441 毫米 x 0.441 毫米 x 0.625 毫米的分辨率进行扫描。标记的位置未放置在骨骼⁴ 内的特定解剖位置;相反，它们分布在整个骨骼⁵ 中。
2. 有关收集双平面视频射线照相和详细处理数据的方法，请参阅¹⁷。简而言之，要求参与者完成所需的动作，并安排他们的起始位置，以便他们的脚落在双平面视频射线照相体积中。使用校准对象和去扭曲网格分别定位相机和去扭曲图像¹⁸.
   注意:本研究的参与者完成了两种不同动作的试验。他们跳到一个 108 bpm 的节拍器前，慢慢地在音量中慢跑。以 250 Hz 和 1111 μs 的快门速度连续拍摄图像，并将 X 射线系统设置为 70 kV 和 100 mA。
3. 使用 3D 医学图像处理软件单独分割标记物。使用光栅图形编辑器中的内容识别填充算法和已知的标记位置，从 DICOM 图像中删除标记。通过分割无标记图像来创建骨骼部分体积和镶嵌网格，如¹⁷ 所示。对齐部分体积和网格，并将它们存储在 CT 空间中。
4. 对于每一帧，将 XMALab 中每个标记的未过滤 xy 图像坐标制成表格，并将其导出¹⁸ 个。使用 MATLAB 中的计算机视觉工具箱对 3D 坐标进行三角化。通过使用最小二乘法¹⁹ 将 X 射线空间中的 3D 标记位置与 CT 空间中的球体拟合质心匹配来估计姿势。在光栅图形编辑器中使用相同的算法来删除 X 射线图像中的标记，以便为跟踪做好准备。

2. 访问数据集和代码

1. 从 此处下载数据集。每次试验都有 BVR 图像和校准文件，以及以 .tra 格式保存的参考姿态估计（图 2）。从以下位置下载/克隆代码包:https://github.com/skelobslab/JOVE_BVR_FootModelAndMarkerBased。

图 2:JOVE_BVR_Foot_ModelAndMarkerBased 训练包的数据树。 文件夹显示在黑色框中，代码显示在浅灰色框中，文件说明包含在深灰色框中。 请单击此处查看此图的较大版本。

3. 评估模型跟踪算法的准确性

1. 将姿势估计保存为 .tra 文件，位于试验的参考文件夹中。排列 .tra 文件，其中姿势从骨骼空间到 X 射线空间以 1 行 x 16 列的格式写入，每行对应于帧，4 x 4 姿势矩阵写出为 [第一列、第二列、第三列和第四列]。
   注意:骨空间在此数据集中与 CT 空间同义。
2. 通过在计算平台中打开脚本 verifyAssessmentPoses.m，然后单击 Run（运行）来验证姿势估计。按照提示的说明加载文件。该脚本将计算基于模型和标记的姿势估计之间的螺旋轴，并返回跟踪数据的每一帧的旋转和平移差异。

4. 新作员培训

注意:本节介绍针对新作员的培训和反馈。在这里，Autoscoper 是选定的基于模型的姿态估计软件，但可以使用其他软件作为替代品。

1. 从以下位置下载最新版本的姿态估计软件:https://simtk.org/projects/autoscoper。
2. 要查找本地 BVR 文件，请在文本编辑器 （.\JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\POINTER_T0019_jog001.cfg） 中打开该文件。软件使用指针文件 （.cfg） 来查找文件。修改目录，以便它们指向相应的本地文件。保存文件并将其关闭。
3. 要加载 BVR 图像和相机信息，请打开姿态估计软件，然后单击 Load Trial。导航到上一步中保存的指针配置文件，然后单击 Open。
4. 要进行跟踪，请遵循 Akhbari 等人¹⁷ （基于模型的跟踪） 中的协议。简而言之，通过单击和拖动骨骼上的轴来旋转和平移骨骼，直到对跟骨的位置和方向感到满意为止。按键盘上的 S 键保存跟骨 （cal） 的当前帧。
   注意:过滤器设置包含在 \JOVE_BVR_Foot_ModelAndMarkerBased\Data\SOL001A\T0019_jog0001\Autoscoper\ 中，可用于过滤，如 Akhbari 等人¹⁷ 所示。
5. 要保存文件，请单击 Save Tracking。将文件保存为 [Trial number]_[Subject Number]_[Trial name]_[3 letter bone code].tra（例如，T0019_SOL001A_jog0001_cal.tra）在所需目录下。将设置导出为 current、matrix、column、comma、none、mm、degrees。
   注意:胫骨和距骨的三个字母的骨骼代码分别为 tib 和 tal。
6. 要创建用于跟踪精度的文件，请打开计算平台并运行代码文件夹中的 animateBonesWithReferences.m 脚本。根据对话框的要求导航到培训包中的文件夹。
   注意:animateBonesWithReferences.m 代码是用于训练的专用代码，它提供基于标记的数据中的姿势作为反馈，以改进新作员的跟踪。
7. 从以下位置安装可视化软件:https://github.com/DavidLaidlaw/WristVisualizer/tree/master。要可视化跟踪，请在可视化软件中打开在步骤 4.6 中创建的 .pos 文件;其文件位置将位于 Computing Platform 的 Command 窗口中。
8. 验证跟踪的骨骼（灰色）是否与参考骨骼对齐。绿色表示姿势在旋转和平移阈值范围内，而红色表示姿势在阈值之外。继续跟踪和可视化，直到所有帧都变为绿色。如果需要，请更改 animateBonesWithReferences.m 脚本的第 10 行和第 11 行中的阈值（phi - 旋转、trans - 平移）。
   注意:如果参考骨骼为红色（图 3A），则表示该姿势与基于标记的姿势的距离超过 1 毫米或 2°，使用螺旋轴测量。如果它是绿色的，并且在视觉上是合理的，则该帧被跟踪得足够好（图 3B）。
9. 要跟踪踝关节复合体中的其他骨骼，请对距骨和胫骨重复步骤 4.4 到 4.8。使用可视化软件确保骨骼不会碰撞。
10. 为了完成评估，在称为评估试验的试验中跟踪和可视化胫骨、距骨和跟骨。
    1. 打开计算平台并运行代码 animateBonesGeneral.m。根据对话框的要求导航到培训包中的文件夹。使用可视化软件中的 .pos 文件验证骨骼姿势。此代码可推广到骨骼 3D 可视化的其他试验。
       注意:基于标记的真实姿势将不再可用。只有灰骨会出现。
11. 要评估姿势估计值，请在计算平台中打开脚本 verifyAssessmentPoses.m，然后单击 Run。该脚本将计算基于模型和标记的姿势估计之间的螺旋轴，并返回跟踪数据的每一帧的旋转和平移差异。这将生成与 animateBoneswithReferences.m 中相同的图表，但不会生成动画。
12. 验证所有数据点是否都低于旋转和平移的选定阈值（平线）。如果需要，将结果保存在 .csv 文件中。

图 3:可接受和不可接受的跟踪可视化。 （A） 使用基于模型的跟踪（灰色;也由灰色箭头表示）跟踪跟骨，该跟踪与基于标记的姿势估计（红色;也由红色箭头表示）中的姿势不匹配。（B） 与基于标记的姿势估计中的姿势完全匹配的跟骨。因此，标记跟踪的跟骨显示为绿色（也由灰色和绿色箭头表示）。 请单击此处查看此图的较大版本。

结果

两名新作员和一名专家完成了基于模型的培训。评估试验的 41 帧测量了他们基于模型的跟踪的熟练程度（图 4）。作员的姿态估计通常远低于设定的阈值。跟骨跨骨骼旋转的平均中位数偏差（范围）为 0.75°（0.69° 至 0.85°），距骨为 0.40°（0.37° 至 0.46°），胫骨为 0.89°（0.76° 至 1.07°）。跟骨的平均中位平移偏倚为 0.10 mm （0.05 mm 至 0.16 mm），距骨 0.31 mm （0.22 mm 至 0.41 mm），胫骨 0.33 mm （0.27 mm 至 0.37 mm）。这些结果表明，本教程可以有效地训练作员在设定的容差范围内。

图 4:新作员和专家的旋转和平移偏差。 小提琴图²⁰ 显示了 （A）（C）（E） 旋转和 （B）（D）（F） 基于模型和基于标记的姿势估计之间的平移偏差，用于 （A）（B） 跟骨、（C）（D） 距骨和 （E）（F） 胫骨的两名新作员和一名专家。评估试验的所有 41 帧都显示为数据点，包括中位数（白色圆圈）、四分位距（粗垂直线）和平均值（粗水平线）。2° 和 1 mm 处的黑线表示选定的阈值。不显示 （E） 中 New Operator 2 的阈值之外的 6 帧。 请单击此处查看此图的较大版本。

一名新作员在他们的胫骨跟踪中有 6 帧高于 2° 旋转阈值。使用 verifyAssessmentPoses.m 中生成的图形之一识别帧（图 5）。这 6 个帧更难跟踪，因为另一只脚在视图中摆动会阻塞胫骨。

图 5:每个帧在站姿阶段的旋转偏差。 第二个新作员在跑步站姿阶段的部分时间进行旋转跟踪的示例，适用于 （A） 跟骨，（B） 距骨和 （C） 胫骨。请注意，（C） 中的红色框显示了具有高误差的帧。（D） 在左侧，一个代表性图像显示了胫骨前橙色线和蓝色线对齐的大致差异（由橙色和黑色箭头表示）。右图显示了一个跟踪良好的胫骨示例（由白色箭头表示）。 请单击此处查看此图的较大版本。

补充文件。请点击此处下载此文件。

讨论

基于模型的准确姿态估计是测量关节运动学和骨骼运动的基础。以前的姿态估计验证方法基于带有植入标记的尸体标本，没有 体内 载荷和关节运动范围。这个带有基于标记的姿态估计的跑步和跳跃的 体内 数据集可以验证基于模型的算法。此外，数据集经过组织以训练新的运算符，因此大多数基于模型的算法所需的初始估计值都在设定的容差范围内，从而减少了运算符之间的可变性。提供了 MATLAB 代码，以便可以对骨骼进行动画处理，并自动生成姿势质量反馈。

新作员成功地接受了培训，使其处于 2° 旋转和 1 mm 平移的设定公差范围内。这些限值远低于报告的作员间可靠性，后者可能高达 5 mm 和 10°¹。然而，所选的公差比其他完整尸体足实验的 RMS 误差（0.59 mm 和 0.71°¹⁶）高 2 到 4 倍。容差包括 RMS 误差的高端范围，但仍比报告的作员间可变性有了实质性的改进。此外 ，由于 骨骼、软组织的闭塞变化以及通过 X 射线体积的高速运动伪影，体内条件比静态足部姿势更具挑战性。新作员成功地在公差范围内对试验进行了转描，并且接近专家的结果，除了 图 5C 中所示的六帧。因此，设定的容差代表了对报告的算子间变异性的改进，结果表明该方法可以在该容差内成功训练新的算子。

该协议中的一个关键步骤是在所选软件中进行动态抠像和在 3D 中可视化之间的迭代。此迭代对于了解骨骼在空间中的方向非常重要。它允许作员验证骨骼姿势在生物学上是否可行，并且不会与其他骨骼发生碰撞。在动态抠像和可视化之间不断交替可以提高最终骨骼姿势估计的质量，并有助于捕获优化错误。

训练集，尤其是评估试验，包括具有挑战性的跟踪场景，以突破新作员的极限。此集合中 X 射线源和图像增强器的位置导致摆动的脚遮挡了视图，从而对对齐骨骼模型提出了挑战。新运算符的几帧高于旋转阈值，受到对侧脚遮挡视图的影响。更改过滤器设置和在遮挡前后立即对帧进行动态抠像等策略可以帮助缓解这些问题。此外，DICOM 和姿态估计软件之间的坐标系方向差异很大，导致胫骨发生角度翻转。此时，作员必须跟踪每一帧才能克服这一挑战。这些场景在数据收集中并不少见，并且代表了基于模型的自动姿态估计在未来应该应对的挑战，因此是该数据集的宝贵补充。

此协议有一定的限制。首先，宣布基于标记的姿态估计为黄金标准是有争议的，因为基于标记和基于模型的姿态估计之间的准确性差异通常不是一个数量级的差异 ^2,3,10。然而，与基于标记的方法相比，体内集合（即运动伪影、软组织和骨咬合）引起的 BVR 图像中的视觉变化更有可能在基于模型的姿势估计中引起错误。需要进一步的实验来证实这一假设。此外，此数据集不会捕获每个双平面 X 射线集合。摄像机的方向（使骨骼位于不同的相对位置）可能会改变骨骼特征的突出程度，并相应地影响姿势匹配算法的成本函数。此外，这些功能可能会受到图像滤镜设置^15,17 的影响。因此，此数据集不一定是对 BVR 准确性的通用评估。相反，它是一个工具，用于训练用户输入适当的初始姿势估计，并改进基于模型的姿势估计算法，直到不再需要手动转描初始猜测。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Autoscoper	布朗大学		https://simtk.org/projects/autoscoper; 姿态估计软件
Code	Queen's University		https://github.com/skelobslab/JOVE_BVR_FootModelAndMarker 基于
内容识别填充算法，Photoshop	Adobe
数据集	Queen's University		在此处下载
MATLAB	Mathworks	不适用	计算平台
Mimics	Materialise， 比利时		3D 图像处理软件
Revolution HD	使用布
			可视化软件
XMALab	布朗大学		https://bitbucket.org/xromm/xmalab/src/master/