研究文章

自动化关节间隙检测可提高骨分割的准确性

787 次观看

DOI:

10.3791/69252

2025年11月28日

本文内容

摘要

自动化关节间隙检测工作流程的开发实现了对野生型小鼠后肢足部骨骼的高通量分割,准确率超过>98%。该方法可灵活应用于前肢足部以及患有炎性侵蚀性关节炎的足部,但在这些情况下的性能有所下降,未来研究需利用公开数据进一步优化。

摘要

由于手动分割复杂的解剖结构需要专业知识,且耗时耗力,并存在观察者间变异,因此对这些结构进行定量描述仍然具有挑战性。为克服这些问题,可通过数字图像分析技术(包括深度学习(DL)模型)实现特定解剖标志的自动检测。为此,我们对小鼠后肢和前肢的微型计算机断层扫描(micro-CT)数据集进行了有监督的自动化分析。在先前发表的基于标记的半自动(SA)分水岭算法基础上,我们引入了结构增强、张量投票和输出膨胀方法以识别关节间隙。通过采用深度学习关节间隙预测模型(3D U-Net架构,ResNet-18主干网络),并以野生型(WT)后肢标注作为真实标签,进一步提升了分割效果。该模型的预测进一步扩展至来自WT和肿瘤坏死因子转基因(TNF-Tg)小鼠的后肢与前肢数据,涵盖两种性别、不同年龄阶段以及患有炎性侵蚀性关节炎的个体。采用深度学习方法后,分割准确性显著提高。然而,在TNF-Tg小鼠中,随着疾病严重程度增加和年龄增长,准确性有所下降。在前肢的后续测试中,也观察到随着关节炎严重程度加剧,准确性呈进行性降低。总体而言,该有监督的自动化模型在健康关节中的表现优于近期的半自动方法,有助于更深入地研究复杂骨结构解剖。尽管该模型在应用于新颖或疾病改变的数据集时性能有所下降,但其使用仍可能促进针对特定结构的分割模型的开发。

引言

高质量的图像分析不仅能够增强科研工作,还有助于临床放射科医生检测和量化病理变化,这一任务对患者诊疗至关重要。图像分析是一系列详细的操作流程,包括特征提取、将原本普通的图像转化为有意义的标签,以及获取定量指标1。该过程很大程度上依赖于先验知识,例如根据密度或颜色对结构进行阈值分割,然后应用下游图像处理算法(如膨胀、腐蚀、平滑、分离)以实现理想的图像分割。一旦优化完成,分割后的图像可作为监督式机器学习2的输入,包括利用神经网络进行复杂特征编码与解码的深度学习(DL)2,3,从而提高图像分割的准确性和处理通量。

事实上,多种三维卷积神经网络(CNN)的实现为骨骼影像分析中的自动化骨分割算法带来了关键性进展,其中一些模型的表现已超过人工分割4。尽管三维分割CNN通过不同的架构(例如AlexNet、ResNet、UNet)运行,但其输出在本质上是相同的,即生成一个图像掩膜,用于标识骨骼的阳性体积区域与背景的区分。在肌肉骨骼影像分析领域,这类深度学习模型正迅速发展,研究重点已从解决简单的二维骨折检测问题5快速转向复杂的多关节问题6,并具备处理数据集中伪影噪声或异常特征的能力。例如,Woo等人注意到,MRI上的结构异常(如骨髓病变、骨囊肿)会降低其对膝关节关节软骨分割预测的准确性。因此,他们开发了一种具备异常感知能力的分割模型,首先识别出无关的异常结构,从而显著提升了骨和软骨的分割效果7。He等人则分别在手部关键关节的感兴趣区域(ROI)上训练了14个独立模型,用于估算骨骼年龄,再将其输出结果整合,以提升基于手部X光片的预测性能,而非直接使用整个手部结构进行分析8。类似地,将上下文信息引入模型,例如区域分割特征和整体解剖学关系,已被证明可提升预测准确性。通过使用多区域CNN提供关于预期分割特征的上下文信息,可将分类问题限制在解剖学上合理的区域,从而提升手部X光片中骨骼成熟度的评估效果9。其他进展还包括SVTNet,该方法首先采用基于CNN的骨分割,随后利用视觉Transformer模型进一步处理,以捕捉不同分割感兴趣区域之间的空间关系全局信息,进而估算骨龄等定量结果10

如这些分割方法所示,关节炎研究成像的重点在于两个或多个骨骼之间的关节面,其中骨骼分离方法对于复杂关节中不同病理过程的成功评估至关重要。图像处理算法的进步已显著提高了对紧密相邻的腕骨或跗骨进行分析的通量11,12。然而,由于现有方法存在准确性不足、需要人工干预,且难以推广至不同结构,导致其应用受限,这凸显了优化工作流程实施的必要性。这些多步骤过程可极大受益于用于图像增强的独立工具(例如,骨边缘检测13)。除了单纯的形态学操作外,其他研究还采用了基于配准的技术,利用解剖结构在形态上的典型可靠性与一致性来实现结构识别14,15,16,17。另一种生成真实标签的手动输入方法成本高昂且繁琐,但在边界不清晰、结构复杂且相互紧密嵌合的骨骼(例如颅骨18)中可能同样有效,甚至必不可少。类似地,其他成像方法即使在单一结构内部也存在多色/色调变化,例如磁共振成像(MRI19,20,21)或组织病理学22,其复杂性也可能需要初始的手动分割来引导自动化流程。综合来看,这些方法可通过为深度学习(DL)方法提供训练数据集,进一步推动自动化进程。分割自动化的优点众多,尤其在于这些方法能够提供详细的、具有空间相关性的定量指标,包括区域特异性或骨特异性的侵蚀体积变化23,24,25,26,以及识别易受损伤的高风险区域27

本文在已建立的半自动(SA)小鼠后肢足垫分割方法12基础上,结合真实骨组织分割数据28,优化图像处理算法,用于训练深度学习(DL)模型以实现关节间隙检测。该新型分析策略显著提高了后肢各骨骼个体分割的准确性,减少了为修正分割错误所需的人工干预12,从而加快了下游定量指标的处理速度。我们还展示了这些技术进步在新结构中的应用潜力,包括前肢以及患有严重侵蚀性关节炎的后肢。由于手动分割耗时且需要高度专业技能7,采用依次结合半自动与全自动分割策略以生成更优输入滤波器的方法,有助于降低为特定应用开发高质量卷积神经网络(CNN)的技术门槛。相关在Amira软件中开发的方法(补充文件1)及数据集已公开提供,以支持后续研究工作的推广应用与合作28,29

方案

所有动物实验均按照罗切斯特大学医学中心动物资源委员会批准的IACUC规程进行。

动物模型
小鼠饲养于获得AAALAC认证的动物实验设施中。本研究共使用19只小鼠进行所述实验,包括4只野生型(WT)雄性、4只野生型(WT)雌性、4只TNF转基因(TNF-Tg)雄性和7只TNF转基因(TNF-Tg)雌性小鼠,并进行每月一次的纵向评估。TNF-Tg小鼠(3647品系,C57BL/6遗传背景30)最初由George Kollias博士提供,后续在罗切斯特大学持续繁育维持。TNF-Tg小鼠以杂合子形式进行繁殖,野生型小鼠作为同窝对照。TNF转基因的基因分型使用以下引物序列进行:TNF-Tg 正向引物:5-TAC-CCC-CTC-CTT-CAG-ACA-CC-3;TNF-Tg 反向引物:5-GCC-CTT-CAT-AAT-ATC-CCC-CA-3。

TNF-Tg 小鼠会自发产生慢性、进行性炎性侵蚀性关节炎31,雌性小鼠的关节和关节外表现出现更早,导致约5-6个月时出现早期死亡32。因此,额外增加了雌性TNF-Tg小鼠的数量以组成雌性队列。如本研究队列先前的描述所述23,n=2只TNF-Tg雌性小鼠在研究结束前死亡,其中n=1只在4个月前死亡,n=1只在5个月前死亡。由于TNF-Tg小鼠后肢疾病进展具有明确的非对称性特征33,34,因此以单个肢体作为测量单位(每只动物包括2只前爪和2只后爪)。

微型CT图像采集
微型CT数据集的采集方法如前所述12,23。简言之,将小鼠置于聚甲醛塑料和透明丙烯酸管中,使用1%–3%异氟烷进行麻醉,随后采用以下参数通过微型CT进行成像:55 kV,145 µA,积分时间300 ms,2048 × 2048像素,180°范围内采集1000个投影,分辨率17.5 µm各向同性体素。使用异氟烷时为确保安全,操作人员佩戴适当的个人防护装备(丁腈手套、实验服或防护袍、护目镜),异氟烷挥发器置于通风橱内,并使用活性炭过滤器捕获废气,同时采用密封良好的管路以确保输送系统的连续性。麻醉诱导时将气化的异氟烷通入密闭诱导舱,随后通过微型CT设备中的小鼠鼻罩持续输送异氟烷以维持麻醉状态。成像过程中使用胶带将小鼠后肢和前肢分别固定以保持稳定。每组数据采集时间约为30–45分钟(总计60–90分钟),同一动物在相同时间点获取后肢和前肢数据。小鼠从2月龄开始每月评估一次,雌性观察至5月龄(TNF-Tg小鼠因早期死亡率较高32),雄性观察至8月龄。本研究所用的部分后肢数据此前已有发表(WT:12,35;WT和TNF-Tg:23),并已公开获取28。前肢数据也已为本研究目的公开提供29

基于深度学习辅助的关节间隙分割算法
此前已开发出一种高通量的SA图像处理算法,用于分割小鼠复杂后足中的单个骨骼(30–31块骨)12,该方法为利用Amira软件研究炎性侵蚀性关节炎进展的个体生物标志物提供了框架23。该基础SA分割方法采用基于标记的分水岭算法36,在骨边界处进行分离。基于标记的分水岭算法通过将像素值视为基于用户定义标记的局部地形,从而实现图像中不同对象的分离。这些特定于骨骼的标记通过一系列SA方式的图像处理步骤生成,包括黑帽变换(BTH),旨在突出显示密度变化较大的局部区域,例如骨边缘和关节连接处。该方法整体生成了每块骨骼的腐蚀版本,随后通过应用二值边界掩模将其扩展至骨骼边界。尽管分水岭方法相较于以往的手动轮廓绘制有所改进,但由于对比度低导致的噪声问题,其准确率(正确分割的骨骼数 / 总骨骼数)在每个数据集中约为80%,表现为关节区域桥接(骨骼过度连接;将两块及以上骨骼识别为一种材料)或边缘误识别(骨骼过度分割;将一块骨骼识别为两种及以上材料)。因此,分水岭方法所需的SA标记生成过程必须持续且频繁地进行人工校正12,以建立金标准标签资源23,28

用于骨关节预测的深度学习模型开发基于具有ResNet-18骨干网络的3D U-Net架构。训练损失函数采用Dice函数,验证指标为交并比(IoU),优化方法使用Adam梯度下降算法,初始学习率为0.0001,权重随机初始化。模型训练使用了20个野生型(WT)数据集(共40只后足),性别和年龄(2至6个月)分布均衡;每个数据集被划分为6个子体积(每只后足3个),每个子体积为200 × 200 × 200体素,并随机选取25%的子体积作为验证集(共30个验证样本,总计120个),以避免过拟合。这些3D图像块在跗骨、远端指骨及背景区域上均匀分布。训练时的图像块大小设置为96 × 96 × 96体素(补充图1)。模型共训练500个训练周期,耗时约6小时。真实关节区域由基于真实标签的自动化流程生成,通过三维膨胀操作对标签界面进行扩展,膨胀尺寸在厚度和范围上均为5。

结合关节间隙的深度学习预测,采用了多种图像处理步骤以增强关节间隙识别和骨分割效果。这些策略包括使用BTH方法结合结构增强37、膜增强以及张量投票38,通过限制膜间隙来加强关节间隙的连续性。这些方法共同强化了关节间隙,有助于实现骨结构的分离,从而减少相邻骨之间因分割渗漏而导致的过连接错误,避免在分水岭算法跨多个骨结构传播时产生此类误差。最终结果是将原始的显微CT数据集分离并分割为特定于各骨的标签。

以下是DL辅助分割方法的详细逐步操作方案。

步骤1:打开Amira软件(需要个人或机构许可证)。步骤2:打开Python选项卡,选择 创建新的 Python 环境 使用环境名称:deep-learning-environment-2022_2。检查 安装深度学习软件包第3步:重启软件,打开Python选项卡,选择用户环境 深度学习环境-2022_2第4步:打开数据——可以选择所有单个DICOM文件,或打开包含嵌入式DICOM序列的.am文件(如有)来加载DICOM序列。第5步:对导入的数据对象应用深度学习预测模块,具体设置如下:
数据:导入的数据对象
架构:.json 文件补充文件 2)
权重:.hdf5 文件(补充文件 3)
拼接:手动——可根据计算硬件条件,通过减小拼接像素尺寸并增加拼接重叠度来优化效果。若处理资源不足,该模块将运行失败。请在“编辑”→“首选项”→“大容量数据”中,尽可能最大化软件的内存分配。
平铺宽度、高度、深度:352 像素
拼接重叠:0 像素
第6步:应用图像预设播放器,右键单击在 项目区域 不针对特定数据对象。输入/评估以下内容:
开放配方:.hxisp 文件补充文件 4)
数据:导入的数据对象
输入关节:步骤5(深度学习预测)的结果
第三步强度范围:2500 - 20000
步骤7:评估生成的已处理数据对象,该对象包含最终的分割结果——务必调整颜色映射为“Labels256”,以清晰显示所有独立的分割结果(默认仅显示8种颜色)。对于2D图像:应用正交切片(Ortho Slice);对于3D图像:应用体渲染(Volume Rendering)。以下提供在图像处理流程播放器步骤中应用的嵌入式流程(BTH+DL+SEF+MEF_D2.hxisp)的详细说明补充文件 5)。请注意,在 Image Recipe Designer 中,可根据需要对各个步骤进行可视化和导出,以评估特定数据集中的步骤优化情况。在本实验方案中,特别标出了一些步骤,这些步骤需根据具体应用进行调整,因为它们依赖于成像输出(如密度)和/或物体的大小(如骨骼):
步骤1:应用中值滤波,数据:导入的数据对象;解释模式:3D;邻域:26;迭代次数:3;类型:迭代。
步骤2:应用阈值分割——此步骤需要根据数据集和目标对象(本例中为骨骼)的具体阈值进行优化;数据来源:步骤1(中值滤波)结果;强度范围:2500 - 20000。
步骤3:应用闭运算——此步骤需要根据骨间关节间隙的大小进行优化,所用数据:步骤1的结果(中值滤波);类型:立方体;解释方式:三维;邻域:26;像素尺寸:3
步骤4:应用图像算术运算,输入A:步骤3的结果(闭运算);输入B:步骤1的结果(中值滤波);结果通道:与输入A相同;表达式:A-B。
步骤5:使用数据进行阈值分割:第4步结果(图像算术);强度范围:750 - 20000。
步骤6:应用图像算术,输入A:步骤2的结果(阈值处理);输入B:步骤5的结果(阈值处理);结果通道:与输入A相同;表达式:A-(B>0)
步骤7:应用结构增强滤波器,输入图像:导入的数据对象;解释:3D;张量类型:Hessian;标准差最小/最大值:1 - 3 像素;标准差步长:1 像素;对比度:暗;结构类型:平面。
步骤8:应用自动阈值分割,输入图像:步骤7的结果(结构增强滤波);类型:自动阈值高;解释模式:3D;模式:最小-最大;准则:因式分解。
步骤9:应用膜增强滤波器,数据:导入的数据对象;输出选择:平面张量投票;张量投票尺度:3像素;稠密化尺度:3像素;类型:脊状
对比度:暗;比例尺:1像素。
步骤10:应用自动阈值分割,输入图像:步骤9的结果(膜增强滤波);类型:自动阈值高;解释模式:3D;模式:最小-最大;准则:因式分解。
第11步:应用膨胀 - 此步骤需根据关节间隙的大小进行优化;输入图像:第10步结果(自动阈值分割);类型:Ball;解释模式:3D;大小:1像素;精度:更快。
步骤12:应用图像算术运算,输入A:步骤11的结果(膨胀);输入B:步骤8的结果(自动阈值分割);输入C:深度学习预测结果;结果通道:与输入A相同;表达式:A||B||C。
步骤13:应用“去除小斑点”,输入图像:步骤12的结果(图像算术);解释模式:3D;大小:500像素。
步骤14:应用图像算术,输入A:步骤13的结果(去除小斑点);输入B:步骤6的结果(图像算术);结果通道:与输入A相同;表达式:!A*B。
步骤15:应用“去除小斑点”,输入图像:步骤14的结果(图像算术);解释模式:3D;大小:500像素。
步骤16:应用标记,输入图像:步骤15的结果(去除小斑点);解释模式:3D;邻域:26。
第17步:对步骤1结果(中值滤波)应用“转换图像类型”,输出类型:16位无符号;归一化模式:缩放;缩放:缩放系数3,偏移量2000。
步骤18:在掩膜内应用基于标记的分水岭算法,数据:步骤17结果(图像类型转换);标记:步骤16结果(标记化);二值掩膜:步骤6结果(图像算术);分割类型:低强度。

分割方法测试与量化
通过生成一个结合深度学习联合预测与下游图像处理流程的方案,对分割方法进行了测试,该方案所用的强度范围为 2500 - 20000 Hounsfield 单位。方案生成支持对原始微计算机断层扫描(micro-CT)数据集(以 .am 文件格式存储的图像堆栈,该格式为将初始 .dcm 文件导入 Amira 后保存的格式)进行批量处理(对一批文件应用方案)。计算机硬件配置包括:16 核 Intel Xeon Gold 5218 中央处理器(CPU),主频 2.30 GHz;128 GB 四代双倍数据速率(DDR4)带错误校正码(ECC)的随机存取存储器(RAM),运行速度为 2666 兆传输(MT)/秒;以及 24 GB 虚拟图形处理器(vGPU/VRAM),运行于 64 位 Windows 10 操作系统(操作系统版本:19044.4780)。每个后肢数据集(2 个后肢)的分割耗时约为 32.7 ± 8.42 分钟(均值 ± 标准差),无需人工干预。相比之下,先前的半自动(SA)模型中,分割时间依赖于操作者经验,新手用户每数据集耗时 40.5 ± 9.06 分钟,经验丰富的用户每数据集耗时 19.3 ± 5.34 分钟(仅限野生型数据集,包含分割错误的修正)12。无论是深度学习(DL)还是半自动(SA)方法,相较于经验丰富的操作者采用传统 Scanco 分析进行金标准手动勾画分割所需时间(每数据集 190.6 ± 30.4 分钟),均有显著提升12。前肢数据集(2 个前肢)在无用户干预的情况下分割耗时约为 53.4 ± 23.6 分钟,分割时间增加的原因在于原始成像数据集中包含额外结构(如脊柱和肋骨),而这些结构在位置更远端、隔离更清晰的后肢中并不存在;在缺乏前期体积编辑步骤的情况下,这些额外结构导致了分割时间的延长。

通过视觉检查(HMK)根据预期的骨骼解剖结构(后肢:12,39;前肢:40)判断分割结果的正确性或错误类型,以此对准确性进行量化。准确率的计算公式如下:

准确率公式,模型评估方程,展示真阳性/假阳性/真阴性/假阴性的示意图。

其中,真正例为正确分割的骨组织,真负例等于0(不存在骨组织应缺失的情况,且背景区域与定量分析无关),假正例为过度分割的骨组织,假负例为过度连接的骨组织。由于本研究为单类别问题(即识别关节间隙),准确性被确定为合适的定量评价指标,而真负例(即背景)在准确性计算中不产生贡献,从而降低了高估性能的风险。自动分割方法不包含骨组织命名;骨组织名称随后由用户手动关联至已分割的结构。

本研究对后肢足垫的评估证实,C57BL/6小鼠的跗骨中舟骨与外侧楔骨(NAVLAT)存在固定的融合41,此外还确定邻近的中间楔骨(INT)也可能与NAVLAT结构发生不同程度的融合(NAVLATINT)12,39。在前肢腕部区域也观察到类似的可变性融合现象,其中梯形骨(ZOID;小多角骨)与中心骨(CENT)可表现为单一融合结构(CENTZOID),或分化为各自独立的骨骼,尤其在前肢中更为常见。为评估分割准确性的其他腕骨还包括大多角骨(ZIUM;大大多角骨)、头状骨(CAP)、钩骨(HAM)、三角骨(TRI;三角骨)、豌豆骨(PIS)、舟骨(scaphoid)/月骨(lunate)(SCAPHATE;固定融合)以及镰状骨(FALC)。前肢的跖骨(MET-F;1–5)、近端指骨(PP-F;1–5)、远端指骨(DP-F;2–5)和籽骨(S-F;1–10)编号方向为从外侧至内侧,而后肢对应结构(跖骨(MET-H)、PP-H、DP-H和S-H)的编号则为从内侧至外侧12。除NAVLATINT外,后肢还评估了其他跗骨,如前所述12,23,包括跟骨(CALC)、骰骨(CUB)、内侧楔骨(MED)、距骨(TAL)和胫骨(TIB)。需要注意的是,当比较基于每组数据中骨骼数量不一(由于解剖结构融合所致)的平均准确率评估与基于所分析全部独立骨骼总数计算的准确率时,整体队列的准确性量化结果会略有差异。

统计分析
根据具体情况,在 GraphPad Prism(v10.2.0;San Diego, CA, USA)中进行了适当的统计分析,包括三因素或两因素混合效应分析(含交互作用)或 Sidak 多重比较检验以及 Fisher 精确检验。由于 TNF-Tg 雌性小鼠早期死亡率导致评估时间窗不同,雄性(2–8 个月)和雌性(2–5 个月)小鼠被分别分析32。用于训练/验证及方法学测试的野生型(WT)后肢样本量详见补充表 1,经测试的野生型和 TNF-Tg 后肢及前肢样本量详情见补充表 2补充表 3补充表 4。由于某些时间点的野生型后肢测试中,参与准确性评估的后肢数量少于 3 只(<3 hindpaws),因此在包含野生型后肢的分析中,仅报告交互作用结果,未进行事后多重比较。若成像过程中出现足部图像采集不完整、严重运动伪影导致扫描结果无法解读,或动物在预定成像前死亡等情况,则整只或部分后肢数据被排除在分析之外,所有数据均为活体(in vivo)采集所得。

结果

自动化关节间隙识别的实现提高了骨分割的准确性
鉴于复杂结构(如小鼠后足)中骨形态和结构的异质性,我们在系统性图像处理算法12的基础上,结合深度学习(DL)训练预测结果(蓝色)与图像处理步骤,实现了在显微CT数据集中对骨间关节间隙的稳健识别(图1A-B;具体流程见下文并示于补充图1)。通过识别骨之间的间隙,实现了对各个后足骨的精确分离与分割(不同颜色表示;图1C)。在深度学习部分,训练集和验证集(WT)包含相同年龄段(2–6月龄,每组年龄n=8只后足)和性别(每组性别n=20只后足)的样本。其余WT后足样本(n=44,来自2–8月龄,排除6月龄因该月龄全部用于训练和验证)作为测试集,用于量化骨分割的准确性(图1D)。其中,2月龄的2只WT雄性后足和3月龄的2只WT雌性后足因成像误差被剔除(补充表1)。

除了在野生型后肢足部进行应用外,我们还在患有自发性炎性侵蚀性关节炎的TNF-Tg小鼠后肢足部(n=56只雄性后肢足部,n=48只雌性后肢足部)上测试了该自动分割方法。有4只TNF-Tg雌性小鼠的后肢足部在4个月和5个月时均被排除,原因包括成像错误或在5个月终点前过早死亡(补充表2)。新型分割算法能够自动检测关节间隙(左侧蓝色区域),并实现不同骨骼的分离(右侧不同颜色),适用于两种性别和基因型(图2A-D)。在个体骨骼分割准确性方面(见补充表5补充表6),无论雄性(野生型98.4% vs. TNF-Tg型93.1%,p<0.0001)还是雌性(野生型98.7% vs. TNF-Tg型92.1%,p<0.0001),野生型数据集的表现均优于TNF-Tg数据集。误差来源在图像上表现为关节间隙闭合不完全(白色虚线框内箭头所示),导致两个不同的骨骼被错误地连接为单一的分割结果(图2C-D)。TNF-Tg后肢足部中出现的此类过度连接误差,可能反映了慢性损伤导致的关节融合,即骨间间隙已不复存在。事实上,随着关节炎严重程度随时间加重,野生型与TNF-Tg数据集之间的准确性差异也更加显著(图2E-F),尤其是在跗骨区域(图2G-H,黄色表示准确性提高,绿色表示准确性下降),而跗骨通常作为骨侵蚀进展的可靠生物标志物23。然而,与我们先前的SA分割方法相比,整体数据集的准确性显著提升(图2E-F;野生型雄性:SA 79.39% ± 5.73% vs. DL 98.16% ± 1.47%,p<0.0001;野生型雌性:SA 79.16% ± 4.84% vs. DL 99.19% ± 1.63%,p<0.0001),表明该方法在自动化程度和可靠性方面实现了显著的方法学进步。因此,我们提出的基于深度学习(DL)的新型后肢足部骨骼分割策略,通过促进关节间隙识别,在野生型数据集中实现了显著更高的分割准确性(>98%),相较于先前的SA方法(约79%)有明显提升;但在应用于具有炎性侵蚀性关节炎的后肢足部时,性能略有下降(92%-93%)。

将分割方法灵活应用于前肢,突显出TNF-Tg小鼠显著的关节破坏和骨融合,且分割准确性迅速下降
我们进一步将这种新型分割方法扩展应用于小鼠前肢(n=55只野生型雄性前肢,n=29只野生型雌性前肢,n=54只TNF-Tg雄性前肢,n=50只TNF-Tg雌性前肢),这些前肢具有独特的骨大小和解剖结构。其中,1只野生型雄性在4个月时的前肢、1只野生型雌性在4个月时的前肢和2只在5个月时的前肢、2只TNF-Tg雄性在3个月时的前肢,以及2只TNF-Tg雌性在4个月时的前肢和4只在5个月时的前肢,因成像错误或在实验终点前过早死亡而被排除。此外,1只野生型雌性在3个月时的前肢存在部分成像错误,导致DP-F3、PP-F3、DP-F4和PP-F4缺失(补充表3补充表4)。为便于定位,我们提供了一个野生型前肢模型,从不同视角以颜色区分每一块独立的骨骼,并标注了骨骼特异性命名(图3)。以往对TNF-Tg小鼠的研究主要集中在后肢,而本文展示了野生型和TNF-Tg小鼠前肢的结构特征。我们特别强调腕骨(黄色虚线圈)和籽骨(蓝色虚线圈),这些区域表现出明显的侵蚀性病变,尤其是在TNF-Tg雌性小鼠中(图4A-D)。因此,前后肢分割准确性的比较显示,前肢的准确性显著降低(足爪类型效应 p<0.0001),这主要归因于TNF-Tg组数据集中随着年龄增长和疾病严重程度增加,骨完整性急剧下降(图4E-F;足爪×基因型交互效应 p=0.0083;雄性前肢:野生型 87.29% ± 2.07% 对比 TNF-Tg 72.65% ± 11.70%,p<0.0001)。与后肢类似,TNF-Tg小鼠随着年龄增长和疾病加重,其前肢分割准确性的下降在腕骨和籽骨区域尤为明显(图4G-H补充表7补充表8)。这种区域性骨病变可能由MET-F与PP-F相邻关节面(掌指关节)增强的侵蚀活性所驱动。误差类型分析显示,与后肢相比,TNF-Tg前肢中完全被侵蚀骨骼的比例更高(补充图2,红色表示缺失)。尽管这无疑反映了关节炎严重程度的进展,但TNF-Tg前肢中骨骼的缺失也可能揭示了图像分辨率的局限性。TNF-Tg前肢的严重侵蚀还通过一系列代表性图像得到进一步证实,这些图像突出了随时间变化的腕骨区域(白色箭头)以及前肢从前臂发生的进行性完全脱位(黄色箭头),在TNF-Tg雌性小鼠中尤为显著(补充图3)。因此,将自动化骨分割方法灵活应用于前肢独特结构,在野生型数据集中表现出优异性能(约87%),而在患有炎性侵蚀性关节炎的TNF-Tg前肢中,准确性也出现了类似的下降(67%-72%)。

数据可用性:
如微计算机断层扫描(micro-CT)图像采集部分所述,后肢数据此前已发表12,23,35,并可在 https://doi.org/10.5281/zenodo.11191782 公开获取28。用于量化WT12和TNF-Tg23数据集在SA分割方法中准确性的数据被重新用于与本文所述新型深度学习(DL)模型的直接比较。未重新使用其他先前研究中的特定数据35,但使用了相同且已公开的后肢数据集28。有关数据许可和再利用的更多细节如下所述。为支持本研究的目的,相应的前肢数据也已在Zenodo数据库中公开提供(https://doi.org/10.5281/zenodo.14865639)29

SA 分割方法在 WT 数据集上的准确性数据12已在图2中重新利用。本材料的再使用受知识共享署名-非商业性-禁止演绎 4.0 国际许可协议保护,https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode。作为所引用作品的作者,我们保留通过爱思唯尔作者权利制备其他衍生作品的权利,https://beta.elsevier.com/about/policies-and-standards/copyright。这些数据点已重新可视化,以便与 TNF-Tg 对应样本随时间变化的准确性进行比较,并直接与本文所述的新型深度学习(DL)方法进行对比。

SA分割方法在WT和TNF-Tg数据集上的准确性数据23被重新用于生成图2,且此前已对WT和TNF-Tg后足数据集进行了体积测量的进一步评估23。该材料的再使用受知识共享署名许可协议(https://creativecommons.org/licenses/by/4.0/)保护,该协议允许在任何媒介中不受限制地使用、分发和复制,前提是注明原始作者和来源。数据点已被重新可视化,以评估随时间变化的准确性,并直接与本文所述的新型深度学习(DL)方法进行比较。

先前用于与转轮跑队列进行新比较的公开可用的 WT 和 TNF-Tg 后足数据集28,进一步用于骨体积测量35。该材料的重复使用受知识共享署名 4.0 国际许可协议保护(https://creativecommons.org/licenses/by/4.0/),该协议允许在任何媒介或格式中使用、分享、改编、分发和复制,只要您对原始作者和来源给予适当署名,提供知识共享许可协议的链接,并注明是否进行了修改。本研究中使用了相同的公开可用数据集28,但未对先前已发表的数据点进行任何特定使用或修改。

Micro-CT关节分析;基于深度学习的数据集分布图的分割示意图。
图1:通过战略性图像处理与深度学习预测实现骨分割的自动化关节间隙检测。 小鼠Micro-CT数据集的可视化图像显示于(A)背侧(上方)和足底侧(下方),并用于(B)后续使用深度学习模型自动识别关节间隙(蓝色区域);该模型基于金标准骨分割结果构建(详见补充图112,23(C) 最终成功实现骨骼分离(各骨以特异性颜色标识),通过结合多种图像处理步骤完成,包括黑帽变换12、结构增强37以及基于张量投票的膜增强38,以实现鲁棒的关节间隙识别并标记单个骨骼。(D) 深度学习模块的训练与验证(n=40只后足)采用年龄相等(2–6个月,每个时间点n=8只后足)且性别分布均衡(雄性和雌性各n=20只后足)的野生型小鼠后足进行,其中25%的子体积被随机分配用于验证(每只后足3个子体积,共120个子体积)。其余野生型后足(n=44只)作为测试样本用于进一步分析。该深度学习模型与图像处理算法的组合效果,通过已发表并公开可用的数据集进行评估23,28请点击此处查看此图的高清版本。

骨骼分割分析、3D模型、WT/TNF雄性/雌性结果图、按年龄划分的准确性、热图结果。
图2:采用深度学习辅助的自动化关节间隙识别可显著提高骨骼分割准确性。 (A-B) 在开发出自动化关节间隙检测方法后,我们将深度学习模型(左侧:蓝色表示关节间隙;右侧:不同颜色代表不同骨骼的分割结果)应用于其余野生型(WT)雄性和雌性样本的测试中。 (C-D) 我们还评估了该方法在年龄匹配队列(雄性:2–8月龄;雌性:2–5月龄)的TNF转基因(TNF-Tg)小鼠中的表现,这些小鼠表现出进行性炎性侵蚀性关节炎,且雌性小鼠存在早发性死亡现象32。插图显示了高倍放大的分割错误区域(虚线框),其中预测的关节间隙出现断裂(白色箭头),导致骨骼分离不完全,从而产生过度连接的骨骼分割错误。 (E-F) 需要注意的是,6月龄雄性时间点未被纳入分析,因为所有WT数据集均已用于训练和验证,因此未包含在深度学习测试队列中。与我们此前的SA分割算法12,23相比,采用深度学习方法后,无论性别如何,WT和TNF-Tg数据集的分割准确性(正确分割的骨骼数 / 总骨骼数)均显著提升(平均准确率线:实心黑色 = DL WT,虚线黑色 = DL TNF-Tg,实心灰色 = SA WT,虚线灰色 = SA TNF-Tg)。然而,与WT小鼠相比,TNF-Tg小鼠的分割准确性随时间推移及伴随的进行性关节损伤而明显下降,尽管其性能仍优于SA方法。 (G-H) 按骨骼解剖区域划分的准确性热图(T = 跗骨,MT = 跖骨,PP = 近端指骨,DP = 远端指骨,S = 籽骨)显示,TNF-Tg小鼠的错误率升高主要集中在跗骨区域(浅色(黄色)= 高(100%),深色(紫色)= 低(20%)准确性)。如前所述,插图(C-D)突出显示了错误来源:关节间隙断裂(箭头,左图)导致骨骼过度连接(颜色,右图)。事实上,这些错误主要表现为骨骼过度连接(2块及以上骨骼被分割为同一结构;见补充图2),这可能反映了随着关节炎严重程度增加而出现的病理性关节融合过程。统计分析:三因素混合效应分析(SA vs DL;方法 × 基因型 × 时间;E-F),双因素混合效应分析(WT vs TNF;基因型 × 时间;E-H);****p<0.0001,**p<0.01,*p<0.05(交互效应);数据以均值 ± 标准差表示。样本量:WT雄性后肢n=34(2月龄n=2,3月龄n=4,4–5月龄n=6,6月龄n=0[所有数据用于训练和验证],7–8月龄n=8),WT雌性后肢n=10(2月龄n=4,3–5月龄n=2),TNF-Tg雄性后肢n=56(2–8月龄n=8),TNF-Tg雌性后肢n=48(2–3月龄n=14,4–5月龄n=10)。本图所用数据经修改自先前研究12,23请点击此处查看本图的放大版本。

灵长类腕骨解剖图,标注了腕骨结构的背侧和外侧视图,用于教学。
图3:关节间隙深度学习分割方法在其他复杂结构中的灵活应用,突出了小鼠前足骨的解剖结构。 接下来,我们评估了该关节间隙分割深度学习模型在后足以外其他复杂结构中自动分离骨骼的潜力。该分割方法应用于前足相应的显微CT数据集,并从(A)背侧、(B)掌侧、(C)外侧和(D)内侧表面进行可视化,不同颜色代表各自分割出的骨骼。我们发现该方法能够准确分割前足骨骼,包括不同的腕骨、掌骨(#,MET-F)、近端指骨(^,PP-F)、远端指骨(~,DP-F)、籽骨(虚线圆圈,S-F)以及爪部(*),并根据已知的前足解剖结构实现了骨骼特异性的标注40请点击此处查看该图的放大版本。

小鼠前爪骨骼的X射线成像;分析WT与TNF的分割准确性图表及热图。
图4:TNF-Tg小鼠表现出明显的前爪关节破坏和骨融合,且分割准确性迅速下降。 (A-B) 鉴于小鼠前爪结构复杂且精细,通过野生型(WT)雄性和雌性小鼠micro-CT图像的背侧(左)和掌侧(右)可视化可清楚显示;(C-D) 然而,TNF-Tg小鼠的解剖结构及其相关关节炎此前尚未被评估。我们新开发的基于深度学习(DL)的关节间隙分析方法首次提供了评估这些复杂结构的机会,尽管前爪的分析准确性低于后爪,但对WT前爪仍实现了>85% 的准确率(平均准确率线:实心蓝色 = WT后爪,虚线蓝色 = TNF-Tg后爪,实心红色 = WT前爪,虚线红色 = TNF-Tg前爪)。(E-F) 此外,TNF-Tg前爪的分割准确性随时间迅速且显著下降,错误主要集中在腕骨(A-D中的黄色虚线圆圈)和籽骨(A-D中的蓝色虚线圆圈)。(G-H) 分割准确性区域性下降情况通过热图展示(浅色(黄色)表示高(100%),深色(紫色)表示低(20%)准确性),骨区划分为:C = 腕骨,MC = 掌骨,PP = 近端指骨,DP = 远端指骨,S = 籽骨。请注意,在(E)中未包含6个月龄雄性时间点的数据,因为所有WT后爪数据集均已用于训练和验证,因此未纳入DL测试队列。统计学分析:三因素混合效应分析(后爪 vs 前爪,WT vs TNF;爪型 × 基因型 × 时间,报告交互效应;E-F);双因素混合效应分析结合Sidak多重比较校正(WT vs TNF;基因型 × 时间;G-H);****p<0.0001,**p<0.01,*p<0.05;数据以均值±标准差表示。样本量:WT雄性前爪n=55(2–3月龄和5–8月龄各n=8,4月龄n=7),WT雌性前爪n=29(2–3月龄n=8,4月龄n=7,5月龄n=6),TNF-Tg雄性前爪n=54(2月龄和4–8月龄各n=8,3月龄n=6),TNF-Tg雌性前爪n=50(2–3月龄n=14,4月龄n=12,5月龄n=10)。DL后爪数据(E-F) 重绘自图2E-F,以便与DL前爪数据进行额外比较。请点击此处查看该图的放大版本。

补充图1:联合检测深度学习模型的开发与训练。(A) 真实关节区域是通过Amira软件中的自动流程,从初始的真实骨骼分割结果中获得的,该流程结合了标签扩展、标签界面提取、掩膜处理和膨胀操作。(B) 在20个训练用微型CT数据集(共40只后足)中,每个数据集从跗骨、远端指骨和背景区域手动提取6个大小为200 × 200体素的子体积,左右足之间均匀分配(每只后足3个图像块)。所得到的120个子体积随后作为3D分割Amira训练模块的输入,同时以对应标注的关节区域作为真实目标。训练过程中,随机选取25%的图像块子集用于验证,以控制模型过拟合。请点击此处下载该文件。

补充图2:后肢与前肢之间错误类型的分布差异。 与先前开发的SA分割算法类似12,23,关节间隙深度学习模型产生的最主要错误类型为骨结构过度连接(绿色,将两个或以上骨骼分割为一种材质),这一现象在(A-D)后肢或(E-F)野生型前肢中尤为明显。如图2所述,当检测到的关节间隙出现断裂时,便可能发生过度连接错误,其原因多种多样,包括骨骼间距小于图像分辨率、运动伪影导致关节间隙模糊,或在关节炎背景下发生的骨重塑,进而导致关节融合。(G-H) 有趣的是,TNF-Tg转基因小鼠前肢中缺失骨骼(红色)的比例显著增加,即骨骼在分割结果中完全缺失。这类错误可能主要源于严重的骨侵蚀以及图像分辨率的局限性,尤其是前肢骨骼(如腕骨和籽骨)本身尺寸相对较小,相较于后肢骨骼更易出现此类问题(见图4)。其他类型的错误还包括过度分割(蓝色,将一块骨骼分割为两种或以上材质)以及同时存在过度连接和过度分割的情况(橙色)。饼图表示各类特定子错误类型占总错误的比例。请点击此处下载该文件。

补充图3:进展性TNF-Tg前爪关节炎的评估,显示严重骨侵蚀和关节脱位。 为可视化前爪随时间推移的结构变化,我们提供了从2至5个月(从左到右)的代表性背侧表面图像,包括(A)野生型雄性、(B)TNF-Tg雄性、(C)野生型雌性以及(D)TNF-Tg雌性前爪,特别突出腕部区域(白色箭头)。可见雌性约在4个月时、雄性约在5个月时即出现严重的骨侵蚀和骨重塑。这些时间点早于后爪通常出现严重骨侵蚀的时间,即雌性约5个月,雄性约7–8个月23(E) 还展示了TNF-Tg雌性前爪的侧面观,以显示整个前爪自前臂逐渐发生的脱位(黄色箭头),该现象与关节破坏相关。请点击此处下载该文件。

补充表 1:用于深度学习训练、验证和方法学测试的野生型后足样本量。 提供了按年龄(2 至 8 个月)划分的后足样本数量,并按数据集分类,包括用于深度学习训练/验证、全部方法学测试的样本,以及因成像错误、严重运动伪影或在计划的显微 CT 扫描前死亡而被排除的样本。雌性动物在第 6 至 8 个月的黑色单元格表示由于 TNF-Tg 实验组动物早期死亡,原计划在 5 个月后终止扫描。请点击此处下载该文件。

补充表 2:用于方法学测试的 TNF-Tg 小鼠后肢样本量。 样本量以不同月龄(2–8 个月)的后肢单位数量表示,并按用于总体方法学测试的数据集以及因成像错误、严重运动伪影和/或在预定微计算机断层扫描(micro-CT)前死亡而被排除的数据集进行分类。雌性小鼠在第 6–8 个月的黑色单元格表示由于 TNF-Tg 雌性小鼠早期死亡,原计划在 5 个月后终止扫描。请点击此处下载该文件。

补充表3:用于方法学测试的野生型前足样本量。 提供了不同年龄(2至8个月)的前足样本数量,并按数据集进行分类,包括用于全部方法学测试的样本以及因成像错误、严重运动伪影和/或在计划的微型CT扫描前死亡而被排除的样本。雌性动物在6至8个月时的黑色单元格表示由于TNF-Tg实验组动物早期死亡,原计划在5个月后终止扫描。*在3个月龄的野生型雌性动物中,n=1个前足因成像错误而缺失了DP-F3、PP-F3、DP-F4和PP-F4的记录,但该前足其余部分仍被评估。 请点击此处下载此文件。

补充表4:用于方法学测试的TNF-Tg前肢样本量。 前肢样本量按年龄(2至8个月)列出,并根据用于总体方法学测试的数据集或因成像错误、严重运动伪影和/或在计划的微型CT扫描前死亡而被排除的数据集进行分类。雌性小鼠6至8个月的黑色单元格表示由于TNF-Tg雌性小鼠早期死亡,计划在5个月后终止扫描。请点击此处下载该文件。

补充表 5:雄性小鼠后足各骨骼的分割准确率。 为确定在 TNF-Tg 与野生型(WT)后足中导致分割准确率下降的具体骨骼,本表提供了雄性小鼠各骨骼正确分割、错误分割的数量以及相对于评估总骨骼数的正确百分比。在主要缺陷发生的跗骨区域(图 2),跟骨(CALC)、中间楔骨(未融合,INT)以及舟骨/外侧楔骨(未融合)在 TNF-Tg 后足中表现出最显著的准确率下降。统计学分析:Fisher 精确检验;*p<0.05,**p<0.01,***p<0.001,****p<0.0001。请点击此处下载该文件。

补充表6:雌性小鼠后足各骨骼的分割准确率。 为确定在TNF-Tg与野生型(WT)后足中导致分割准确率下降的具体骨骼,本研究提供了雌性小鼠后足中被正确分割、错误分割的骨骼数量,以及相对于评估的总骨骼数的正确百分比。由于深度学习(DL)训练和验证所用数据集的分配,以及为与早期死亡率小鼠模型进行比较而将实验周期缩短至5个月32,可用于WT雌性小鼠的DL测试后足总数有限,从而限制了对各骨骼进行个体比较的能力,难以全面解释TNF-Tg数据集中整体准确率下降的原因。统计学方法:Fisher精确检验;****p<0.0001。请点击此处下载该文件。

补充表 7:雄性小鼠前爪各骨骼的分割准确率。 为确定导致 TNF-Tg 与野生型(WT)前爪分割准确率下降的具体骨骼,本文提供了雄性小鼠各骨骼正确分割、错误分割的数量以及相对于评估总骨骼数的正确百分比。在主要缺陷发生的腕骨和籽骨区域(图 4),大多角骨(CAP)、三角骨(TRI)、中心骨(未融合,CENT)、舟月骨(SCAPHATE)、小多角骨(ZOID)以及籽骨 2–10 在 TNF-Tg 前爪中表现出最显著的准确率下降。值得注意的是,籽骨 1 和 2 在 WT 与 TNF-Tg 数据集中均表现出准确率不足。有趣的是,第一掌骨在 TNF-Tg 小鼠中反而显示出分割准确率的提升,这可能归因于其与邻近骨骼紧密连接,导致在非关节炎情况下出现过度连接的错误,而关节炎性侵蚀可能缓解了此类错误。统计学分析:Fisher 精确检验;*p<0.05,**p<0.01,***p<0.001,****p<0.0001。请点击此处下载该文件。

补充表 8:雌性前足各骨骼的分割准确率。 为确定导致 TNF-Tg 与 WT 前足分割准确率下降的具体骨骼,本表提供了雌性小鼠各骨骼正确分割、错误分割的数量,以及相对于评估的总骨骼数的正确百分比。在主要出现分割缺陷的腕骨和籽骨区域(图 4),头状骨(CAP)、钩骨(HAM)、三角骨(TRI)以及籽骨 1-10 在 TNF-Tg 前足中表现出最显著的准确率下降。值得注意的是,籽骨 1 和 2 在 WT 与 TNF-Tg 数据集中均表现出准确率不足。统计学分析:Fisher 精确检验;*p<0.05,***p<0.001,****p<0.0001。请点击此处下载该文件。

补充文件1:用于深度学习模型训练的关节分割方案。 一系列嵌入式步骤,用于从作为金标准的预分割微计算机断层扫描(micro-CT)后肢足部图像中提取分割后的关节间隙,以用于训练深度学习(DL)模型进行关节间隙识别。请点击此处下载该文件。

补充文件2:利用深度学习辅助的图像处理进行骨分割的方案。一系列嵌入式步骤,用于将原始微计算机断层扫描(micro-CT)数据通过图像处理步骤,并结合深度学习(DL)关节间隙识别结果来指导骨骼分离,最终实现单块骨骼的分割。请点击此处下载该文件

补充文件 3:深度学习预测权重。 在深度学习预测关节间隙分割过程中,用作输入权重的文件。请点击此处下载该文件。

补充文件4:深度学习预测架构。 在深度学习预测关节间隙分割过程中,用作架构输入的文件。 请点击此处下载该文件。

补充文件 5:深度学习 Python 脚本。 用于关节间隙分割深度学习预测的 Python 脚本文件。请点击此处下载该文件。

讨论

为了实现对小鼠骨体积的完全自动化分析,我们进一步改进了复杂结构(特别是小鼠后足)中微计算机断层扫描(micro-CT)数据的分割方法。该策略聚焦于关节腔间隙,通过识别骨间负空间来建立骨分割的边界。由于该方法不依赖于后足骨骼特有的形态与解剖结构,因此可灵活应用于前足等其他结构。尽管在前足上进行分割时准确性有所下降,但野生型(WT)数据集仍表现出高于>85%的骨分割准确率。可采用已有明确描述的校正流程12,构建用于深度学习(DL)训练的预标注前足模型数据集,从而显著降低构建特定结构算法的门槛。该新方法还可应用于患有严重且进行性炎性侵蚀性关节炎的TNF-Tg小鼠足部。在TNF-Tg小鼠足部,随着病程进展,骨侵蚀逐渐加重,且随年龄增长出现病理性骨-骨融合,导致分割准确性随时间推移显著下降。因此,在野生型结构中成功应用的自动化、高精度分割模型,有望为未来在疾病模型或其他复杂关节中的应用提供指导。后续研究将聚焦于优化炎性关节的分割方法,以量化骨侵蚀与融合的病理效应,识别疾病生物标志物,如先前研究所述23

尽管微计算机断层扫描(micro-CT)成像已成功用于监测临床前关节炎模型中小骨的侵蚀情况12,23,25,35,42,但CT技术在临床评估中的应用仍较为有限。特别是对于类风湿关节炎,目前主要采用MRI43、超声44,45和/或常规X射线46的评分系统,以生成半定量且依赖操作者的疾病严重程度评估指标,通常还需结合临床指标共同判断47。由于CT被公认为评估骨结构完整性的金标准48,49,进一步优化可用于临床转化的分析方法有望显著提升对骨体积进行可靠、纵向定量评估的能力,不仅有助于准确评估疾病严重程度,也可用于治疗反应的监测。尽管MRI等成像技术可提供更广泛的信息,包括炎症区域、骨髓改变及软组织病变,但采用多能量输入的新型CT成像技术50也展现出将CT应用范围拓展至骨结构以外领域的潜力。尽管存在上述潜在优势,我们也认识到将已开发的临床前分析工具转化为临床应用所面临的巨大挑战,尤其是在低分辨率的临床CT图像上的适用性,以及在不同人体解剖结构中的实施问题。类似于我们近期在临床前关节炎模型中识别出骨特异性生物标志物的研究23,开展一项专注于骨侵蚀纯定量指标的深入临床研究,将是疾病监测领域的一项重大进展。

尽管我们目前的工作为临床应用提供了基础,且通过靶向关节腔可灵活应用于新结构,但主要局限在于依赖Amira中一个记录完善的、以研究为导向的临床前软件,该软件并非为临床诊断而设计。然而,通过所提供的详细方法,其底层算法和策略设计可轻松在其他软件环境中实现。无论使用何种研究软件,将其整合到临床应用(而非仅限于研究)都需要满足引入临床实践所需的监管要求的转化努力。对于这种新型分割策略的应用,还需考虑图像分辨率差异可能带来的局限性。我们此前已指出,图像分辨率(即体素/结构尺寸)是仅使用图像处理算法进行分割时准确性的关键决定因素12。事实上,这可能与前肢分割准确性轻微下降有关,因为前肢结构尺寸较小,其固有的图像质量相对后肢较低。同样重要的是需承认训练数据集(2–6个月)与测试数据集(包含7–8个月)在年龄范围上的差异,这可能会影响与年龄相关变化(如持续的骨骼生长或关节病变的进一步发生)相关的应用和准确性。我们的研究结果支持在深度学习分析中,野生型(WT)后肢在6个月以上仍保持准确性(图2E),表明TNF-Tg小鼠中分割性能下降更可能与炎症侵蚀性进展相关,而非年龄本身所致。然而,仍需对老年和高龄野生型小鼠开展进一步研究,以确保在不依赖深度学习训练队列特定年龄范围的情况下保持一致的准确性。最后,将所描述的方法从单一类别骨组织分离方法扩展为更强大的多类别分析工具,包括基于结构架构或固定解剖结构中坐标位置预测骨组织名称(例如类似图谱树结构),必将带来关键性改进,并有望提升该方法的广泛应用。

综上所述,我们设计了一种新颖的图像处理与深度学习(DL)辅助的显微CT分割策略,用于在复杂结构中分离单个骨骼。与我们近期开发的SA工作流程12相比,该创新方法在自动化程度和分割准确性方面均表现出显著提升;本研究中,SA工作流程被用作生成大量金标准分割结果的基础,以训练深度学习模型并优化当前的改进方案。尽管该分割方法在前肢以及伴有炎性侵蚀性关节炎的足部应用时性能有所下降,但该深度学习分割方法的实施仍可减少生成完全标注数据集所需的人工工作量,从而支持针对特定病理或结构的深度学习训练模型的建立。在未来的研究中应用此深度学习方法,有望优化临床前研究中不同物种和疾病模型的骨分割效果,进而实现精细的下游定量分析。我们进一步呼吁将此类策略纳入临床研究,因其有望最终改善患者诊疗。

披露

Daniel Lichau 和 Rémi Blanc 是赛默飞世尔科技公司的员工,参与了本论文所述方法所使用的 Amira 软件的开发与维护工作。其他所有作者均无利益冲突可披露。

致谢

经费来源: F30AG076326(HMK)、T32GM007356(HMK)、R01AR069000(CTR)、R01AR056702(EMS)和 P30AR069655(LS、EMS 和 HAA)。HMK 是由 NIH T32GM007356 资助的医学科学家培训项目(Medical Scientist Training Program)的学员。本内容仅由作者负责,不一定代表美国国家普通医学科学研究所或美国国立卫生研究院的官方观点。我们谨向罗切斯特大学医学中心组织学、生物化学与分子成像核心实验室、生物力学、生物材料与多模态组织成像核心实验室以及肌肉骨骼研究中⼼的教职员工和技术人员致以诚挚感谢,感谢他们为本研究工作所做出的贡献。

材料

本文使用的材料清单
姓名公司目录编号评论
计算系统详见方案部分 详见方案部分 
图像可视化软件ThermoFisher Scientificv2022.2 或更高版本Amira
异氟烷VetOne13985-528-60Fluriso,用于麻醉,1–3%
小鼠罗切斯特大学医学中心不适用C57BL/6,TNF 转基因型
显微CTScanco Medical不适用VivaCT 40
统计学软件GraphPad Software, Incv10.2.0 或更高版本GraphPad Prism
胶带不适用不适用用于固定动物足部以进行成像
管路不适用不适用用于动物固定的聚四氟乙烯塑料和透明丙烯酸材料

参考文献

  1. Bouxsein, M., et al. Guidelines for assessment of bone microstructure in rodents using micro-computed tomography. J Bone Miner Res. 25 (7), 1468-1486 (2010).
  2. Konnaris, M. A., et al. Computational pathology for musculoskeletal conditions using machine learning: advances, trends, and challenges. Arthritis Res Ther. 24 (1), 68(2022).
  3. Najjar, R. Redefining Radiology: A Review of Artificial Intelligence Integration in Medical Imaging. Diagnostics (Basel). 13 (17), 2760(2023).
  4. Alzubaidi, L., et al. Review of deep learning: concepts, CNN architectures, challenges, applications, future directions. J Big Data. 8 (1), 53(2021).
  5. Wu, J., et al. Convolutional neural network for detecting rib fractures on chest radiographs: a feasibility study. BMC Med Imaging. 23 (1), 18(2023).
  6. Liu, X., et al. Fully automated pelvic bone segmentation in multiparameteric MRI using a 3D convolutional neural network. Insights Imaging. 12 (1), 93(2021).
  7. Woo, B., et al. Automated anomaly-aware 3D segmentation of bones and cartilages in knee MR images from the Osteoarthritis Initiative. Med Image Anal. 93, 103089(2024).
  8. He, M., Zhao, X., Lu, Y., Hu, Y. An improved AlexNet model for automated skeletal maturity assessment using hand X-ray images. Future Generat Comp Syst. 121, 106-113 (2021).
  9. Zhang, Y., et al. SMANet: multi-region ensemble of convolutional neural network model for skeletal maturity assessment. Quant Imaging Med Surg. 12 (7), 3556-3568 (2022).
  10. Wu, J., Mi, Q., Zhang, Y., Wu, T. SVTNet: Automatic bone age assessment network based on TW3 method and vision transformer. Int J Imag Syst Technol. 34 (2), e22990(2024).
  11. Sebastian, T. B., Tek, H., Crisco, J. J., Kimia, B. B. Segmentation of carpal bones from CT images using skeletally coupled deformable models. Med Image Anal. 7 (1), 21-45 (2003).
  12. Kenney, H., et al. A High-Throughput Semi-Automated Bone Segmentation Workflow for Murine Hindpaw Micro-CT Datasets. Bone Rep. 16, 101167(2022).
  13. Besler, B. A., et al. Bone and joint enhancement filtering: Application to proximal femur segmentation from uncalibrated computed tomography datasets. Med Image Anal. 67, 101887(2021).
  14. Baiker, M., et al. Atlas-based whole-body segmentation of mice from low-contrast Micro-CT data. Med Image Anal. 14 (6), 723-737 (2010).
  15. Li, X., Yankeelov, T. E., Peterson, T. E., Gore, J. C., Dawant, B. M. Automatic nonrigid registration of whole body CT mice images. Med Phys. 35 (4), 1507-1520 (2008).
  16. Khmelinskii, A., et al. Articulated whole-body atlases for small animal image analysis: construction and applications. Mol Imaging Biol. 13 (5), 898-910 (2011).
  17. Liu, H., Durongbhan, P., Davey, C. E., Stok, K. S. Image Registration in Longitudinal Bone Assessment Using Computed Tomography. Curr Osteoporos Rep. 21 (4), 372-385 (2023).
  18. Wang, J., et al. Fully automated segmentation in temporal bone CT with neural network: a preliminary assessment study. BMC Med Imaging. 21 (1), 166(2021).
  19. Ambellan, F., Tack, A., Ehlke, M., Zachow, S. Automated segmentation of knee bone and cartilage combining statistical shape knowledge and convolutional neural networks: Data from the Osteoarthritis Initiative. Med Image Anal. 52, 109-118 (2019).
  20. Ramos, J. S., et al. Fast and accurate 3-D spine MRI segmentation using FastCleverSeg. Magn Reson Imaging. 109, 134-146 (2024).
  21. Kushwaha, A., et al. Improved Repeatability of Mouse Tibia Volume Segmentation in Murine Myelofibrosis Model Using Deep Learning. Tomography. 9 (2), 589-602 (2023).
  22. Bell, R. D., et al. Automated multi-scale computational pathotyping (AMSCP) of inflamed synovial tissue. Nat Commun. 15 (1), 7503(2024).
  23. Kenney, H. M., et al. High-throughput micro-CT analysis identifies sex-dependent biomarkers of erosive arthritis in TNF-Tg mice and differential response to anti-TNF therapy. PLoS One. 19 (7), e0305623(2024).
  24. Brown, J. M., et al. Detection and characterisation of bone destruction in murine rheumatoid arthritis using statistical shape models. Med Image Anal. 40, 30-43 (2017).
  25. Cambre, I., et al. Mechanical strain determines the site-specific localization of inflammation and tissue damage in arthritis. Nat Commun. 9 (1), 4613(2018).
  26. Mahdi, H., et al. Open-source pipeline for automatic segmentation and microstructural analysis of murine knee subchondral bone. Bone. , 167(2023).
  27. Saillard, E., et al. Finite element models with automatic computed tomography bone segmentation for failure load computation. Sci Rep. 14 (1), 16576(2024).
  28. Kenney, H., et al. Micro-CT of hind paw. Zenodo. , (2024).
  29. Kenney, H., et al. Micro-CT of hind paw. Zenodo. , (2025).
  30. Keffer, J., et al. Transgenic mice expressing human tumour necrosis factor: a predictive genetic model of arthritis. EMBO J. 10 (13), 4025-4031 (1991).
  31. Li, P., Schwarz, E. The TNF-alpha transgenic mouse model of inflammatory arthritis. Springer Semin Immunopathol. 25 (1), 19-33 (2003).
  32. Bell, R., et al. Selective sexual dimorphisms in musculoskeletal and cardiopulmonary pathologic manifestations and mortality incidence in the tumor necrosis factor-transgenic mouse model of rheumatoid arthritis. Arthritis Rheumatol. 71 (9), 1512-1523 (2019).
  33. Li, J., et al. CD23+/CD21hi B cell translocation and ipsilateral lymph node collapse is associated with asymmetric arthritic flare in TNF-Tg mice. Arthritis Res Ther. 13 (4), R138(2011).
  34. Kenney, H., et al. Persistent popliteal lymphatic muscle cell coverage defects despite amelioration of arthritis and recovery of popliteal lymphatic vessel function in TNF-Tg mice following anti-TNF therapy. Sci Rep. 12 (1), 12751(2022).
  35. Kenney, H., et al. Implementation of automated behavior metrics to evaluate voluntary wheel running effects on inflammatory-erosive arthritis and interstitial lung disease in TNF-Tg mice. Arthritis Res Ther. 25 (1), 17(2023).
  36. Meyer Sm Beucher, F. Mathematical Morphology in Image Processing. , CRC Press. (1992).
  37. Frangi, A. F., Niessen, W. J., Vincken, K. L., Viergever, M. A. Medical Image Computing and Computer-Assisted Intervention - MICCAI'98. Wells, W. M., Colchester, A., Scott, D. , Springer. Berlin Heidelberg. 130-137 (1998).
  38. Martinez-Sanchez, A., Garcia, I., Asano, S., Lucic, V., Fernandez, J. J. Robust membrane detection based on tensor voting for electron tomography. J Struct Biol. 186 (1), 49-61 (2014).
  39. Bab, I., Hajbi-Yonissi, C., Gabet, Y., Müller, R. Micro-tomographic atlas of the mouse skeleton. , Springer Science + Business Media. (2007).
  40. Bab, I., Hajbi-Yonissi, C., Gabet, Y., Müller, R. Micro-Tomographic Atlas of the Mouse Skeleton. , Springer. (2007).
  41. Richbourg, H., Martin, M., Schachner, E., McNulty, M. Anatomical Variation of the Tarsus in Common Inbred Mouse Strains. . Anat Rec (Hoboken). 300 (3), 450-459 (2017).
  42. Proulx, S., et al. Longitudinal assessment of synovial, lymph node, and bone volumes in inflammatory arthritis in mice by in vivo magnetic resonance imaging and microfocal computed tomography. Arthritis Rheumatol. 56 (12), 4024-4037 (2007).
  43. Dakkak, Y., Matthijssen, X., van der Heijde, D., Reijnierse, M., van der Helm-van Mil, A. Reliability of Magnetic Resonance Imaging (MRI)-scoring of the Metatarsophalangeal-joints of the Foot According to the Rheumatoid Arthritis-MRI Score (RAMRIS). J Rheumatol. 47 (8), 1165-1173 (2020).
  44. Dimanti, A., et al. Ultrasound detection of subclinical synovitis in rheumatoid arthritis patients in clinical remission: a new reduced-joint assessment in 3 target joints. Clin Exp Rheumatol. 36 (6), 984-989 (2018).
  45. De Miguel, E., et al. A reduced 12-joint ultrasound examination predicts lack of X-ray progression better than clinical remission criteria in patients with rheumatoid arthritis. Rheumatol Int. 37 (8), 1347-1356 (2017).
  46. Ornbjerg, L., Ostergaard, M. Assessment of structural damage progression in established rheumatoid arthritis by conventional radiography, computed tomography, and magnetic resonance imaging. Best Pract Res Clin Rheumatol. 33 (5), 101481(2019).
  47. England, B., et al. Update of the American College of Rheumatology Recommended Rheumatoid Arthritis Disease Activity Measures. Arthritis Care Res (Hoboken). 71 (12), 1540-1555 (2019).
  48. Dohn, U., et al. Are bone erosions detected by magnetic resonance imaging and ultrasonography true erosions? A comparison with computed tomography in rheumatoid arthritis metacarpophalangeal joints. Arthritis Res Ther. 8 (4), R110(2006).
  49. Dohn, U., et al. Detection of bone erosions in rheumatoid arthritis wrist joints with magnetic resonance imaging, computed tomography and radiography. Arthritis Res Ther. 10 (1), R25(2008).
  50. Jans, L., et al. Dual-energy CT: a new imaging modality for bone marrow oedema in rheumatoid arthritis. Ann Rheum Dis. 77 (6), 958-960 (2018).

重印与许可

标签

深度学习模型微型计算机断层扫描分水岭算法结构增强张量投票U-Net 架构炎症性关节炎自动化图像分析