自动化关节空间检测工作流程的开发使得野生动物中不同小鼠后爪骨的高通量切割成为可能,准确率达>98%。已实现对前爪和炎症性侵蚀性关节炎的灵活应用,但性能已下降,未来研究需利用公开数据进一步优化。
Research Article
自动化关节空间检测工作流程的开发使得野生动物中不同小鼠后爪骨的高通量切割成为可能,准确率达>98%。已实现对前爪和炎症性侵蚀性关节炎的灵活应用,但性能已下降,未来研究需利用公开数据进一步优化。
复杂解剖结构的定量描述仍具挑战性,因为需要手工分割、劳动力和观察者间的变异性。为克服这一问题,可以通过数字图像分析技术(包括深度学习(DL)模型实现对特定地标的自动检测。为此,我们进行了对小鼠后爪和前爪微型计算机断层扫描(micro-CT)数据集的监督自动分析。超越了此前已发表的半自动(SA)基于标记的流域算法,我们增加了结构增强、张量投票和输出膨胀以识别关节空间。通过使用DL联合空间预测模型(3D U-Net架构,ResNet-18骨干)增强了分割,该模型使用野生型(WT)后爪标签作为地面真实值。预测扩展至患有炎症性侵蚀性关节炎的白天小鼠及肿瘤坏死因子转基因(TNF-Tg)小鼠的后爪和前爪,涵盖年龄段。使用DL方法,分割准确率显著提升。随着TNF-Tg小鼠病情严重度和年龄的增加,准确率下降。后续前爪测试也显示准确性随着关节炎严重程度的加剧而逐渐降低。总体而言,该监督自动化模型在健康关节中优于近期SA方法,以增强复杂骨骼解剖学的研究。尽管对新颖和疾病修饰数据集的灵活应用性能有所下降,但利用仍可能催化结构特异性切割模型的发展。
高质量的图像分析不仅提升了科研成果,也有望帮助临床放射科医生在检测和量化病理变化时发现和量化,这对患者护理至关重要。图像分析是一系列详细的程序,包括特征提取、将本来通用的图像转换为有意义的标签,以及推导定量指标1。这一过程很大程度上依赖于先验知识,例如基于密度或颜色的阈值结构,然后应用下游图像处理算法(如膨胀、侵蚀、平滑、分离)以实现所需的分割。优化后,分割图像可为监督机器学习2提供输入,包括深度学习(DL),利用神经网络编码和解码复杂特征,2,3,从而提升图像分割的准确性和吞吐量。
事实上,各种三维卷积神经网络(CNN)的实现为骨骼图像分析中的自动骨骼分割算法带来了关键进展,其中一些模型的表现优于人类切割4。虽然三维分割CNN通过不同的架构(如AlexNet、ResNet、UNet)工作,但它们的输出本质上是相同的,都是表示背景中骨骼正体积的图像掩码。这类深度学习模型在肌肉骨骼图像分析中发展迅速,该领域迅速从解决简单的二维断裂检测问题5 ,发展到复杂的多关节问题6 ,能够处理数据集中的伪噪声或异常特征。例如,Woo等人注意到MRI上的结构异常(如骨髓病变、骨囊肿)正在降低膝关节关节软骨的分段预测。因此,他们开发了一个异常感知的分段模型,以首先识别无关的异常结构,极大地改善了骨骼和软骨的分段7。他等人训练了14个独立模型,每个模型基于关键手关节的投资回报率,以估计骨骼年龄,然后整合它们的输出以提升手部X光的预测,而非使用整个手部结构8。同样,将上下文纳入模型,如区域分割特征和全球解剖关系,已被证明能提升预测效果。利用多区域CNN为预期的切节特征提供背景,也通过将分类问题限制在解剖学上合适的位置,提升了手部X光骨骼成熟度评估。9.其他进展包括基于CNN的SVTNet骨骼分割技术,随后通过视觉变换器模型进一步处理,捕捉有关分段区域间空间关系的全球信息,以估计骨龄10等定量结果。
正如这些分段方法所示,关节炎研究的成像重点是连接两个或多个骨骼之间的表面,在这些方面,骨分离方法对于成功评估复杂关节中的差异性病理过程至关重要。图像处理算法的进步已证明在提高邻近腕骨或跗骨的分析通量方面具有显著效用(11,12)。然而,由于不准确、需要用户干预以及翻译为不同结构的困难,应用有限,凸显了实施优化工作流程的必要性。这些多步骤过程可以通过离散工具进行图像增强(如骨骼边缘检测13)获得极大益处。除了严格的形态作外,其他研究还采用了基于注册的技术,利用解剖学中典型的可靠性和一致性来识别结构14,15,16,17。手动输入生成真实标签的替代方案既昂贵又繁琐,但在复杂且紧密交织且边界较不明确的骨骼(如头骨18)中,利用方法可能至关重要。同样,即使在离散结构内也具有多色/多色调变异的替代成像方法,如磁共振成像(MRI 19,20,21)或组织组织学22,也表现出复杂性,可能通过初步手动分割来指导自动化流程。这些方法结合起来,还能带来额外好处,推动更多自动化,结果作为训练数据集,用于实施深度学习方法。分割自动化的优势众多,尤其是这些方法能够实现详细的空间相关定量指标,包括区域/骨骼特异性的侵蚀体积变化23、24、25、26,以及识别高易受损害区域27。
本研究基于已建立的半自动(SA)小鼠后爪分割方法12,结合图像处理算法改进,结合真实骨骼切割28,训练DL模型进行关节空间检测。这一新颖的分析策略显著提升了后爪单个骨节的准确性,减少了人工纠正分割误差的工作量,加快了下游定量指标的处理。我们还展示了这些技术进步在新型结构中的应用潜力,包括患有严重侵蚀性关节炎的前爪和后爪。由于手动分割耗时且需要高水平的专业知识,类似的策略是依次利用半自动和自动分割来改进输入滤波器,从而降低开发高质量CNN以适应特定应用的门槛。Amira软件开发的方法(补充文件1)及相关数据集公开提供,以支持后续研究的采纳与合作28,29。
所有动物实验均按照罗切斯特大学医学中心动物资源委员会批准的IACUC协议进行。
动物模型
这些小鼠被安置在AAALAC认证的活箱中。本次实验共使用了19只小鼠,包括4只野生型(WT)雄鼠、4只WT雌鼠、4只TNF转基因(TNF-Tg)雄鼠和7只TNF-Tg雌鼠,并进行了纵向每月评估。TNF-Tg小鼠(3647系,C57BL/6遗传背景30)最初由乔治·科利亚斯博士获得,并在罗切斯特大学继续进行维护。TNF-Tg小鼠被育种为杂合子,白血小鼠作为同窝对照。TNF转基因的基因分型使用以下引物序列进行:TNF-Tg前向:5-TAC-CCC-CTC-CTT-CAG-ACA-CC-3;TNF-Tg反向:5-GCC-CTT-CAT-AT-AT-ATC-CCC-CA-3。
TNF-Tg小鼠会发展为慢性、进行性和自发性炎症性侵蚀性关节炎31,雌性小鼠关节和关节外表现更为迅速,导致约5-6个月时32岁时早死。因此,TNF-Tg雌性队列中被分配了额外的小鼠。根据本研究第23队列的先前描述,n=2名TNF-Tg女性在研究结束前死亡,n=1在4个月前死亡,n=1在5个月前死亡。由于TNF-Tg小鼠在后爪中表现出明显的不对称病变33,34,因此以单个肢体为单位(每只动物2只前爪和2只后爪)。
微型CT图像收集
微型CT数据集按前述收集,12,23。简要地,小鼠被置于Derlin塑料透明丙烯管中,使用1%-3%异氟醚麻醉,进行微型CT成像,参数参数为:55 kV,145 μA,积分时间300毫秒,像素2048 x 2048像素,180°上1000次投影,分辨率17.5微米各向同性体素。为安全起见,使用异氟醚时使用了适当的个人防护装备(丁腈手套、实验服或防护服、安全眼镜),异氟醚蒸发器则保存在排气柜内,使用活性炭过滤器捕捉气体废物,并用密封良好的管道确保输送系统的连续性。汽化异氟醚在密封腔室内进行麻醉诱导,随后通过连续的异氟醚流入小鼠鼻锥体,维持麻醉。后爪和前爪都被胶带绑在一起,以便在影像检查时保持稳定。每个数据集大约在30-45分钟(总计60-90分钟)内收集,后爪和前爪数据均来自相同的动物和时间点。小鼠从2个月大开始每月评估一次,直到5个月大(雌性,TNF-Tg早死32人)或8个月大(雄性)。本研究所用后爪部分数据此前已发表(WT:12,35;WT和TNF-Tg:23)并公开可查28。为本研究目的,前爪数据已公开,29。
结合深度学习促进的联合空间分割算法
此前开发了一种高通量SA图像处理算法,用于分割小鼠复杂后爪的单个骨骼(30-31块骨头),该算法为利用Amira软件23研究炎症性侵蚀性关节炎进展的单个生物标志物提供了框架。该基线SA分割方法采用基于标记的流域算法36在骨骼边界进行分离。基于标记的流域算法通过将像素值视为基于用户定义标记的局部地形来分离图像中的不同物体。这些骨骼特异性标记通过多种图像处理步骤(包括黑顶帽(BTH)以SA方式生成,旨在突出局部密度变化显著的区域,如骨骼边缘和关节。这种方法共同创建了每根骨头的侵蚀版本,然后通过应用二元边界掩码扩展到骨头边界。虽然流域方法优于以往手工轮廓绘制,但由于低对比度噪声导致桥接关节区域(过度连接;2+骨作为一种材料)或边缘误判(骨骼过度分裂;1骨作为2+材料)导致准确率约为每数据集80%。因此,流域方法的SA标记生成需要持续且频繁的人工校正程序12,以开发出金标准标签资源23,28。
用于骨关节预测的DL模型的开发基于带有ResNet-18骨干的3D U-Net架构。训练损失函数为Dice,验证指标为交集(IoU),梯度下降采用Adam优化,初始学习率为0.0001,权重初始化为随机。该模型使用20个WT数据集(40个后爪),性别和年龄分布均等(2-6个月),每个子卷分为6个子卷(每后爪3个),每组200 x 200 x 200个体素,并有25%随机验证的子卷(30个验证,共120个),以避免过拟合。这些三维瓷砖均匀地分布在跗骨、远端指骨和背景区域。训练版块尺寸设定为96 x 96 x 96体素(补充图1)。该模型经过500个纪元的训练,约耗时6小时。地真接合区通过地真标签的自动配方获得,该方法扩展了标签界面,厚度和范围均为3D膨胀尺寸为5。
配合关节间隙DL预测,实施了若干图像处理步骤以增强关节间隙识别和骨骼分割。这些策略包括结合BTH方法与结构增强37、膜增强和张量投票38 ,通过限制膜间隙来强化关节空间连续性。这些方法共同加强了骨分离的关节间隙,限制相邻骨之间的分段泄漏,从而在流域算法跨多块骨头传播时产生过度连接错误。最终结果将原始微型CT数据集分离并分割为骨骼特异性标签。
以下提供了DL辅助分割方法的详细分步协议。
步骤1:打开Amira软件(需要个人或机构许可)。步骤2:打开Python标签页,选择 创建新的 Python 环境 环境名称为:deep-learning-environment-2022_2。检查 安装深度学习软件包.步骤3:重启软件,打开Python标签页,选择用户环境 深度学习环境-2022_2.步骤4:开放数据——可以通过选择所有单独的DICOM文件或打开包含嵌入DICOM堆栈的.am文件来加载DICOM堆栈。步骤5:对导入的数据对象应用深度学习预测模块,具体说明如下:
Data:导入数据对象
架构:.json文件(补充档案2)
权重:.hdf5 文件(补充档案3)
铺砌:手动——可根据计算硬件,通过缩小镶嵌像素大小和增加镶嵌重叠来优化。如果处理需求不足,模块将会失效。确保在编辑、偏好设置、大数据中尽可能最大化软件内存分配。
平铺宽度、高度、深度:352像素
平铺重叠:0像素
步骤6:应用图片配方播放器,右键点击 项目区 但不针对特定数据对象。输入/评估以下内容:
开放配方:.hxisp 文件 (补充档案4)
Data:导入数据对象
输入关节:第5步(深度学习预测)的结果
Step3强度范围:2500 - 20000
步骤7:评估包含最终分割的处理数据对象——确保将Colormap调整为Labels256,以欣赏每个单独切割的总数(默认仅8种颜色)。对于2D:应用正交切片,对于3D:应用体积渲染。嵌入配方(BTH+DL+SEF+MEF_D2.hxisp)的详细信息应用在图片配方播放器步骤中,具体如下(补充档案5).请注意,在图像配方设计器中,可以根据需要可视化和导出单个步骤,以评估特定数据集中的优化步骤。在协议中,标注了需要根据任何独特应用调整的特定步骤,因为这些步骤依赖于成像输出(即密度)和/或物体大小(如骨骼):
步骤1:对导入的数据对象应用中位数过滤器;解读:3D;社区:26;迭代次数:3次;类型:迭代。
步骤2:应用阈值化——此步骤需要根据数据集和针对目标对象的特定阈值进行优化,在此例中,骨骼为数据:步骤1的结果(中位数过滤);强度范围:2500 - 20000。
步骤3:应用闭合——此步骤需要根据骨骼间关节间隙的大小进行优化,数据:步骤1的结果(中位数滤波器);类型:立方体;解读:3D;社区:26;像素尺寸:3。
步骤4:输入A应用图像算术:步骤3(关闭)的结果;输入B:步骤1的结果(中位数滤波器);结果通道:如输入A;表达:A-B。
步骤5:对数据应用阈值:步骤4的结果(图像算术);强度范围:750 - 20000。
步骤6:输入A:步骤2(阈值化)结果时应用图像算术;输入B:第5步结果:(阈值化);结果通道:如输入A;表达式:A-(B>0)
步骤7:对输入图像:导入数据对象应用结构增强过滤器;解读:3D;张量类型:麻布型;标准差最小/最大:1 - 3 像素;标准差步长:1像素;对比度:暗;结构类型:平面。
步骤8:对输入图像应用自动阈值:步骤7(结构增强过滤器)的结果;类型:自动阈值高;解读:3D;模式:极限优化;标准:分解。
步骤9:对导入数据对象的数据应用膜增强过滤器;输出选择:平面性张量投票;张量投票比例:3像素;密度尺度:3像素;类型:脊状
对比度:暗;缩放:1像素。
步骤10:对输入图像应用自动阈值化:步骤9的结果(膜增强滤波器);类型:自动阈值高;解读:3D;模式:极限优化;标准:分解。
步骤11:应用膨胀——此步骤需根据关节空间大小进行优化——输入图像:步骤10的结果(自动阈值);类型:球;解读:3D;尺寸:1像素;精准度:更快。
步骤12:输入A应用图像算术:步骤11的结果(膨胀);输入B:第8步(自动阈值)的结果;输入C:深度学习预测结果;结果通道:如输入A;表达式:A||B||C.
步骤13:应用 带输入图像去除小斑点:步骤12的结果(图像算术);解读:3D;尺寸:500像素。
步骤14:应用图像算术,输入A:步骤13的结果(去除小斑点);输入B:第6步结果(图像算术);结果通道:如输入A;表达:!A*B。
步骤15:应用 带输入图像去除小斑点:步骤14的结果(图像算术);解读:3D;尺寸:500像素。
步骤16:应用标签并输入图像:步骤15的结果(去除小斑点);解读:3D;社区:26岁。
步骤17:应用带数据的图像类型转换:步骤1的结果(中位数滤镜);输出类型:16位无符号;归一化模式:缩放;缩放:比例3,偏移2000。
步骤18:在掩码内应用基于标记的流域,并输入数据:步骤17的结果(转换图像类型);标记:第16步(标记)结果;二元掩模:第6步(图像算术)的结果;分段类型:低强度。
分割方法测试与量化
分割方法通过生成一个将DL联合预测与下游图像处理配方结合的配方来测试,强度范围为2500至20000 Hounsfield单位。配方生成允许对原始微型CT数据集进行批量处理(对一批文件应用配方),该数据集在导入初始.dcm文件后保存为图像栈的.am文件格式)。计算机硬件包括来自Intel Xeon Gold 5218中央处理器(CPU,频率2.30 GHz)、128 GB的双倍数据率第四代(DDR4)纠错码(ECC)随机存取存储器(RAM),传输速度为2666兆传输(MT)/秒,以及24 GB虚拟图形处理单元(vGPU/VRAM),运行Windows 10的64位作系统(作系统构建: 19044.4780)。每个后爪数据集(2个后爪)在未用户干预的情况下被分割为约32.7±8.42分钟(平均±标准差)。这与之前的SA模型相比,后者分割时间依赖用户体验,新手用户每数据集为40.5分钟±9.06分钟,有经验用户为19.3分钟±5.34分钟(仅WT数据集,包括分割错误修正)12。DL和SA方法相比以往的黄金标准手动轮廓划分有了显著提升,经验用户每数据集需190.6±30.4分钟(使用传统Scanco分析)12。前爪数据集(2只前爪)在未进行用户干预的情况下,大约在53.4±23.6分钟内被分割,其中分段时间的增加可归因于原始成像数据集中存在的额外结构(如脊柱和肋骨),这些结构在更远端的后爪中不存在,且在没有前置体积编辑步骤的情况下,会使分段时间膨胀。
准确度的量化通过目视检查(HMK)进行,以确定基于预期骨骼解剖结构的正确分段或误差类型(Hindpaw:12,39;Forepaw:40)。准确率以百分比计算,公式为:

其中真阳性为正确分段的骨骼,真阴性为0(不存在骨骼缺失的情形,背景不适合量化),假阳性为骨骼过度分裂,假阴性为骨骼过度连接。鉴于单类别问题(即识别关节空间),准确性被确定为合适的定量指标,而真实负值(即背景)在准确性计算中无贡献,从而降低了高估性能的风险。自动分割方法不包括骨骼命名;骨骼名称随后由用户手动关联到分段材质。
对参与该研究的后爪的评估确认了C57BL/6小鼠41中舟骨和外侧楔形骨(NAVLAT)跗骨的固定融合,并进一步确定相邻的中间楔形文字(INT)也可能与NAVLAT结构(NAVLATINT)发生变化性融合12,39。类似的可变融合现象也体现在前爪的腕骨区域,梯形骨(ZOID;小多角骨)和中央骨(CENT)可能呈现为单一融合结构(CENTZOID),或细分为各自的骨头,尤其是在前爪中。为节节准确性,还研究了腕骨(ZIUM;大多角骨)、头骨(CAP)、钩骨(HAM)、三角骨(TRI;三角形)、鼠骨(PIS)、舟骨(舟状骨)/月骨骨(SCAPHATE;固定融合骨)和镰形骨(FALC)。前爪掌骨(MET-F;1-5)、近端指骨(PP-F;1-5)、远端指骨(DP-F;2-5)和籽骨(S-F;1-10)按外侧至内侧编号,而后爪(跖骨(MET-H)、PP-H、DP-H 和 S-H)则编号为内侧至外侧。除了NAVLATINT外,还评估了前述的后爪骨,包括足骨(CALC)、长方骨(CUB)、内楔骨(MED)、距骨(TAL)和胫骨(TIB)。请注意,比较因解剖融合导致骨骼数量变异的数据集平均准确率评估与基于分析总骨头计算的准确率时,整体队列准确度量略有差异。
统计分析
统计分析,包括三向或双向混合效应分析,含交互效应,或Sidak多重比较和Fisher精确检验,均在GraphPad Prism(v10.2.0;美国加利福尼亚州圣地亚哥)。男性(2-8个月)和女性(2-5个月)分别分析,评估时间范围不同,基于早期TNF-Tg女性死亡率32。用于训练/验证和方法学测试的WT后爪样本量见 补充表1,补充 表2、 补充表3和 补充表4中提供了测试WT和TNF-Tg后爪及前爪的样本量详细信息。由于WT后爪测试的某些时间点包含了<3只后爪的准确性评估,因此在包含WT后爪的分析中,报告了无后续多重比较的相互作用效应。如果存在影像错误、爪子捕捉不完整、运动伪影严重导致扫描无法理解,和/或动物在预定影像检查前死亡,则整个或部分后爪会被排除在分析之外,因为所有数据均在 体内收集。
实现自动关节间隙识别提升了骨分段的准确性
鉴于大鼠后蹄等复杂结构中骨骼形状和结构的异质性,我们基于系统化图像处理算法12至DL训练预测(蓝色)及图像处理步骤,稳健识别微型CT数据集中的骨间隙(图1A-B;下文描述过程,见补充图1)).骨骼间隙的识别使得后爪骨(颜色不同;图1C)。对于DL部分,训练与验证数据集(WT)由相同年龄(2-6个月龄,n=每龄8只后爪)和性别(n=每性别20只后爪)组成。其余的WT后爪(n=44,2-8个月龄,不包括6个月,因均用于训练和验证)作为量化骨骼分割准确性的测试数据集(见图1D)。2个月时有2只白天虎雄性后爪,3个月时有2只白天虎雌性后爪,但因影像错误被遗漏(补充表1)。
除了在WT后爪中的应用外,我们还在TNF-Tg小鼠(n=56只雄性后爪,n=48只雌性后爪)中自发性炎症性侵蚀性关节炎的后爪上测试了自动分段方法。在4个月和5个月时,有4只TNF-Tg雌性后爪因影像错误或在5个月终点前过早死亡而被遗漏(补充表2)。这种新颖的分割算法自动检测到关节间隙(蓝色,左侧),用于单个骨骼分离(颜色,右侧),跨性别和基因型(见图2A-D)。在补充表5和补充表6中显示的单个骨骼分割准确性方面,WT在男性(WT 98.4%对TNF-Tg93.1%,p<0.0001)和女性(WT 98.7%对TNF-Tg 92.1%,p<0.0001)中均优于TNF-Tg数据集。错误的根源通过视觉表现为关节间隙的不完全闭合(白色虚线框内的箭头),从而无意中将两块不同的骨头过度连接成一个单一的分段(见图2C-D)。TNF-Tg后爪中表现出的这些过度连接错误,可能是慢性损伤导致关节融合的后遗症,骨头间的空隙已不复存在。事实上,随着关节炎严重程度的增加,WT和TNF-Tg数据集的准确性差异随着时间推移变得更加明显(见图2E-F),尤其是在跗骨(图2G-H,黄色=准确度提升,绿色=准确性降低)中,跗骨通常作为骨侵蚀进展的可靠生物标志物23.然而,与我们之前的SA分割方法相比,整体数据集准确性有了显著提升(见图2E-F;西图尔特男性:南澳79.39%(5.73%)±对DL98.16%±1.47%,P<0.0001;女性世界睾酮:SA 79.16% ± 4.84%,DL 99.19% ± 1.63%,p<0.0001),显示了自动化性和可靠性方面方法学的稳健进展。因此,我们采用DL辅助关节空间识别的后爪骨分段新战略模型,在WT数据集中比以往SA方法(~79%)显著提高了分段准确率(>98%),但应用于炎症性侵蚀性关节炎后爪时表现略有下降(92%-93%)。
灵活地将分节方法应用于前爪,突出了TNF-Tg小鼠关节严重破坏和骨骼融合,且分节准确率迅速下降
我们进一步将新颖的分节方法应用于具有独特骨骼大小和解剖结构的鼠鼠前爪(n=55 WT 雄性前爪,n=29 WT 雌性前爪,n=54 TNF-Tg 雄性前爪,n=50 TNF-Tg 雌性前爪)。白天猎犬雄性4个月时有1只前爪,白天雌性4个月时1前爪,5个月时2只前爪,TNF-Tg雄性3个月时2只前爪,TNF-Tg雄性4个月时有2只前爪和4只前爪,但因影像错误或终点前过早死亡而被省略。此外,白天雌虫3个月大时有一只前爪部分影像错误,遗漏了DP-F3、PP-F3、DP-F4和PP-F4(补充表3和补充表4)。对于方向,我们提供了一个WT前爪模型,每块骨头按颜色和不同视角标示的骨骼命名法区分开来(见图3)。此前在TNF-Tg小鼠中的研究主要集中在后爪,而我们展示了WT和TNF-Tg小鼠中小鼠前爪的结构。我们特别强调腕骨(黄色虚线圆圈)和籽骨(蓝色虚线圆圈),它们表现出明显的侵蚀性疾病,尤其是在TNF-Tg雌性中(图4A-D)。因此,比较后爪与前爪分节准确率显示前爪显著下降(爪型效应p<0.0001),主要由TNF-Tg数据集中骨骼完整性随着年龄和疾病严重度增加而急剧下降所致(图4E-F;爪子×基因型效应p=0.0083;雄性前爪:WT 87.29%±2.07%,TNF-Tg为72.65%±11.70%) 第<0.0001页)。与后爪类似,随着年龄增长和疾病严重程度,TNF-Tg分段准确率的下降在腕骨和籽骨中更为明显(图4G-H,补充表7和 补充表8)。这种区域性骨病理可能由MET-F和PP-F(掌指关节)邻近关节的侵蚀活动增强所致。错误类型的评估显示,TNF-Tg前爪的完全侵蚀骨骼比例高于后爪(补充图2,红色缺失)。虽然这无疑代表关节炎的严重程度逐渐加重,但TNF-Tg前爪缺乏骨骼也可能凸显图像分辨率的限制。TNF-Tg前爪严重侵蚀还通过代表性图像进一步展示,这些图像突出了腕骨区域(白色箭头)以及爪子与前臂逐渐完全脱位(黄色箭头),其中在TNF-Tg雌性中最为显著(补充图3)。因此,在WT数据集中,灵活地将自动骨分段方法应用于前爪独特结构(~87%)表现显著,而在患有炎症性侵蚀性关节炎的TNF-Tg前爪中,准确率也相应下降(67%-72%)。
数据可用性:
如微型CT图像采集部分所述,后爪数据此前发布于12、23、35,并于 https://doi.org/10.5281/zenodo.1119178228公开发布。用于SWT12 和TNF-Tg23 数据集的SA分割法准确度量化数据被重新利用,以直接与此处描述的新型DL模型进行比较。先前额外研究的具体数据未被重新利用,但也使用了公开可用的后爪数据集28 。关于许可和数据再利用的更多细节见下文。为本研究目的,相应的前爪数据也已在Zenodo数据库(https://doi.org/10.5281/zenodo.14865639)29公开提供。
SA分割方法WT数据集12 的准确性数据被重新利用于 图2中。本材料的重复使用受知识共享署名-非商业性-禁止衍生性4.0国际许可协议 https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode 保护。作为该作品的作者,我们保留通过爱思唯尔 https://beta.elsevier.com/about/policies-and-standards/copyright 的作者权利准备其他衍生作品的权利。数据点经过重新可视化,以便与TNF-Tg对应方法随时间准确率进行比较,并直接与本文介绍的新型DL方法进行比较。
SA分割方法的WT和TNF-Tg数据集的准确性数据23 被重新用于 图2,而WT和TNF-Tg后爪数据集则进一步评估了之前的体积测量数据23。材料的重复使用受知识共享署名许可协议(https://creativecommons.org/licenses/by/4.0/)保护,允许在任何媒介中无限制地使用、分发和复制,前提是必须注明原作者和来源。数据点经过重新可视化,用于评估准确性,并直接与此处描述的新型DL方法进行比较。
同样公开的WT和TNF-Tg后爪数据集28 ,此前用于与轮跑队列的新颖比较,用于骨体积测量,35。材料的再利用受知识共享署名4.0国际许可协议(https://creativecommons.org/licenses/by/4.0/)保护,允许在任何媒介或格式中使用、分享、改编、分发和复制,只要您适当注明原作者和来源,提供知识共享许可链接,并注明是否进行了更改。当前工作中使用了28 个公开数据集,但未对先前发布的数据点进行具体利用或修改。

图1:通过战略图像处理和深度学习预测实现的关节空间自动检测,用于骨骼分割。小鼠微型CT数据集,包含(A)背侧(上)面和足底(底部)表面的可视化,随后处理(B)使用基于金标准骨骼分段发展的DL模型(见补充图1)自动识别关节间隙(蓝色)。(C) 通过额外的图像处理步骤组合实现了骨骼分离(骨骼特异颜色),包括黑色顶帽12、结构增强37和膜增强,张量投票38,以稳健的关节间隙识别,标记单个骨骼。(D) DL组分的训练和验证(n=40只后爪)对WT小鼠后爪进行,年龄(2-6个月,每个时间点n=8只后爪)和性别(n=20只后爪男女)分布相同,随机使用25%的子卷进行验证(每后爪3个子卷,共120个子卷)。剩余的WT后爪(n=44)作为测试案例进行评估,供进一步分析。利用先前发布和公开数据集23,28评估了DL模型与图像处理算法的结合。请点击此处查看该图的放大版本。

图2:实现自动化关节间隙识别并配合深度学习促进,提高了骨分段的准确性。(A-B) 在自动关节间隙检测开发完成后,我们将DL模型(左:蓝色关节间隙;右:骨骼特异性分段颜色)应用于白天性截断(WT)男女的剩余测试案例。(C-D) 我们还评估了年龄匹配的TNF-Tg小鼠(雄性:2-8个月;雌性:2-5个月)的表现,这些小鼠伴有进行性炎症性侵蚀性关节炎,雌性32人中早发性死亡。嵌入图像显示了高倍率的分割误差(虚线框),即预测关节间隙(白色箭头)的断裂导致骨分离泄漏,导致骨分段错误过度连接。(E-F) 请注意,6个月男性时间点被省略,因为所有WT数据集均用于训练和验证,因此未包含在DL测试队列中。与我们之前的SA分割算法12,23相比,使用DL方法在WT和TNF-Tg数据集中,无论性别如何,切割准确率(正确分割的骨骼/总骨骼)都显著提升(平均准确率线:实心黑色=DL分段,虚线黑色=DL TNF-Tg,实线灰色=SA分区,虚线灰色=SA TNF-Tg)。然而,TNF-Tg分割的准确性随时间和关节损伤逐渐下降,尽管其表现仍优于白日睾法。(G-H) 针对骨腔室的准确度热图(T = 跗骨,MT = 跖骨,PP = 近端指骨,DP = 远端指骨,S = 籽骨)显示 TNF-Tg 小鼠误差率较高,主要局限于跗骨区域(浅色(黄色)=高(100%),深色(紫色)=低(20%)准确率)。如前所述,嵌入图像(C-D)通过断开的关节间隙(箭头,左图)突出错误的根源,导致骨骼过度连接(颜色,右图)。事实上,错误主要是过度连接的(2+骨段为1块材料;见补充图2),这可能代表关节融合的病理过程,关节炎严重度加剧。统计学:三方混合效应分析(SA与DL;方法x基因型x时间;E-F),双向混合效应分析(WT vs TNF;基因型x时间;E-H);p<0.0001,**p<0.01,*p<0.05(交互效应);数据以均值±标准差表示。样本量:n=34只后爪雄性(n=2个月时,n=4个月,n=4个月,n=6个月,n=0[所有检测数据],n=8,7-8个月),n=10只后爪雌性(n=4,n=2个月,n=2个月),n=56只TNF-Tg雄性(n=8,2-8个月时n=8), n=48只TNF-Tg雌性(n=14,4-5个月时n=10)。本图中使用的数据经过修改,参考了之前的研究12,23。请点击此处查看该图的放大版本。

图3:关节空间深度学习分割在其他复杂结构上的灵活应用,突出了小鼠前爪骨骼的解剖结构。 接着,我们评估了关节空间分割DL模型在后爪以外更复杂结构中自动分离骨骼的潜力。该分割方法在相应的前爪微型CT数据集中实现,这些数据集从 (A) 背侧、 (B) 跖侧、 (C) 侧面和 (D) 内侧面可视化,颜色代表单个分段骨。我们发现了前爪骨的精确分段潜力,包括明显的腕骨、掌骨(#,MET-F)、近端指骨(^,PP-F)、远端指骨(~,DP-F)、籽骨(虚线,S-F)和爪子(*),并带有骨骼特异标记,对应已知前爪解剖结构40。 请点击此处查看该图的放大版本。

图4:TNF-Tg小鼠表现出明显的前爪关节破坏和骨骼融合,且分节准确性迅速下降。(A-B) 鉴于小鼠前爪的复杂性和结构较小,左侧为背侧,右侧为足底,显示了WT雄性和雌性小鼠的微观CT图像,(C-D)此前尚未评估TNF-Tg小鼠的解剖结构及相关关节炎。我们新颖的关节空间DL方法的应用为评估这些复杂结构提供了初步机会,通过降低分析难题实现了WT前爪的>85%准确率,尽管与后爪相比准确度有所下降(平均准确率线:实心蓝色=WT后爪,虚线蓝色=TNF-Tg后爪,实心红色=WT前爪,虚线红色=TNF-Tg前爪)。(E-F)此外,TNF-Tg前爪因手腕(A-D区有黄色虚点圆圈)和籽骨(A-D区有蓝色虚点圆圈)的误差,分节准确率迅速且显著下降。(G-H) 区域分节准确率的降低可通过骨腔室热图(浅色(黄色)=高(100%),深色(紫色)=低(20%)准确率)显示(C=腕骨,MC=掌骨,PP=近端指骨,DP=远端指骨,S = 籽骨)的区域性降低。注意,(E)中省略了6个月男性时间点,因为所有WT后爪数据集均用于训练和验证,未包含在DL测试队列中。统计数据:三向混合效应分析(后爪与前爪,WT与TNF;爪类型x基因型x时间,相互作用效应报告;E-F),两向混合效应分析,采用Sidak的多重比较(WT与TNF;基因型x时间;G-H);p<0.0001, **p<0.01, *p<0.05;数据以均值±标准差表示。样本量:n=55只前爪雄性(n=8只,2-3个月和5-8个月时,n=7只,4个月),n=29只前爪雌性(n=8只,n=7只,4个月,n=6只5个月),n=54只TNF-Tg雄性前爪(n=8只,2个月和4-8个月,n=6只3个月), n=50只前爪(n=14个,4个月,n=12个,n=10个,5个月)。DL后爪数据(E-F)从图2E-F中复现,以便与DL前爪数据进行进一步对比。请点击此处查看该图的放大版本。
补充图1:联合检测深度学习模型的开发与训练。(A) 通过使用 Amira 的自动配方,通过初始真实骨切片获得地真关节区域,该配方结合了标签扩展、标签接口提取、遮罩和扩张。 (B) 对于20个训练微型CT数据集(40个后爪),手动从跗骨、远端指骨和背景区域提取6个200 x 200个体素子卷,左右爪均分为3块(每只后爪3块)。由此产生的120个子卷随后被用作三维分割Amira训练模块的输入,并与相应标记的关节区域一起作为地面真实目标。使用随机25%的补丁子集进行验证,以控制训练期间的模型过拟合。 请点击这里下载此文件。
补充图2:后爪和前爪错误类型的明显分布。 类似于之前开发的SA分割算法12,23,关节空间DL模型通过过度连接骨骼(绿色,2+骨骼作为1个材料分割)产生了最多的错误,最显著的是(A-D)后爪或(E-F)WT前爪。如图2所示,如果检测到的关节空间存在缺口,这种缺口可能因多种原因出现,包括骨骼距离超过图像分辨率、运动伪影模糊关节空间,或关节炎情况下的骨骼重塑,从而导致关节融合,就会发生过连错误。(G-H)有趣的是,TNF-Tg前爪缺失的骨头比例显著增加(红色),这意味着该骨头完全没有出现在分节过程中。这些误差很可能归因于严重侵蚀和图像分辨率不足的综合作用,因为前爪骨,尤其是腕骨和籽骨,相较于后爪骨,体积相对较小(见图4)。其他错误类型包括过裂(蓝色,1块骨分段为2+材料)或同时过连接和过度分裂(橙色)。饼图表示归因于特定错误子类型的总错误的比例。请点击这里下载此文件。
补充图3:评估进行性TNF-Tg前爪关节炎伴有严重骨侵蚀和关节脱位。 为了直观观察前爪结构随时间的变化,我们提供了代表性图像,分别来自 (A) WT雄性、 (B) TNF-Tg雄性、 (C) WT雌性和 (D) TNF-Tg雌性前爪,时间跨度为2至5个月(从左到右),特别突出腕部区域(白色箭头)。请注意,女性大约每4个月,男性每5个月左右才会发生严重的骨质侵蚀和重塑。这些时期早于雌性约5个月龄后后蹄严重骨质侵蚀的典型发作,雄性则在23岁时约7-8个月。 (E) TNF-Tg雌性前爪的侧面视图还显示了整个爪子与前臂(黄色箭头)逐渐脱位,伴随着关节破坏。 请点击这里下载此文件。
补充表1:西卧虎后爪在DL训练、验证及方法学测试中的样本量。 后爪数量的样本量跨年龄(2-8个月)提供,并按用于DL训练/验证、整体方法学测试或因影像错误、严重运动伪影或预定显微CT扫描前死亡而被省略的数据集组织。女性第6至8个月的黑细胞显示,由于TNF-Tg实验对应者早期死亡,扫描计划在5个月后终止。 请点击这里下载此文件。
补充表2:用于方法学测试的TNF-Tg后爪样本量。 后爪数量的样本量跨年龄(2-8个月)提供,并按用于整体方法学检测的数据集或因影像错误、严重运动伪影和/或预定显微CT扫描前死亡而被省略的数据集进行组织。雌性6-8个月的黑细胞表示由于TNF-Tg雌性小鼠早期死亡,扫描计划在5个月后终止。 请点击这里下载此文件。
补充表3:WT前爪方法学检测样本量。 前爪数量的样本量按年龄(2-8个月)提供,并按用于整体方法学检测的数据集或因影像错误、严重运动伪影和/或预定显微CT扫描前死亡而遗漏的数据集进行组织。女性第6至8个月的黑细胞显示,由于TNF-Tg实验对应者早期死亡,扫描计划在5个月后终止。*在3个月大时,白眼女性因影像误差缺失了DP-F3、PP-F3、DP-F4和PP-F4,尽管其余前爪已评估。 请点击这里下载此文件。
补充表4:TNF-Tg前爪方法学检测样本量。 前爪数量的样本量按年龄(2-8个月)提供,并按用于整体方法学检测的数据集或因影像错误、严重运动伪影和/或预定显微CT扫描前死亡而遗漏的数据集进行组织。雌性6-8个月的黑细胞表示由于TNF-Tg雌性小鼠早期死亡,扫描计划在5个月后终止。 请点击这里下载此文件。
补充表5:雄后爪的单个骨骼准确度。 为识别TNF-Tg与WT后爪中节节准确率降低的具体骨头,提供了雄性小鼠中正确、错误分段的骨头数量及相对于评估的总骨头的正确百分比等细节。在主要缺损发生的跗骨区域(图2),颅骨(CALC)、中间楔骨(未融合,INT)和鼻侧楔骨(未融合)显示出TNF-Tg后爪准确率最显著的下降。统计数据:费舍尔精确检验; *p<0.05, **p<0.01, ***p<0.001, ****p<0.0001. 请点击这里下载此文件。
补充表6:雌性后爪的个体骨骼准确性。 为识别 TNF-Tg 与 WT 后爪中节节准确率降低的特定骨骼,提供了雌性小鼠中正确、错误分段的骨骼数量以及相对于评估的总骨骼的正确百分比等详细信息。鉴于DL训练和验证对数据集的使用,以及与表现出早期死亡的TNF-Tg小鼠比较时间缩短至5个月32,分配给白天虎雌鼠的DL测试后爪总数限制了单个骨骼比较的能力,难以解释TNF-Tg数据集整体准确率下降的原因。统计数据:费舍尔精确检验;第<0.0001页。 请点击这里下载此文件。
补充表7:雄前爪的单个骨骼准确性。 为了识别哪些骨骼在TNF-Tg与WT前爪中节节准确率降低,提供了雄性小鼠中正确、错误分段的骨骼数量以及相对于评估的总骨骼的正确百分比等详细信息。在主要缺损发生的腕骨和籽骨区域(图4),头顶(CAP)、三叉骨(TRI)、中央(未融合,CENT)、舟骨/月骨(SCAPHATE)、梯形(ZOID)和籽骨2-10的准确性下降最为显著。值得注意的是,籽骨1和2的准确性在WT和TNF-Tg数据集中均存在不足。有趣的是,第一掌骨在TNF-Tg小鼠中实际上显示出分段准确率的提升,这可能是由于与相邻骨头的紧密关节导致过度连接错误,而关节炎侵蚀则得以缓解。统计数据:费舍尔精确检验;*p<0.05, **p<0.01, ***p<0.001, ****p<0.0001. 请点击这里下载此文件。
补充表8:女性前爪的单个骨骼准确性。 为识别 TNF-Tg 与 WT 前爪中具体骨头的分节准确性,提供正确分段、错误分段的骨头数量及相对于评估的雌性骨头中正确百分比的详细信息。在主要缺陷发生的腕骨和籽骨区域(见图4),头顶骨(CAP)、柔骨(HAM)、三趾骨(TRI)和籽骨1-10的准确性下降最为显著。值得注意的是,籽骨1和2的准确性在WT和TNF-Tg数据集中均存在不足。统计数据:费舍尔精确检验;*p<0.05, ***p<0.001, ****p<0.0001. 请点击这里下载此文件。
补充文件1:深度学习模型训练的联合分割配方。 一系列嵌入步骤,从金标准的预分段微型CT后爪中提取分段关节空间,用于训练关节间隙识别的DL模型。 请点击这里下载此文件。
补充文件2:利用深度学习辅助的图像处理骨骼分割配方。一系列嵌入步骤,利用图像处理步骤将原始微型CT数据转换为单个骨骼的分割,结合DL关节间隙识别输出,指导骨骼分离。 请点击这里下载此文件。
补充文件3:深度学习预测权重。 用于深度学习预测关节空间分割时权重输入的文件。 请点击这里下载此文件。
补充文件4:深度学习预测架构。 作为深度学习联合空间分割预测中建筑输入的文件。 请点击这里下载此文件。
补充文件5:深度学习Python脚本。 文件用作 Python 脚本,用于深度学习预测联合空间分割。 请点击这里下载此文件。
在完成小鼠骨体积全自动分析的基础上,我们在复杂结构中微型CT数据的分割,特别是小鼠后爪方面取得了进一步改进。策略是针对关节的关节空间,为骨骼分离划定边界,专注于骨骼间的负空间,从而在前爪等替代结构中灵活实施,因为该方法并不针对不同后爪骨的形状和解剖结构。尽管在前爪上进行分段准确性下降,白手图数据集仍显示出>85%的骨骼准确率。描述良好的纠正过程12 可用于创建预注释的前爪模型数据集,用于DL训练,显著降低了创建结构特定算法的门槛。这一新颖方法也使得适用于患有严重且进行性炎症性侵蚀性关节炎的TNF-Tg爪子。在TNF-Tg爪中,分节准确率的下降显著,这与骨侵蚀和因年龄增加而导致的病理性骨骨融合逐渐增加相对应。因此,在WT结构中自动化且高精度的分割模型的卓越应用,有潜力指导未来疾病模型或其他复杂关节的应用。进一步研究将聚焦于优化关节的分段,以量化骨侵蚀和融合的病理效应,以识别疾病生物标志物,如前所述23。
尽管在临床前关节炎模型12,23,25,35,42中成功利用微型CT成像监测小骨的侵蚀,但CT技术在临床评估中的应用仍然有限。特别是对于类风湿性关节炎,评分系统主要用于MRI43、超声44、45和/或传统X光46,以生成半定量且依赖用户的疾病严重度测量,通常与临床指标47结合使用。由于CT被认为是评估骨完整性的金标准参考(48,49),进一步优化临床可转化分析方法有望为可靠且纵向的骨体积定量评估带来巨大益处,既可用于疾病严重度的测量,也有助于评估治疗反应。尽管MRI等影像技术提供了更广泛的信息,包括炎症区域、骨髓变化和软组织病理,但采用多能量输入的新型CT成像方法有望将CT的应用扩展到骨骼结构之外。尽管有这些预期的益处,我们也承认从开发的临床前分析工具转化临床上存在巨大挑战,考虑将应用应用于低分辨率临床CT图像及在不同人体解剖中的应用。类似于我们最近在临床前关节炎模型中识别出骨骼特异性生物标志物23,深入探讨骨侵蚀的纯定量指标,将是疾病监测领域的重大进展。
虽然我们目前的工作为临床实施奠定了基础,鉴于其通过针对关节空间灵活应用新结构的潜力,但主要局限在于依赖Amira中已有充分文献支持的临床前、面向研究的软件,而非临床诊断。然而,底层算法和战略设计可以通过提供的详细方法论轻松实现于其他软件环境中。无论使用哪种研究软件,将应用纳入临床应用(而非研究)都需要符合临床实践引入监管要求的转化工作。在应用新型分割策略时,还需考虑差分图像分辨率的潜在局限性,我们之前已描述过图像分辨率(即体素/结构尺寸)是仅使用图像处理算法判断分割准确性的关键因素12。事实上,这可能与前爪分段精度略有下降有关,前爪结构较小,导致图像质量相较后爪相对较低。还需承认训练(2-6个月)和测试(包括7-8个月)数据集年龄范围存在差异,这可能影响应用和准确性,尤其是骨骼持续生长或关节病变进一步发生。我们的发现支持WT后爪在6个月后DL分析中保持准确性(见图2E),表明TNF-Tg对应动物分段性能下降更可能与炎症性侵蚀进展无关,独立于年龄本身。然而,仍需对老年野生型小鼠进行进一步研究,以确保其准确性与DL训练队列的特定年龄范围无关。最后,将上述方法从单一类骨分离方法扩展到更稳健的多类分析工具,包含基于结构结构或固定解剖中坐标位置的预测骨名(类似图谱树),无疑将带来必要的改进,并可能促进方法的采用。
总之,我们设计了一种新型图像处理和DL辅助的微型CT分割策略,用于在复杂结构中分离单个骨骼。与我们最近创建的SA12工作流程相比,这一创新在自动化和分段准确性方面有了显著提升,SA12在此作为众多金标准分段的基础,用于训练DL模型并优化当前改进。尽管前爪和炎症性侵蚀性关节炎患者的分割方法转化表现下降,但实施该DL分割方法可减少生成完全注释数据集的人工工作,以支持病理或结构特异的DL训练模型。未来研究中采用该DL方法,有望优化不同物种和疾病模型的骨分段,从而实现详细的下游定量分析。我们进一步敦促将此类策略纳入临床研究,因为它有望为患者护理带来最终益处。
Daniel Lichau 和 Rémi Blanc 是 ThermoFisher Scientific 的员工,参与开发和维护用于生产本文所述方法的 Amira 软件。其他作者则无需披露。
资金来源:F30AG076326(HMK)、T32GM007356(HMK)、R01AR069000(CTR)、R01AR056702(EMS)和P30AR069655(LS、EMS和HAA)。HMK曾是NIH资助的医学科学家培训项目的实习生T32GM007356。内容完全由作者自行承担,不一定代表美国国家普通医学科学研究院(NIH)的官方观点。我们要感谢罗切斯特大学医学院组织学、生物化学与分子成像核心、生物力学、生物材料与多模态组织成像核心,以及肌肉骨骼研究中心的教职员工对这项工作的贡献。
| Name | Company | Catalog Number | Comments |
|---|---|---|---|
| 计算系统 | 详情见协议部分 | 详情见协议部分 | |
| 图像可视化软件 | 热飞世科学 | v2022.2或更高版本 | 阿米拉 |
| 异氟醚 | VetOne(资深一号) | 13985-528-60 | 氟利索,1-3%用于麻醉 |
| 老鼠 | 罗切斯特大学医疗中心 | 无 | C57BL/6,TNF转基因 |
| 微型CT | Scanco 医疗 | 无 | VivaCT 40 |
| 统计软件 | GraphPad 软件公司 | v10.2.0或更高版本 | GraphPad 棱镜 |
| 磁带 | 无 | 无 | 为了保护动物爪子以便成像 |
| 漂流管 | 无 | 无 | Derlin塑料和透明丙烯用于动物稳定 |
Request permission to reuse the text or figures of this JoVE article
Request Permission