一种用于腮腺精准诊断的少样本多模态深度学习框架

摘要

本文提出了一种少样本多模态深度学习框架，用于基于磁共振成像序列对腮腺肿瘤进行准确分类。

摘要

准确区分腮腺肿瘤的良恶性对患者的预后至关重要。然而，由于腮腺肿瘤具有高度异质性，且影像学数据有限，术前诊断仍面临重大挑战。为解决这一问题，本研究提出一种基于小样本学习的多模态深度学习框架。该框架整合了多序列磁共振成像（MRI）信息，并引入多尺度空间注意力机制，以在样本量有限的情况下提升特征提取与分类性能。研究采用回顾性收集的198例经组织病理学确诊的原发性腮腺肿瘤患者队列（良性107例，恶性91例）对模型进行系统评估，所有患者均在我院接受了完整的术前MRI检查（包括T1加权、T2加权及扩散加权成像），且腮腺病灶未接受过任何前期治疗。采用分层随机抽样方法，在患者层面将队列划分为训练集（70%）、验证集（15%）和测试集（15%），以保持良恶性比例一致，确保各子集之间相互独立，避免数据泄露。该模型的曲线下面积（AUC）达到0.9822，表明其在区分良恶性肿瘤方面具有优异能力。此外，与经验丰富的放射科医生相比，该模型在诊断准确性方面展现出显著优势，凸显其在腮腺肿瘤术前良恶性鉴别及临床决策支持中的潜在应用价值。

引言

流行病学数据显示，腮腺肿瘤的发病率呈上升趋势。腮腺是人体最大的唾液腺¹，也是头颈部肿瘤的高发部位之一。尽管腮腺肿瘤相对少见，约占头颈部肿瘤的5%，但良性病变远多于恶性病变，约占所有腮腺肿瘤的80%^2,3。良性和恶性腮腺肿瘤在生物学行为、治疗策略及预后方面存在显著差异。良性肿瘤通常生长缓慢，呈膨胀性生长，极少发生转移；通过完整的手术切除后预后良好。相比之下，恶性肿瘤表现出明显的侵袭性生长模式，常侵犯周围组织，如面神经、皮肤和骨骼，并可能发生远处转移，导致预后较差^4,5。

然而，术前区分腮腺肿瘤的良恶性仍是临床诊断中的一大挑战。由于缺乏特异性的临床表现，大多数腮腺肿瘤（无论良恶性）的首发症状均为无痛性肿块，仅凭体征或症状难以鉴别^6,7。尽管疼痛或面瘫等症状常被视为恶性肿瘤的潜在提示，但在早期恶性病变中并不常见。相反，某些伴有炎症反应的良性肿瘤也可能出现类似表现。腮腺肿瘤的术前评估主要依赖影像学检查，这是最主要的无创性评估手段。然而，需注意的是，每种影像学方法均有其局限性。磁共振成像（M....

方案

本研究中使用的所有患者数据均 exclusively 在无锡市人民医院收集，共包括198例经病理确诊的腮腺肿瘤病例。本研究已获得无锡市人民医院伦理审查委员会批准（IRB编号：KY24068），并严格遵循机构指南和国际伦理标准进行。所有数据在分析前均已完全匿名化。

MRI 图像采集

所有磁共振成像序列（T1加权成像、T2加权成像和扩散加权成像）均在3.0特斯拉磁共振扫描仪（Siemens MAGNETOM Verio或Prisma）上使用16通道头颈部线圈获取。采集参数如下：T1加权图像采用TR/TE = 500/15 ms，层厚 = 3 mm，矩阵 = 256 × 256，视野 = 240 mm；T2加权图像采用TR/TE = 4000/90 ms，层厚 = 3 mm，矩阵 = 320 × 320，视野 = 240 mm；扩散加权图像采用TR/TE = 5000/80 ms，b值 = 0和1000 s/mm²，层厚 = 3 mm，矩阵 = 128 × 128，视野 = 240 mm，并自动生成表观扩散系数图。所有序列均在轴位平面采集，无层间间隙。

研究设计

本项回顾性研究分析了198例经组织病理学确诊为原发性腮腺肿瘤患者（....

结果

模型性能概述

为了评估模型的诊断性能，采用了一组标准指标，包括准确率、精确率、召回率和 F1 分数。在 2 类 5 样本的设定下，基于 R3D-18 的多模态少样本学习模型在腮腺肿瘤分类的测试集上取得了以下结果：准确率为 96.88%，精确率为 97.50%，召回率为 96.88%，F1 分数为 96.83%。图 3A 所示的混淆矩阵表明，该模型在测试集中正确分类了 93.75% 的良性病例和 100% 的恶性病例。这对应于良性病例的假阳性率为 6.25%，恶性病例的假阴性率为零。97.50% 的精确率反映了在阳性预测中假阳性所占比例较低，而 96.88% 的召回率表明在实际阳性样本中真阳性所占比例较高。96.83% 的 F1 分数综合衡量了精确率与召回率的平衡表现。混淆矩阵的对角线元素显著大于非对角线元素，这与观察到的整体分类准确率一致。 图 3B 所示的 ROC 曲线下面积（AUC）为 0.9.......

讨论

本研究假设，一种多模态少样本深度学习框架，通过结合多序列磁共振成像（T1加权、T2加权和扩散加权成像）与多尺度空间注意力机制，可在标注数据有限的条件下准确区分腮腺良性和恶性肿瘤，并优于传统深度学习方法及经验丰富的放射科医生。

实验结果有力地支持了该假设。在独立测试集上，所提出的框架在2类5样本的设定下，AUC达到0.9822，准确率为96.88%，精确率为97.50%，召回率为96.88%，F1分数为96.83%。这些指标显著优于传统的3D主干网络和最先进的少样本学习方法，直接证明了多模态融合与多尺度注意力设计的优越性。从1样本到5样本设置下性能的逐步提升，进一步验证了少样本学习范式在利用有限样本方面的有效性。此外，独立运行的AI模型表现优于初级放射科医生（AUC 0.8242）和资深放射科医生（AUC 0.8555）；当作为辅助工具使用时，可将两者的诊断准确率分别提升至90.62%和93.75%，且对恶性病例无一例假阴性。消融实验表明，整合结构模态（T1WI、T2WI）与功能模态（DWI）序列，以及采用所提出的多尺度空间注意力模块而非现有注意力机制时，模型性能均保持一致提升。通过.......

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Grad-CAM			https://github.com/jacobgil/pytorch-grad-cam
NumPy 1.25	NumPy 开发团队		https://numpy.org/
pandas 2.1	Pandas 开发团队		https://pandas.pydata.org/
Pycharm	JetBrains		https://www.jetbrains.com/zh-cn/pycharm/
Python 3.10	Python 软件基金会		https://www.python.org/
PyTorch 2.1	Meta Platforms, Inc.		https://pytorch.org/
scikit-learn 1.3	Scikit-learn 开发团队		https://scikit-learn.org/
SHAP			https://github.com/slundberg/shap
西门子 MAGNETOM Prisma 3.0T 磁共振成像系统	西门子医疗		https://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma