基于Swin变压器的超声图像甲状腺结节检测模型

摘要

该文提出一种超声图像甲状腺结节检测新模型，以Swin变压器为骨干进行远程上下文建模。实验证明，它在灵敏度和准确性方面表现良好。

摘要

近年来，甲状腺癌的发病率一直在上升。甲状腺结节检测对于甲状腺癌的检测和治疗至关重要。卷积神经网络（CNN）在甲状腺超声图像分析任务中取得了良好的效果。然而，由于卷积层的有效感受野有限，CNN无法捕获长程上下文依赖性，这对于识别超声图像中的甲状腺结节非常重要。变压器网络在捕获远程上下文信息方面非常有效。受此启发，我们提出了一种新的甲状腺结节检测方法，该方法结合了Swin变压器骨架和更快的R-CNN。具体来说，超声图像首先被投影到一维嵌入序列中，然后将其馈送到分层的Swin变压器中。

Swin变压器主干网通过利用偏移窗口计算自我注意来提取五种不同尺度的特征。随后，使用特征金字塔网络（FPN）对不同尺度的特征进行融合。最后，使用检测头来预测边界框和相应的置信度分数。从2，680名患者收集的数据用于进行实验，结果表明该方法获得了44.8%的最佳mAP评分，优于基于CNN的基线。此外，我们获得了比竞争对手更好的灵敏度（90.5%）。这表明该模型中的上下文建模对甲状腺结节检测有效。

引言

自1970年以来，甲状腺癌的发病率迅速增加，特别是在中^年妇女中1。甲状腺结节可能预示甲状腺癌的出现，大多数甲状腺结节无症状².早期发现甲状腺结节对治愈甲状腺癌很有帮助。因此，根据现行实践指南，所有体格检查疑似结节性甲状腺肿或影像学检查结果异常的患者均应进一步检查^3，4。

甲状腺超声（US）是用于检测和表征甲状腺病变的常用方法^5，6。美国是一种方便、廉价且无辐射的技术。但是，美国的应用很容易受到运营商^7，8的影响。甲状腺结节的形状、大小、回声度和质地等特征在美国图像上很容易区分。尽管某些 US 特征（钙化、回声和边界不规则）通常被认为是识别甲状腺结节的标准，但观察者间变异性的存在是不可避免的^8，9。不同经验水平的放射科医生的诊断结果是不同的。没有经验的放射科医生比有经验的放射科医生更容易误诊。US 的某些特征（如反射、阴....

方案

这项回顾性研究得到了中国四川大学华西医院机构审查委员会的批准，并免除了获得知情同意的要求。

1. 环境设置

1. 图形处理单元 （GPU） 软件
   1. 要实现深度学习应用程序，请先配置 GPU 相关环境。从 GPU 的网站下载并安装 GPU 适当的软件和驱动程序。
      注意:有关本研究中使用的材料，请参阅 材料表 。
2. Python3.8 安装
   1. 在计算机上打开终端。键入以下内容:
      命令行: sudo apt-get install python3.8 python-dev python-virtualenv
3. PyTorch1.7 安装
   1. 按照官方网站上的步骤下载并安装Miniconda。
   2. 创建 conda 环境并激活它。
      命令行: conda create --name SwinFasterRCNN python=3.8 -y
      命令行:conda activate SwinFasterRCNN
   3. 安装 Pytorch。
      命令行:conda install pytorch==1.7.1 torchvision==0.8.2 torch....

结果

2008年9月至2018年2月在中国两家医院采集的美国甲状腺图像。将美国图像纳入本研究的合格标准是活检和手术治疗前的常规美国检查、活检或术后病理学诊断以及年龄≥18岁。排除标准是没有甲状腺组织的图像。

3，000张超声图像包括1，384个恶性结节和1，616个良性结节。大多数（90%）恶性结节为状癌，66%的良性结节为结节性甲状腺肿。在这里，25%的结节小于5毫米，38%在5毫米至10毫米之间，37%大于10毫米。

所有美国图像均使用飞利浦IU22和DC-80收集，并使用其默认的甲状腺检查模式。两台仪器都配备了5-13 MHz线性探头。为了更好地暴露甲状腺下缘，所有患者都以仰卧位检查，背部伸展。根据美国放射学会认证标准，在纵向和横向平面上扫描甲状腺叶和峡部。所有检查均由两名具有≥10年临床经验的高级甲状腺放射科医生进行。甲状腺诊断基于细针穿刺活检或甲状腺手术的组织病理学发现。

在现实生活中，由于美国图像被噪声破坏，因此对美国图像进行适当的预处理非常重要，例如基于小波变换<.......

讨论

本文详细介绍了如何进行环境设置、数据准备、模型配置和网络训练。在环境设置阶段，需要注意确保依赖库兼容和匹配。数据处理是非常重要的一步;必须花费时间和精力来确保注释的准确性。训练模型时，可能会遇到"ModuleNotFoundError"。在这种情况下，有必要使用"pip install"命令来安装缺少的库。如果验证集的损失没有减少或振荡很大，则应检查注释文件并尝试调整学习率和批量大小以使损失收敛。

甲状腺结节检测对甲状腺癌的治疗非常重要。CAD系统可以辅助医生检测结节，避免主观因素造成的诊断结果差异，减少漏检结节的情况。与现有的基于CNN的CAD系统相比，该文提出的网络引入Swin变压器提取超声图像特征。通过捕获远距离依赖性，Swin Faster R-CNN可以更有效地从超声图像中提取结节特征。实验结果表明，与基于CNN骨干的Faster R-CNN相比，Swin Faster R-CNN将结节检测的灵敏度提高了~3%。该技术的应用可以大大减轻医生的负担，因为它可以在早期超声检查中发现甲状腺结节，并指导医生进一步治疗。但是，由于 Swin Transformer 的参数数量众多，.......

材料

本文使用的材料清单

姓名	公司	目录编号	评论
GPU RTX3090	Nvidia	1	24G GPU
mmdetection2.11.0	SenseTime	4	https://github.com/open-mmlab/mmdetection.git
python3.8	—	2	https://www.python.org
pytorch1.7.1	Facebook	3	https://pytorch.org