基于预处理的眼底图像和优化卷积神经网络，用于早期糖尿病视网膜病变检测的稳健深度学习框架

摘要

本研究介绍了基于深度学习的工作流程，利用预处理的眼底图像和优化的卷积神经网络架构，实现准确的疾病分类和可解释的病灶定位，实现可扩展的临床应用。

摘要

糖尿病视网膜病变（DR）是全球视力丧失的主要原因之一，尤其是在糖尿病控制不佳的患者中。通过自动化图像分析实现早期检测已成为支持及时干预的可扩展解决方案。基于深度学习的模型，尤其是卷积神经网络（CNN），在通过视网膜眼底图像检测DR方面展现出显著前景。本研究旨在（i）开发一个使用EfficientNetB0和DenseNet121进行五阶段DR分类的集成深度学习框架，（ii）系统评估眼底图像预处理对诊断表现的影响，（iii）结合基于Grad-CAM的视觉解释病灶定位，（iv）实现高诊断准确性和计算效率，适合可扩展筛查。整理了一个包含EyePACS、APTOS 2019及中国三级护理中心53,412张眼底图像的数据集。预处理步骤包括对比限制自适应直方图均衡（CLAHE）、伪影去除和归一化。迁移学习采用了EfficientNetB0和DenseNet121骨干，随后采用混合组装。模型采用准确率、宏观AUC、敏感度、特异性和F1评分进行评估。采用Grad-CAM技术观察病灶定位。混合集合模型实现了91.2%的准确率，0.961宏观AUC，92.1%的灵敏度，F1得分为0.913。预处理性能提升了3-4%，集合方法优于独立CNN。Grad-CAM叠加验证了病灶定位的准确性。模型性能评估了五阶段DR分级和二元可转诊DR检测，以反映临床筛查需求。本研究提出了一种临床可行且可解释的深度学习模型用于DR检测。未来工作将包括对独立数据集进行外部验证、前瞻性的真实世界评估，以及针对移动和现场筛查应用的模型优化（如剪枝和量化）。

引言

DR是糖尿病的一种微血管并发症，仍然是全球可避免视力障碍的主要原因^之一。慢性高血糖会损伤视网膜毛细血管，导致血管通透性增加、微动脉瘤形成、出血、渗出物，并在晚期出现新生血管增生。若不及时干预，这些变化可能进展为玻璃体出血、牵引性视网膜脱离及不可逆视^力丧失1,2。流行病学研究估计，约35%的糖尿病患者表现出某种程度的DR，其中近10^%每年发展为视力威胁视网膜病变。全球趋势表明，过去二十年里DR的患病率大幅上升。一项具有里程碑意义的荟萃分析报告显示，DR患病率从2000年代初的13.6%上升到2020年超过20%。同样，视力威胁的DR和糖尿病黄斑水肿的发病率也呈上升趋势，尤其是在中低收入^地区3。农村和经济弱势地区眼科筛查服务的有限可及性导致诊断和治疗延迟⁵.

早期发现DR至关重要，因为在非增生阶段进行干预，如局部或全视网膜激光光凝、玻璃体内抗血管内生长因子（抗VEGF）治疗以及玻璃体切除术，可以有效预防^视力下降的进展。然而，传统筛查项目通常依赖受过培训的专家手工调色彩色眼底照片，这一资源密集的过程限制了扩展性和及时覆盖^5。远程眼科项目已部分弥补了这些空白，但仍依赖有限的专家资源和标准化的影像^协议。人工智能（AI），尤其是深度学习（DL）的进步，带来了能够高精度快速地检测和分级眼底图像DR的自动化解决方案。CNN提取微动脉瘤、出血和渗出物等层级特征，并在基准数据集^8,9中已实现超过90%的敏感性和特异性。Gulshan 等人和 Ting 等人的里程碑式研究表明，DL 算法在识别可引用的 DR 方面能够匹敌甚至超越专家评分者，为自主筛查系统的监管批准铺平了道路 ^8,9。后续工作探索了迁移学习、集合建模和混合CNN循环神经网络架构，以提升在不同影像状况和患者群体中的泛化能力（^10,11）。

尽管取得了这些有希望的结果，但基于DL的DR筛查的临床转化仍存在诸多挑战。首先，稳健的性能需要大型且注释良好的数据集，以捕捉成像设备、种族和疾病表现的变异性¹².评分者间的注释不一致进一步复杂化了模型训练和评估。其次，图像预处理步骤如通过CLAHE增强对比度、降噪和色彩归一化，显著影响细微病变的可见度，进而降低特征提取的可靠性¹³。第三，模型可解释性仍是一个活跃的研究领域;临床医生需要透明的决策支持工具，突出驱动算法预测的显著图像区域¹⁴.最后，需要监管框架和成本效益分析，指导AI工具融入现有筛查路径，尤其是在资源有限的环境中¹⁵。本研究通过提出一个全面的深度学习框架来应对这些挑战，该框架整合了眼底图像的优化预处理、先进的卷积神经网络架构和迁移学习策略。我们采用CLAHE和自动伪影去除以增强病灶对比，随后对预训练的CNN骨架进行微调，以利用大尺度自然图像特征。因此，本研究提出了一种可解释的深度学习框架，用于早期DR检测，将优化的眼底图像预处理与高效的集成卷积神经网络架构（见图1）整合在一起。本研究的主要贡献包括系统评估预处理策略、设计计算高效混合集合，以及引入视觉可解释性以支持临床解释。通过将准确性、透明度和可部署性结合起来，本研究旨在推动AI辅助DR筛查的实际应用性。DR通过五个临床定义的阶段进行：无DR、轻度、中度、重度非增殖DR和增殖DR。早期阶段表现为微动脉瘤和轻微出血，晚期则伴有广泛血管损伤、新生血管形成及视力丧失风险。症状通常在晚期阶段才出现，因此自动化筛查对于早期干预至关重要。

图1：手稿中作品的图形表示 请点击此处查看该图的放大版本。

为应对这些挑战，本研究提出了一种结构化的深度学习DR检测协议，将标准化的眼底图像预处理、优化的卷积神经网络训练和可解释的模型输出整合在统一的工作流程中。该协议旨在通过明确说明预处理策略、模型架构和训练配置，提高可重复性和方法论透明度。通过强调计算高效的轻量级集合并结合基于Grad-CAM的视觉解释，所提出的方法定义了一个实用且可解释的框架，旨在实现异构多中心视网膜成像数据集间的一致评估。

方案

本研究采用回顾性分析。根据机构和国家法规，因未访问或使用可识别的患者信息，因此放弃了伦理委员会的正式批准和知情同意。

1. 数据来源与获取

1. 根据国际临床糖尿病视网膜病变（ICDR）严重程度量表（0-4^级）重新标注所有图像，以确保从EyePACS、APTOS 2019及三级医疗队列获得的数据集间的一致性。
2. 将带有现有注释的数据集的原始标签映射到ICDR尺度，以保持一致性。
3. 由两位具DR筛查经验的认证眼科医生独立评分所有眼底影像。
4. 将两个评分器完全屏蔽到数据集来源、患者标识、临床病史和模型预测，以最大限度减少评估偏差。使用匿名文件标识符以随机顺序展示图片。
5. 严格按照ICDR严重程度等级（0-4级）进行评分。
6. 在共识标记前，使用Cohen加权kappa（κw）并以二次权重量化评分者间的一致性，以考虑DR严重程度等级的序数性质。
7. 根据标准阈值（κ < 0.20，差;0.21-0.40，一般;0.41-0.60，中等;0.61-0.80，显著;> 0.80，近完美）。通过联合共识评审解决成绩差异。将共识评分作为模型训练和评估的最终参考标准。
8. 在模型训练前，将所有图像标准化为统一分辨率为512×512像素和一致的色彩空间，并采用相同的预处理程序，以最小化因相机设备、采集协议和照明条件差异而产生的数据集间差异。
   注意：具体来说，预处理包括：（i）图像大小调整和RGB标准化，（ii）绿色通道CLAHE用于增强对比度，（iii）通过圆形遮罩和自适应阈值去除背景伪影，（iv）逐通道强度归一化，以及（v）使用高斯滤波和非锐利遮罩进行噪声减弱和边缘增强。
9. 在常规临床筛查条件下，使用多台市售彩色眼底相机（Topcon、佳能和蔡司）获取眼底图像（见图2）。
10. 允许图像采集参数因设备而异，但应在典型的遮光范围内进行标准化，包括30°-45°的视场，原生图像分辨率范围约为2,048×1,536到3,872×2,592像素，以及24位色深（每个RGB通道8位）。
11. 使用散孔和非散孔影像方案，以反映真实筛查实践。在可变照明条件下，将所有图像拍摄为单场、以黄斑为中心的眼底照片，随后在模型训练前使用相同的流水线进行图像调整大小和预处理（见图2）。
12. 使用前请遵守HIPAA指南^12、13、14，所有图片的匿名信息。
    注意：每只眼睛只使用一张图像，以避免受试者内部偏差。排除符合或多项预先定义质量标准的图像：（i）焦点差或模糊，遮蔽视网膜血管和微动脉瘤，依据边缘锐度和血管可见度评估;（ii）过度运动模糊或失焦，影响视网膜场的25%以上;（iii）视野丧失定义为视神经盘或黄斑区视觉不完全;或（iv）严重的照明伪影，如饱和或阴影，干扰病灶可见性。
13. 由两位评审独立进行质量评估，并通过共识解决任何分歧。
    1. EyePACS 数据集：使用 Kaggle 获得的 EyePACS 数据集。包含所有可用的彩色眼底图像，并保留数据集元数据提供的DR等级。
    2. APTOS 2019数据集：使用来自Kaggle的APTOS 2019数据集，包含约3600张在标准化筛查条件下拍摄的单场彩色眼底图像。
    3. 印度临床数据集：使用由医院生成的印度临床数据集，包含彩色眼底图像。记录总图像数量，并使用合格眼科医生分配的DR评分作为参考标签。

图2：代表性彩色眼底照片，展示了糖尿病视网膜病变的不同阶段。请点击此处查看该图的放大版本。

2. 预处理（CLAHE、归一化、伪影去除）

1. 采用多阶段预处理流程，提升病灶可见性并减少影像条件引起的变异性。
2. 将每个颜色眼底图像调整为512×512像素，以保持深度学习模型输入尺寸的均匀。
3. 使用CLAHE对每个眼底影像的绿色通道进行增强对比，因为该通道能提供最佳的血管和微动脉瘤对比。
4. 使用OpenCV库实现CLAHE，剪辑限制为2.0以防止噪声过度放大，并将8×8的瓦片网格尺寸实现视网膜场局部对比增强。
5. 将处理后的绿色通道与红色和蓝色通道合并，重建增强后的RGB图像。固定所有CLAHE参数，并在训练、验证和测试集中的所有图像中均一一致应用，以确保可重复性。
6. 随后，利用通道归一化将图像归一为零均值和单位方差。
7. 通过圆形遮罩和自适应阈值去除背景伪影，如黑色边框和照明光晕。
8. 分别应用高斯滤波和非锐利遮罩以降低噪声和保持边缘。应用以下对比度增强方法，高斯滤波以抑制噪声：使用5×5核，标准差（σ）为1.0，水平和垂直方向对称实现。
   注意：此步骤减少高频噪声，同时保护细小血管结构。
9. 通过从原始图像中减去模糊图像版本，进行非锐利遮罩，以增强病灶边界。
10. 具体来说，从原始图像中减去一幅高斯模糊图像（核大小为5 × 5，σ = 1.0），锐化权重为1.5，然后将所得的细节图像加回原始图像，生成最终锐化输出。
11. 固定所有参数，并在所有数据集上均匀应用。
12. 包含下面提到的额外预处理，以模拟现实世界的变异性并增强训练数据：
    1. 对每张训练图像进行随机水平翻转，概率为0.5，以考虑视网膜左右解剖对称性。
    2. 以0.5概率随机垂直翻转，确保在眼底成像采集中常见的方向变异得以体现。
    3. 在-15°到+15°范围内随机旋转，均匀采样，概率为0.7，以模拟轻微的摄像机倾斜和患者头部运动。
    4. 在原始图像尺寸的±%范围内随机缩放，概率为0.5，然后进行中心裁剪或填充，以恢复输入分辨率为512×512像素。
    5. 通过在0.9-1.1的因子范围内随机调整像素强度，概率为0.4，以模拟不同成像设备的照明变异。
    6. 通过在0.9-1.1的因子范围内调整图像对比度，以0.4的概率进行随机对比度调整，以提升对曝光差异的鲁棒性。
    7. 确保所有增强仅应用于训练集，并在模型训练期间即时执行，而验证和测试图像则保持未增强。
    8. 在整个训练过程中保持固定的增强参数，以确保可重复性并持续暴露于受控变异性。
13. 利用 Python 的 OpenCV 和图像库实现预处理步骤，并确保训练和验证集之间的转换一致。

3. 模型架构（CNN变体，优化层）

1. 探索多种 CNN 架构用于 DR 分类，并探讨下面提到的三种模型变体。
   1. 基线卷积神经网络——一种定制的6层卷积神经网络，支持批次归一化、ReLU激活、最大池化和丢弃（p = 0.5）。
   2. 迁移学习模型——预训练的CNN骨干，包括ResNet50、EfficientNetB0和DenseNet121，初始化为ImageNet权重，并在DR图像上进行微调。
   3. 优化混合模型——结合了EfficientNetB0和DenseNet121的特征提取器，随后是带有softmax输出的多层感知器（MLP）的集合模型。
   4. 经过微调后，为每个预训练模型构建分类头，使用全局平均池层、带有ReLU激活的稠密层（512单位）、dropout层（p = 0.5）和softmax输出层。
   5. 在每个模型的分类头前放置一个全局平均池（GAP）图层。
   6. 为减少过拟合，对分类头中所有全连通（密集）层施加了L2权重正则化，正则化系数为1×10⁻⁴。该值的选择旨在有效惩罚大权重，同时在微调过程中保持模型收敛性和分类性能。
   7. 在分类层中使用软极大激活函数，实现5类DR预测。
   8. 基于先前研究的基础模型设计选择，展示了基于混合学习和迁移学习方法在视网膜图像分析中更优的性能 ^3,4。
   9. 在优化的混合集合模型中，使用高效的NetB0和DenseNet121作为并行特征提取器。
   10. 同时将输入的眼底图像输入到两个预训练主干，并在每个网络的全局平均池（GAP）层后提取最终卷积特征图。
   11. 将所得特征向量串接成统一表示，并输入由两层完全连接的MLP中（带有ReLU激活和退出），随后是softmax输出层，用于五类DR分类。
   12. 采用这种晚融合策略，将EfficientNetB0的细粒度特征效率与DenseNet121的密集特征传播整合，实现早期和高级灾难恢复阶段的平衡性能。
   13. 利用MLP实现互补特征表示的非线性积分，同时减少与端到端融合相比的过度拟合。

4. 模型训练与优化（迁移学习、超参数）

1. 所有实验都用运行Ubuntu Linux（版本20.04 LTS）和Python 3.8.10的工作站进行。
2. 利用TensorFlow 2.10.0实现深度学习模型，配合Keras后端，并在NVIDIA Tesla V100 GPU（32GB显存）上执行。
3. 使用CUDA Toolkit 11.2版和cuDNN 8.1版启用GPU加速，这些版本与指定的TensorFlow版本兼容。
4. 使用OpenCV 4.7.0、NumPy 1.23和imgaug 0.4.0实现所有预处理和数据增强步骤。
5. 将数据集分为训练组（70%）、验证组（15%）和测试组（15%），并确保每个分区内的类平衡。
6. 所有模型都用配备32GB显存的NVIDIA Tesla V100显卡训练。
7. 利用迁移学习，冻结预训练网络的初始层，并微调眼底图像的顶层。
8. 随机初始化最后的密集层，从零开始训练。
9. 优化以下超参数：
   优化者：亚当，β1=0.9，β2=0.999
   学习率：使用 ReduceLROnPlateau 调度器时，学习率为 1 × 10⁻⁴
   批次数量：32
   纪元：50-100，早期停止（耐心=10）
   损失函数：类别交叉熵
10. 根据最小验证损失保存模型检查点。
11. 通过在培训期间与班级频率成反比的类别级权重来解决班级不平衡问题。
12. 使用Keras ImageDataGenerator实时应用数据增强。采用五重交叉验证策略，确保模型的稳健性并最小化选择偏差。所有折叠板的平均绩效指标，并报告相应的标准差。
13. 根据医学图像分类中已建立的最佳实践选择超参数值，并通过验证集上的初步试点实验进行验证。
14. 使用Adam优化器，其稳定收敛和自适应学习率行为，初始学习率设为1e⁻4，以平衡微调过程中的训练稳定性和收敛速度。
15. 通过实证确定批次大小和早期停止标准，以最大限度地减少过拟合，同时保持计算效率。

5. 评估指标与验证（AUC、准确性、敏感性/特异性）

1. 使用标准分类指标评估模型性能。对保留测试集（n≈8,000张图像）进行初级评估，并报告5类分类和二元分类（可参考DR与非可参考DR）的结果。
2. 计算以下指标：
   准确率：所有类别中正确预测的百分比
   接收器工作特征曲线下的面积（AUC）：针对每个类别计算并平均（宏观AUC）
   灵敏度（召回）：真阳性率 = TP / （TP + FN）
   特异性：真阴性率 = TN / （TN + FP）
   F1-Score：谐波精度与回忆平均值
   混淆矩阵：分类误差分析的5 × 5 矩阵
3. 图、受试者工作特征（ROC）曲线和精确回忆曲线，用于可视化模型的区分。
4. 生成Grad-CAM（梯度加权类别激活映射）可视化，针对部分正确和错误分类的图像，突出驱动模型预测的视网膜区域。
   注：优化后的混合模型在可参考DR检测中实现了最佳表现，宏观AUC为0.961，灵敏度为92.1%，特异性为89.4%，整体准确率为91.2%。
5. 将性能与同一数据集上已有已发表模型进行基准测试，并使用配对t检验和McNemar检验评估统计显著性。
6. 使用跨交叉验证折叠的连续指标（AUC、准确率、F1分数）的配对t检验，以及测试集上的配对分类结果的McNemar检验，评估混合集合模型与单个CNN架构性能差异的统计显著性。
   注：混合模型相较所有单骨架模型均有统计学显著提升，p值<准确率和AUC均为0.05，确认观察到的性能提升并非由随机变异引起。精准性是DR筛查中关键的评估指标，尤其有助于减少可能导致不必要转诊、患者焦虑和医疗负担增加的假阳性预测。准确性定义为所有预测为阳性病例中正确预测阳性病例的比例，表示为：
   Precision=TPTP+FP\text{Precision} = \frac{TP}{TP + FP}Precision=TP+FPTP
   其中 TP 表示真阳性， FP 表示假阳性。
7. 在DR检测的背景下，将高精度解读为表明被归类为DR的图像确实包含病理症状，从而提高自动筛查系统的可靠性。强调该指标在大规模人群筛查中尤为重要，因为过多的假阳性可能使转诊系统不堪重负。本研究评估每个DR等级以及二元可参照DR检测的精度，以评估模型准确区分病理病例与健康对照的能力。

结果

数据集摘要与预处理效应

该精选数据集包含53,412张彩色眼底图像，分布在五个DR严重程度类别：无DR（0）- 39.2%，轻度（1） - 18.4%，中度（2）- 22.5%，重度（3）- 12.1%，以及增殖DR（4）- 7.8%。数据来源于EyePACS、APTOS 2019及中国三级眼科中心，确保了族群、成像条件和相机规格的多样性。

预处理显著提升了病灶的可见性。在绿色通道上施用CLAHE改善了局部对比，尤其是在微动脉瘤和出血方面。通过遮罩和阈值去除背景伪影，成功消除了超过94%的黑色边框和照明光晕。归一化实现了数据集间像素强度分布一致，减少了设备间的变异性。

数据增强通过翻转、旋转、缩放和亮度/对比度抖动，使训练集大小增加了3.5×。这一步对于提升模型泛化和减少训练中的过拟合至关重要。

讨论

本研究开发并严格评估了一个混合集合模型，结合了EfficientNetB0和DenseNet121，通过迁移学习微调，并辅以经典预处理步骤、CLAHE、伪影去除和强度归一化，用于五类DR分级。该集合表现出色：准确率91.2%，巨量AUC 0.961，F₁分数0.913，灵敏度92.1%，如第6节报告。这些指标显著优于基线CNN（准确率~83.4%，宏AUC ~0.88）以及单独骨干模型，如ResNet50、EfficientNetB0和DenseNet121。我们的结果与Gulshan等人的里程碑式研究相比更为有利。 JAMA报告了EyePACS和Messidor2可参考DR检测的AUC ≈ 0.99，使用十个基于InceptionV3的CNN训练，训练于超过128,000张图像，人类水平的灵敏度和特异度为¹⁶。虽然我们的混合模型未能达到此级别的判别，但它使用更少的参数，收敛速度更快（从零训练时>通常为30个纪元），且部署更为简便。同样，Chetoui和Akhloufi证明，Effici...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
Fundus Camera（Topcon、佳能、蔡司）	Topcon / 佳能 / 蔡司		用于在不同照明条件下拍摄高分辨率彩色眼底照片
NVIDIA 特斯拉 V100 GPU	英伟达公司	特斯拉V100	32 GB 显存;用于训练深度学习模型
Python（OpenCV，imgaug 库）	开源社区		图像预处理包括CLAHE、伪影去除、归一化、增强
TensorFlow 2.10 + Keras	谷歌大脑		用于CNN模型构建和训练的深度学习框架
高效NetB0 &DenseNet121 预训练骨干	开源（TensorFlow/Keras 应用）		用于灾难复原分类的迁移学习骨干在ImageNet上预训练