一种用于实时去除吲哚菁绿引导腹腔镜胆囊切除术中肝脏荧光的新型双模态深度学习方法

摘要

本方案介绍了一种双模态深度学习方法，用于在吲哚菁绿引导的腹腔镜胆囊切除术（ICGLC）过程中实时去除肝脏荧光。

摘要

吲哚菁绿引导的腹腔镜胆囊切除术（ICGLC）可改善胆道的可视化效果，但常受到肝脏荧光污染的限制，从而干扰解剖结构的识别。本研究旨在开发并评估一种新型双模态深度学习框架，以在ICGLC手术过程中实时自动检测并去除肝脏荧光污染。研究构建了一个包含来自48例接受择期ICGLC患者共33,123帧双模态手术图像的数据集。对荧光图像与白光图像进行融合并标注。比较了多种深度学习模型，最终选用基于DeepLabV3的中层融合网络。通过形态学后处理及分阶段训练策略，提升了分割的准确性与泛化能力。所提出的模型在最终测试集上达到了0.838的Dice系数和0.863的召回率。在主观评估中，10名资深外科医生一致认为经人工智能处理的视频画面更清晰，胆管可视化显著改善，视觉疲劳明显减轻。该模型实现了每帧0.018秒的实时处理性能。本研究首次提出用于ICGLC中肝脏荧光去除的实时人工智能解决方案。该双模态深度学习模型显著提高了视觉清晰度，有望提升手术安全性、操作效率及培训效果。未来需开展前瞻性研究以评估其对手术结局的临床影响。

引言

胆石症是一种常见的胃肠道疾病，在全球不同人群中发病率持续较高，影响超过全球4%的人口^1,2,3,4。腹腔镜胆囊切除术（LC）因其术中创伤小、术后疼痛轻、美容效果好及住院时间短等优势，被广泛视为治疗胆石症的“金标准”^5,6,7。仅在美国，普通外科医生每年就实施75万至100万例LC手术。然而，LC的并发症发生率高于传统开腹手术⁸，其中胆管损伤（BDI）等严重并发症的发生率高出2至3倍^9,10。研究表明，腹腔镜手术中BDI的发生常源于解剖分离阶段的技术错误，其中解剖结构误判尤为常见（高达85%），常涉及对胆总管（CBD）的误判或右后肝管解剖变异的识别错误^11,12。

为了降低现代临床实践中手术并发症的发生率，已开发出一系列复杂的方法和先进技术，包括安全视野法（critical view of safety, CVS）、术中胆管造影术以及近红外荧光（near-infrared fluorescence, NIRF）技术^5,8。目前，CVS 越来越被视为识别胆囊结构的标准方法^5,13,14，该方法要求清除胆囊肝三角区的结缔组织，并解剖分离胆囊下三分之一与胆囊床之间的组织，以清晰显露胆囊管和胆囊动脉，从而在腹腔镜胆囊切除术中避免血管和胆道损伤^11,15。

基于吲哚菁绿（ICG）的术中实时近红外荧光（NIRF）胆道造影是另一种已被证实有效的解决方案，其首次临床报道于2008年¹⁶。ICG 仅由肝脏代谢，与血浆蛋白结合，在近红外光照射下发射约830 nm的峰值波长光¹⁷。这一特性使得肝脏肿瘤和胆道系统得以显影，在提高手术安全性及缩短手术时间方面展现出良好的应用前景^18,19,20。比较CVS联合NIRF与单独使用CVS的研究表明，该技术对肥胖患者及存在严重炎症的病例具有优势，不仅能缩短手术时间，还可降低胆道损伤（BDI）的发生率^21,22。然而，其临床应用仍面临若干限制，包括使用多种成像设备²³，以及ICG注射延迟或肝脏组织过度吸收导致肝脏荧光强度过高，从而污染视野，遮蔽关键的胆道系统显像²⁴。若能在术中应用辅助技术，在保留正确胆道荧光显像的同时去除肝脏荧光干扰，则有望优化手术视野，进一步提升手术的安全性与顺利程度。

人工智能（AI）技术是优化荧光成像的有力工具。近年来，AI在医学影像和外科手术中的应用已成为研究热点，已实现多项技术突破和临床应用^25,26,27。目前关于AI深度学习技术在腹腔镜手术视频中的研究与应用，多基于白光单模态图像，包括对各种解剖标志的识别，如喉返神经、肾脏边缘、血管和胆囊^28,29,30,31。然而，目前尚缺乏针对荧光辅助腹腔镜胆囊切除术（LC）中肝脏荧光污染实时去除的研究。双模态图像分割技术已在工业领域广泛应用，有望填补这一空白。本研究旨在探索双模态图像分割在吲哚菁绿荧光腹腔镜胆囊切除术（ICGLC）场景中的应用，开发并验证用于肝脏过度荧光的实时动态识别与屏蔽的训练方法。

方案

本研究中包含的所有手术视频均来自在中国医学科学院北京协和医院接受择期吲哚菁绿引导腹腔镜胆囊切除术（ICGLC）的患者。该研究已获得相关伦理委员会批准，并在入组前获得了所有参与者的知情同意。

1. 数据准备与图像标注

1. 回顾性收集2022年至2024年间在中国医学科学院北京协和医院接受ICGLC手术的48例患者的手术视频。
   注：本研究纳入的患者均在手术前20分钟静脉注射0.5 mg ICG。
2. 指派一名普通外科医生审阅所有手术视频，并提取涵盖Calot三角关键解剖步骤的视频片段。手动选取76个聚焦于Calot三角解剖的手术视频片段。从每个片段中提取荧光成像和白光成像通道，并沿RGB通道进行拼接。
3. 为减少冗余，以8:1的间隔采样帧图像，将分辨率从1920 × 1080降低至960 × 540，并将图像导入自定义标注平台。
4. 指派一名普通外科医生手动勾画肝脏荧光轮廓，并由高年资外科医生监督以确保标注质量。

2. 模型评估指标

1. 基于指定的测试数据集，使用标准的计算机视觉指标（包括精确率、召回率和 Dice 系数）评估模型的分割性能。
2. 通过测量推理过程中的计算负载来评估实时性能。
   1. 使用 Python/C 标准库中的 time 模块测量推理时间。
   2. 在数据加载前调用 time.perf_counter() 记录起始时间戳。
   3. 在模型生成预测结果后再次调用 time.perf_counter() 以获取结束时间戳。
   4. 将结束时间戳与起始时间戳的差值定义为单个样本的推理时间。
   5. 对测试数据集中的每个样本重复此过程，并计算所有样本的平均推理时间，以表示模型的整体推理延迟。
   6. 参考以下总结该流程的伪代码：
      初始化 Inference_time = 0 且 ind = 0
      设 X 表示测试集存储路径，model 表示推理模型
      对于 X 中的每个 x_path：
      同步 CPU 与 GPU
      Start_timestamp = time.perf_counter() # 起始时间戳
      x = load(x_path) # 数据加载
      y = model(x) # 模型推理
      同步 CPU 与 GPU
      End_timestamp = time.perf_counter() # 结束时间戳
      Inference_time += (end_timestamp - start_timestamp)
      ind += 1
      结束循环
      Inference_time = Inference_time / ind # 平均推理时间
3. 将肝胆荧光识别的主要目标设定为检测手术视野内的肝脏区域，并替换相应的白光信息，从而最大限度地减少肝荧光的干扰。
4. 使用交并比（Intersection over Union, IoU）来量化模型的预测准确性。
   注：交并比（IoU）定义为预测正区域与真实正区域重叠区域的像素数与这两个区域并集总像素数的比值。
5. 若预测结果与真实标签的 IoU 超过指定阈值，则定义该预测为真阳性（True Positive, TP）；否则将其归类为假阴性（False Negative, FN）。
6. 将任何无对应标注的预测分割标记为假阳性（False Positive, FP）。
7. 在计算预测结果与真实标签之间的交并比（IoU）后，将 IoU 阈值设为 0.1，以考虑手术成像中荧光信号弥散且对比度低的特性。
8. 定义并计算以下评估指标：
   
   
   

3. 形态学后处理

1. 使用基于插值的方法（ specifically 为双线性插值），将所有肝胆荧光帧从 1920 × 1080 下采样至 960 × 540 分辨率。
2. 沿宽度方向应用零填充，生成一个 960 × 544 的全零矩阵，并将当前图像居中放置其中，以获得最终输入尺寸 960 × 544。
3. 通过在 PyTorch 框架构建的张量中按顺序存储白光图像和荧光图像对应的矩阵，沿通道维度将二者拼接，然后输入模型。
4. 为减少噪声预测并优化边界质量，对初始分割输出执行形态学开运算和闭运算，以滤除虚假噪声并改善边缘轮廓。
5. 首先进行开运算，以消除预测掩膜中的小突起和边缘伪影³²。
6. 随后进行闭运算，以去除孤立的孔洞和碎片化区域。
7. 两种操作均使用 25 × 25 的结构元素核，以确保有效优化器官边界并降低分割噪声。

4. 训练环境与超参数

1. 使用单个 NVIDIA A100 Tensor Core GPU 训练模型。
2. 将批量大小设置为 16。
3. 使用 ImageNet³³ 预训练权重初始化编码器（主干网络），以利用迁移学习并加速收敛。
4. 采用随机梯度下降（Stochastic Gradient Descent, SGD）³⁴ 优化器，因其在大规模图像分割任务中具有鲁棒性，并能有效缓解噪声梯度的影响。
5. 将初始学习率设为 0.01，并采用多项式衰减策略逐步降低学习率，下限为 0.0001。
6. 持续训练共计 50,000 次迭代，以获得最终模型。

5. 三相模型训练

1. 在模型选择阶段，使用双模态输入比较多种分割模型，包括 DeeplabV3³⁵、DLinkNet34³⁶ 和 U-Net³⁷；根据分割精度和计算效率选择最优模型。
2. 在算法结构优化阶段，研究网络中不同的特征融合位置，以确定白光与荧光数据最有效的融合策略。
3. 在泛化与临床验证阶段，应用渐进式数据增强技术以提高模型鲁棒性；在临床场景中验证最终模型，评估其实际应用能力。

6. 手术视频处理

1. 提取显示术中吲哚菁绿（ICG）荧光可视化胆道解剖结构的视频片段，包括胆总管（CBD）和胆囊管。
2. 使用最优模型对选定的视频进行实时处理；计算每帧的平均处理时间，以评估实时计算性能。

7. 肝脏荧光污染去除

1. 在ICGLC手术过程中，应用该模型实时检测并抑制肝脏荧光污染。
2. 确保保留胆道结构的可视化，以有效识别胆管。
3. 即使在术中常见干扰（如器械遮挡或摄像头移动）情况下，仍保持对污染的有效抑制性能。

8. 视频质量的临床评估

1. 从外部机构招募10名高级普通外科医生组成专家组，对经人工智能处理的视频效果进行评估。
2. 向每位外科医生提供原始视频和经人工智能增强的视频片段，并指导他们根据五个预定义的评估标准完成主观评估问卷。

结果

本研究回顾性纳入了2022年至2024年间在北京协和医院普通外科接受择期吲哚菁绿腹腔镜胆囊切除术（ICGLC）的48例患者。所有患者均在手术前20分钟静脉注射0.5 mg吲哚菁绿。术后病理检查证实，所有病例均诊断为结石性胆囊炎。

经过手动分割和筛选后，共获得76个视频片段。对于每个片段，将荧光和白光成像通道沿RGB通道进行拼接。以8:1的比例进行帧采样，最终得到包含33,123个融合荧光-白光帧的双模态手术视频数据集。该数据集被随机划分为三个子集，分别对应三个实验阶段。在每一阶段内，数据进一步以4:1的比例划分为训练集和测试集。

为了在当前主流算法中寻找双模态分割的最佳方案，我们开展了对比实验，涵盖了 DlinkNet34、Deeplabv3 和 U-Net 模型。DlinkNet34 融合了 LinkNet 与 DenseNet 的优势，专注于高效的特征重用以实现实时性能；Deeplabv3 采用空洞卷积，在不显著增加计算负担的前提下增强上下文信息的融合；而 U-Net 因其独特的对称结构，在医学图像分割中表现出色，能够有效...

讨论

本研究利用人工智能深度学习技术，解决ICGLC手术中的一项关键挑战：识别并屏蔽肝脏荧光污染。使用近红外荧光（NIRF）技术的外科医生常报告，肝脏自发荧光会引起视觉疲劳，并干扰胆道成像³⁸。通过应用计算机视觉技术，本研究旨在减轻这些问题，并有望降低胆管损伤（BDI）的发生率，后者是ICGLC手术中常见的并发症。该模型处理单帧图像的推理时间约为0.018秒，相当于每秒约56帧（fps），超过24 fps的视频标准。

尽管先前的研究（如 Patrick A. Boland³⁹ 和 Niall P. Hardy^37,38 的研究）主要将人工智能应用于荧光成像，以分析强度-时间曲线来区分肿瘤的恶性程度，但本研究采用了一种新颖的方法以拓展其应用范围。据我们所知，该项研究首次尝试整合白光与荧光通道，用于双模态分割训练。

为了提高准...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
4K 荧光成像控制台	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EP4K-01	提供三种成像模式：白光、荧光和融合荧光；支持人工智能模块扩展
4K 荧光摄像头	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-EC-4K	全数字化摄像头，配备多功能按钮设置；支持视频录制、拍照和荧光模式切换
冷光源系统	Hangzhou Kangji Medical instrument Co. Ltd.	KJ-CLS-1	LED 冷光源及荧光 LED 光源，荧光波长为 808 nm
NVIDIA A100 Tensor Core	NVIDIA Corporation	900-21001-0020-100	GPU