本文介绍了用于内窥镜手术过程中对内窥镜进行术中液体浸没环境下的光学畸变校准的、可灭菌的定制相机校准靶标的设计与开发。
本文内容
摘要
摘要
我们在GIFT-Surg（胎儿治疗与手术引导器械）项目背景下，开发了一种适用于液体浸没式内窥镜的校准标定靶。该项目的目标之一是设计新型的术中实时图像处理方法，用于治疗先天性出生缺陷（如脊柱裂和双胎输血综合征）。所开发的标定靶可在数分钟内完成内窥镜的光学畸变校准，同时保持无菌环境。良好的光学畸变校准与补偿对于减轻径向畸变等不良影响至关重要；这些畸变不仅会妨碍胎儿手术期间利用现有内窥镜技术进行精确成像，还会降低所获取图像在潜在的、极具价值的图像计算应用（如实时图像拼接）中的适用性。本文提出一种新颖的制造方法，用于制备价格低廉且可灭菌的校准标定靶，适用于临床环境。该方法通过激光切割喷砂不锈钢板来蚀刻出校准图案。本标定靶已使用OpenCV提供的相机标定模块进行了验证，OpenCV是计算机视觉领域广泛使用的先进软件库。
引言
相机标定是计算机视觉领域中一个众所周知且多年来被深入研究的问题1,2,3。相机标定过程中的关键步骤是通过以亚像素精度从相机图像中提取具有已知几何结构的点阵，来估计畸变模型的参数以及相机的内参。通常使用具有黑白方格棋盘图案的标定靶标来实现此目的。圆形斑点则提供了一种可选的图案4,5,6。
近年来，针对胎儿手术（如双胎输血综合征（TTTS）的胎儿治疗）的手术导航技术发展引起了越来越多的关注7,8,9,10。由于胎儿镜（i.e., 胎儿外科手术中使用的内窥镜）的视野非常有限，已有研究提出无需外部追踪器即可绘制胎盘血管网络的方法，以辅助TTTS手术11,12,13。胎儿镜图像中的光学畸变会对依赖视觉信息提取的计算拼接方法产生不利影响11。因此，目前尚缺乏一种成本低、速度快的术中校准工具，用于在干预过程中实时完成胎儿镜的光学畸变补偿。
由于在手术过程中胎儿镜会浸没在羊水中，空气与羊水之间的折射率差异使得传统的空气中相机标定方法不适用于胎儿手术。从空气中的相机参数估算浸没在液体中的相机参数是一项困难的任务，至少需要一张液体中校准目标的图像14。此外，由于消毒灭菌要求以及对手术室中允许使用的材料的限制，目前在围手术期对浸没于液体中的胎儿镜相机进行标定并不可行。由于上述原因，对内窥镜进行光学畸变校准通常并不包含在当前的临床工作流程中。本文的研究旨在通过设计和制造一种可灭菌且实用的光学畸变校准目标来弥补这一相机标定的空白，该校准目标采用非对称圆点阵列图案。此前，Wengert et al. 制作了一种定制的校准装置，使用氧化铝板作为校准目标。然而，他们的方法仅能与其所开发的专用校准算法配合使用15。
方案
1. 靶材制备
- 喷砂处理
- 准备一块厚度为1.2 mm的316不锈钢板。使用铅笔或钉子，在直尺辅助下在板上画出一个40 mm × 40 mm的正方形。
- 使用手动金属切割器切割所画的正方形。注意！小心手指。
- 使用锉刀将样品的角和边缘打磨成圆角。注意！边缘非常锋利，请小心操作。
- 准备一块略大于不锈钢板的平直木块或金属块。将切割好的钢板放在其上，以防止在喷砂过程中样品发生弯曲。
- 将组装好的样品放入喷砂舱内。务必使用除尘装置，并严密封闭喷砂舱，否则喷砂过程中砂粒会四处飞散。佩戴护目镜以保护眼睛。
- 将喷砂枪垂直对准金属表面，并保持至少4–5 cm的距离。使用脚踏开关控制喷砂。用台钳将样品固定在一块1–2 cm厚的木块上，因为高压砂流可能导致样品变形。在喷砂过程中，应牢固握住木块边缘或使用另一个台钳夹紧样品。
- 如果需要在样品两面都刻蚀校准图案，则在另一面重复进行喷砂处理。
- 激光图案化
- 设计一组非对称圆形图案，如图1所示。
- 使用CAD软件或其他合适的编程语言，准备该设计的绘图交换格式（DXF）文件。
注：为方便起见，本文提供了一个Python应用程序，可用于生成本文所述设计的DXF文件，该程序作为紧凑型图形用户界面应用程序的一部分16。 - 将DXF文件导入激光切割软件中。
- 设置背景蚀刻的以下参数：激光功率：40%，扫描速度：80 cm/s，频率：4,000 Hz，扫描次数：1次。
- 设置图案蚀刻的以下参数：激光功率：40%，扫描速度：2.1 cm/s，频率：4,000 Hz，扫描次数：1次。
- 将样品放置在工作平台上，并使用软件对准切割图案。
- 激光完成切割后，将样品浸入酒精中进行清洗。请勿使用擦拭纸，因为它们通常会留下不希望的残留物。
- 灭菌
- 将已灭菌的样品用灭菌包装纸包裹，并放入灭菌设备（高压灭菌器）中。
- 向高压灭菌器中加入水（非蒸馏水），并按照用户手册或制造商的建议对目标物进行灭菌处理。
2. 围手术期校准
- 校准软件
- 在 GitHub 上安装提供的 "endocal" 内窥镜校准软件包16（请遵循其中 README 文件中的说明）。
注意：该软件将 OpenCV 相机校准模块17 封装为一个易于使用的便捷应用程序。所提供的应用程序具有两种运行模式：在线模式和离线模式。在线模式可直接从兼容的视频采集卡硬件获取视频流；离线模式则允许从视频文件或包含多个以图像文件形式保存的视频帧的文件夹中加载内窥镜图像。有关支持的硬件以及这两种模式使用方法的详细说明，请参见 README 文件。
- 在 GitHub 上安装提供的 "endocal" 内窥镜校准软件包16（请遵循其中 README 文件中的说明）。
- 内窥镜视频采集
注意：以下说明适用于上述的在线校准，但也同样适用于离线校准。- 将校准标靶放置于无菌液体容器中，例如小药皿。
- 用目标液体或类似的无菌物质填充容器。
注意：例如，在胎儿镜手术中，目标液体为羊水。由于羊水的光学特性与生理盐水相似18,19，因此可使用无菌生理盐水对胎儿镜进行校准。 - 根据需要调节内窥镜的变焦和清晰度。
- 将内窥镜浸入液体中，并使其与校准标靶保持一定距离，该距离应类似于后续使用内窥镜时与解剖结构之间的距离。
- 启动校准应用程序，并开始相机图像采集。
- 轻微移动内窥镜的尖端以获得不同视角，同时确保整个校准图案始终位于相机视野内。为获得最佳效果，请将校准图案周围的椭圆形标识保持在内窥镜的圆形视野范围内。
注意：可用于校准的视频帧会通过虚拟图案叠加进行提示，如 图3 所示。 - 采集校准所需的最少数量的内窥镜相机视图（具体数量由 endocal 窗口中提示确定）。
注意：当前版本的 endocal 要求至少采集 10 个内窥镜相机视图用于校准，这一数量是基于经验选择的，此时校准误差最小且呈现稳定趋势20。 - 按下 endocal 窗口中指示的校准按键，使用已采集的图像开始校准过程。
- 保存和使用校准参数
- 按下指定的校准按键，将生成的校准参数保存为 YAML（"YAML Ain't Markup Language"）文件21。
- 按照 OpenCV 相机校准模块17 中的说明，将校准参数分组为相机矩阵和畸变系数。
注意：完成校准后，校准应用程序会自动在原始内窥镜图像右侧显示畸变校正后的图像。 - 在胎儿镜手术过程中使用畸变校正后的视频流，用于纯可视化观察或实时胎盘马赛克拼接11。
结果
我们通过在喷砂处理的不锈钢金属板上蚀刻非对称圆形图案，制作了一个可灭菌的校准标定板，其设计如图1所示。一个示例装置展示了该校准标定板与胎儿镜共同使用的场景，如图2所示。为了将该设计导入激光蚀刻软件，我们使用Python编程语言开发了一个自定义应用程序16。该图案的制作过程包括在金属板上逐次蚀刻平行线。为了使最终图案颜色均匀，这些平行线之间的间距应小于激光束的光斑宽度（见图1的插图）——对于Violino（Laservall）激光切割机，该值为45 µm。
图1：刻蚀图案的设计，包含一个3×11的非对称圆环阵列。插图：非对称圆环阵列的放大视图。线条之间的距离为45 µm（等于激光束宽度），每个圆环的直径为1 mm。该网格也可采用其他尺寸，但此尺寸相对于胎儿镜视野而言已被证明为最优选择。请点击此处查看该图的放大版本。
图 2：使用校准目标物的示例装置。 浸入水中的胎儿镜探头指向右侧的校准目标物。左侧为一枚英国便士硬币，用于提供尺寸参考。 请点击此处查看该图的放大版本。
所制备的校准靶标可实现利用OpenCV在内窥镜视频流中检测圆形图案17，其位置随后被归入预定义的非对称圆形网格（见 图3）。结合已知的网格几何结构，可估算相机的内部参数，包括相机矩阵和畸变系数。相机矩阵包含二维图像平面上x轴和y轴方向的焦距以及光学中心。畸变系数基于Brown-Conrady模型。3注意，本研究中仅估算了径向畸变参数。有关该理论的简要讨论及实际示例，可参见 OpenCV 相机标定模块的网页。17 以及 MATLAB 相机标定工具箱22有关相机标定过程的更多细节可参见Zhang的研究工作20内窥镜校准软件代码库提供了一个样本数据集，包含10个拍摄自所制备校准目标物的内窥镜视角图像16使用该数据集进行校准，获得了平均重投影误差为0.28像素（最小值：0.16，最大值：0.45）的结果，与Wengert报道的0.25像素相当。 等 使用其自定义校准算法15然而，同一研究团队在最近发表的一篇论文中报告，使用该方法时的重投影误差为0.6像素15 用于胎盘马赛克成像内窥镜相机的校准18.
图 3：校准图案的实时检测。 来自校准应用程序16 的截图，显示了利用 OpenCV17 的虚拟现实可视化技术将检测到的校准图案叠加在实时视频流上的效果。请注意，校准图案中每个被检测到的列均以不同颜色突出显示。结合已知的几何结构，检测到的圆点用于计算相机参数。请点击此处查看该图的放大版本。
估计的相机参数用于光学畸变校正。图4显示了使用胎儿镜观察到的矩形棋盘格图案，其中光学畸变使直线呈现为曲线。请注意，在经过畸变校正的图像中，线条看起来是正常的。
图 4：光学畸变校正。 来自校准应用程序16 的截图，显示胎儿镜记录的棋盘格图案的实时视频图像（左侧），以及经过畸变校正后的图像（右侧）。在两幅图像中均绘制了三条示例线，每条线从一个角延伸到另一个角，其轨迹为直线。由于光学畸变，这些线条在原始的胎儿镜图像中呈现为曲线。 请点击此处查看该图的放大版本。
讨论
喷砂是制造过程中的一个重要步骤，因为原始金属表面会强烈反射内窥镜的光线，导致无法检测到圆圈。即使肉眼也难以分辨这些圆圈（见图5）。需要注意的是，图中所示靶标表面已经过激光蚀刻处理，但这并不能减少光线的反射。
图 5：未进行喷砂处理的校准靶标。 从左侧内窥镜视图可见，内窥镜光源在材料表面产生的反光使得肉眼也难以分辨出圆圈（在大面积反光的东南方向就有一个圆圈）。请注意，该靶标表面（即“背景”）虽已进行蚀刻处理，但在未喷砂的情况下并无帮助。请点击此处查看该图的放大版本。
在进行图案刻蚀之前，对整个样品表面进行刻蚀也非常重要。这是因为喷砂处理的表面存在大量镜面反射（见图6），会干扰斑点检测。
图6：喷砂处理但未蚀刻的表面。尽管其镜面反射不如原始金属表面明显，但相对较小的镜面反射（其中部分由黄色箭头标出）仍足以阻碍斑点检测的成功进行，因此无法使用此标定目标完成校准。请点击此处查看该图的放大版本。
以不同速度应用激光可产生不同的背景颜色。背景颜色在圆圈与背景之间的对比度中起着重要作用。因此，确定最佳背景颜色至关重要。为此，制作了一块刻有圆圈且具有多种不同背景的标定板（见图7）。使用OpenCV23的特征检测模块对这些背景进行了测试，该模块也被用于OpenCV相机标定模块17中。本研究中，标定目标采用不锈钢材料制成，因为这是临床医疗设备中最常用且最可靠的材料。该材料易于获取、成本低、坚固耐用且易于灭菌。其他材料也可能用于标定目标，例如铝或碘化金属，但这属于未来工作的研究范围。
图7：采用激光蚀刻出不同背景颜色调色板的不锈钢板。 结合 OpenCV 特征检测模块开展了实际实验，以确定哪种背景颜色在斑点与背景对比度方面可获得最佳效果23内窥镜视图（左侧）显示了培养板。中等强度的背景颜色（即， 该调色板中除最暗和最亮之外的其他颜色可获得更优的斑点检测效果。 请点击此处查看此图的放大版本。
本研究的优势之一在于，使用所制备的靶标进行校准仅需 2-3 分钟。大部分时间消耗在手动稳定内窥镜以获得清晰的校准图案视野上。若采用自行设计的内窥镜固定装置，可无需手动稳定，从而显著缩短校准时间。
视频 1：演示如何使用开发的校准靶标结合 endocal 软件进行光学畸变校准的视频。 请点击此处观看该视频。（右键单击可下载。）
与Wengert 等15的研究相比，我们工作的优势在于可直接使用OpenCV相机标定模块17进行标定，无需任何修改或自定义参数设置。由于OpenCV是一个成熟且维护良好的软件包，在计算机视觉领域广受欢迎，因此使用该工具可避免编写和维护自定义软件的需求。为方便读者，我们提供了一个紧凑的图形用户界面应用程序16，读者可轻松安装并用于测试新的标定目标。与Wengert 等15的方法相比，我们方法的一个缺点是其对图案遮挡的鲁棒性较差，因为我们的方法需要检测所有斑点。
本研究最初制备了一个带有棋盘格图案的校准靶标。然而，由于难以检测棋盘格方块的角点，此类校准靶标在实验中被证明并不适用。角点检测依赖于基于直方图的图像二值化方法（参见OpenCV源代码24），这意味着深色和浅色方块之间必须具有明显的颜色对比度，而我们的棋盘格图案无法保证这一点，部分原因在于存在镜面反射，如图6所示。即使在背景蚀刻之后，此类镜面反射仍然存在；然而，圆点的检测对该缺陷似乎不那么敏感。
在当前设置下，只有垂直于校准目标的视角才能成功实现斑点检测。这是由于目标表面的镜面反射在倾斜角度下会干扰斑点检测。我们正在进一步改进该目标，以允许在更广角度范围内获取图像，这有望提高校准的质量20。
在先前提出的实时胎盘马赛克成像流程中11，图像对之间变换关系的计算依赖于特征的成功检测与聚类。然而，光学畸变会导致具有刚性几何结构的一组特征在不同图像中呈现不同的外观。这种差异进而导致计算出的变换关系不准确，从而引起最终图像马赛克的漂移。由于最显著的光学畸变出现在图像边缘区域，目前内窥镜图像会被裁剪至其中心区域。若能有效校正光学畸变，则有望将每幅图像中更大范围的区域纳入马赛克拼接过程。该方法的优势体现在两个方面：第一，它将增加每幅图像中检测到的特征数量，从而可能提升图像变换计算的准确性；第二，它将使整个目标解剖表面能够在更短的时间内完成重建。
披露
作者无任何利益冲突需要披露。
致谢
本工作获得了惠康信托（Wellcome Trust）[WT101957] 创新工程与健康奖、工程与物理科学研究理事会（EPSRC）[NS/A000027/1] 以及英国国家卫生研究院生物医学研究中心 UCLH/UCL 高影响力计划的资助。Jan Deprest 由佛兰德斯科学基金（Fonds voor Wetenschappelijk Onderzoek Vlaanderen, FWO；JD 作为临床研究员 1.8.012.07）提供资助。Danail Stoyanov 获得了工程与物理科学研究理事会（EPSRC）（EP/N013220/1、EP/N022750/1）、欧盟第七框架计划项目 CASCADE（FP7-ICT-2913-601021）以及欧盟“地平线2020”计划项目 EndoVESPA（H2020-ICT-2015-688592）的资助。Sebastien Ourselin 获得了工程与物理科学研究理事会（EPSRC）（EP/H046410/1、EP/J020990/1、EP/K005278）和英国医学研究理事会（MRC）（MR/J01107X/1）的资助。Marcel Tella 受益于由工程与物理科学研究理事会（EPSRC）资助的伦敦大学学院医学影像博士培训中心（EP/L016478/1）的支持。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 1.2 mm 厚 316 级金属板，40 mm × 40 mm | |||
| 至少 50 mm × 50 mm × 30 mm 的水容器 | |||
| 灭菌包装袋 | |||
| 生理盐水 | |||
| 手动金属切割器 | |||
| 用于打磨圆角的锉刀 | |||
| 至少 10 mm 厚的 50 mm × 50 mm 木质或金属块 | |||
| 台钳（建议使用，非必需） | |||
| 喷砂机 | |||
| 用于生成带图案 .dxf 文件的图形用户界面应用程序 | https://github.com/gift-surg/endocal | ||
| 个人电脑（PC） | |||
| 激光切割机 | |||
| 高压灭菌器 | |||
| 内窥镜校准软件 | 来自 GitHub：https://github.com/gift-surg/endocal | ||
| 内窥镜 | |||
| OpenCV 相机标定模块 | http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| 护目镜 | |||
| 实验服 | |||
| 直尺和记号笔 | |||
| 用于除尘和清洁的酒精（建议使用乙醇） |
参考文献
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. CVPR 2011 IEEE Conference on Computer Vision and Pattern Recognition, Washington, D.C., USA, , IEEE Computer Society. 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. SPIE's 1995 International Symposium on Optical Science, Engineering, and Instrumentation. 62-72 International Society for Optics and Photonics, , International Society for Optics and Photonics. 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), Elsevier. 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , International Society for Optics and Photonics. (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. Hamlyn Symposium on Medical Robotics, , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., et al. Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. - 21. März 2006 in Hamburg. Handels, H., et al. , Springer. Berlin Heidelberg. 419-423 (2006).
- Shakir, D. I. Compact GUI application for optical distortion calibration of endoscopes. , Available from: https://github.com/gift-surg/endocal (2016).
- Camera calibration With OpenCV. , Available from: http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html (2016).
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. Mosaicing of endoscopic placenta images. , Citeseer. (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- Evans, C. C. The Official YAML Web Site. , Available from: http://yaml.org (2016).
- Bouguet, J. -Y. Camera Calibration Toolbox for Matlab. , Available from: http://www.vision.caltech.edu/bouguetj/calib_doc/ (2015).
- Common Interfaces of Feature Detectors. , Available from: http://docs.opencv.org/2.4/modules/features2d/doc/common_interfaces_of_feature_detectors.html (2016).
- Open Source Computer Vision Library. , Available from: https://github.com/opencv/opencv (2016).
重印与许可
