Introduction
摄像机标定是在已深入研究历年1，2，3计算机视觉领域的一个众所周知的问题。的摄像机标定程序的一个关键步骤是估计失真模型的参数，以及固有照相机参数，通过与来自照相机图像具有子像素精度的已知几何形状提取点的网格。与棋盘图案具有黑色和白色方块校准目标通常用于此目的。圆形斑点提供另一种图案4，5，6。
在最近几年，出现了在手术导航技术的发展为胎儿手术程序，诸如双胎输血综合征（TTTS）的治疗上胎儿越来越大的兴趣> 7，8，9，10。作为视图的胎儿镜的场（ 即，在胎外科手术中使用的内窥镜）是非常有限的，用于映射的胎盘脉管系统，而无需使用外部跟踪的方法被提出，以帮助TTTS手术11，12，13。胎儿镜图像内的光学畸变对依赖于视觉信息提取11这些计算方法拼接不利影响。因此，存在对用于围可操作校准fetoscopes使得光学失真补偿可以实时干预期间进行成本有效和快速的工具未满足的需要。
由于这样的事实，该胎儿镜在介入期间浸没在羊水，一个之间的折射率差IR和羊水经典呈现在空中摄像机标定方法不适合胎儿手术程序。从在空气摄像机参数推定流体浸入相机参数是一个困难的任务，需要在流体浸入校准目标14中的至少一个图像。此外，围手术期，流体浸渍胎儿镜摄像机标定是由于灭菌要求和限制允许在手术室的材料目前是不切实际的。由于这些原因，校准内窥镜光学畸变通常不是目前临床工作流的一部分。在这个手稿的工作是试图通过设计和生产消毒和实用的光学畸变校正目标具有非对称的圆形图案，关闭这台相机标定的差距。先前，格特等。制作自定义校准装置具有氧化铝板作为校准目标。他们的甲基OD，然而，仅在与他们开发15定制校准算法相结合。
Protocol
1.目标制造
- 喷砂
- 制备316不锈钢板的厚度1.2毫米。用铅笔或指甲，画有40毫米×40mm见方到纸张上用尺子的帮助。
- 剪下使用手动金属切割机的拉方。警告！观看手指。
- 使用文件圆试样的角部和侧面。警告！他们是非常尖锐的;小心。
- 制备的直木制或金属板的尺寸比不锈钢板稍大。将它切薄片;为了避免喷砂期间弯曲样品做到这一点。
- 将装配在内部爆炸室。记得使用除尘器，并加以密封，内部爆炸室;否则，将砂子过程中星罗棋布。佩戴安全护目镜以保护眼睛。
- 一个喷枪垂直位置和至少4-5厘米从金属表面。应用对照足OL的喷砂。戴上一块用木头副（1-2厘米厚）的样品，由于高压流砂可以变形的样本。在喷砂除锈，由一块木板的边缘或通过其他副紧紧握住的样本。
- 重复在另一侧的喷砂如果它是希望具有两侧刻一个校正图案。
- 激光制图
- 设计不对称圆圈的图案， 如图1。
- 准备设计或者使用CAD软件或其他合适的编程语言的一个图画交换格式（DXF）文件。
注意：为方便起见，可以生成DXF文件在本文中提到的设计Python应用程序被提供为紧凑GUI应用程序16的一部分。 - 导入DXF文件到激光切割软件。
- 设置为背景蚀刻以下参数。激光功率：40％，扫描速度：80厘米/秒，频率：4000赫兹，传球次数：1。
- 设置以下参数用于蚀刻图案。激光功率：40％，扫描速度2.1厘米/秒，频率：4000赫兹，传球次数：1。
- 把工作平台上的样品，并使用该软件对准切割图案。
- 激光进行切割后，用酒精浸泡它清洁样品。不要使用任何纸巾，因为它们通常离开不当残余物。
- 消毒
- 包裹灭菌试样中的灭菌包，并在杀菌部（高压釜）插入。
- 加水（不能蒸馏水），以高压釜，并按照用户指南/制造商的建议进行消毒的目标。
2.围手术期校准
- 校准软件
- 安装“endocal”内窥镜校准软件提供了GitHub上16包（遵循README文件中的指导文献）。
注：此软件包装OpenCV的摄像机标定模块17在一个易于使用的应用程序方便。所提供的应用程序运行在两种模式：在线和离线。在线模式直接从兼容的图像采集硬件获取的视频流。脱机模式允许装载型内窥镜的图像无论是从一个视频文件或与一些保存为图像文件的视频帧的一个文件夹。见自述文件支持的硬件和如何使用这两种模式的详细说明。
- 安装“endocal”内窥镜校准软件提供了GitHub上16包（遵循README文件中的指导文献）。
- 内镜视频采集
注：以下说明适用于在线校准（如上所述），但它们也适用于离线校准。- 放置校准目标在无菌流体容器，如一个药罐。
- 填与目标流体或类似的灭菌物质容器。
注意：例如，在胎儿镜PROCE的既定程序，目标流体是羊水。由于羊水的光学性质类似于食盐水18，19，可以使用无菌盐水的水，用于校准的胎儿镜。 - 根据需要调整内窥镜的变焦和清晰度。
- 浸入的内窥镜的流体，并在从类似于从该内窥镜稍后在所使用的解剖结构的距离校准目标的距离保持它。
- 启动校准应用程序并启动摄像头采集。
- 轻轻移动内窥镜的顶端为不同的看法，同时保持整个校准模式鉴于相机。为了获得最佳性能，保持围绕内窥镜的圆形视图中的校正图案的椭圆形的图例。
注：视频是可用于校准帧由一个虚拟图案覆盖所指出的，如在图3看到的。 - 阿奎重的至少校准所需（如在endocal窗口指示）内窥镜摄像机视图的最小数目。
注：endocal当前版本的需要校准至少10内窥镜摄像机视图，以启发式选择的若干意见，其中校准误差显得微乎其微，并按照一个稳定的格局20。 - 按下校准键，endocal窗口上所指示的，使用迄今所获得的图像，以启动校准过程。
- 保存和使用校准参数
- 按指示的校准键保存在YAML产生的校准参数（“YAML是不是标记语言”）文件21。
- 组校准参数插入相机矩阵和失真系数，正如OpenCV的摄像机标定模块17中说明。
注意：在执行校准之后，校准应用自动显示失真校正图象到原始内窥镜图像的右侧。 - 纯粹的可视化和实时胎盘拼接11胎儿镜手术过程中使用失真校正视频饲料。
Representative Results
我们通过在喷砂不锈钢金属片，其设计如图1中所示的蚀刻不对称圆的图案创建的灭菌校准目标。显示了与胎儿镜一起行动这一校准目标的典范设置如图2。为了养活这个设计到激光蚀刻的软件，自定义应用程序在Python编程语言16开始实施。创建设计图案包括迭代地蚀刻在金属片平行线。用于图案具有在端一致的颜色，这些线之间的距离应该小于所述激光束的宽度（参见图1的插图） -这值是45微米的VIOLINO（LASERVALL）激光切割机。
图2：的Exemplar设置与使用的校准目标。水浸渍胎儿镜的尖端在右侧的校准目标被引导。在左边是英国一分钱规模提供信息。“目标=”_空白“>点击此处查看该图的放大版本。
所制造的校准目标允许检测用的OpenCV 17，其位置，然后分类到预定义的非对称的圆形网格的内窥镜视频流中的圆形图案（参见图3）。使用与已知的网格几何结合该信息，内部相机参数可被估计。这些包括相机矩阵和失真系数。相机基质由焦距和沿着二维图像平面的x轴和y轴的光学中心。失真系数是基于欠压康拉模式3。请注意，对于这项工作，只有径向畸变参数估计。对于理论的一个简短的讨论，与实际的例子，看到了OpenCV的摄像机标定模块的网页<SUP类=“外部参照”> 17和MATLAB摄像机标定工具箱22。关于相机校准过程的更多细节都在张的工作提供20。该endocal软件库功能的编造校准目标16 10内窥镜意见的样本数据集。使用这种数据集，0.28个像素的平均重投影误差校准（分：0.16，最大值为0.45）获得。这相当于由格特等报道的0.25个像素。用他们的定制校准算法15。相同的研究组，但是，在15使用该方法用于校准用于胎盘拼接18的内窥镜照相机时报告在一个更近的纸张的0.6像素的重新投影误差。
估计的相机参数用于光学失真校正。 图4示出的矩形的棋盘图案，如使用胎儿镜，其中，光学畸变使行显示的曲线观看。注意，该线路中的distorti显示正常上校正后的图像。
图4：光学失真校正。从校准应用16具有从棋盘图案（左）与上述失真校正图象（右）一个胎儿镜记录实况视频图像的屏幕截图。三个示例性线绘制在两个图像中，每个从一个角到另一个，其中，该轨迹是线性的。由于光学畸变，这些行显示在原来的胎儿镜影像曲线。 请点击此处查看该图的放大版本。
Discussion
喷砂是在制造过程中的一个重要步骤，因为原料的金属表面突出地反映了内窥镜光，使得不可能对要检测的社交圈。是困难甚至用肉眼区分界（参见图5）。注意，示出的目标的表面已经用激光蚀刻。然而，这并没有减少光线的反射。
图5：不带喷砂校准目标应用。如从左侧的内窥镜视图看出，从材料表面上的内窥镜光眩光使得难以甚至对于肉眼区分界（有正好到大反射东南一个圆）。请注意，此靶的表面（ 即，“背景”）已经被蚀刻，但是这不是乐于助人在没有喷砂的。 请点击此处查看该图的放大版本。
之前图案蚀刻，同样重要的是蚀刻整个样品的表面上。这是必要的，因为喷砂表面有许多镜面反射（ 见图6），其与斑点检测干扰。
图6：喷砂表面没有腐蚀。虽然不是作为原料的金属表面作为突出，相对较小的镜面反射（其中一些被突出显示黄色箭头）仍足以防止随后的斑点检测，所以没有校准可以与此目标进行。ARGET =“_空白”>点击此处查看该图的放大版本。
以不同的速度施加激光给出不同的背景色。背景颜色起着圆圈和背景之间的对比度的显著作用。因此，至关重要的是要确定最佳的背景颜色。为此，为圆形的板衬托下的一组不同背景的创建（参见图7）。背景用的OpenCV 23，其被OpenCV的摄像机标定模块17中使用的特征检测模块进行测试。在这项工作中，目标被由不锈钢制成，因为它是在诊所的医疗器械中使用的最常见和最可靠的材料。这种材料是免费提供的，不贵，功能强大，且易于消毒。其它材料可能被用于校准的目标，如铝或碘化金属，但这是SCOP今后的工作电子邮件。
图7：不锈钢板具有与激光蚀刻不同的背景颜色的调色板。实际实验结合OpenCV的特征检测模块，以确定哪些背景色给出的斑点-背景对比度23方面的最佳结果进行的。左侧的内窥镜视图显示板。适中的背景颜色（即那些其他的暗和最亮的）在这个调色板中产生更好的斑点检测。 请点击此处查看该图的放大版本。
其中之一这项工作的优势在于执行使用编造目标校准需要2-3分钟。大部分努力去ES手动稳定内窥镜获得校准图案体面的看法。用一个定制的内窥镜保持器可以消除手动稳定化，这反过来又可以显著缩短校准时间的必要性。
视频1：视频显示失真如何光校准可以一起使用开发校准目标与endocal软件来执行。 请点击此处观看该视频。 （右键点击下载）。
相比格特等人的工作我们的工作的优点。 图15是OpenCV的照相机校正模块17可被用作为校准，而无需任何修改或定制parameterization。因为OpenCV的是一种行之有效的，并维护良好的软件包，并在计算机视觉界非常流行，用它消除了编写和维护定制软件的需求。为读者的方便，紧凑的GUI应用程序设置16，其读者可以容易地安装和使用，以测试新的校准目标。我们的方法的一个缺点相比格特等人的 图15是他们的方法是更健壮的图案的遮挡，因为它不要求所有斑点的检测。
最初，在棋盘图案的校准目标被制作为这个工作。然而，这种类型的校准目标的被证明是不合适的实验由于检测棋盘正方形的角上的困难。角检测依赖于基于直方图的图像二值化（见OpenCV的源代码24）。这小鬼在于为暗和亮方块，这可能不符合我们的棋盘图案被保证的，部分由于镜面反射，如在图6中所示的那些之间有明显的颜色对比的需要。这样的镜面反射，即使是背景后蚀刻存在;然而，圆的检测似乎是这个缺点不太敏感。
在当前的设置，只有校准目标的垂直的视图允许成功的斑点检测。这是由于从靶表面以倾斜角度妨碍斑点检测的镜面反射。我们正在进一步提高目标，以便允许在更宽的角度范围内，这可以潜在地改善进行校准20的质量获得的意见。
在实时胎盘拼先前提出的11管道，反式的计算形成映射图像对依赖于成功检测和功能分组。光学畸变，另一方面，使一组具有刚性几何特征出现跨越图像不同。因此，这种差异会导致在所计算的转换，这导致在所得到的图像马赛克漂移误差。由于最突出的光学畸变存在对边缘，内窥镜图像正在裁剪到心底深处的地区。一个良好的校正光学畸变会潜在地允许每个图像的较大部分到拼接过程中掺入。这种方法的优点是双重的。第一，这将增加的检测的特征的数目在每个图像中，潜在地提高了图像变换的计算。第二，这将允许在整个目标解剖表面在更短的时间内重建。
Materials
| Name | Company | Catalog Number | Comments |
| 1.2 mm Metal sheet 316 Grade, 40 mm by 40 mm | |||
| Water container at least 50 mm by 50 mm by 30 mm | |||
| A sterilization package | |||
| Saline water | |||
| Manual metal cutter | |||
| A file to round up the corners | |||
| A wooden or metal block 50 mm by 50 mm at least 10 mm thick | |||
| A vice (desirable but not required) | |||
| Sand Blasting machine | |||
| GUI application to create .dxf file with the pattern | https://github.com/gift-surg/endocal | ||
| PC | |||
| Laser Cutter | |||
| Autoclave | |||
| An endoscope calibration software | from GitHub: https://github.com/gift-surg/endocal | ||
| Endoscope | |||
| OpenCV camera calibration module | http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| Safety goggles | |||
| A lab coat | |||
| A ruler and a marker | |||
| Alcohol (preferably ethanol) for dust removal and cleaning |
References
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. CVPR 2011 IEEE Conference on Computer Vision and Pattern Recognition, Washington, D.C., USA, , IEEE Computer Society. 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. SPIE's 1995 International Symposium on Optical Science, Engineering, and Instrumentation. 62-72 International Society for Optics and Photonics, , International Society for Optics and Photonics. 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), Elsevier. 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , International Society for Optics and Photonics. (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. Hamlyn Symposium on Medical Robotics, , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., et al. Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. - 21. März 2006 in Hamburg. Handels, H., et al. , Springer. Berlin Heidelberg. 419-423 (2006).
- Shakir, D. I. Compact GUI application for optical distortion calibration of endoscopes. , Available from: https://github.com/gift-surg/endocal (2016).
- Camera calibration With OpenCV. , Available from: http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html (2016).
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. Mosaicing of endoscopic placenta images. , Citeseer. (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- Evans, C. C. The Official YAML Web Site. , Available from: http://yaml.org (2016).
- Bouguet, J. -Y. Camera Calibration Toolbox for Matlab. , Available from: http://www.vision.caltech.edu/bouguetj/calib_doc/ (2015).
- Common Interfaces of Feature Detectors. , Available from: http://docs.opencv.org/2.4/modules/features2d/doc/common_interfaces_of_feature_detectors.html (2016).
- Open Source Computer Vision Library. , Available from: https://github.com/opencv/opencv (2016).
