Name: 对于流体沉浸胎儿镜的光学畸变校正医用灭菌目标 (视频) | JoVE Journal
Uploaded: 2017-02-23T13:00:00.000+00:00
Duration: 7 min 3 s
Description: 了解流体浸没式胎儿镜光学畸变校正方法，使用316不锈钢激光蚀刻标定靶与OpenCV软件实现术中快速无菌校准。该医用灭菌目标可提高内窥镜成像精度，支持胎儿手术等临床应用的图像处理。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

本工作获得了惠康信托（Wellcome Trust）[WT101957] 创新工程与健康奖、工程与物理科学研究理事会（EPSRC）[NS/A000027/1] 以及英国国家卫生研究院生物医学研究中心 UCLH/UCL 高影响力计划的资助。Jan Deprest 由佛兰德斯科学基金（Fonds voor Wetenschappelijk Onderzoek Vlaanderen, FWO；JD 作为临床研究员 1.8.012.07）提供资助。Danail Stoyanov 获得了工程与物理科学研究理事会（EPSRC）（EP/N013220/1、EP/N022750/1）、欧盟第七框架计划项目 CASCADE（FP7-ICT-2913-601021）以及欧盟“地平线2020”计划项目 EndoVESPA（H2020-ICT-2015-688592）的资助。Sebastien Ourselin 获得了工程与物理科学研究理事会（EPSRC）（EP/H046410/1、EP/J020990/1、EP/K005278）和英国医学研究理事会（MRC）（MR/J01107X/1）的资助。Marcel Tella 受益于由工程与物理科学研究理事会（EPSRC）资助的伦敦大学学院医学影像博士培训中心（EP/L016478/1）的支持。

1. 靶材制备
<ol>
	<li>喷砂处理
	<ol>
		<li>准备一块厚度为1.2 mm的316不锈钢板。使用铅笔或钉子，在直尺辅助下在板上画出一个40 mm × 40 mm的正方形。</li>
		<li>使用手动金属切割器切割所画的正方形。注意！小心手指。</li>
		<li>使用锉刀将样品的角和边缘打磨成圆角。注意！边缘非常锋利，请小心操作。</li>
		<li>准备一块略大于不锈钢板的平直木块或金属块。将切割好的钢板放在其上，以防止在喷砂过程中样品发生弯曲。</li>
		<li>将组装好的样品放入喷砂舱内。务必使用除尘装置，并严密封闭喷砂舱，否则喷砂过程中砂粒会四处飞散。佩戴护目镜以保护眼睛。</li>
		<li>将喷砂枪垂直对准金属表面，并保持至少4–5 cm的距离。使用脚踏开关控制喷砂。用台钳将样品固定在一块1–2 cm厚的木块上，因为高压砂流可能导致样品变形。在喷砂过程中，应牢固握住木块边缘或使用另一个台钳夹紧样品。</li>
		<li>如果需要在样品两面都刻蚀校准图案，则在另一面重复进行喷砂处理。</li>
	</ol>
	</li>
	<li>激光图案化
	<ol>
		<li>设计一组非对称圆形图案，如图1所示。</li>
		<li>使用CAD软件或其他合适的编程语言，准备该设计的绘图交换格式（DXF）文件。 
		注：为方便起见，本文提供了一个Python应用程序，可用于生成本文所述设计的DXF文件，该程序作为紧凑型图形用户界面应用程序的一部分16。</li>
		<li>将DXF文件导入激光切割软件中。</li>
		<li>设置背景蚀刻的以下参数：激光功率：40%，扫描速度：80 cm/s，频率：4,000 Hz，扫描次数：1次。</li>
		<li>设置图案蚀刻的以下参数：激光功率：40%，扫描速度：2.1 cm/s，频率：4,000 Hz，扫描次数：1次。</li>
		<li>将样品放置在工作平台上，并使用软件对准切割图案。</li>
		<li>激光完成切割后，将样品浸入酒精中进行清洗。请勿使用擦拭纸，因为它们通常会留下不希望的残留物。</li>
	</ol>
	</li>
	<li>灭菌
	<ol>
		<li>将已灭菌的样品用灭菌包装纸包裹，并放入灭菌设备（高压灭菌器）中。</li>
		<li>向高压灭菌器中加入水（非蒸馏水），并按照用户手册或制造商的建议对目标物进行灭菌处理。</li>
	</ol>
	</li>
</ol>
2. 围手术期校准
<ol>
	<li>校准软件
	<ol>
		<li>在 GitHub 上安装提供的 &#34;endocal&#34; 内窥镜校准软件包16（请遵循其中 README 文件中的说明）。 
		注意：该软件将 OpenCV 相机校准模块17 封装为一个易于使用的便捷应用程序。所提供的应用程序具有两种运行模式：在线模式和离线模式。在线模式可直接从兼容的视频采集卡硬件获取视频流；离线模式则允许从视频文件或包含多个以图像文件形式保存的视频帧的文件夹中加载内窥镜图像。有关支持的硬件以及这两种模式使用方法的详细说明，请参见 README 文件。</li>
	</ol>
	</li>
	<li>内窥镜视频采集 
	注意：以下说明适用于上述的在线校准，但也同样适用于离线校准。
	<ol>
		<li>将校准标靶放置于无菌液体容器中，例如小药皿。</li>
		<li>用目标液体或类似的无菌物质填充容器。 
		注意：例如，在胎儿镜手术中，目标液体为羊水。由于羊水的光学特性与生理盐水相似18,19，因此可使用无菌生理盐水对胎儿镜进行校准。</li>
		<li>根据需要调节内窥镜的变焦和清晰度。</li>
		<li>将内窥镜浸入液体中，并使其与校准标靶保持一定距离，该距离应类似于后续使用内窥镜时与解剖结构之间的距离。</li>
		<li>启动校准应用程序，并开始相机图像采集。</li>
		<li>轻微移动内窥镜的尖端以获得不同视角，同时确保整个校准图案始终位于相机视野内。为获得最佳效果，请将校准图案周围的椭圆形标识保持在内窥镜的圆形视野范围内。 
		注意：可用于校准的视频帧会通过虚拟图案叠加进行提示，如 图3 所示。</li>
		<li>采集校准所需的最少数量的内窥镜相机视图（具体数量由 endocal 窗口中提示确定）。 
		注意：当前版本的 endocal 要求至少采集 10 个内窥镜相机视图用于校准，这一数量是基于经验选择的，此时校准误差最小且呈现稳定趋势20。</li>
		<li>按下 endocal 窗口中指示的校准按键，使用已采集的图像开始校准过程。</li>
	</ol>
	</li>
	<li>保存和使用校准参数
	<ol>
		<li>按下指定的校准按键，将生成的校准参数保存为 YAML（&#34;YAML Ain't Markup Language&#34;）文件21。</li>
		<li>按照 OpenCV 相机校准模块17 中的说明，将校准参数分组为相机矩阵和畸变系数。 
		注意：完成校准后，校准应用程序会自动在原始内窥镜图像右侧显示畸变校正后的图像。</li>
		<li>在胎儿镜手术过程中使用畸变校正后的视频流，用于纯可视化观察或实时胎盘马赛克拼接11。</li>
	</ol>
	</li>
</ol>

<ol><li>Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. CVPR 2011 IEEE Conference on Computer Vision and Pattern Recognition, Washington, D.C., USA, , IEEE Computer Society. 2321-2328 (2011).</li>
<li>Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. SPIE's 1995 International Symposium on Optical Science, Engineering, and Instrumentation. 62-72 International Society for Optics and Photonics, , International Society for Optics and Photonics. 62-72 (1995).</li>
<li>Duane, C. B. <a target="_blank" href="https://www.researchgate.net/publication/2478035_Close-Range_Camera_Calibration">Close-range camera calibration.</a> Photogramm. Eng. 37 (8), 855-866 (1971).</li>
<li>Mallon, J., Whelan, P. F. <a target="_blank" href="http://doras.dcu.ie/18667/">Which pattern? biasing aspects of planar calibration patterns and detection methods.</a> Pattern recognition letters. 28 (8), 921-930 (2007).</li>
<li>Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Calibration+of+Action+Cameras+for+Photogrammetric+Purposes%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Calibration of Action Cameras for Photogrammetric Purposes.</a> Sensors. 14 (9), 17471-17490 (2014).</li>
<li>Heikkila, J. <a target="_blank" href="http://ieeexplore.ieee.org/document/879788/">Geometric camera calibration using circular control points.</a> IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).</li>
<li>Deprest, J. A., et al. Fetal surgery is a clinical reality. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aDeprest%2C+JA+%22Seminars+in+fetal+and+neonatal+medicine%22">Seminars in fetal and neonatal medicine</a>. 15 (1), Elsevier. 58-67 (2009).</li>
<li>Watanabe, M., Flake, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fetal+surgery%3A+Progress+and+perspectives%5BTitle%5D)+AND+%22Advances+in+pediatrics%22%5BJournal%5D)">Fetal surgery: Progress and perspectives.</a> Advances in pediatrics. 57 (1), 353-372 (2010).</li>
<li>Lewi, L., Deprest, J., Hecher, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+vascular+anastomoses+in+monochorionic+twin+pregnancies+and+their+clinical+consequences%5BTitle%5D)+AND+%22American+journal+of+obstetrics+and+gynecology%22%5BJournal%5D)">The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences.</a> American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).</li>
<li>Yamashita, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Miniature+bending+manipulator+for+fetoscopic+intrauterine+laser+therapy+to+treat+twin-to-twin+transfusion+syndrome%5BTitle%5D)+AND+%22Surgical+Endoscopy%22%5BJournal%5D)">Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome.</a> Surgical Endoscopy. 22 (2), 430-435 (2008).</li>
<li>Daga, P., et al. <a target="_blank" href="http://proceedings.spiedigitallibrary.org/proceeding.aspx?articleid=2505941">Real-time mosaicing of fetoscopic videos using SIFT.</a> Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , International Society for Optics and Photonics. (2016).</li>
<li>Yang, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image+mapping+of+untracked+free-hand+endoscopic+views+to+an+ultrasound+image-constructed+3D+placenta+model%5BTitle%5D)+AND+%22The+International+Journal+of+Medical+Robotics+and+Computer+Assisted+Surgery%22%5BJournal%5D)">Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model.</a> The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).</li>
<li>Liao, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+image+mapping+of+endoscopic+image+mosaics+with+three-dimensional+ultrasound+image+for+intrauterine+fetal+surgery%5BTitle%5D)+AND+%22Minimally+invasive+therapy+%26+allied+technologies%22%5BJournal%5D)">Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery.</a> Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).</li>
<li>Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. Hamlyn Symposium on Medical Robotics, , (2015).</li>
<li>Wengert, C., Reeff, M., Cattin, P. C., Székely, G., et al. Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. - 21. März 2006 in Hamburg. Handels, H., et al. , Springer. Berlin Heidelberg. 419-423 (2006).</li>
<li>Shakir, D. I. Compact GUI application for optical distortion calibration of endoscopes. , Available from:
 <a target="_blank" href="https://github.com/gift-surg/endocal">https://github.com/gift-surg/endocal</a> (2016).</li>
<li>Camera calibration With OpenCV. , Available from:
 <a target="_blank" href="http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html">http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html</a> (2016).</li>
<li>Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aReeff%2C+M+%22Mosaicing+of+endoscopic+placenta+images%22">Mosaicing of endoscopic placenta images</a>. , Citeseer. (2011).</li>
<li>Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optical+properties+of+human+amniotic+fluid%3A+implications+for+videofetoscopic+surgery%5BTitle%5D)+AND+%22Fetal+diagnosis+and+therapy%22%5BJournal%5D)">Optical properties of human amniotic fluid: implications for videofetoscopic surgery.</a> Fetal diagnosis and therapy. 27 (2), 87-90 (2009).</li>
<li>Zhang, Z. <a target="_blank" href="http://ieeexplore.ieee.org/document/888718/">A flexible new technique for camera calibration.</a> IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).</li>
<li>Evans, C. C. The Official YAML Web Site. , Available from:
 <a target="_blank" href="http://yaml.org">http://yaml.org</a> (2016).</li>
<li>Bouguet, J. -Y. Camera Calibration Toolbox for Matlab. , Available from:
 <a target="_blank" href="http://www.vision.caltech.edu/bouguetj/calib_doc/">http://www.vision.caltech.edu/bouguetj/calib_doc/</a> (2015).</li>
<li>Common Interfaces of Feature Detectors. , Available from:
	 <a target="_blank" href="http://docs.opencv.org/2.4/modules/features2d/doc/common_interfaces_of_feature_detectors.html">http://docs.opencv.org/2.4/modules/features2d/doc/common_interfaces_of_feature_detectors.html</a> (2016).</li>
<li>Open Source Computer Vision Library. , Available from:
 <a target="_blank" href="https://github.com/opencv/opencv">https://github.com/opencv/opencv</a> (2016).</li>
</ol>

作者无任何利益冲突需要披露。

喷砂是制造过程中的一个重要步骤，因为原始金属表面会强烈反射内窥镜的光线，导致无法检测到圆圈。即使肉眼也难以分辨这些圆圈（见图5）。请注意，图中所示目标表面已用激光进行过蚀刻处理，但这并不能减弱光线的反射。
<img alt="光学畸变校准装置；校正镜头畸变；图像处理流程。" src="/files/ftp_upload/55298/55298fig5.jpg" data-altupdatedat="1788250015000" data-alt="Figure 5"> 
图5：未进行喷砂处理的校准靶标。从左侧内窥镜视图可见，内窥镜光源在材料表面产生的反光使得肉眼也难以分辨出圆圈（在强反射区域东南侧就有一个圆圈）。请注意，该靶标表面（即“背景”）虽已蚀刻，但在未进行喷砂处理的情况下仍无明显帮助。<a href="https://cloudfront.jove.com/files/ftp_upload/55298/55298fig5large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
在进行图形刻蚀之前，对整个样品表面进行刻蚀也是非常重要的。这是必要的，因为喷砂处理的表面存在大量镜面反射（见图6），会干扰斑点检测。
<img alt="光学畸变校准示意图；通过标记点进行视觉校正的过程。" src="/files/ftp_upload/55298/55298fig6.jpg" data-altupdatedat="1788250015000" data-alt="图6"> 
图6：喷砂处理但未蚀刻的表面。 尽管其镜面反射不如原始金属表面明显，但相对较小的镜面反射（其中部分以黄色箭头标出）仍足以干扰斑点检测的准确性，因此无法使用该标定目标完成校准。 <a href="https://cloudfront.jove.com/files/ftp_upload/55298/55298fig6large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
以不同速度应用激光可产生不同的背景颜色。背景颜色在圆圈与背景之间的对比度中起着重要作用。因此，确定最佳背景颜色至关重要。为此，制作了一块带有在一系列不同背景上蚀刻圆圈的标定板（见图7）。使用OpenCV的特征检测模块23对这些背景进行了测试，该模块也用于OpenCV相机标定模块17。本研究中，标定目标采用不锈钢材料制成，因为这是临床上医疗器械最常用且最可靠的材料。该材料易于获取、成本低、坚固耐用且易于消毒。其他材料也可能用于标定目标，例如铝或碘化金属，但这将是未来工作的研究范围。
<img alt="光学畸变校准示意图，通过网格图案分析校正图像畸变。" src="/files/ftp_upload/55298/55298fig7.jpg" data-altupdatedat="1788250015000" data-alt="图7"> 
图7：采用激光蚀刻不同背景颜色的不锈钢板。 实际实验结合 OpenCV 特征检测模块进行，以确定哪种背景颜色在斑点与背景对比度方面提供最佳效果23。左侧的内窥镜视图显示了该板。该调色板中的中等背景颜色（即 非最深和最浅的颜色）可实现更优的斑点检测效果。<a href="https://cloudfront.jove.com/files/ftp_upload/55298/55298fig7large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
本工作的优势之一在于，使用所制备的靶标进行校准仅需 2-3 分钟。大部分时间消耗在手动稳定内窥镜以获得清晰的校准图案视野上。采用定制的内窥镜支架可消除手动稳定的需求，从而显著缩短校准时间。
<img alt="静态平衡、表面张力实验装置、液膜相互作用分析。" src="/files/ftp_upload/55298/55298video1.jpg" data-altupdatedat="1788250015000" data-alt="视频 1"> 
视频 1：视频展示如何使用开发的校准靶标结合 endocal 软件进行光学畸变校准。 <a href="https://cloudfront.jove.com/files/ftp_upload/55298/fetoscope-calibration-480.mov" target="_blank">请点击此处观看该视频。（右键单击可下载。）</a>
与Wengert的研究相比，我们的工作具有以下优势 等15 OpenCV相机标定模块17 可直接用于校准，无需任何修改或自定义参数设置。由于 OpenCV 是一个成熟且维护良好的软件包，在计算机视觉领域广受欢迎，使用它可避免编写和维护自定义软件的需要。为方便读者，提供了一个紧凑的图形用户界面应用程序16，读者可轻松安装并使用该工具来测试新的校准目标。与Wengert方法相比，本方法的一个缺点是 等15 其方法对图案遮挡的鲁棒性更强，因为它不需要检测所有斑点。
最初，为本研究制作了一个带有棋盘格图案的校准标靶。然而，由于难以检测棋盘格方块的角点，此类校准标靶在实验中被证明并不适用。角点检测依赖于基于直方图的图像二值化方法（参见 OpenCV 源代码24），这意味着深色与浅色方块之间必须具有明显的颜色对比度，而我们的棋盘格图案无法保证这一点，部分原因在于存在镜面反射，如图6所示。即使在背景蚀刻之后，此类镜面反射仍然存在；然而，圆点的检测对此类缺陷似乎不那么敏感。
在当前设置中，只有垂直于校准目标的视角才能成功实现斑点检测。这是由于目标表面的镜面反射在倾斜角度下会干扰斑点检测。我们正在进一步改进该目标，以允许获取更广角度范围的视图，从而有望提高校准的质量20。
在先前提出的实时胎盘马赛克成像流程11中，图像对之间变换关系的计算依赖于特征的准确检测与聚类。然而，光学畸变会导致具有刚性几何结构的一组特征在不同图像中呈现差异。这种差异进而引起所计算变换的不准确，导致最终图像马赛克出现漂移。由于最显著的光学畸变通常出现在图像边缘区域，目前内窥镜图像会被裁剪至其中心区域。若能有效校正光学畸变，就有可能将每幅图像中更大范围的区域纳入马赛克拼接过程。该方法的优势体现在两方面：第一，可增加每幅图像中检测到的特征数量，从而提升图像变换计算的准确性；第二，可在更短时间内完成对整个目标解剖表面的重建。

相机标定是计算机视觉领域中一个众所周知且多年来被深入研究的问题1,2,3。相机标定过程中的关键步骤是通过以亚像素精度从相机图像中提取具有已知几何结构的点阵，来估计畸变模型的参数以及相机的内参。通常使用具有黑白方格棋盘图案的标定靶标来实现此目的。圆形斑点则提供了一种可选的图案4,5,6。
近年来，针对胎儿手术（如双胎输血综合征（TTTS）的胎儿治疗）的手术导航技术发展引起了越来越多的关注7,8,9,10。由于胎儿镜（i.e., 胎儿外科手术中使用的内窥镜）的视野非常有限，已有研究提出无需外部追踪器即可绘制胎盘血管网络的方法，以辅助TTTS手术11,12,13。胎儿镜图像中的光学畸变会对依赖视觉信息提取的计算拼接方法产生不利影响11。因此，目前尚缺乏一种成本低、速度快的术中校准工具，用于在干预过程中实时完成胎儿镜的光学畸变补偿。
由于在手术过程中胎儿镜会浸没在羊水中，空气与羊水之间的折射率差异使得传统的空气中相机标定方法不适用于胎儿手术。从空气中的相机参数估算浸没在液体中的相机参数是一项困难的任务，至少需要一张液体中校准目标的图像14。此外，由于消毒灭菌要求以及对手术室中允许使用的材料的限制，目前在围手术期对浸没于液体中的胎儿镜相机进行标定并不可行。由于上述原因，对内窥镜进行光学畸变校准通常并不包含在当前的临床工作流程中。本文的研究旨在通过设计和制造一种可灭菌且实用的光学畸变校准目标来弥补这一相机标定的空白，该校准目标采用非对称圆点阵列图案。此前，Wengert et al. 制作了一种定制的校准装置，使用氧化铝板作为校准目标。然而，他们的方法仅能与其所开发的专用校准算法配合使用15。

<table><tbody><tr><td>1.2 mm 厚 316 级金属板，40 mm × 40 mm</td><td></td><td></td><td></td></tr><tr><td>至少 50 mm × 50 mm × 30 mm 的水容器</td><td></td><td></td><td></td></tr><tr><td>灭菌包装袋</td><td></td><td></td><td></td></tr><tr><td>生理盐水</td><td></td><td></td><td></td></tr><tr><td>手动金属切割器</td><td></td><td></td><td></td></tr><tr><td>用于打磨圆角的锉刀</td><td></td><td></td><td></td></tr><tr><td>至少 10 mm 厚的 50 mm × 50 mm 木质或金属块</td><td></td><td></td><td></td></tr><tr><td>台钳（建议使用，非必需）</td><td></td><td></td><td></td></tr><tr><td>喷砂机</td><td></td><td></td><td></td></tr><tr><td>用于生成带图案 .dxf 文件的图形用户界面应用程序</td><td></td><td></td><td>https://github.com/gift-surg/endocal</td></tr><tr><td>个人电脑（PC）</td><td></td><td></td><td></td></tr><tr><td>激光切割机</td><td></td><td></td><td></td></tr><tr><td>高压灭菌器</td><td></td><td></td><td></td></tr><tr><td>内窥镜校准软件</td><td></td><td></td><td>来自 GitHub：https://github.com/gift-surg/endocal</td></tr><tr><td>内窥镜</td><td></td><td></td><td></td></tr><tr><td>OpenCV 相机标定模块</td><td></td><td></td><td>http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html</td></tr><tr><td>护目镜</td><td></td><td></td><td></td></tr><tr><td>实验服</td><td></td><td></td><td></td></tr><tr><td>直尺和记号笔</td><td></td><td></td><td></td></tr><tr><td>用于除尘和清洁的酒精（建议使用乙醇）</td><td></td><td></td><td></td></tr></tbody></table>

可灭菌医用级液体浸没式胎儿镜光学畸变校准靶

Medical-grade Sterilizable Target for Fluid-immersed Fetoscope Optical Distortion Calibration

我们在GIFT-Surg（胎儿治疗与手术引导器械）项目背景下，开发了一种适用于液体浸没式内窥镜的校准标定靶。该项目的目标之一是设计新型的术中实时图像处理方法，用于治疗先天性出生缺陷（如脊柱裂和双胎输血综合征）。所开发的标定靶可在数分钟内完成内窥镜的光学畸变校准，同时保持无菌环境。良好的光学畸变校准与补偿对于减轻径向畸变等不良影响至关重要；这些畸变不仅会妨碍胎儿手术期间利用现有内窥镜技术进行精确成像，还会降低所获取图像在潜在的、极具价值的图像计算应用（如实时图像拼接）中的适用性。本文提出一种新颖的制造方法，用于制备价格低廉且可灭菌的校准标定靶，适用于临床环境。该方法通过激光切割喷砂不锈钢板来蚀刻出校准图案。本标定靶已使用OpenCV提供的相机标定模块进行了验证，OpenCV是计算机视觉领域广泛使用的先进软件库。

我们通过在喷砂处理的不锈钢金属板上蚀刻非对称圆形图案，制作了一个可灭菌的校准标定板，其设计如图1所示。一个包含该校准标定板与胎儿镜共同使用的示例装置如图2所示。为了将该设计导入激光蚀刻软件，我们使用Python编程语言开发了一个自定义应用程序16。该图案的制作过程包括在金属板上逐次蚀刻平行线。为了使最终图案颜色均匀，这些平行线之间的间距应小于激光束的光斑宽度（见图1插图）——对于Violino（Laservall）激光切割机，该值为45 µm。
<img alt="花粉粒示意图，表面细节插图，比例尺1 mm，显微分析，植物生物学研究。" src="/files/ftp_upload/55298/55298fig1.jpg" data-altupdatedat="1788250015000" data-alt="Figure 1"> 
图1：刻蚀图案的设计，包含一个3×11的非对称圆阵列。插图：非对称圆阵列的放大视图。线条之间的距离为45 µm（等于激光束宽度），每个圆的直径为1 mm。该网格也可采用其他尺寸，但相对于胎儿镜的视场，此尺寸被证明是最佳的。<a href="https://cloudfront.jove.com/files/ftp_upload/55298/55298fig1large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="电镀实验装置、离子沉积过程、溶液槽中的硬币和金属基底。" src="/files/ftp_upload/55298/55298fig2.jpg" data-altupdatedat="1788250015000" data-alt="图 2"> 
图 2：使用校准目标物的示例装置。 浸入水中的胎儿镜尖端指向右侧的校准目标物。左侧为一枚英国便士硬币，用于提供尺寸参考。 <a href="https://cloudfront.jove.com/files/ftp_upload/55298/55298fig2large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
所制备的校准目标可利用 OpenCV17 在内窥镜视频流中检测出圆形图案，并将其位置归入预定义的非对称圆形网格（见图3）。结合已知的网格几何信息，可估算相机的内部参数，包括相机矩阵和畸变系数。相机矩阵包含二维图像平面上x轴和y轴方向的焦距及光学中心。畸变系数基于Brown-Conrady模型3，本研究中仅估算了径向畸变参数。有关该理论的简要介绍及实际示例，可参考OpenCV相机校准模块的网页说明17以及MATLAB相机校准工具箱22。关于相机校准流程的更多细节可参见Zhang的研究工作20。endocal软件仓库提供了一个包含10个内窥镜视角下所制备校准目标图像的示例数据集16。使用该数据集进行校准后，获得的平均重投影误差为0.28像素（最小值：0.16，最大值：0.45），与Wengert et al. 使用其自定义校准算法报告的0.25像素结果相当15。然而，该研究团队在较近的一篇论文中报告，当使用文献15中的方法对用于胎盘马赛克成像的内窥镜相机进行校准时，重投影误差为0.6像素18。
<img alt="光学畸变校准；用于图像采集分析的彩色点阵图。" src="/files/ftp_upload/55298/55298fig3.jpg" data-altupdatedat="1788250015000" data-alt="图3"> 
图3：校准图案的实时检测。 来自校准应用程序16 的截图，显示了利用 OpenCV17 的虚拟现实可视化技术将检测到的校准图案叠加在实时视频流上的效果。请注意，校准图案中每个被检测到的列均以不同颜色突出显示。结合已知的几何信息，检测到的圆点可用于计算相机参数。<a href="https://cloudfront.jove.com/files/ftp_upload/55298/55298fig3large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
估计的相机参数用于光学畸变校正。图4显示了使用胎儿镜观察到的矩形棋盘格图案，其中光学畸变使线条呈现为曲线。请注意，在畸变校正后的图像中，线条看起来是正常的。
<img alt="光学畸变校准示意图；棋盘格图案，带有黄色线条；用于镜头畸变研究。" src="/files/ftp_upload/55298/55298fig4.jpg" data-altupdatedat="1788250015000" data-alt="图 4"> 
图 4：光学畸变校正。 来自校准应用程序16 的截图，显示胎儿镜记录中棋盘格图案的实时视频图像（左侧），以及经过畸变校正后的图像（右侧）。两张图像中均绘制了三条示例线，每条线从一个角延伸至另一个角，其轨迹为直线。由于光学畸变的存在，这些线在原始的胎儿镜图像中呈现为曲线。 <a href="https://cloudfront.jove.com/files/ftp_upload/55298/55298fig4large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>

本文介绍了用于内窥镜手术过程中对内窥镜进行术中液体浸没环境下的光学畸变校准的、可灭菌的定制相机校准靶标的设计与开发。

我们开发了一种校准标板，用于GIFT-Surg（胎儿手术引导器械）背景下液体浸没式内窥镜的使用。

本项目旨在开发一种可灭菌的内窥镜相机校准装置，供临床医生在手术室中使用。目前，实时追踪人体心血管图谱等医学成像方法常受到光学畸变效应的影响，而标准化的校准流程有望减轻此类问题。该装置可作为胎儿手术（如双胎输血综合征）中所用内窥镜进行术中同步校准的快速且实用的工具。在喷砂处理前，使用直尺在一块厚度为1.2毫米的316不锈钢板上绘制一个40毫米×40毫米的正方形。然后使用手动金属切割器将该正方形切割下来，并用锉刀将样品的角部和边缘修圆。接着将该钢片放置于一块略大于正方形样品、厚度为1至2厘米的支撑块上。使用一个台钳将样品固定在基块上，并在打磨过程中用另一个台钳紧紧夹住样品的边缘。然后将整个装置移入内部喷砂室，打开压缩气流，并将喷砂室紧密密封。随后戴上一副护目镜，将喷砂枪垂直对准金属表面，并保持至少四到五厘米的距离。接下来，使用脚踏控制器对样品进行喷砂处理。然后，根据需要，按上述方法对另一面进行喷砂。对于样品的激光图案化，首先设计一组不对称的圆形图案，并使用合适的设计软件制备该设计的绘图交换格式文件。将文件导入激光切割软件，并设置背景蚀刻和蚀刻图案的边界。进入 smartest 软件的激光选项卡。当选择不锈钢作为材料时，预设的边界将会出现。根据需要调整功率、脉冲频率、扫描速度和每轮廓的扫描次数。如有需要，调整待刻蚀图案的X轴和Y轴位置。为了通过方块的端点识别图案，应优化方块及背景的颜色。开始图案化之前，还应检查激光的正确性能和光斑范围设置。接下来，将样品放置于工作平台上，使用Z轴控制窗口调节激光高度，对样品表面进行聚焦。检查软件中是否已激活“开始测试”选项，并打开激光面板上的激光二极管，然后调节激光的高度。当测试光斑与二极管激光光斑重合时，激光的焦点即精确位于表面。使用软件对齐切割图案。将图案样品浸入酒精中以清洁表面。然后将样本用灭菌包装材料包裹，以进行高压灭菌。校准内窥镜时，首先安装在 GitHub 上提供的 Endocal 内窥镜校准软件包。然后将校准靶标放入灭菌液体容器中，例如格里波特皿（gallipot）。用目标液体填充容器，并根据需要调整内窥镜的缩放倍数和清晰度。然后将内窥镜浸入液体中，手持内窥镜使其与校准目标保持一定距离，该距离应与后续使用内窥镜时的实际工作距离相似。接着启动校准程序并开始采集摄像头图像，在保持整个校准图案始终位于摄像头视野内的同时，轻微移动内窥镜尖端以获取不同的视角。根据 Endocal 窗口中所示，获取校准所需的最少内窥镜相机视图数量。该可灭菌校准靶标是通过在喷砂不锈钢板上制作非对称圆形图案而制成的，如图中所示。为了使图案最终呈现一致的颜色，线条之间的距离应小于激光束的宽度。此处展示了该标定目标在内窥镜使用过程中的一个示例设置。所制备的标定目标可利用 OpenCV 在内窥镜视频流中检测出圆形斑点，并将这些斑点的位置按预定义的非对称圆形网格几何结构进行排序，进而用于估算光学畸变参数。利用所估算的参数可对光学畸变进行校正。例如，在此具有代表性的内窥镜视野中，矩形棋盘格图案由于光学畸变导致线条呈现为曲线。然而，在进行畸变校正后，线条恢复为正常形态。该技术使得利用 readily available 的医用级材料，能够以较低成本制备出可灭菌的内窥镜相机校准装置。基于本研究取得的积极成果，我们正致力于开发一种功能完备的人体工学校准装置，该装置仅需最少的用户操作。这种生产方法有助于解答医学影像解释领域中的关键问题，例如：如何在校准过程中保持内窥镜摄像头的可灭菌性？我们的校准装置可与Open CV等先进的相机校准软件兼容，进一步降低了该设备与多种潜在临床软件应用集成的复杂性。

medical-grade-sterilizable-target-for-fluid-immersed-fetoscope

Research

科研

JoVE Journal

Bioengineering

生物工程

对于流体沉浸胎儿镜的光学畸变校正医用灭菌目标

本文介绍了一种采用微尺度纹影技术测量微流控器件中混合不均匀性的方法。通过校准，可从微纹影图像中推导出浓度梯度的分布情况。...

采用微尺度纹影技术分析微流控芯片中的混合不均匀性

我们介绍一种用于创建基于细胞的神经递质荧光工程报告系统（CNiFERs）的方案，以实现对容积性神经递质释放的光学检测。...

用于神经递质光学检测的细胞型神经递质荧光工程报告系统（CNiFERs）的构建 体内

我们报道了一种改良的三氯化铁（FeCl3）诱导的颈动脉、肠系膜动脉以及静脉血栓形成模型，该模型可通过活体显微镜高效地监测闭塞性血栓形成的时间。...

氯化铁诱导的小鼠血栓形成模型

在逼真的模型上练习单绒毛膜胎盘吻合支胎儿镜激光凝固术所需的具体操作技能，可帮助经验较少的外科医生克服该手术陡峭的学习曲线。目前，该手术已被视为双胎输血综合征的标准治疗方法。...

模型外科培训：使用逼真模拟器进行单绒毛膜双羊膜囊双胎胎盘胎儿镜激光凝固术的技能获取

本文介绍了一种立体定位手术方法，该方法采用倾斜的冠状面入路，可靶向传统方法难以触及的脑区（受限于空间限制）。该方案适用于小鼠和大鼠模型，可广泛应用于多种神经科学研究，包括套管植入和病毒载体的微量注射。...

可调节角度的立体定向方法用于多种神经科学技术

我们介绍一种从腹侧暴露成年小鼠脑干的实验方案。通过使用梯度折射率透镜与微型显微镜，可利用钙成像技术在活体中检测下橄榄核神经元胞体的活动。...

in vivo 小鼠下橄榄核钙成像

在农村或与军事相关的场景中，眼球开放性损伤可能数天内得不到治疗，从而导致失明。因此需要有效的治疗手段以最大限度减少视力丧失。本文详细介绍了一种眼球开放性损伤的器官培养模型。利用该模型，可对潜在的治疗药物在稳定此类损伤方面的效果进行科学评估。...

用于追踪开放性眼球损伤及治疗效果的前房段器官培养平台

我们提出了一种利用光纤共聚焦激光显微内镜（CLM）无创研究结膜下注射后脂质体在眼部时空分布的实验方案。...

时空 在体 内 使用光纤共聚焦激光显微内镜成像眼部药物递送系统

本文描述了一种微张力计/共聚焦显微镜的设计与操作方法，可用于在观察界面形貌的同时，同步测量界面张力和界面膨胀流变学性质。该方法可实时构建在技术和生理过程中具有重要意义的界面结构-性能关系。...

用于共聚焦显微镜观察动态界面的微张力测定仪

我们提出了一种利用压缩试验自动表征眼晶状体有效弹性模量的方法。...

晶状体自动压缩测试

了解流体浸没式胎儿镜光学畸变校正方法，使用316不锈钢激光蚀刻标定靶与OpenCV软件实现术中快速无菌校准。该医用灭菌目标可提高内窥镜成像精度，支持胎儿手术等临床应用的图像处理。

可灭菌医用级液体浸没式胎儿镜光学畸变校准靶

探索更多视频