Name: 使用数字条纹投影技术进行高分辨率、高速、三维视频成像 (视频) | JoVE Journal
Uploaded: 2013-12-03T13:10:00.000+00:00
Duration: 11 min 34 s
Description: 学习使用数字条纹投影技术进行高分辨率三维视频成像，通过二进制散焦系统实现实时动态表面测量。该方法可捕获每帧超过三十万个三维数据点，适用于医学成像和生物力学研究。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

playerTrialDesktop

这项研究是长达十余年积累的成果，始于张博士在石溪大学攻读研究生期间。我们爱荷华州立大学团队的历届学生为推动该技术发展至今日的水平做出了巨大贡献。本研究工作部分由美国国家科学基金会（项目编号 CMMI 1150711）以及威廉与弗吉尼亚·宾格基金会资助。

1. 系统配置
该系统的示意图如图1所示。
<ol>
	<li>生成用于投影的条纹图案。 可使用 MATLAB、OpenCV 或 QT 等图像编程环境提前准备。根据文献18中的三步相移算法构建图案，生成三幅相位偏移互为 2π/3 的图像。对于二值散焦，采用抖动技术仅使用黑色和白色像素生成正弦图案，如文献19所述。</li>
	<li>选择数字光处理投影仪。 高速二值散焦系统需要更快的专用投影仪，例如配备 ALP 高速模块的 DLP LightCommander。务必使用二值或单色模式投影条纹图像。由于图像值仅为开启或关闭，无需进行非线性校正。利用投影仪的软件程序上传用于相移的图案。</li>
	<li>选择相机。 选择具有合适采集速率的黑白 CCD 或 CMOS 相机。避免在三维采集时使用彩色相机，因为颜色信息并非必需，且彩色相机需要进行非线性和伽马校正。需注意，相机必须能够采集每一帧三维视频所需的全部条纹图像。高质量正弦系统要求投影仪与相机之间精确同步；而二值散焦系统对此要求较为宽松20。</li>
	<li>确定所需的最大 (x, y) 范围以及投影仪到物体的距离 (d0)。 根据应用需求选择合理的范围，但应确保该区域略大于被测物体，以减少光学边界效应。由于投影仪的光输出呈截锥形，该 (x, y) 范围将决定 d0。移动投影仪相对于大面积平面投影面的位置，直至达到所需的 (x, y) 范围，然后用卷尺测量 d0。</li>
	<li>选择合适焦距的相机镜头。 根据相机传感器尺寸，确定焦距，使得在距离 d0 处的视场与期望的成像范围 (x, y) 相同。</li>
	<li>确定投影仪与相机之间的间距。 此处存在噪声与阴影之间的权衡。当两者之间的夹角较大时，特征点之间的三角测量更明显，但从相机视角看会有更多特征因阴影而丢失；当夹角较小时，三角测量变得困难，导致结果噪声增加。通常，10–15° 是一个较好的折中选择。</li>
</ol>
2. 系统校准
该参考平面校准是系统中最简单且最容易实现的校准方法，因此最适合初学者使用。针对特定的正弦16和二值化离焦17应用，文献中提供了更精确的校准方法。为获得最高精度，应在数据采集前立即进行校准。校准完成后，相机与投影仪之间不得发生相对位移。
<ol>
	<li>调整投影物镜的焦距（聚焦/散焦）。 小心地散焦投影物镜，直到成像平面上的条纹图案呈现为高质量的正弦波形。此过程可能需要反复检查数据质量（第4节）并调节物镜，以达到最佳效果。</li>
	<li>采集参考平面的条纹图像。 将一块白色平板放置在投影物镜的焦平面处，并确保其位于相机视场范围内。厚度为3/16英寸&#160;(5 mm)的白色泡沫板效果良好，前提是面向系统的表面无反光、无明显瑕疵或破损。记录并保存该平板的条纹图像，用于后续数据处理步骤。</li>
	<li>采集已知尺寸参考物体的条纹图像。 在此步骤中，可使用刚性泡沫立方体作为简单示例。将立方体表面贴上1/16英寸&#160;(1.5 mm)厚的白色自粘泡沫片，使其具有漫反射特性。将该立方体置于相机焦平面且在相机视场范围内，记录其条纹图像，用于后续处理步骤。</li>
</ol>
3. 数据采集
<ol>
	<li>将物体放置或邀请受试者坐在相机的焦平面上。 提醒受试者，投影仪的光线可能较亮。可在受试者后方使用黑色布料作为背景，以遮挡无关环境。</li>
	<li>调整相机光圈以优化光照强度。 样品的干涉图像应尽可能明亮，但不可过曝。图像过暗会导致噪声过大，而图像中过曝区域（显著的最大亮度区域）将导致过曝区域细节丢失。</li>
	<li>捕获所需数量的帧. 务必携带足够大的硬盘，以存储受试者数据和校准数据集的所有捕获图像。采用 .OBJ 文件格式时，以 30 Hz 采集、持续 1 分钟、分辨率为 640 × 480 的 3D 视频数据可能超过 50 GB。</li>
</ol>
4. 数据分析与可视化
使用针对速度优化的软件（例如我们自主开发的图形用户界面），此步骤可在数据采集过程中同步进行。实时处理使用户能够立即判断所得数据是否符合应用需求，并在必要时进行调整。然而，后期处理通常具有更高的灵活性和准确性。此外，后期处理的实现更为简便，是初学者的最佳起点。
<ol>
	<li>计算校准数据和被试数据的包裹相位。 在参考文献18中的三步相移算法中，相位描述了余弦函数中某一点的位置。由于我们有三个方程和三个未知数，因此可以求解步骤1.1中用于生成条纹图像的方程，从而得到每个点的相位。由于使用了反正切函数，计算出的相位范围为(-π, π]，因此被称为“包裹相位”。为了提高处理速度，我们开发了一种快速相位包裹算法，详见参考文献21。</li>
	<li>解包裹相位图。 采用一种相位解包裹算法，检测相位中的2π跳变，并通过加上或减去2π的整数倍来消除这些跳变。在以往的系统中，我们使用了参考文献22中的快速算法，以稳健且快速地实现相位解包裹。在视频中，我们演示了参考文献15中描述的多频技术，该技术使用多组不同频率的三步相移图案。每组三幅图像得到的包裹相位图可组合起来，稳健地生成一幅单一的解包裹相位图。该技术可扩展使用二值离焦投影时的精确捕捉深度范围。</li>
	<li>可选：计算二维纹理。 对相邻的三幅条纹图像取平均，可消除条纹图案，生成二维纹理图。在可视化过程中，可根据需要将其映射到三维数据上。</li>
	<li>将解包裹的相位图转换为深度。 如参考文献23所述，可通过校准立方体相位图与参考平面相位图之间的差值计算校准立方体的深度。将计算得到的深度与已知深度进行比较，以确定正确的深度缩放因子c0。然后，通过从被试的相位中减去参考平面相位，并将结果乘以c0，计算被试的深度。</li>
	<li>计算x和y坐标。 将缩放因子c0应用于校准立方体的深度图。根据立方体在像素坐标系下的尺寸与已知的xy平面实际尺寸，确定转换因子ρ。将被试数据中的像素数量乘以ρ，即可计算出x和y坐标。</li>
	<li>可视化数据。 单帧数据可保存为我们内部格式，并使用简单的MATLAB代码查看，或保存为.OBJ格式，使用Blender等商业三维建模软件查看。由于每帧数据量较大，这些应用程序在某些计算机上可能运行缓慢。若需更高的响应速度或实现实时视频显示，可使用OpenGL或Direct3D等计算机图形库编写软件。该软件可利用图形处理器（GPU）快速从解包裹相位中生成x、y和z坐标，构建三角网格，计算光照法向量，并显示结果。借助GPU，我们实现了每秒约30帧的实时三维数据可视化，每帧包含约300,000个点。</li>
</ol>

<ol><li>Salvi, J., Fernandez, S., Pribanic, T., Llado, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+state+of+the+art+in+structured+light+patterns+for+surface+profilometry%5BTitle%5D)+AND+%22Patt.+Recogn%22%5BJournal%5D)">A state of the art in structured light patterns for surface profilometry.</a> Patt. Recogn. 43, 2666-2680 (2010).</li>
<li>Gorthi, S. S., Rastogi, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fringe+projection+techniques%3A+Whither+we+are%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Fringe projection techniques: Whither we are.</a> Opt. Laser Eng. 48 (2), 133-140 (2010).</li>
<li>Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+progresses+on+real-time+3-D+shape+measurement+using+digital+fringe+projection+techniques%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Recent progresses on real-time 3-D shape measurement using digital fringe projection techniques.</a> Opt. Laser Eng. 48 (2), 149-158 (2010).</li>
<li>Su, X., Zhang, Q. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Dynamic+3-D+shape+measurement+method%3A+A+review%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Dynamic 3-D shape measurement method: A review.</a> Opt. Laser Eng. 48 (2), 191-204 (2010).</li>
<li>Geng, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Structured-light+3D+surface+imaging%3A+a+tutorial%5BTitle%5D)+AND+%22Adv.+Opt.+Photonics%22%5BJournal%5D)">Structured-light 3D surface imaging: a tutorial.</a> Adv. Opt. Photonics. 3 (2), 128-160 (2011).</li>
<li>Zhang, S., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution%2C+real-time+3-D+absolute+coordinate+measurement+based+on+a+phase-shifting+method%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-resolution, real-time 3-D absolute coordinate measurement based on a phase-shifting method.</a> Opt. Express. 14 (7), 2644-2649 (2006).</li>
<li>Zhang, S., Royer, D., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((GPU-assisted+high-resolution%2C+real-time+3-D+shape+measurement%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">GPU-assisted high-resolution, real-time 3-D shape measurement.</a> Opt. Express. 14 (20), 9120-9129 (2006).</li>
<li>Lei, S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Flexible+3-D+shape+measurement+using+projector+defocusing%5BTitle%5D)+AND+%22Opt.+Lett%22%5BJournal%5D)">Flexible 3-D shape measurement using projector defocusing.</a> Opt. Lett. 34 (20), 3080-3082 (2009).</li>
<li>Mehta, R. P., Zhang, S., Hadlock, T. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+3-D+video+for+quantification+of+facial+movement%5BTitle%5D)+AND+%22Otolaryngol.+Head+Neck+Surg%22%5BJournal%5D)">Novel 3-D video for quantification of facial movement.</a> Otolaryngol. Head Neck Surg. 138 (4), 468-472 (2008).</li>
<li>Wang, Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High+resolution+acquisition%2C+learning+and+transfer+of+dynamic+3D+facial+expressions%5BTitle%5D)+AND+%22Comput.+Graph.+Forum%22%5BJournal%5D)">High resolution acquisition, learning and transfer of dynamic 3D facial expressions.</a> Comput. Graph. Forum. 23 (3), (2004).</li>
<li>Laughner, J. I., Zhang, S., Li, H., Efimov, I. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mapping+cardiac+surface+mechanics+with+structured+light+imaging%5BTitle%5D)+AND+%22Am.+J.+Physiol.+Heart+Circ.+Physiol%22%5BJournal%5D)">Mapping cardiac surface mechanics with structured light imaging.</a> Am. J. Physiol. Heart Circ. Physiol. , in press (2012).</li>
<li>Ekstrand, L., Wang, Y., Karpinsky, N., Zhang, S. Superfast 3D profilometry with digital fringe projection and phase-shifting techniques. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aEkstrand%2C+L+%22Handbook+of+3-D+machine+vision%3A+Optical+metrology+and+imaging%22">Handbook of 3-D machine vision: Optical metrology and imaging</a>. , Taylor & Francis. Boca Raton, FL. (2012).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-resolution+real-time+three-dimensional+shape+measurement%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">High-resolution real-time three-dimensional shape measurement.</a> Opt. Eng. 45 (12), 123-601 (2006).</li>
<li>Li, Y., Zhao, C., Qian, Y., Wang, H., Jin, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-speed+and+dense+three-dimensional+surface+acquisition+using+defocused+binary+patterns+for+spatially+isolated+objects%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">High-speed and dense three-dimensional surface acquisition using defocused binary patterns for spatially isolated objects.</a> Opt. Express. 18, 21-635 (2010).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Superfast+multifrequency+phase-shifting+technique+with+optimal+pulse+width+modulation%5BTitle%5D)+AND+%22Opt.+Express%22%5BJournal%5D)">Superfast multifrequency phase-shifting technique with optimal pulse width modulation.</a> Opt. Express. 19 (6), 5143-5148 (2011).</li>
<li>Zhang, S., Huang, P. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Novel+method+for+structured+light+system+calibration%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Novel method for structured light system calibration.</a> Opt. Eng. 45 (8), 083601(2006).</li>
<li>Merner, L., Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Accurate+calibration+for+3D+shape+measurement+system+using+a+binary+defocusing+technique%5BTitle%5D)+AND+%22Opt.+Laser+Eng%22%5BJournal%5D)">Accurate calibration for 3D shape measurement system using a binary defocusing technique.</a> Opt. Laser Eng. 51 (5), 514-519 (2013).</li>
<li><a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=%22Optical+Shop+Testing%22">Optical Shop Testing</a>. Malacara, D. , 3rd, John Wiley and Sons. New York. (2007).</li>
<li>Wang, Y., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+shape+measurement+with+binary+dithered+patterns%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Three-dimensional shape measurement with binary dithered patterns.</a> Appl. Opt. 51 (27), 6631-6636 (2012).</li>
<li>Ekstrand, L., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoexposure+for+three-dimensional+shape+measurement+with+a+digital-light-processing+projector%5BTitle%5D)+AND+%22Opt.+Eng%22%5BJournal%5D)">Autoexposure for three-dimensional shape measurement with a digital-light-processing projector.</a> Opt. Eng. 50 (12), 123-603 (2011).</li>
<li>Huang, P. S., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+three-step+phase-shifting+algorithm%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Fast three-step phase-shifting algorithm.</a> Appl. Opt. 45 (21), 5086-5091 (2006).</li>
<li>Zhang, S., Li, X., Yau, S. -T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multilevel+quality-guided+phase+unwrapping+algorithm+for+real-time+3-D+shape+reconstruction%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Multilevel quality-guided phase unwrapping algorithm for real-time 3-D shape reconstruction.</a> Appl. Opt. 46 (1), 50-57 (2007).</li>
<li>Xu, Y., Ekstrand, L., Dai, J., Zhang, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Phase+error+compensation+for+3-D+shape+measurement+with+projector+defocusing%5BTitle%5D)+AND+%22Appl.+Opt%22%5BJournal%5D)">Phase error compensation for 3-D shape measurement with projector defocusing.</a> Appl. Opt. 50 (18), 2572-2581 (2011).</li>
</ol>

作者无竞争性财务利益。

这种高分辨率、从实时到超高速的3D视频成像技术是一种平台型技术，有望惠及从生物科学到工程实践的众多不同科学领域。生物医学应用包括对面部运动和器官表面的精确测量。&#160;其他应用还包括具有检测扭曲表面特征能力的3D自动化质量控制；增强型3D视频会议；电影和电子游戏中的面部特征高精度数字化；结构设计与分析中的密集且快速的形变测量；以及流体表面表征。&#160;许多生物和工程应用（例如跳动的兔心、流体激波）需要二值离焦系统所提供的超高速成像速率，以无混叠伪影地准确解析特征。&#160;
然而，该技术的广泛应用仍面临诸多挑战。&#160;传统的数字条纹投影（DFP）技术需要投影仪显示8位灰度正弦条纹图案。&#160;该技术的速度受限于投影仪的刷新率（通常为120 Hz）。&#160;这一速度足以满足面部表情等缓慢运动的捕捉需求。&#160;然而，许多应用需要更快的采集速率。
二值离焦技术已放宽了这一速度限制，我们已成功构建出一种超高速三维视频成像系统。&#160;然而，该系统存在两个缺点。&#160;首先，它需要使用昂贵的投影仪（如DLP Discovery平台）以及成本高昂的高速摄像机（如Vision Research Phantom v9.1）。&#160;其次，由于该技术通过对方形二值图案进行离焦来生成正弦图案，因此在生成正弦条纹的质量方面难以达到传统数字条纹投影（DFP）技术的水平，且测量深度范围有所减小（详见23）。&#160;最近研究表明，采用抖动的二值正弦图案可显著缓解深度测量范围受限的问题19。&#160;未来的研究将致力于在保留二值离焦技术优势的同时，克服其剩余的技术难题。&#160;
另一个挑战是压缩和存储高速、高分辨率3D视频成像系统产生的大量数据。&#160;未压缩的3D视频文件远大于未压缩的2D视频文件。&#160;例如，以30 Hz的帧率、640 × 480分辨率录制1分钟的3D视频，其.OBJ文件大小可能超过50 GB，极难存储。&#160;由于3D视频压缩领域进展甚微，我们未来将继续专注于这一方向。

数字条纹投影（DFP）技术基于从不同角度获取同一场景两个视图之间的相关性和三角测量原理，这与人类眼睛和大脑实现立体视觉所采用的原理相同。然而，与基于立体视觉的方法不同，DFP 使用数字视频投影仪替代其中一个相机1。投影仪将已知的正弦条纹图案快速投射到物体表面，该图案在相机视角下因物体表面形貌而发生形变。通过分析三幅具有不同相位偏移的此类形变条纹图像，可利用三角测量法重建出深度信息。由于使用了已知的投影图案，避免了解算对应点这一复杂的计算问题，从而能够以相机分辨率获取深度测量数据。例如，使用分辨率为 576 × 576 的相机时，该技术可同时获取 331,776 个测量点。因此，DFP 系统能够测量非常细微的细节，例如人类情绪表达时面部肌肉的运动。
几十年来，针对静态或准静态事件的三维光学成像技术得到了广泛研究，并在电子游戏设计、动画、电影、音乐视频、虚拟现实、远程手术以及众多工程领域取得了巨大成功5。尽管目前已存在多种三维轮廓测量技术，但这些技术可归为两类：表面接触式方法和表面非接触式方法。坐标测量机（CMM）和原子力显微镜（AFM）均需与被测表面接触，以实现高精度的三维形貌测量。这一要求严重限制了接触式方法的测量速度，使其无法达到每秒千赫兹的测量速率，也无法在每次扫描中获取数千个测量点。
表面非接触技术通常采用光学三角测量方法（例如&#160;立体视觉、时空立体、结构光）。通过向物体主动投射已知的图案，结构光技术可用于测量缺乏显著局部纹理变化的表面1。条纹分析是一类特殊的结构光技术，采用正弦结构化图案（也称为条纹图案）。由于这些图案的强度在空间中以已知方式连续变化，因此可将结构光技术的分辨率从投影仪像素级提升至相机像素级12。近年来，条纹分析技术在实现高分辨率三维成像方面发挥了关键作用。
数字条纹投影（DFP）技术利用数字视频投影仪生成正弦条纹图案。该技术具有成本低、速度快、开发简便等优点，在过去十年中成为一个非常活跃的研究领域。近年来DFP及类似的数字结构光技术的进展已总结于文献1-5中。为实现高速应用，由于其基本工作机理，采用数字光处理（DLP）投影仪更为理想。该技术的速度与灵活性使我们能够以40 Hz&#160;13的帧率获取三维视频，随后进一步提升至60 Hz&#160;6,7。
然而，传统的DFP技术存在一个基本的速度限制。DLP投影仪仅能在其最大刷新率（通常为120 Hz）下切换8位彩色图像。由于传统条纹图案是8位灰度图像，因此可将三个条纹图案分别编码为一个彩色图像的红、绿、蓝三个颜色通道。投影仪将以三倍刷新率（通常为360 Hz）依次切换每个通道（从而切换每个条纹图案）。但由于每个3D视频帧需要三个条纹图案，因此3D视频采集的最大速率仍然仅为刷新率（120 Hz）3,14。为了突破这一硬件限制，我们发明了一种采用二值离焦的改进型DFP技术8。该技术不再使用8位灰度条纹图案，而是采用计算机生成的1位二值结构化图案。通过投影仪镜头对这些图案进行离焦处理，使其变为适用于DFP的伪正弦图案。由于DLP投影仪显示二值图像的速度比显示8位灰度图像快数个数量级，因此二值离焦技术能够在与传统DFP技术相同的分辨率下，实现高达数十千赫兹&#160;的3D视频成像速度15。
以下方案的总体目标是演示二值化离焦三步相移数字光栅投影（DFP）系统的基本实现与操作。首先，本方案将介绍必要组件的选择与集成；随后，讨论该系统最简单且最容易实现的校准方法，针对特定应用的更复杂校准方法可参见相关文献16,17。接着，本方案将重点介绍利用该系统进行三维视频采集的步骤，以及将条纹图像转换为可视化三维测量结果的处理流程。最后，我们将展示来自实时与高速系统的部分代表性结果。

<table><tbody><tr><td colspan="4">&lt;p class=&quot;jove_content">未使用任何材料或设备。&lt;/p&gt;</td></tr></tbody></table>

基于数字条纹投影技术的高分辨率、高速、三维视频成像

High-resolution, High-speed, Three-dimensional Video Imaging with Digital Fringe Projection Techniques

数字条纹投影（DFP）技术可对动态变化的表面进行密集的三维测量。&#160;与人类的眼睛和大脑类似，DFP通过同一场景在不同角度下的两个视图中匹配点之间的三角测量来计算深度。&#160;然而，与基于立体视觉的方法不同，DFP使用数字视频投影仪替代其中一个相机1。投影仪快速将已知的正弦条纹图案投射到被测物体上，物体表面会使这些图案在相机视野中发生形变。利用相机采集的三幅形变后的条纹图像，可通过三角测量法计算出深度信息。
与其他三维测量方法不同，DFP 技术所构建的系统通常具有更快的速度、更低的设备成本、更高的灵活性以及更简便的开发过程。&#160;DFP 系统还能实现与相机相当的测量分辨率。&#160;正因如此，DFP 及其他数字结构光技术近年来成为研究热点（综述见参考文献1-5）。通过结合 DFP、图形处理单元以及优化算法，我们已开发出一套系统，能够以每帧超过 300,000 个测量点的规模，实现 30&#160;Hz 的三维视频数据采集、重建与显示6,7。&#160;其中，二值化离焦 DFP 方法可实现更高的速度8。
多种应用均可受益于 DFP 技术。我们的合作者已将我们的系统用于面部功能分析9、面部动画10、心脏力学研究11以及流体表面测量，但仍存在许多其他潜在应用。&#160;本视频将讲授 DFP 技术的基本原理，并演示二值去焦 DFP 系统的设计与操作。

图1展示了该系统的示意图。本视频中的高速二值化离焦系统由Logic PD DLP LightCommander投影仪和Phantom v9.1 CMOS相机组成。
图2展示了我们用于人体面部的三维实时系统所获取的单帧图像。该系统采用分辨率为640 × 480的相机。得益于前述已知的正弦图案，我们能够采集640 × 480 = 307,200个测量点，具备足够高的分辨率以记录非常细微的细节。
图3展示了一个以60 Hz频率在三维空间中测量人类面部表情的示例。在此，从视频序列中选取的四个帧清晰地展示了实时系统捕捉精细几何结构动态变化的能力。
图4展示了我们用于实时二值离焦3D视频系统的实时可视化软件。受试者的3D采集视频实时显示在右侧的计算机显示器上。该软件使用C++编写，基于OpenGL库、GLSL和QT开发。所使用的计算机为联想笔记本电脑。
图5展示了利用我们新开发的超高速二值化散焦系统对活体兔心进行测量所获得的三维帧。该系统能够以667 Hz的速率记录分辨率为576 × 576的三维帧。为了在无运动伪影干扰的情况下测量心脏表面，必须采用超高速采集。该项心脏测量研究是与圣路易斯华盛顿大学的Igor Efimov教授合作开展的（详见11）；需注意，实验所用兔子已被人道处死，且图像采集时心脏仍在跳动。
<img alt="结构光成像示意图及投影方程；投影仪-相机系统用于分析图案。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig1highres.jpg" src="/files/ftp_upload/50421/50421fig1.jpg" data-altupdatedat="1787630408000" data-alt="图 1"> 
图 1. 三维视频成像系统的布局。 在该系统中，高速 DLP 投影仪快速连续地向被测物体投射三幅二值化抖动相移图像。采用高速 CMOS 相机逐帧捕获这三幅条纹图像，用于深度计算。
<img alt="三维面部重建过程；网格可视化；数字建模技术；人体测量学研究。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig2highres.jpg" src="/files/ftp_upload/50421/50421fig2.jpg" data-altupdatedat="1787630408000" data-alt="图2"> 
图2. 分辨率为640 × 480的人脸三维测量结果，显示精细结构细节。 从左至右分别为：纹理与几何结构同步捕获且完美对齐的图像、几何结构的明暗图、显示点密度的线框图、鼻部区域的放大视图以及眼部区域的放大视图。
<img alt="三维面部表情形变、数字化转换、视觉分析、序列图。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig3highres.jpg" src="/files/ftp_upload/50421/50421fig3.jpg" data-altupdatedat="1787630408000" data-alt="图3"> 
图3. 从三维视频中选取的四个面部表情形成过程的关键帧。 该视频以60 Hz的帧率采集，分辨率为640 × 480。这些帧展示了女性面部从静息表情转变为微笑过程中几何形态的变化。
<img alt="使用光学扫描和3D成像实验展示实时结果的面部识别装置。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig4highres.jpg" src="/files/ftp_upload/50421/50421fig4.jpg" data-altupdatedat="1787630408000" data-alt="图 4"> 
图 4. 实时3D视频的捕获、处理与渲染。 3D测量结果实时显示在受试者右侧的计算机屏幕上。
<img alt="3D心脏模型；显示医学影像分析中不同旋转视角的示意图。" fo:content-width="5in" fo:src="/files/ftp_upload/50421/50421fig5highres.jpg" src="/files/ftp_upload/50421/50421fig5.jpg" data-altupdatedat="1787630408000" data-alt="Figure 5"> 
图5. 使用我们的超高速3D视频成像系统捕获活体兔心脏的动态过程。 心脏跳动频率约为200次/分钟。3D捕获速率为166 Hz，图像分辨率为576 × 576。更多细节请参见文献11。

本视频介绍了数字条纹投影技术的基本原理，该技术可对动态变化的表面进行密集的三维测量。&#160;同时演示了基于这些技术的高速二值散焦系统的设计与操作。

数字条纹投影（DFP）技术可对动态变化的表面进行密集的三维测量。与人类眼睛和大脑类似，DFP利用……

本实验的总体目标是以实时或高于实时的速度获取高分辨率的三维视频。首先通过数字光处理投影仪高速地将正弦条纹图案投射到被测物体表面，从而实现这一目标。通过依次投射三幅相位偏移的余弦图案，以实现高精度的三维重建。使用相机从另一个观察角度捕获这些图像。第二步是根据每组三幅条纹图案图像计算包裹相位。该过程通过反正切函数和图像强度值来实现。接下来，对相位进行解包裹，以消除由反正切函数引起的2π不连续性。最后一步是从被测物体的解包裹相位中恢复深度信息。该深度信息是被测物体与校准平面的解包裹相位图之间的差值，再通过使用参考物体确定的常数进行适当的缩放和平移得到。最终，可以使用图形软件显示所得的数据帧。与激光扫描等现有方法相比，该技术的主要优势在于能够同时实现高分辨率和高速度。由于已知的正弦图案被投射到被测物体上，因此对于所用相机的每个像素均可获取一个三维数据点，使用576×576像素的相机即可实现。每帧可获取超过 300,000 个 3D 数据点。尽管该方法具有潜在的医学应用价值，例如捕捉面部表情的形成过程或心脏表面的跳动，也可应用于众多其他研究领域。它能够实现高分辨率的面部运动捕捉，用于电影和电子游戏制作，或提升视频会议的效果。它还可用于检测制造环境中的缺陷。该方法的可视化演示对于校准至关重要。由于系统的视觉特性及其测量方式，这些处理步骤难以掌握。检测问题最简单且最便捷的方法是通过经过训练的视觉检查。第一步是生成将要投射的干涉条纹图案。这些图案事先在此处使用图像编程环境 matlab 进行准备。本视频将重点介绍二值图案的使用。为了生成离焦的二值图案，采用抖动技术，仅利用纯黑色和纯白色像素来生成正弦图案。根据三步相移算法的要求，制作三幅彼此之间相位相差三分之二π的图案图像。在本演示中，多频技术额外生成了两组三幅图像，以捕捉更明显的深度变化。接下来，选择一台具有单色模式的高速数字光处理投影仪。使用投影仪配套的软件上传用于相位移动的图像。现在，为系统选择一台具有合适采集速率的黑白C、CD或COS相机。请注意，相机需要捕获每个视频帧中的全部条纹图像，以确定投影仪应距离物体多远。当图像的垂直和水平范围略大于待研究物体时，相对于一个大的平坦表面移动投影仪。测量投影仪到墙面的距离。利用该距离下所需的视场角和相机传感器尺寸，计算镜头的焦距。最后一步配置是确定投影仪与相机之间在较大角度下的角间距。特征点之间的三角测量很明显，但更多特征会在阴影中丢失。当角度较小时，三角测量变得困难，导致结果中的噪声增加。通常，10至15度是一个较好的折中选择。最好在数据采集之前进行校准。对于二值离焦系统，应调整投影镜头的焦距，使成像平面上的图案接近高质量的正弦波形。这可能需要通过反复检查测试数据并调节镜头来实现。如果条纹模糊成一片，则投影仪焦距过松；如果在图案中可见点状结构，则投影仪焦距过紧。现在，将一块平整的白板放置在相机和投影仪的视场范围内。将第一张干涉图像投射到板上，然后使用相机投影捕获并记录其余的干涉图像。以相同方式保存这些干涉图像，用于后续数据处理步骤，并将其标记为校准平面。接下来，将一个已知尺寸的物体放置于系统的视场中。此处使用一个表面贴有漫反射粘性泡沫方块的刚性泡沫立方体。将相同的一系列条纹图像投影到该立方体上。使用相机拍摄每张图像。将采集的图像保存下来用于后续处理步骤，并将其标记为校准立方体，以用于数据采集。将受试者置于相机的焦平面上，向受试者投射条纹图像并进行采集。通常需要高速成像以实现对快速运动的准确捕捉。人眼仅能观察到条纹。在时间干涉中，利用捕获的图像辅助调整相机光圈。为了优化光照水平，条纹图像应尽可能明亮，但不得饱和。下一步是数据的后处理。在三步相移算法中，相位是余弦函数的参数，用于确定某一点在正弦图案中的位置。已实现一种算法，可根据条纹图像计算每个点的相位，所得到的包裹相位位于该区间内。对校准平面、校准立方体以及受试者数据应用该算法，使用负的π到π范围。然后利用另一种算法对相位图进行解包裹，在相位跳变处加上或减去2π。在多频技术中，将每个频率对应的包裹相位图进行组合，以得到单一的解包裹相位图。此时，重要的是重新审视校准步骤。从校准平面相位图的中心位置提取一条水平截面。去除其主体轮廓以获得相位误差估计值。如果投射的图案过于聚焦，误差将会较大。根据需要调整投影仪镜头，使误差处于规定范围内。负0.1至0.1弧度。接下来，第三种算法计算校准立方体的深度，即校准立方体与参考平面相位图之间的差异。由此确定一个缩放因子。通过从被测物体的相位图中减去参考平面的相位图，并应用该缩放因子，即可得到被测物体的深度。现在可以将数据保存，以便在 MATLAB 或其他三维图形软件中进行可视化。该技术能够以足够高的分辨率对人脸进行实时至高速的三维成像，从而呈现精细的细节。左侧的三幅图像展示了以二维、纹理、叠加、明暗、光照和线框模式显示的完整面部。中间图像为鼻部区域的线框视图局部放大。注意右侧的点密度是眼睛周围区域的放大视图。这些图像使用正弦条纹图案生成。此处展示的是微笑形成过程的三维视频。视频以60赫兹的频率拍摄，分辨率为640乘480，使用了正弦条纹图案。可以实现实时3D视频的捕捉、处理和渲染。在此视频中，3D测量结果以30赫兹的频率显示在计算机屏幕上。作为该方法功能的最后一个示例，此图展示了活体兔心脏的三维视频成像。采用二值离焦技术，心脏跳动频率约为每分钟200次。三维捕捉速率为166赫兹，分辨率为576乘以576。高速度是防止运动伪影所必需的。一旦掌握了校准、数据采集和数据处理，若操作得当，整个过程可在数小时内完成。在开发完成后，使用专为高速设计的处理软件，可在计算机屏幕上实时显示大量处理器的处理结果。该技术为心脏表面力学领域的研究人员提供了新途径，使其能够利用高分辨率3D视频数据来研究跳动的兔心的动态表面几何特性。观看本视频后，您应基本掌握如何设计和操作高分辨率、高速3D视频系统。特别是，您应熟悉采用聚焦二值化图样的数字条纹投影技术以及参考平面校准方法背后的原理。你还应能够识别优质与劣质未包裹相位图之间的差异。

high-resolution-high-speed-three-dimensional-video-imaging-with

Research

科研

JoVE Journal

Engineering

工程

采用数字条纹投影技术的高分辨率、高速、三维视频成像

只有通过断层扫描技术才能实现无损的体积可视化，其中最有效的方法是X射线显微计算机断层扫描（CT）。...

Ex-Vivo 生物样本的显微CT高分辨率三维成像

本文描述了一种定制的实时共聚焦扫描成像系统的完整构建方法。该系统可轻松用于视频速率显微镜和显微内窥镜检查，能够实现多种标准商用共聚焦系统无法达到的成像几何结构和应用，且成本仅为后者的一小部分。...

视频速率扫描共聚焦显微成像与微型内窥显微技术

无透镜光学断层成像是一个三维显微技术，在x、y和z方向上的空间分辨率分别达到&lt;1 μm × &lt;1 μm × &lt;3 μm，成像体积可达15–100...

无透镜片上断层显微技术结合多角度照明与像素超分辨率

利用数字同轴全息显微镜（DIHM），可唯一确定弱散射物体的三维位置，该方法仅需对标准显微镜进行微小改造。我们的软件结合了简单的成像启发式算法与瑞利-索末菲反向传播法，以获得微观相位物体的三维位置和几何结构。...

弱散射样品的数字同轴全息显微术

介绍了一种克服光学衍射极限的方法。该方法包括两个步骤：首先利用迭代的Gerchberg-Saxton算法进行光学相位恢复，然后对成像系统进行位移并重复第一步。沿移动方向合成了增大的透镜孔径，从而实现了更高的成像分辨率。...

运动平台上成像的时间复用超分辨技术

活细胞内动态蛋白质的时空信息对于理解生物学过程至关重要。一种称为快速三维结构光照明显微镜（f3D-SIM）的超分辨率显微技术能够揭示细菌细胞分裂Z环的独特信息：不仅呈现其珠状结构，还能展示FtsZ蛋白在环内的快速动态行为。...

利用快速三维结构光照明显微镜（f3D-SIM）对活体细菌中细胞分裂Z环进行超分辨率成像

四维（4D）成像技术被用于研究活体脊椎动物神经末梢中两种内体之间的行为及其相互作用。这些微小结构的运动在三维空间中得以表征，从而能够确认内体融合和胞吐等事件的发生。...

活体神经末梢中内体动态的四维荧光成像可视化

我们提出了一种用于检测和表征微机电系统（MEMS）器件的紧凑型反射式数字全息系统（CDHM）。该系统采用无透镜设计，利用发散输入波实现自然的几何放大。文中展示了静态与动态研究结果。...

用于MEMS检测与表征的紧凑型无透镜数字全息显微镜

我们介绍了一种利用高分辨率显影显微镜获取小鼠胚胎三维（3D）图像的详细方案。该改进方案采用改良的组织制备方法，以增强荧光染料的渗透性，从而允许对大小不同的样本进行形态计量分析。...

快速获取三维图像的高分辨率表面荧光显微技术

我们提出了一种利用高分辨率库仑爆炸成像装置创建分子转动波包实时电影的实验方案。...

直接成像激光驱动的超快分子转动

我们提出一种在超细颗粒卤化银全息乳剂上记录一组超逼真全彩模拟全息图的方案，这些全息图具有相同的亮度、透明度和均匀颜色，用于构建动态全息三维显示装置。...

用于动态全息显示的超真实彩色模拟全息图记录

学习使用数字条纹投影技术进行高分辨率三维视频成像，通过二进制散焦系统实现实时动态表面测量。该方法可捕获每帧超过三十万个三维数据点，适用于医学成像和生物力学研究。

基于数字条纹投影技术的高分辨率、高速、三维视频成像

探索更多视频