基于数字条纹投影技术的高分辨率、高速、三维视频成像

摘要

本视频介绍了数字条纹投影技术的基本原理，该技术可对动态变化的表面进行密集的三维测量。 同时演示了基于这些技术的高速二值散焦系统的设计与操作。

摘要

数字条纹投影（DFP）技术可对动态变化的表面进行密集的三维测量。 与人类的眼睛和大脑类似，DFP通过同一场景在不同角度下的两个视图中匹配点之间的三角测量来计算深度。 然而，与基于立体视觉的方法不同，DFP使用数字视频投影仪替代其中一个相机¹。投影仪快速将已知的正弦条纹图案投射到被测物体上，物体表面会使这些图案在相机视野中发生形变。利用相机采集的三幅形变后的条纹图像，可通过三角测量法计算出深度信息。

与其他三维测量方法不同，DFP 技术所构建的系统通常具有更快的速度、更低的设备成本、更高的灵活性以及更简便的开发过程。 DFP 系统还能实现与相机相当的测量分辨率。 正因如此，DFP 及其他数字结构光技术近年来成为研究热点（综述见参考文献^1-5）。通过结合 DFP、图形处理单元以及优化算法，我们已开发出一套系统，能够以每帧超过 300,000 个测量点的规模，实现 30 Hz 的三维视频数据采集、重建与显示^6,7。 其中，二值化离焦 DFP 方法可实现更高的速度⁸。

多种应用均可受益于 DFP 技术。我们的合作者已将我们的系统用于面部功能分析⁹、面部动画¹⁰、心脏力学研究¹¹以及流体表面测量，但仍存在许多其他潜在应用。 本视频将讲授 DFP 技术的基本原理，并演示二值去焦 DFP 系统的设计与操作。

引言

数字条纹投影（DFP）技术基于从不同角度获取同一场景两个视图之间的相关性和三角测量原理，这与人类眼睛和大脑实现立体视觉所采用的原理相同。然而，与基于立体视觉的方法不同，DFP 使用数字视频投影仪替代其中一个相机¹。投影仪将已知的正弦条纹图案快速投射到物体表面，该图案在相机视角下因物体表面形貌而发生形变。通过分析三幅具有不同相位偏移的此类形变条纹图像，可利用三角测量法重建出深度信息。由于使用了已知的投影图案，避免了解算对应点这一复杂的计算问题，从而能够以相机分辨率获取深度测量数据。例如，使用分辨率为 576 × 576 的相机时，该技术可同时获取 331,776 个测量点。因此，DFP 系统能够测量非常细微的细节，例如人类情绪表达时面部肌肉的运动。

几十年来，针对静态或准静态事件的三维光学成像技术得到了广泛研究，并在电子游戏设计、动画、电影、音乐视频、虚拟现实、远程手术以及众多工程领域取得了巨大成功⁵。尽管目前已存在多种三维轮廓测量技术，但这些技术可归为两类：表面接触式方法和表面非接触式方法。坐标测量机（CMM）和原子力显微镜（AFM）均需与被测表面接触，以实现高精度的三维形貌测量。这一要求严重限制了接触式方法的测量速度，使其无法达到每秒千赫兹的测量速率，也无法在每次扫描中获取数千个测量点。

表面非接触技术通常采用光学三角测量方法（例如 立体视觉、时空立体、结构光）。通过向物体主动投射已知的图案，结构光技术可用于测量缺乏显著局部纹理变化的表面¹。条纹分析是一类特殊的结构光技术，采用正弦结构化图案（也称为条纹图案）。由于这些图案的强度在空间中以已知方式连续变化，因此可将结构光技术的分辨率从投影仪像素级提升至相机像素级¹²。近年来，条纹分析技术在实现高分辨率三维成像方面发挥了关键作用。

数字条纹投影（DFP）技术利用数字视频投影仪生成正弦条纹图案。该技术具有成本低、速度快、开发简便等优点，在过去十年中成为一个非常活跃的研究领域。近年来DFP及类似的数字结构光技术的进展已总结于文献^1-5中。为实现高速应用，由于其基本工作机理，采用数字光处理（DLP）投影仪更为理想。该技术的速度与灵活性使我们能够以40 Hz ¹³的帧率获取三维视频，随后进一步提升至60 Hz ^6,7。

然而，传统的DFP技术存在一个基本的速度限制。DLP投影仪仅能在其最大刷新率（通常为120 Hz）下切换8位彩色图像。由于传统条纹图案是8位灰度图像，因此可将三个条纹图案分别编码为一个彩色图像的红、绿、蓝三个颜色通道。投影仪将以三倍刷新率（通常为360 Hz）依次切换每个通道（从而切换每个条纹图案）。但由于每个3D视频帧需要三个条纹图案，因此3D视频采集的最大速率仍然仅为刷新率（120 Hz）^3,14。为了突破这一硬件限制，我们发明了一种采用二值离焦的改进型DFP技术⁸。该技术不再使用8位灰度条纹图案，而是采用计算机生成的1位二值结构化图案。通过投影仪镜头对这些图案进行离焦处理，使其变为适用于DFP的伪正弦图案。由于DLP投影仪显示二值图像的速度比显示8位灰度图像快数个数量级，因此二值离焦技术能够在与传统DFP技术相同的分辨率下，实现高达数十千赫兹 的3D视频成像速度¹⁵。

以下方案的总体目标是演示二值化离焦三步相移数字光栅投影（DFP）系统的基本实现与操作。首先，本方案将介绍必要组件的选择与集成；随后，讨论该系统最简单且最容易实现的校准方法，针对特定应用的更复杂校准方法可参见相关文献^16,17。接着，本方案将重点介绍利用该系统进行三维视频采集的步骤，以及将条纹图像转换为可视化三维测量结果的处理流程。最后，我们将展示来自实时与高速系统的部分代表性结果。

方案

1. 系统配置

该系统的示意图如图1所示。

1. 生成用于投影的条纹图案。 可使用 MATLAB、OpenCV 或 QT 等图像编程环境提前准备。根据文献¹⁸中的三步相移算法构建图案，生成三幅相位偏移互为 2π/3 的图像。对于二值散焦，采用抖动技术仅使用黑色和白色像素生成正弦图案，如文献¹⁹所述。
2. 选择数字光处理投影仪。 高速二值散焦系统需要更快的专用投影仪，例如配备 ALP 高速模块的 DLP LightCommander。务必使用二值或单色模式投影条纹图像。由于图像值仅为开启或关闭，无需进行非线性校正。利用投影仪的软件程序上传用于相移的图案。
3. 选择相机。 选择具有合适采集速率的黑白 CCD 或 CMOS 相机。避免在三维采集时使用彩色相机，因为颜色信息并非必需，且彩色相机需要进行非线性和伽马校正。需注意，相机必须能够采集每一帧三维视频所需的全部条纹图像。高质量正弦系统要求投影仪与相机之间精确同步；而二值散焦系统对此要求较为宽松²⁰。
4. 确定所需的最大 (x, y) 范围以及投影仪到物体的距离 (d₀)。 根据应用需求选择合理的范围，但应确保该区域略大于被测物体，以减少光学边界效应。由于投影仪的光输出呈截锥形，该 (x, y) 范围将决定 d₀。移动投影仪相对于大面积平面投影面的位置，直至达到所需的 (x, y) 范围，然后用卷尺测量 d₀。
5. 选择合适焦距的相机镜头。 根据相机传感器尺寸，确定焦距，使得在距离 d₀ 处的视场与期望的成像范围 (x, y) 相同。
6. 确定投影仪与相机之间的间距。 此处存在噪声与阴影之间的权衡。当两者之间的夹角较大时，特征点之间的三角测量更明显，但从相机视角看会有更多特征因阴影而丢失；当夹角较小时，三角测量变得困难，导致结果噪声增加。通常，10–15° 是一个较好的折中选择。

2. 系统校准

该参考平面校准是系统中最简单且最容易实现的校准方法，因此最适合初学者使用。针对特定的正弦¹⁶和二值化离焦¹⁷应用，文献中提供了更精确的校准方法。为获得最高精度，应在数据采集前立即进行校准。校准完成后，相机与投影仪之间不得发生相对位移。

1. 调整投影物镜的焦距（聚焦/散焦）。 小心地散焦投影物镜，直到成像平面上的条纹图案呈现为高质量的正弦波形。此过程可能需要反复检查数据质量（第4节）并调节物镜，以达到最佳效果。
2. 采集参考平面的条纹图像。 将一块白色平板放置在投影物镜的焦平面处，并确保其位于相机视场范围内。厚度为3/16英寸 (5 mm)的白色泡沫板效果良好，前提是面向系统的表面无反光、无明显瑕疵或破损。记录并保存该平板的条纹图像，用于后续数据处理步骤。
3. 采集已知尺寸参考物体的条纹图像。 在此步骤中，可使用刚性泡沫立方体作为简单示例。将立方体表面贴上1/16英寸 (1.5 mm)厚的白色自粘泡沫片，使其具有漫反射特性。将该立方体置于相机焦平面且在相机视场范围内，记录其条纹图像，用于后续处理步骤。

3. 数据采集

1. 将物体放置或邀请受试者坐在相机的焦平面上。 提醒受试者，投影仪的光线可能较亮。可在受试者后方使用黑色布料作为背景，以遮挡无关环境。
2. 调整相机光圈以优化光照强度。 样品的干涉图像应尽可能明亮，但不可过曝。图像过暗会导致噪声过大，而图像中过曝区域（显著的最大亮度区域）将导致过曝区域细节丢失。
3. 捕获所需数量的帧. 务必携带足够大的硬盘，以存储受试者数据和校准数据集的所有捕获图像。采用 .OBJ 文件格式时，以 30 Hz 采集、持续 1 分钟、分辨率为 640 × 480 的 3D 视频数据可能超过 50 GB。

4. 数据分析与可视化

使用针对速度优化的软件（例如我们自主开发的图形用户界面），此步骤可在数据采集过程中同步进行。实时处理使用户能够立即判断所得数据是否符合应用需求，并在必要时进行调整。然而，后期处理通常具有更高的灵活性和准确性。此外，后期处理的实现更为简便，是初学者的最佳起点。

1. 计算校准数据和被试数据的包裹相位。 在参考文献¹⁸中的三步相移算法中，相位描述了余弦函数中某一点的位置。由于我们有三个方程和三个未知数，因此可以求解步骤1.1中用于生成条纹图像的方程，从而得到每个点的相位。由于使用了反正切函数，计算出的相位范围为(-π, π]，因此被称为“包裹相位”。为了提高处理速度，我们开发了一种快速相位包裹算法，详见参考文献²¹。
2. 解包裹相位图。 采用一种相位解包裹算法，检测相位中的2π跳变，并通过加上或减去2π的整数倍来消除这些跳变。在以往的系统中，我们使用了参考文献²²中的快速算法，以稳健且快速地实现相位解包裹。在视频中，我们演示了参考文献¹⁵中描述的多频技术，该技术使用多组不同频率的三步相移图案。每组三幅图像得到的包裹相位图可组合起来，稳健地生成一幅单一的解包裹相位图。该技术可扩展使用二值离焦投影时的精确捕捉深度范围。
3. 可选：计算二维纹理。 对相邻的三幅条纹图像取平均，可消除条纹图案，生成二维纹理图。在可视化过程中，可根据需要将其映射到三维数据上。
4. 将解包裹的相位图转换为深度。 如参考文献²³所述，可通过校准立方体相位图与参考平面相位图之间的差值计算校准立方体的深度。将计算得到的深度与已知深度进行比较，以确定正确的深度缩放因子c₀。然后，通过从被试的相位中减去参考平面相位，并将结果乘以c₀，计算被试的深度。
5. 计算x和y坐标。 将缩放因子c₀应用于校准立方体的深度图。根据立方体在像素坐标系下的尺寸与已知的xy平面实际尺寸，确定转换因子ρ。将被试数据中的像素数量乘以ρ，即可计算出x和y坐标。
6. 可视化数据。 单帧数据可保存为我们内部格式，并使用简单的MATLAB代码查看，或保存为.OBJ格式，使用Blender等商业三维建模软件查看。由于每帧数据量较大，这些应用程序在某些计算机上可能运行缓慢。若需更高的响应速度或实现实时视频显示，可使用OpenGL或Direct3D等计算机图形库编写软件。该软件可利用图形处理器（GPU）快速从解包裹相位中生成x、y和z坐标，构建三角网格，计算光照法向量，并显示结果。借助GPU，我们实现了每秒约30帧的实时三维数据可视化，每帧包含约300,000个点。

结果

图1展示了该系统的示意图。本视频中的高速二值化离焦系统由Logic PD DLP LightCommander投影仪和Phantom v9.1 CMOS相机组成。

图2展示了我们用于人体面部的三维实时系统所获取的单帧图像。该系统采用分辨率为640 × 480的相机。得益于前述已知的正弦图案，我们能够采集640 × 480 = 307,200个测量点，具备足够高的分辨率以记录非常细微的细节。

图3展示了一个以60 Hz频率在三维空间中测量人类面部表情的示例。在此，从视频序列中选取的四个帧清晰地展示了实时系统捕捉精细几何结构动态变化的能力。

图4展示了我们用于实时二值离焦3D视频系统的实时可视化软件。受试者的3D采集视频实时显示在右侧的计算机显示器上。该软件使用C++编写，基于OpenGL库、GLSL和QT开发。所使用的计算机为联想笔记本电脑。

图5展示了利用我们新开发的超高速二值化散焦系统对活体兔心进行测量所获得的三维帧。该系统能够以667 Hz的速率记录分辨率为576 × 576的三维帧。为了在无运动伪影干扰的情况下测量心脏表面，必须采用超高速采集。该项心脏测量研究是与圣路易斯华盛顿大学的Igor Efimov教授合作开展的（详见¹¹）；需注意，实验所用兔子已被人道处死，且图像采集时心脏仍在跳动。

图 1. 三维视频成像系统的布局。 在该系统中，高速 DLP 投影仪快速连续地向被测物体投射三幅二值化抖动相移图像。采用高速 CMOS 相机逐帧捕获这三幅条纹图像，用于深度计算。

图2. 分辨率为640 × 480的人脸三维测量结果，显示精细结构细节。 从左至右分别为：纹理与几何结构同步捕获且完美对齐的图像、几何结构的明暗图、显示点密度的线框图、鼻部区域的放大视图以及眼部区域的放大视图。

图3. 从三维视频中选取的四个面部表情形成过程的关键帧。 该视频以60 Hz的帧率采集，分辨率为640 × 480。这些帧展示了女性面部从静息表情转变为微笑过程中几何形态的变化。

图 4. 实时3D视频的捕获、处理与渲染。 3D测量结果实时显示在受试者右侧的计算机屏幕上。

图5. 使用我们的超高速3D视频成像系统捕获活体兔心脏的动态过程。 心脏跳动频率约为200次/分钟。3D捕获速率为166 Hz，图像分辨率为576 × 576。更多细节请参见文献¹¹。

讨论

这种高分辨率、从实时到超高速的3D视频成像技术是一种平台型技术，有望惠及从生物科学到工程实践的众多不同科学领域。生物医学应用包括对面部运动和器官表面的精确测量。 其他应用还包括具有检测扭曲表面特征能力的3D自动化质量控制；增强型3D视频会议；电影和电子游戏中的面部特征高精度数字化；结构设计与分析中的密集且快速的形变测量；以及流体表面表征。 许多生物和工程应用（例如跳动的兔心、流体激波）需要二值离焦系统所提供的超高速成像速率，以无混叠伪影地准确解析特征。 

然而，该技术的广泛应用仍面临诸多挑战。 传统的数字条纹投影（DFP）技术需要投影仪显示8位灰度正弦条纹图案。 该技术的速度受限于投影仪的刷新率（通常为120 Hz）。 这一速度足以满足面部表情等缓慢运动的捕捉需求。 然而，许多应用需要更快的采集速率。

二值离焦技术已放宽了这一速度限制，我们已成功构建出一种超高速三维视频成像系统。 然而，该系统存在两个缺点。 首先，它需要使用昂贵的投影仪（如DLP Discovery平台）以及成本高昂的高速摄像机（如Vision Research Phantom v9.1）。 其次，由于该技术通过对方形二值图案进行离焦来生成正弦图案，因此在生成正弦条纹的质量方面难以达到传统数字条纹投影（DFP）技术的水平，且测量深度范围有所减小（详见²³）。 最近研究表明，采用抖动的二值正弦图案可显著缓解深度测量范围受限的问题¹⁹。 未来的研究将致力于在保留二值离焦技术优势的同时，克服其剩余的技术难题。 

另一个挑战是压缩和存储高速、高分辨率3D视频成像系统产生的大量数据。 未压缩的3D视频文件远大于未压缩的2D视频文件。 例如，以30 Hz的帧率、640 × 480分辨率录制1分钟的3D视频，其.OBJ文件大小可能超过50 GB，极难存储。 由于3D视频压缩领域进展甚微，我们未来将继续专注于这一方向。

材料

本文使用的材料清单

姓名	公司	目录编号	评论
未使用任何材料或设备。