使用数字条纹投影技术进行高分辨率、高速、三维视频成像

Summary

该视频介绍了数字条纹投影技术的基础知识，该技术提供动态变化表面的密集 3D 测量。它还演示了基于这些技术的高速二进制散焦系统的设计和作。

Abstract

数字条纹投影 （DFP） 技术提供动态变化表面的密集 3D 测量。与人眼和大脑一样，DFP 使用同一场景的两个视图中不同角度的匹配点之间的三角测量来计算深度。但是，与基于立体的方法不同，DFP 使用数字视频投影仪来替换其中一个摄像头¹.投影仪将已知的正弦图案快速投射到拍摄对象上，拍摄对象的表面会扭曲摄像机视野中的这些图案。来自照相机的三个扭曲图案（条纹图像）可用于通过三角测量计算深度。

与其他 3D 测量方法不同，DFP 技术使系统往往更快、设备成本更低、更灵活且更易于开发。DFP 系统还可以实现与相机相同的测量分辨率。因此，DFP 和其他数字结构光技术最近成为深入研究的重点（如^1-5 中总结的那样).利用图形处理单元 DFP 和优化算法，我们开发了一个能够进行 30 Hz 3D 视频数据采集、重建和显示的系统，每帧超过 300,000 个测量点^6,7。二进制散焦 DFP 方法可以实现更高的速度⁸。

各种应用程序都可以从 DFP 技术中受益。我们的合作者已经使用我们的系统进行面部功能分析9（facial function analysis^）、面部动画¹⁰（facial animation）、心脏力学研究¹¹（cardiac mechanics studies）和流体表面测量，但还存在许多其他潜在的应用。本视频将教授DFP技术的基础知识，并说明二进制散焦DFP系统的设计和作。

Introduction

数字条纹投影 （DFP） 技术基于同一场景在不同角度的两个视图之间的相关性和三角测量，人眼和大脑采用相同的原理来实现立体视觉。但是，与基于立体的方法不同，DFP 使用数字视频投影仪来替换其中一个摄像头¹。投影仪将已知的正弦图案快速投影到物体上，该物体的表面在摄像机的视图中会扭曲。可以分析彼此相移不同的三种此类扭曲图案（条纹图像），以通过三角测量检索深度。使用已知模式消除了识别对应点的困难计算问题，从而允许以相机分辨率捕获深度测量值。例如，使用 576 x 576 相机，该技术可以捕获 331,776 个点。这使得 DFP 系统能够测量非常精细的细节，例如人类情绪中面部肌肉的运动。

在过去的几十年里，用于静态或准静态事件的 3D 光学成像技术得到了广泛的研究，并在视频游戏设计、动画、电影、音乐视频、虚拟现实、远程外科手术和许多工程学科中取得了巨大成功⁵。尽管存在许多 3D 轮廓测量技术，但它们可以分为两类：表面接触法和表面非接触式方法。坐标测量机 （CMM） 和原子力显微镜 （AFM） 都需要与测量表面接触才能获得高精度的 3D 轮廓。这一要求对接触方法的速度提出了严格的限制。它们无法达到每次扫描数千个点的 kHz 测量速度。

表面非接触式技术通常利用光学三角测量方法（例如立体视觉、时空立体、结构光）。通过将已知图案主动投影到对象上，可以使用结构光技术来测量没有强烈局部纹理变化的表面¹。条纹分析是一组特殊的结构光技术，它使用正弦结构图案（也称为条纹图案）。由于这些图案的强度以已知方式从点到点连续变化，因此它们将结构光技术从投影仪像素分辨率提升到相机像素分辨率¹²。最近，条纹分析技术有助于实现高分辨率 3D 成像。

数字条纹投影 （DFP） 技术使用数字视频投影仪生成正弦条纹图案。该技术具有成本低、速度快、开发简单等优点，在过去十年中一直是一个非常活跃的研究领域。DFP 和类似的数字结构光技术的最新发展总结在^1-5 中。为了实现高速应用，数字光处理 （DLP） 投影仪是首选，因为它的基本作机制。这种技术的速度和灵活性使我们能够以 40 Hz ¹³ 的速度获取 3D 视频，然后以 60 Hz ^6,7 获取视频。

尽管如此，传统的 DFP 技术存在一个基本的速度限制。DLP 投影仪只能以最大刷新率（通常为 120 Hz）交换 8 位彩色图像。由于传统的条纹图案是 8 位灰度图像，因此我们可以将其中三个编码为一个彩色图像，作为红色、绿色和蓝色通道。投影仪将以刷新率的三倍（通常为 360 Hz）交换每个通道（因此每个条纹图案）。但是，由于每个 3D 视频帧都需要三个条纹图案，因此 3D 视频捕获的最大速率仍然只有刷新率 （120 Hz）^3,14。为了突破这一硬件限制，我们发明了一种改进的 DFP 技术，该技术使用二进制散焦⁸。该技术使用计算机生成的 1 位二进制结构图案，而不是 8 位灰度条纹图案。这些图案使用投影仪镜头散焦，成为 DFP 的伪正弦图案。由于 DLP 投影仪可以比 8 位灰度图像快几个数量级地显示二进制图像，因此二进制散焦技术允许数十 kHz 的 3D 视频成像速度，分辨率与传统 DFP 技术相同¹⁵。

以下协议的总体目标是演示二进制散焦三步移相 DFP 系统的基本实现和作。首先，该协议将涵盖必要组件的选择和集成。然后，它将讨论最简单、最容易获得的系统校准方法;文献中提供了针对特定应用的更复杂的校准方法^16,17。然后，该协议将重点介绍使用系统捕获 3D 视频的过程，以及将条纹图像转换为可视化 3D 测量的过程。最后，我们将展示来自实时和高速系统的一些代表性结果。

Protocol

1. 系统配置

图 1 显示了该系统的原理图。

1. 生成用于投影的条纹图案。 这些可以通过使用 MATLAB、OpenCV 或 QT 等图像编程环境提前准备好。根据¹⁸ 中的三步移相算法构建模式。制作三个图像，相位偏移 2π/3。对于二进制散焦，请使用抖动技术生成仅使用黑色和白色像素的正弦图案，如¹⁹ 中所述。
2. 选择数字光处理投影仪。 高速二进制散焦系统需要更快的专用投影仪，例如带有 ALP 高速模块的 DLP LightCommander。请务必使用二进制或单色设置来投影边缘图像。由于图像值完全是 on 或 off，因此不需要进行非线性调整。利用投影仪的软件程序上传相移图案。
3. 选择摄像机。选择具有适合系统捕获速率的黑白 CCD 或 CMOS 相机。避免使用彩色相机进行 3D 捕获，因为不需要彩色，而彩色相机需要非线性和 Gamma 调整。请记住，相机需要为每个 3D 视频帧捕获整组边缘图像。高质量的正弦系统需要投影仪和摄像机之间的精确同步;对于二进制散焦系统，这个要求更为宽松²⁰.
4. 确定所需的最大 （x， y） 范围和从投影机到对象的距离 （d₀）。 选择对应用程序有意义的范围，但请确保该区域略大于主体，以减少任何光学边界效应。由于投影仪的光输出是视锥体，因此这个 （x， y） 范围将驱动 d₀。相对于一个大的平面投影表面移动投影仪，直到找到所需的 （x， y） 范围，然后用卷尺测量 d₀。
5. 选择焦距合适的相机镜头。 使用相机的传感器尺寸，找到焦距，使距离 d₀ 处的视野与所需的成像范围 （x， y） 相同。
6. 确定投影仪和摄像机之间的间隔距离。这里需要在杂色和阴影之间进行权衡。在这些组件之间的大角度下，特征点之间的三角剖分更加明显，但从摄像机的角度来看，更多的特征会丢失在阴影中。在小角度下，三角测量变得困难，从而增加结果中的噪声。通常，10-15° 是一个很好的折衷方案。

2. 系统校准

这种参考平面校准是系统最简单、最容易获得的校准方法。因此，它是入门的最佳选择。文献中提供了针对特定正弦¹⁶ 和二进制散焦¹⁷ 应用的更准确的校准方法。为了获得最大准确度，应在数据采集前进行校准。校准后，摄像机和投影仪不应相对移位。

1. 对焦/散焦投影仪。 小心地散焦投影镜头，直到成像平面上的图案类似于高质量的正弦曲线。这可能需要检查数据质量（第 4 节）和调整镜头的迭代过程。
2. 捕获参考平面的条纹图像。将一块平坦的白板放在投影仪的焦平面和相机的视野中。3/16 英寸（5 毫米）厚的白色泡沫芯板效果很好，前提是面向系统的表面没有光泽或明显的瑕疵或撕裂。记录并保存此板的条纹图像，用于数据处理步骤。
3. 捕获已知尺寸的参考对象的条纹图像。对于此步骤，硬质泡沫立方体是一个简单的示例。用 1/16 英寸（1.5 毫米）的方形白色胶粘剂泡沫覆盖立方体，使其扩散。将其放置在相机视野中相机的焦平面上，并记录条纹图像以进行处理步骤。

3. 数据采集

1. 放置对象或邀请主体坐在相机的焦平面上。 对于人类主体，警告他或她投影仪的光线可能很亮。可以在主体后面使用黑色布背景来隐藏无关的环境。
2. 调整相机光圈以优化光照水平。 边缘图像样本应尽可能明亮，但不要饱和。深色图像将具有过多的杂色，而图像中的饱和区域（最大亮度的重要区域）将导致饱和区域中的细节丢失。
3. 捕获所需的帧数。 确保带一个足够大的硬盘驱动器，以容纳受试者和校准数据集的所有捕获图像。使用 .OBJ 文件格式，以 30 Hz 以 640 x 480 的分辨率录制 1 分钟的 3D 视频可能超过 50 GB。

4. 数据分析和可视化

借助针对速度优化的软件，例如我们内部的 GUI，此步骤可以在数据采集期间进行。实时处理允许用户立即检测生成的数据是否适合应用程序，并在必要时进行调整。但是，后处理可以更灵活且精度更高。后处理也更易于实现，并且是最好的起点。

1. 计算校准和主题数据的包装相位。 在¹⁸ 的三步移相算法中，相位描述了一个点在余弦函数中的位置。由于我们有三个方程和三个未知数，因此我们可以求解步骤 1.1 中用于为每个点的相位生成条纹图像的方程。由于反正切函数，计算的相位在 （-π， π] 范围内;因此它被称为 "wrapped phase"。为了提高处理速度，我们开发了一种快速相位包裹算法，将在²¹ 中讨论。
2. 展开相位图。采用相位解缠算法，检测相位中的 2π 跳变，并通过增加或减去 2π 的倍数来消除它们。我们在以前的系统中使用了²² 中的 fast 算法来稳健而快速地展开相位。在本视频中，我们演示了¹⁵ 中描述的多频技术，该技术使用不同频率的附加三组相移模式。每组三个包裹的相图可以组合起来，以稳健地产生单个未包裹的相图。该技术增加了深度范围，以便通过二进制散焦进行精确捕获。
3. 可选：计算 2D 纹理。对三个相邻条纹图像的集合进行平均将洗掉条纹并生成 2D 纹理图。如果需要，可以在可视化期间将其映射到 3D 数据上。
4. 将展开的相位图转换为深度图。 如²³ 中所述，校准立方体的深度可以计算为校准立方体相位图和参考平面相位图之间的差值。将此计算的深度与已知深度进行比较，以计算正确的深度比例因子 c₀。然后，通过从主体的相位中减去参考平面相位并将结果乘以 c₀ 来计算主体的深度。
5. 计算 x 坐标和 y 坐标。 将缩放因子 c₀ 应用于校准立方体深度图。确定从立方体尺寸（以像素为单位）到 xy 平面中已知立方体尺寸的转换因子 ρ。将主题数据中的像素数乘以 ρ 以计算 x 和 y 坐标。
6. 可视化数据。单个帧可以以我们的内部格式保存，并使用简单的 MATLAB 代码查看或保存为 .OBJ 格式，并使用商用 3D 建模程序（如 Blender）查看。由于每帧中的数据量很大，这些应用程序在某些计算机上可能会运行缓慢。为了提高响应速度或进行实时视频显示，请使用计算机图形库（如 OpenGL 或 Direct3D）编写软件。该软件可以利用图形处理单元 （GPU） 从展开阶段快速生成 x、y 和 z 坐标，形成三角形网格，计算照明法线并显示结果。使用 GPU，我们实现了高达 30 Hz 的实时 3D 数据可视化，每帧大约 300,000 个点。

Results

图 1 显示了该系统的原理图。本视频中的高速二进制散焦系统由一台 Logic PD DLP LightCommander 投影仪和一台 Phantom v9.1 CMOS 摄像头组成。

图 2 显示了我们的 3D 实时系统中的人脸单帧。该系统使用 640 x 480 相机。多亏了上述已知的正弦图案，我们可以捕获 640 x 480 = 307,200 个测量值，分辨率足以记录非常精细的细节。

图 3 显示了以 60 Hz 进行 3D 人体面部表情测量的示例。在这里，从视频序列中选择的四帧清楚地展示了实时系统在精细几何结构中捕捉动态变化的能力。

图 4 演示了我们的实时可视化软件与我们的实时二进制散焦 3D 视频系统结合使用。拍摄对象的 3D 捕获视频实时显示在他右侧的计算机显示器上。该软件是使用 OpenGL 库、GLSL 和 QT C++编写的。使用的计算机是联想笔记本电脑。

图 5 显示了使用我们新开发的超快速二进制散焦系统对活兔子心脏进行 3D 帧测量。该系统可以以 667 Hz 的频率记录 3D 帧，图像分辨率为 576 x 576。需要超快的速度来测量心脏表面，而不会产生运动引起的伪影。心脏测量研究是与华盛顿大学圣保罗分校的 Igor Efimov 教授合作进行的。路易（详见¹¹）;请注意，这只兔子是被人道杀死的，而且这些照片是在心脏还在跳动时拍摄的。

图 1.3D 视频成像系统的布局。在该系统中，高速 DLP 投影仪将三个二进制抖动相移图像快速连续地投射到主体上。高速 CMOS 相机用于逐个捕获三个条纹图像，以计算深度。

图 2.以 640 x 480 的分辨率对人脸进行 3D 测量，揭示精细细节。从左到右显示了与几何体完美对齐的同时捕获的纹理、几何体的阴影视图、描绘点密度的线框视图、鼻子区域的特写视图和眼睛区域的特写视图。

图 3.从 3D 视频中选择的四个面部表情形成帧。该视频以 60 Hz 的分辨率拍摄，分辨率为 640 x 480。这些帧突出了女性从中性表情转变为微笑时面部的几何变化。

图 4.实时 3D 视频捕获、处理和渲染。3D 测量值实时显示在受试者右侧的计算机屏幕上。

图 5.使用我们的超高速 3D 视频成像系统捕捉活兔子心脏。 心脏以大约 200 次/分钟的速度跳动。3D 捕获速率为 166 Hz，图像分辨率为 576 x 576。有关更多详细信息，请参见¹¹。

Discussion

这种高分辨率、实时到超快的 3D 视频成像技术是一种平台技术，可能会使从生物科学到工程实践的众多不同科学领域受益。生物医学应用包括面部运动和器官表面的精确测量。其他应用包括 3D 自动质量控制，可检测翘曲的表面特征;3D增强视频会议;电影和视频游戏面部特征的详细数字化;用于结构设计和分析的致密和快速变形测量;和流体表面表征。许多生物和工程应用（例如兔 心跳动、流体冲击波）需要二进制散焦系统的超快成像速率，以正确解析特征而不会产生混叠伪影。

然而，要广泛采用这项技术，仍然存在许多挑战。传统的 DFP 技术要求投影机显示 8 位灰度正弦条纹图案。这种技术的速度受投影机刷新率（通常为 120 Hz）的限制。此速度足以用于慢动作捕捉，例如面部表情。但是， 存在许多需要更快捕获速率的应用程序。

二进制散焦技术放宽了这种速度限制，我们成功地创建了超快的 3D 视频成像系统。然而，该系统有两个缺点。首先，它需要昂贵的投影仪（例如 DLP Discovery 平台）和昂贵的高速摄像机（例如 Vision Research Phantom v9.1）。其次，由于它通过平方二进制图案的散焦生成正弦图案， 二元散焦技术难以生成与传统 DFP 技术质量相同的正弦条纹，并且深度测量范围较小（进一步解释，见²³）。最近的研究表明，抖动的二元正弦图案可以显着减轻深度测量范围的限制¹⁹。未来的研究将侧重于克服剩余问题，同时保留二元散焦的优点。

另一个挑战是压缩和存储高速、高分辨率 3D 视频成像系统生成的大量数据。未压缩的 3D 视频比未压缩的 2D 视频大得多。例如，对于以 30 Hz 以 640 x 480 分辨率录制 1 分钟的 3D 视频，.OBJ 文件大小可能超过 50 GB，因此存储起来极其困难。由于 3D 视频压缩领域进展甚微，我们将在未来继续关注这一点。