使用数字条纹投影技术进行高分辨率、高速、三维视频成像
December 3rd, 2013
该视频介绍了数字条纹投影技术的基础知识，该技术提供动态变化表面的密集 3D 测量。它还演示了基于这些技术的高速二进制散焦系统的设计和作。
此过程的总体目标是以或更高的实时速度捕获高分辨率 3D 视频。这是通过首先使用数字光处理投影仪将正弦条纹图案图像高速投影到主体上来实现的。按顺序投影三个移位的 cosign 模式以实现高精度。
相机用于从另一个视角捕获这些图像。第二步是从每组三个条纹图案图像中计算包裹相位。这是使用 arc tangent 函数和图像强度值完成的。
接下来，展开相以消除由反正切函数导致的两个 pi 不连续性。最后一步是从主题的 unwrap 阶段检索深度。这是主体的展开相位图与校准平面之间的差异，该平面由使用参考对象找到的常数进行适当缩放和转换。
最终，可以使用图形软件显示生成的数据框。与激光扫描等其他现有方法相比，该技术的主要优点是它能够同时实现高分辨率和高速。由于已知的正弦图案被投影到主体上，因此可以为 5 76 x 5 76 相机使用的相机的每个像素检索一个 3D 数据点。
我们每帧可以检索超过 300， 000 个 3D 数据点。虽然这种方法具有潜在的医学应用，例如捕捉面部表情的形成或心脏跳动的表面，但它也可以应用于许多其他研究领域。它支持用于电影和视频游戏的高分辨率面部动作捕捉，或增强的视频会议方法。
它还可用于检测制造环境中的缺陷。这种方法的视觉演示作为校准至关重要。由于系统的视觉年龄及其测量值，加工步骤很难学习。
发现问题的最简单和最简单的方法是经过训练的目视检查。第一步是生成将要投影的条纹图案。这些是使用此处的图像编程环境 matlab 提前准备的。
此视频将重点介绍二进制模式的使用。要生成散焦的二进制图案，请使用抖动技术生成仅使用纯黑色和纯白色像素的正弦图案。按照三步相移算法的要求，制作三个相位相移 2 个 pi 的 3 个图形图像。
在本演示中，为多频技术制作了两组额外的三组，它可以捕捉更尖锐的深度变化。接下来，选择具有单色设置的高速数字光处理投影仪。使用投影仪随附的软件轻松上传图像以进行相移。
现在，为系统选择具有正确捕获速率的黑白 C、CD 或 COS 相机。请记住，摄像机需要为每个视频帧捕获整组边缘图像，以找到投影仪与物体的距离。当图像的垂直和水平范围略大于要研究的物体时，相对于大的平面移动投影仪。
测量投影仪与墙壁的距离。使用此距离处的所需视野和相机传感器大小来查找镜头的焦距。最后一个配置步骤是确定这些组件之间大角度投影机和摄像机之间的角度间隔。
特征点之间的三角剖分是显而易见的，但更多的特征会消失在阴影中。在小角度下，三角测量变得困难，从而增加了结果中的噪声。通常，10 到 15 度是一个很好的折衷方案。
最好在数据采集之前执行校准。对于二进制散焦系统，对投影镜头进行散焦，直到成像平面上的图案类似于高质量的正弦曲线。这可能需要检查测试数据和调整镜头的迭代过程。
如果边缘模糊在一起，则投影仪太散焦。如果图案中可以看到点，则投影仪过于聚焦。现在，将一块平坦的白板放在摄像头和投影仪的视野中。
将第一个边缘图像投影到板上。然后使用相机项目捕捉它并录制剩余的边缘图像。以同样的方式，将这些条纹图像保存用于数据处理步骤，并将它们标记为校准平面。
接下来，将已知维度的对象放置在系统的 view 中。在这里，使用了一个覆盖着方形漫射粘合泡沫的硬质泡沫立方体。将相同系列的边缘图像投影到立方体上。
用相机捕捉每一个。保存捕获的图像用于处理步骤，并将其标记为校准立方体。收集数据。
将主体放置在相机的焦平面上，将边缘图像投射到主体上并捕捉它们。通常需要高速才能在高速下进行正确的动作捕捉。人眼只能看到边缘。
在时间干扰中。使用拍摄的图像来帮助调整相机光圈。为了优化光照级别，边缘图像应尽可能明亮，但不要饱和。
下一步是对数据进行后处理。在三步相移算法中，相位是 cosign 函数的参数，用于确定正弦模式中点的位置。已经实施了一种算法来从条纹图像的每个点确定此相位，此计算的包装相位位于间隔内。
负 PI 到 PI 将此算法应用于校准平面和立方体以及主题数据。然后使用另一种算法展开相位图，在相位跳跃处增加或减去两个 pi 在多频技术中，每个频率的包装相位图被组合起来以产生一个展开的相位图，此时，重新审视校准步骤很重要。从校准平面的相位图中心取一个水平横截面。
删除其 bulk profile 以获得相位误差估计。如果投影的模式过于聚焦，则误差会很大。根据需要调整投影仪镜头以获得范围内的误差。
负 0.1 至 0.1 弧度。接下来，第三种算法计算校准立方体的深度。这是校准立方体和参考平面相位图之间的差异。
由此确定比例因子。通过从被摄体的相位图中减去参考平面的相位图并应用比例因子来找到被摄体的深度。现在可以将数据保存在 MATLAB 或其他 3D 图形软件中进行可视化。
该技术允许以足够高的分辨率对人脸进行实时和高速的三维成像，以揭示精细细节。左侧的三个图像集是以 2D、纹理、叠加、着色、照明和线框模式显示的完整面孔。中间是鼻子区域的线框视图特写。
请注意，右侧的点密度是眼睛周围区域的特写视图。这些图像是使用正弦条纹图案生成的。这里展示的是微笑形成的 3D 视频。
该视频以 60 赫兹的频率捕获，分辨率为 640 x 480 正弦条纹图案。可以进行实时 3D 视频、捕获、处理和渲染。在本视频中，3D 测量值以 30 赫兹的频率显示在计算机屏幕上。
作为该方法功能的最后一个示例，它显示了活兔子心脏的 3D 视频成像。使用二进制散焦，心率约为每分钟 200 次。3D 捕获速率为 166 赫兹，分辨率为 576 x 576。
需要高速以防止运动伪影。一旦掌握了校准，如果执行得当，数据采集和数据处理可以在几个小时内完成。借助专为速度而设计的处理软件，许多处理器结果可以在开发后实时显示在计算机屏幕上。
这项技术为心脏表面力学领域的研究人员使用高分辨率 3D 视频数据研究跳动兔子心脏的动态表面几何形状铺平了道路。观看此视频后，您应该对如何设计和作高分辨率、高速 3D 视频系统有一个基本的了解。特别是，您应该熟悉数字条纹投影背后的概念，包括聚焦二进制模式和参考平面校准方法。
您还应该能够识别好的和坏的未包裹相位图之间的区别。
概述
本视频概述了用于捕获动态表面密集3D测量的数字条纹投影技术。它突出了高速二进制失焦系统的设计和操作。
关键研究组成部分
科学领域
- 神经科学
- 生物物理学
- 成像技术
背景
- 数字条纹投影能够实现高分辨率3D视频捕捉。
- 利用投射到被测物体上的正弦条纹模式。
- 相比传统的激光扫描方法具有优势。
- 适用于医学成像和动作捕捉等各种领域。
研究目的
- 实现实时高分辨率3D视频捕捉。
- 展示二进制失焦系统的有效性。
- 提供校准和数据处理的视觉指南。
使用的方法
- 使用数字光处理投影仪投射正弦条纹模式。
- 用高速摄像机从不同角度捕捉图像。
- 从条纹模式图像计算包裹相位。
- 解包相位以获取深度信息。
主要结果
- 成功捕获每帧超过300,000个3D数据点。
- 展示了高速和高分辨率的能力。
- 展示了在医疗和娱乐领域的潜在应用。
- 提供了详细的校准过程以确保准确测量。
结论
- 数字条纹投影是3D成像的强大工具。
- 二进制失焦系统提高了捕获数据的质量。
- 视觉演示对理解复杂的处理步骤至关重要。
常见问题
Executive Industry Relevance
Digital fringe projection enables high-resolution, high-speed 3D video capture of dynamic biological surfaces, supporting mechanistic de-risking in early discovery by providing quantitative, reproducible phenotypic data. This capability enhances target validation and assay development workflows where precise spatiotemporal measurements of tissue or cellular dynamics are required. The technique offers a scalable, cost-effective alternative to traditional 3D imaging methods, improving predictive confidence in preclinical model systems.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses through precise 3D mapping of dynamic surface changes in biological systems.
- Operational Value: Supports biological de-risking by delivering dense, quantitative depth measurements for functional target assessment.
- Predictive Value: Enhances portfolio triage by generating high-fidelity phenotypic data that improves confidence in lead selection.
Screening & Assay Development
- Scientific Value: Prepares validated biological systems for downstream screening by establishing baseline 3D morphometric profiles.
- Operational Value: Enables assay standardization and reproducibility through calibrated, high-speed 3D data acquisition.
- Scalability: Facilitates platform reuse across multiple targets due to flexible, non-contact measurement approach.
Translational & Preclinical Research
- Scientific Value: Aligns with disease-relevant systems by capturing dynamic surface mechanics in models such as beating heart or facial motion.
- Operational Value: Ensures translational continuity from discovery through preclinical validation via consistent 3D phenotyping.
- Risk-Adjusted Decisions: Supports advancement criteria by providing objective, quantifiable endpoints for efficacy and safety assessment.
Pipeline & Workflow Integration
The method integrates into the discovery continuum from early target validation through lead identification to preclinical studies, enabling continuous 3D monitoring of biological responses.
- Discovery Biology: Supports hypothesis testing and pathway clarification by quantifying 3D surface dynamics in response to perturbations.
- Screening: Delivers assay readiness and quantitative outputs essential for reliable compound evaluation in phenotypic screens.
- Analytics: Provides depth measurements and phase-derived readouts that enable statistical comparison across experimental conditions.
- Translational Research: Connects to preclinical continuity by capturing functional dynamics in disease-relevant models like cardiac mechanics.
- Enterprise Reuse: Functions as a reusable imaging capability across projects due to its adaptability to various biological specimens.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing mechanistic ambiguity in dynamic biological processes.
- Operational Value: Delivers standardization, reproducibility, and scalability in 3D data generation across labs and sites.
- Strategic Value: Improves go/no-go decisions, capital efficiency, and reduces late-stage biological risk through early phenotypic de-risking.
- Portfolio Impact: Enables risk-adjusted prioritization and advancement decisions based on high-resolution, high-speed 3D phenotyping.
Implementation Considerations
- Requires expertise in optical system setup, phase-shifting algorithms, and 3D reconstruction techniques.
- Needs high-speed projector, synchronized camera, and GPU-accelerated processing infrastructure.
- Demands cross-team standardization of calibration protocols and environmental controls for reliable data.
- Involves adaptation considerations when applying to diverse model systems with varying optical properties.
- Includes practical limitations such as sensitivity to surface reflectivity and ambient light interference, as noted in source material.
