本文介绍了一种利用360度图像、高斯点阵渲染和虚拟现实集成进行逼真三维重建的系统。该方法可应用于多种场景，例如教育领域用于模拟学习环境；建筑领域用于模拟异地施工和获取测量数据；或医疗领域用于训练自闭症患者完成日常生活任务。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
利用标准彩色图像创建真实世界环境的逼真三维重建具有广泛的应用前景，涵盖医疗健康、教育和工业等多个领域。本文介绍了一种新颖的系统，该系统融合了运动结构恢复（structure from motion）、增量式场景配准（incremental scene registration）和高斯点阵渲染（Gaussian Splatting）等先进技术，以重建高细节的三维模型，并将这些模型无缝集成到虚拟现实环境中，实现沉浸式交互。该流程首先采用基于矩阵模式的360度图像采集方法，确保全面覆盖场景。采集的图像通过COLMAP进行处理，以估计相机位姿并生成稀疏点云。随后，高斯点阵渲染技术通过优化点的位置、形状和外观，进一步提升重建质量，生成高度逼真的三维环境。这些模型最终在Unity中渲染，支持VR头显交互，并可集成由大语言模型驱动的虚拟化身等附加功能。其中一个应用案例展示了该系统的多功能性：在医疗健康领域，该方法可构建受控且熟悉的虚拟空间用于治疗，尤其适用于自闭症谱系障碍人群。沉浸式环境与交互式虚拟化身共同为个性化治疗提供了安全、舒适的环境。该系统具有诸多优势，包括高视觉保真度、图像采集简便以及沉浸式用户体验。然而，仍存在一些挑战，例如高斯点阵渲染的计算开销较大，且其效果依赖于精确的相机位姿估计。通过克服这些局限性，该方法有望在治疗干预、工业设计及文化遗产保护等多个领域带来变革性应用。
引言
重建并交互操作三维场景的能力在现代技术应用的诸多领域中已变得至关重要。传统上用于创建真实地点虚拟表示的方法有时依赖于劳动密集型、僵化的模型以及人工测量1。为了克服这些局限性，先进的计算机视觉技术已成为实现自动化三维重建与交互的可行选择2。
利用360度照片构建复杂的三维模型是这一进展的显著特征。通过使用COLMAP3等先进工具精确定位照片拍摄的具体位置，可以获得准确的空间信息。该过程进一步得益于高斯点阵化技术（Gaussian Splatting）4，该技术能够以高质量将复杂场景重建为三维模型。
将这些三维模型整合到虚拟现实（VR）系统中，为超越重建的探索与互动开辟了新的途径。为了增强互动性，用户可以测量现实世界中的物体（如门和桌子），在虚拟空间中自由移动，甚至添加数字物体和虚拟形象。这些虚拟形象能够利用大语言模型（LLMs）产生动态且具有交互性的响应，从而实现沉浸式体验5。
本研究提出一种利用常规彩色图像创建真实环境三维模型并在虚拟现实系统中展示的方法。该系统基于通用的运动恢复结构和三维高斯溅射技术框架构建，适用于建筑与医疗保健....
访问受限。请登录或开始试用以查看此内容。
方案
1. 图像采集
- 将360°相机安装在具有可调节高度的三脚架上。在待扫描的环境中选择一系列位置，按照边长为1.5 m的方形网格模式进行布点。
- 在网格的每个选定位置，分别在三个不同高度拍摄图像：约0.4 m、1.2 m和2 m。
- 将360°图像转换为等距柱状投影图像。例如，可使用Ista360应用程序。选择图像，按下导出按钮，选择导出360照片模式，并以2:1比例导出图像。
- 从每张等距柱状投影图像中提取水平视场为90°的16:9格式透视图像。所有图像的水平角度依次为：0、45、90、135、180、225、270、315。对于在0.4 m高度拍摄的图像，使用垂直角度0、50；对于在1.2 m高度拍摄的图像，使用垂直角度-50、0、50；对于在2 m高度拍摄的图像，使用垂直角度-50、0。提取过程可使用Equi2Pers.py Python脚本（补充代码文件1；图2）。
访问受限。请登录或开始试用以查看此内容。
结果
本节讨论了所提出流程的代表性结果、优点和局限性。所提出方法的应用结果如下。图3展示了相机位置（以红色表示）和稠密点云。具有相同原点的相机组代表来自同一等距矩形图像的投影。
图3: COLMAP 点云结果与相机位姿 应用COLMAP的结果展示了生成的点云以及由红色特征表示的相机位置。 请点击此处以查看此图的放大版本。
在使用高斯点阵化进行.......
访问受限。请登录或开始试用以查看此内容。
讨论
本研究提出了一种利用360度图像和先进渲染技术进行逼真三维重建及虚拟环境交互的新方法。下文将讨论该系统的关键步骤、面临的挑战及其意义。
关键步骤
所提出流程中的一个关键步骤是图像采集。通过在不同高度和位置放置360度相机，生成全面的数据集，以最大程度覆盖环境。此步骤可确保三维重建的准确性和完整性，但需要精心规划，以避免遮挡和盲区。此外，所获取图像的数量和质量对最终结果起着至关重要的作用。若图像数量不足导致某些区域缺失，或图像质量较差，则可能因对splat的表征不充分，造成重建错误，例如出现模糊或弥散的区域。另一个关键步骤是使用COLMAP进行相机位姿估计。该过程高度依赖输入图像的质量以及是否存在显著的视觉特征，因为此阶段的任何不准确都可能逐级传递，导致重建中的误差。
高斯点阵化是重建过程的核心，可将稀疏的三维点转换为详细的逼真模型。该方法能够优化高斯分布与输入图像的对齐，从而最小化光度误差，非常适合用于创建高度逼真的环境。此外，将重建后的模型集成到基于 Unity 的虚拟现实系统中.......
访问受限。请登录或开始试用以查看此内容。
披露
作者声明，他们不存在任何已知的相互竞争的经济利益或可能被认为影响本文所报告工作的个人关系。
致谢
本文由 MICIU/AEI/10.13039/501100011033 资助，项目编号为 PID2022-138453OB-I00，并由欧洲区域发展基金（ERDF）“欧洲发展之路”计划支持。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| GPU NVIDIA GeForce RTX 2080 | NVIDIA | TU104-400A | 用于图像处理与重建的设备 |
| Insta360 X4 | Insta360 | CINSABMA-H | 用于重建的数据采集设备 |
| Meta Quest III | Meta | 899-00582-01 | 用于可视化和交互式查看重建结果的设备 |
| 存储卡 Evo Plus 128 GB | Samsung | MB-MC128KA/EU | 用于360°照片存储的存储卡 |
参考文献
- Zollmann, S., et al. Augmented Reality for Construction Site Monitoring and Documentation. Proceedings IEEE. 102 (2), 137-154 (2012).
- Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. A comprehensive review of vision-based 3d reconstruction methods. Sensors. 24<....
访问受限。请登录或开始试用以查看此内容。
重印与许可
