用于增强现实的逼真学习景观

本文提出了一种使用 360 度图像、高斯展开和虚拟现实集成的逼真 3D 重建系统。该方法可应用于不同的应用，例如教育、模拟学习环境;construction，用于模拟场外工作并检索指标;或医疗保健，以培训自闭症患者的日常生活任务。

我们的研究重点是从 360 度图像创建逼真的 3D 重建，以构建身临其境的虚拟环境。它探讨了这如何支持治疗、教育和工业验证。常见的方法包括从运动中提取和多视图外部，通常使用 COLMAP 等工具。最近的方法（例如）为沉浸式应用程序提供更快、视觉上更逼真的结果。

挑战包括热情的绘图、几乎不低的测试流以及插入图形相机后期估计的计算成本，这些都直接影响成本和质量。我们解决了缺乏与 B 弧相互作用缓慢并支持动态使用与精确传感器交互的整体 3D 托管系统的问题。

[旁白]首先，将 360 度相机放在高度可调的三脚架上。使用方形网格图案选择环境中的一系列位置进行扫描，其中每条边的间距为 1.5 米。在每个网格点，在大约 0.4 米、1.2 米和 2 米的三个不同高度捕获图像。使用 Insta 360 应用程序等工具将 360 度图像转换为等矩形格式。选择图像，按导出按钮。选择导出 360 度照片模式并将其导出为二比一比例的图像。使用 Equi2Pers.py 脚本从每个具有 90 度水平视野的等矩形图像中提取 16 到 9 个格式的透视图像。应用零度、45度、90度、135度、180度、225度、270度和315度的水平角度，以及基于高度的垂直角度。接下来，单击“归档”以创建新的 COLMAP 项目。指定映像的路径并创建一个新数据库。单击处理，然后单击特征提取以提取每个图像的特征。选择针孔作为相机型号并共享所有图像。通过单击重建，将其余参数保留为运动的默认计算结构，然后使用默认的 COLMAP 参数开始重建以获取相机位置和方向。单击重建并选择束调整以最大程度地减少重投影误差。现在，通过选择带有输出（包括相机姿势和重建点）的密集重建来生成密集的 3D 可见表示。对于逼真的 3D 可见重建，使用高斯散裂，使用参数减去 S、减去 M 和减去 R 执行 train.py 脚本。在指定的输出目录中找到生成的.py文件，以便随后导入到 Unity 中。按照所用耳机型号的具体说明将虚拟现实耳机连接到计算机。使用 Unity Hub 创建版本为 2022.44f1 的 3D 项目。导航到项目，单击新建项目。选择 3D 内置渲染管线模板。设置项目名称和位置，然后单击创建项目。要管理VR头戴式设备并简化开发任务，请通过包管理器单击窗口和包管理器从Unity Asset Store安装插件。使用 Unity 高斯溅射插件将高斯喷溅输出转换为可用的资产。通过 Unity Asset Store 中的包管理器安装 ultra elite 插件，改进手部跟踪。使用 whisper.unity 插件转录来自 VR 耳机麦克风的音频。使用包管理器安装它。通过安装 LLM Unity 插件，使用大型语言模型启用响应生成。如前所述，通过包管理器安装它。使用 meta voice SDK 从 LLM 生成的响应生成语音。通过包管理器单击窗口和包管理器，从 Unity Asset Store 安装文本转语音插件。最后，使用 VR 头显体验沉浸式环境并与之互动。从共享等矩形原点派生的相机位置组用于生成密集的点云以进行可见的重建，从而揭示捕获角度的一致空间映射。所提出的方法使用高斯散布，产生了与真实环境非常相似的逼真重建。用户可以通过虚拟现实有效地与重建的环境进行交互，保持沉浸感和空间意识，耳机内部呈现的视觉效果与房间设置相匹配。根据专业治疗师的反馈，在开发熟悉和不熟悉的虚拟环境时考虑到了治疗目标。在重建后的空间中渲染了一个虚拟代理，允许用户通过VR参与逼真的交互场景，代理在头显视图中以逼真的人物的形式出现。 虚拟重建在基于输入图像时准确地复制了特定的视点，但透视的偏差导致了明显的渲染限制。与COLMAP点云输出相比，高斯溅射产生了视觉上更连续、更逼真的重建，适合实时交互，尽管度量精度有所降低。