Name: 用于增强现实的逼真学习景观 (视频) | JoVE Journal
Uploaded: 2025-06-27T13:20:00.000+00:00
Duration: 6 min 54 s
Description: 学习使用360度图像和COLMAP工具创建逼真的三维重建系统，结合高斯溅射技术实现沉浸式虚拟现实环境。该方法可应用于自闭症治疗、教育培训和工业验证等领域，为神经科学研究提供新的交互式平台。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本文由 MICIU/AEI/10.13039/501100011033 资助，项目编号为 PID2022-138453OB-I00，并由欧洲区域发展基金（ERDF）“欧洲发展之路”计划支持。

1. 图像采集
<ol>
	<li>将360°相机安装在具有可调节高度的三脚架上。在待扫描的环境中选择一系列位置，按照边长为1.5 m的方形网格模式进行布点。</li>
	<li>在网格的每个选定位置，分别在三个不同高度拍摄图像：约0.4 m、1.2 m和2 m。</li>
	<li>将360°图像转换为等距柱状投影图像。例如，可使用Ista360应用程序。选择图像，按下导出按钮，选择导出360照片模式，并以2:1比例导出图像。</li>
	<li>从每张等距柱状投影图像中提取水平视场为90°的16:9格式透视图像。所有图像的水平角度依次为：0、45、90、135、180、225、270、315。对于在0.4 m高度拍摄的图像，使用垂直角度0、50；对于在1.2 m高度拍摄的图像，使用垂直角度-50、0、50；对于在2 m高度拍摄的图像，使用垂直角度-50、0。提取过程可使用Equi2Pers.py Python脚本（补充代码文件1；图2）。</li>
</ol>
<img alt="图 2" class="xfigimg" src="/files/ftp_upload/68386/68386fig2.jpg" /> 
图 2：&#160;等距长方投影图像转换为立方体投影。 等距长方投影图像转换为立方体贴图投影的示意图。<a href="https://www.jove.com/files/ftp_upload/68386/68386fig2large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
2. 使用 COLMAP 进行相机位姿估计
<ol>
	<li>通过点击 文件 &#62; 新建项目 创建一个新的 COLMAP 项目，然后指定图像的路径并创建一个新的数据库。</li>
	<li>通过点击 处理 &#62; 特征提取，选择 PINHOLE 作为相机模型，并对所有图像使用相同的设置，从而为每张图像提取特征。其余参数保持默认。在纹理丰富的区域，可减少 max_num_features 以提高方法的效率。</li>
	<li>通过点击 处理 &#62; 特征匹配 进行特征匹配，使用默认参数。</li>
	<li>通过点击 重建 &#62; 开始重建 计算 SfM，以获得相机的位置和姿态，使用默认的 COLMAP 参数。</li>
	<li>通过点击 重建 &#62; 光束法平差，利用光束法平差最小化重投影误差。</li>
	<li>通过点击 重建 &#62; 稠密重建 生成场景的稠密三维表示，输出包括相机位姿和重建的点云。</li>
</ol>
使用高斯点阵（GS）进行逼真三维场景重建
<ol>
	<li>使用参数 -s、-m 和 -r 执行 train.py 文件，其中 -s 指定 COLMAP 项目路径，-m 定义高斯点阵（Gaussian Splatting）的输出路径（若未指定，则会生成默认路径），-r 用于图像重缩放，通常设置为 2 到 4 之间。 
	注意：train.py 文件位于高斯点阵官方代码仓库&#160;https://github.com/graphdeco-inria/gaussian-splatting。</li>
	<li>在输出路径中找到由高斯点阵生成的 .ply 文件，供后续在 Unity 中使用。</li>
</ol>
4. 使用 Unity 和高斯点阵渲染虚拟现实
<ol>
	<li>将VR头戴式显示器连接到计算机。此方法取决于所使用的VR头戴式显示器。</li>
	<li>使用Unity Hub创建一个版本为2022.3.44f1的3D项目。如有必要，请先安装Unity 2022.3.44f1版本。进入Projects &#62; New Project，选择版本2022.3.44f1和3D (Core)模板，设置项目名称和存储位置，然后点击Create Project以默认设置生成项目。</li>
	<li>通过Unity资源商店使用包管理器安装插件，以管理VR头戴式显示器并简化应用程序开发，包括访问操纵杆和眼动追踪等功能。操作路径为点击Window &#62; Package Manager。</li>
	<li>使用UnityGaussianSplatting插件从高斯点阵输出生成资源。通过Unity资源商店的包管理器完成安装。为生成该资源，请进入Tools &#62; GaussianSplats &#62; Create GaussianSplatAsset，并提供由高斯点阵生成的.ply文件。</li>
	<li>使用UltraLeap插件提升手部检测精度，从而增强用户交互体验。安装方式为进入Unity Asset Store &#62; Package Manager，然后点击Window &#62; Package Manager。</li>
	<li>使用whisper.unity插件转录由VR头戴式显示器麦克风采集的音频。安装方法如步骤4.5所述。</li>
	<li>使用大语言模型（LLM）生成回复。安装LLMUnity插件以启用该LLM功能。安装方式如步骤4.5所述。
	<ol>
		<li>创建一个空的GameObject，并添加LLM脚本，然后点击download model按钮以选择默认模型。对于角色，添加一个空对象并附加LLMCharacter脚本，在其中可指定名称和角色。</li>
	</ol>
	</li>
	<li>使用Meta - Voice SDK将大语言模型生成的回复转换为语音输出。为此，需通过Unity资源商店使用包管理器安装文本转语音（Text-to-Speech）插件，操作路径为点击Window &#62; Package Manager。</li>
	<li>使用VR headsets实现沉浸式交互。</li>
</ol>

<ol><li>Zollmann, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality+for+Construction+Site+Monitoring+and+Documentation%5BTitle%5D)+AND+%22Proceedings+IEEE%22%5BJournal%5D)">Augmented Reality for Construction Site Monitoring and Documentation.</a> Proceedings IEEE. 102 (2), 137-154 (2012).</li>
<li>Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comprehensive+review+of+vision-based+3d+reconstruction+methods%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">A comprehensive review of vision-based 3d reconstruction methods.</a> Sensors. 24 (7), 2314(2024).</li>
<li>Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).</li>
<li>Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+gaussian+splatting+for+real-time+radiance+field+rendering%5BTitle%5D)+AND+%22ACM+Trans.+Graph%22%5BJournal%5D)">3d gaussian splatting for real-time radiance field rendering.</a> ACM Trans. Graph. 42 (4), 139-141 (2023).</li>
<li>Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).</li>
<li>Remondino, F., El-Hakim, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image-based+3D+modelling%3A+A+review%5BTitle%5D)+AND+%22Photogrammet+Record%22%5BJournal%5D)">Image-based 3D modelling: A review.</a> Photogrammet Record. 21 (115), 269-291 (2006).</li>
<li>Özyeşil, O., Voroninski, V., Basri, R., Singer, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+structure+from+motion%5BTitle%5D)+AND+%22Acta+Numerica%22%5BJournal%5D)">A survey of structure from motion.</a> Acta Numerica. 26, 305-364 (2017).</li>
<li>Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).</li>
<li>Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gaussian+Splatting%3A+3D+Reconstruction+and+Novel+View+Synthesis%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review.</a> IEEE Access. 12, 96797-96820 (2024).</li>
<li>Zhang, M., Ding, H., Naumceska, M., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+Reality+Technology+as+an+Educational+and+Intervention+Tool+for+Children+with+Autism+Spectrum+Disorder%3A+Current+Perspectives+and+Future+Directions%5BTitle%5D)+AND+%22Behav+Sci%22%5BJournal%5D)">Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions.</a> Behav Sci. 12 (5), 138(2023).</li>
<li>Failla, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+autism%3A+unlocking+learning+and+growth%5BTitle%5D)+AND+%22Front+Psychol%22%5BJournal%5D)">Virtual reality for autism: unlocking learning and growth.</a> Front Psychol. 15, 1417717(2024).</li>
<li>Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHuang%2C+B+%22arXiv%22">arXiv</a>. , (2024).</li>
<li>Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aZhang%2C+Y+%22arXiv%22">arXiv</a>. , (2025).</li>
</ol>

作者声明，他们不存在任何已知的相互竞争的经济利益或可能被认为影响本文所报告工作的个人关系。

本研究提出了一种利用360度图像和先进渲染技术进行逼真三维重建及虚拟环境交互的新方法。下文将讨论该系统的关键步骤、面临的挑战及其意义。
关键步骤 
所提出流程中的一个关键步骤是图像采集。通过在不同高度和位置放置360度相机，生成全面的数据集，以最大程度覆盖环境。此步骤可确保三维重建的准确性和完整性，但需要精心规划，以避免遮挡和盲区。此外，所获取图像的数量和质量对最终结果起着至关重要的作用。若图像数量不足导致某些区域缺失，或图像质量较差，则可能因对splat的表征不充分，造成重建错误，例如出现模糊或弥散的区域。另一个关键步骤是使用COLMAP进行相机位姿估计。该过程高度依赖输入图像的质量以及是否存在显著的视觉特征，因为此阶段的任何不准确都可能逐级传递，导致重建中的误差。
高斯点阵化是重建过程的核心，可将稀疏的三维点转换为详细的逼真模型。该方法能够优化高斯分布与输入图像的对齐，从而最小化光度误差，非常适合用于创建高度逼真的环境。此外，将重建后的模型集成到基于 Unity 的虚拟现实系统中...

重建并交互操作三维场景的能力在现代技术应用的诸多领域中已变得至关重要。传统上用于创建真实地点虚拟表示的方法有时依赖于劳动密集型、僵化的模型以及人工测量1。为了克服这些局限性，先进的计算机视觉技术已成为实现自动化三维重建与交互的可行选择2。
利用360度照片构建复杂的三维模型是这一进展的显著特征。通过使用COLMAP3等先进工具精确定位照片拍摄的具体位置，可以获得准确的空间信息。该过程进一步得益于高斯点阵化技术（Gaussian Splatting）4，该技术能够以高质量将复杂场景重建为三维模型。
将这些三维模型整合到虚拟现实（VR）系统中，为超越重建的探索与互动开辟了新的途径。为了增强互动性，用户可以测量现实世界中的物体（如门和桌子），在虚拟空间中自由移动，甚至添加数字物体和虚拟形象。这些虚拟形象能够利用大语言模型（LLMs）产生动态且具有交互性的响应，从而实现沉浸式体验5。
本研究提出一种利用常规彩色图像创建真实环境三维模型并在虚拟现实系统中展示的方法。该系统基于通用的运动恢复结构和三维高斯溅射技术框架构建，适用于建筑与医疗保健等领域的进一步应用开发。
该方案所提出的流程能够生成视觉上逼真且具有吸引力的三维环境模型，这是其主要优势。此外，该方法使用彩色图像，相较于需要昂贵传感器（如激光雷达或结构光相机）的其他方法更为便捷6。提出该方案的依据在于，便捷地创建视觉上吸引人的三维模型具有广泛的应用前景。例如，可在建筑领域用于质量控制，在医疗健康领域用于在熟悉且可控的环境中治疗自闭症患者，或在娱乐产业中将真实场景的精确模型融入电子游戏中。
近年来，随着计算机视觉、机器学习和虚拟现实技术的融合，三维重建系统及与虚拟环境交互系统的发展取得了显著进展2。以下概述了与本研究相关的关键组成部分和方法。
精确的三维重建依赖于图像处理来提取空间与几何信息。传统方法如运动恢复结构（SfM）7 和多视角立体视觉（MVS）8 已广泛用于估计相机位姿并生成稠密点云。COLMAP 等工具因其在执行这些任务中的鲁棒性而受到认可，通过结合运动恢复结构（SfM）与多视图立体视觉（MVS），可从图像数据集生成高精度的三维模型。然而，在处理复杂光照、纹理以及高度动态环境时仍存在局限性。
最近的进展包括高斯点阵化9，该方法采用基于点的表示形式，比传统的基于网格的方法更高效地生成逼真的重建结果。高斯点阵化能够实现更平滑的可视化效果以及更精确的空间表达，尤其适用于细节复杂的场景。
三维模型重建完成后，将其转换为兼容虚拟现实（VR）的格式对于实现沉浸式交互至关重要。虚拟现实系统的应用已超越娱乐领域，扩展到教育、医疗保健10和工业设计等领域。现代VR框架支持无缝导航、与数字对象的交互以及增强的真实感，使其适用于需要高度用户参与的应用场景。
虚拟对象和虚拟形象等交互功能的整合显著增强了虚拟现实（VR）系统的功能性和沉浸感。由大语言模型（LLM）驱动的虚拟形象能够实现逼真的对话交互，从而提供动态且自适应的用户体验。特别是在治疗场景中，这些技术展现出巨大潜力，能够根据用户的行为或情绪状态提供个性化的交互。例如，&#160;本研究11开发了一款基于虚拟形象作为LLM驱动聊天机器人的VR应用，用于训练自闭症个体的职业沟通技能，凸显了LLM驱动虚拟形象在治疗中的适应性。此外，LLM还被嵌入增强现实环境中，以促进包容性与参与度，进一步支持了LLM驱动虚拟形象在治疗领域的应用潜力。
虚拟环境正越来越多地应用于治疗场景中，尤其适用于自闭症谱系障碍（ASD）个体。研究表明，熟悉且可控的虚拟空间能够在治疗过程中降低焦虑水平，并提高患者的参与度11。这些环境中的虚拟形象可作为辅助者，以让患者感到安全且易于接受的方式提供治疗。
尽管已取得进展，但仍存在一些挑战，包括三维重建的计算成本、在虚拟环境中保持高保真度，以及确保系统之间的平滑集成。然而，更高效算法与硬件的持续发展，以及人工智能驱动工具的进步，为该领域的进一步创新提供了机遇。本文提出了一种利用360度图像进行三维重建及与虚拟环境交互的新系统。该方法融合了多种技术，例如使用COLMAP进行图像定位、采用高斯点阵化（Gaussian splatting）实现高质量重建，以及支持虚拟现实（VR）以实现沉浸式探索。通过整合数字对象和由大语言模型（LLMs）驱动的交互式虚拟化身，该系统可应用于自闭症谱系障碍（ASD）个体的个性化治疗以及建筑项目验证。这些工具为创建可适应的虚拟环境提供了综合框架，从而提升治疗和工业实践的效果。图1展示了本方案的流程。
<img alt="图1" class="xfigimg" src="/files/ftp_upload/68386/68386fig1.jpg" /> 
图1：系统流程。 所提出的环境照片级真实感重建流程示意图，包括真实环境、360°图像、获得的投影、SfM过程、高斯点阵化过程以及与虚拟现实的集成。<a href="https://www.jove.com/files/ftp_upload/68386/68386fig1large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>

<table><tbody><tr><td>GPU NVIDIA GeForce RTX 2080</td><td>NVIDIA</td><td>TU104-400A</td><td>用于图像处理与重建的设备&amp;nbsp;</td></tr><tr><td>Insta360 X4</td><td>Insta360</td><td>CINSABMA-H</td><td>用于重建的数据采集设备</td></tr><tr><td>Meta Quest III</td><td>Meta</td><td>899-00582-01</td><td>用于可视化和交互式查看重建结果的设备</td></tr><tr><td>存储卡 Evo Plus 128 GB</td><td>Samsung</td><td>MB-MC128KA/EU</td><td>用于360&amp;deg;照片存储的存储卡</td></tr></tbody></table>

用于增强现实的基于学习的逼真景观

Photorealistic Learned Landscapes for Augmented Reality

利用标准彩色图像创建真实世界环境的逼真三维重建具有广泛的应用前景，涵盖医疗健康、教育和工业等多个领域。本文介绍了一种新颖的系统，该系统融合了运动结构恢复（structure from motion）、增量式场景配准（incremental scene registration）和高斯点阵渲染（Gaussian Splatting）等先进技术，以重建高细节的三维模型，并将这些模型无缝集成到虚拟现实环境中，实现沉浸式交互。该流程首先采用基于矩阵模式的360度图像采集方法，确保全面覆盖场景。采集的图像通过COLMAP进行处理，以估计相机位姿并生成稀疏点云。随后，高斯点阵渲染技术通过优化点的位置、形状和外观，进一步提升重建质量，生成高度逼真的三维环境。这些模型最终在Unity中渲染，支持VR头显交互，并可集成由大语言模型驱动的虚拟化身等附加功能。其中一个应用案例展示了该系统的多功能性：在医疗健康领域，该方法可构建受控且熟悉的虚拟空间用于治疗，尤其适用于自闭症谱系障碍人群。沉浸式环境与交互式虚拟化身共同为个性化治疗提供了安全、舒适的环境。该系统具有诸多优势，包括高视觉保真度、图像采集简便以及沉浸式用户体验。然而，仍存在一些挑战，例如高斯点阵渲染的计算开销较大，且其效果依赖于精确的相机位姿估计。通过克服这些局限性，该方法有望在治疗干预、工业设计及文化遗产保护等多个领域带来变革性应用。

本节讨论了所提出流程的代表性结果、优点和局限性。所提出方法的应用结果如下。图3展示了相机位置（以红色表示）和稠密点云。具有相同原点的相机组代表来自同一等距矩形图像的投影。
<img alt="图3" class="xfigimg" src="/files/ftp_upload/68386/68386fig3.jpg" /> 
图3:&#160;COLMAP 点云结果与相机位姿 应用COLMAP的结果展示了生成的点云以及由红色特征表示的相机位置。 <a href="https://www.jove.com/files/ftp_upload/68386/68386fig3large.jpg" target="_blank">请点击此处以查看此图的放大版本。</a>
在使用高斯点阵化进行...

本文介绍了一种利用360度图像、高斯点阵渲染和虚拟现实集成进行逼真三维重建的系统。该方法可应用于多种场景，例如教育领域用于模拟学习环境；建筑领域用于模拟异地施工和获取测量数据；或医疗领域用于训练自闭症患者完成日常生活任务。

从标准彩色图像中创建真实世界环境的逼真三维重建具有广泛的应用，涉及诸如……等领域

我们的研究致力于从360度图像创建逼真的三维重建，以构建沉浸式虚拟环境。该研究探索了这一技术在治疗、教育和工业验证中的应用潜力。常用方法包括通过运动信息进行提取以及多视角外部重建，通常使用COLMAP等工具。近年来出现的新方法为沉浸式应用提供了更快速、视觉效果更逼真的结果。挑战包括高情感渲染带来的计算成本、测试流速极低，以及在估计后插入图形摄像头，这些因素直接影响成本和质量。我们解决了缺乏能够缓慢融入B弧并支持与精确传感器进行动态交互的全向3D监护系统的问题。[旁白] 首先，将一台360度相机安装在可调节高度的三脚架上。在环境中选择一系列扫描位置，采用正方形网格模式，每个网格边长间隔1.5米。在每个网格点处，分别在约0.4米、1.2米和2米的三个不同高度拍摄图像。使用Insta 360应用程序等工具，将360度图像转换为等距柱状投影（equirectangular）格式。选择图像后，点击导出按钮，选择导出360度照片模式，并以2:1的宽高比导出图像。使用Equi2Pers.py脚本，从每张等距柱状投影图像中提取16:9格式的透视图像，水平视场角为90度。水平角度设置为0、45、90、135、180、225、270和315度，垂直角度则根据拍摄高度确定。接下来，点击“文件”中的“新建项目”，创建一个新的COLMAP项目。指定图像路径并创建新的数据库。点击“处理”（Processing），然后选择“特征提取”（feature extraction），以提取每张图像的特征。相机模型选择针孔（pinhole）模型，并共享所有图像。其余参数保持默认，通过点击“重建”（reconstruction）并选择“开始重建”（start reconstruction），使用默认的COLMAP参数获取相机的位置和姿态。点击“重建”并选择“光束法平差”（bundle adjustment），以最小化重投影误差。接下来，选择“密集重建”（dense reconstruction）并输出相机位姿和重建点，生成密集的三维场景表示。为了实现基于高斯点阵（Gaussian splatting）的逼真三维场景重建，运行train.py脚本，使用参数-minus S、-minus M和-minus R。在指定的输出目录中找到生成的.py文件，以便后续导入Unity。按照所用VR头显型号的具体说明，将其连接至计算机。使用Unity Hub创建版本为2022.4.4f1的3D项目。进入“项目”界面，点击“新建项目”，选择“3D内置渲染管线”（3D built-in render pipeline）模板，设置项目名称和存储位置，然后点击“创建项目”。为管理VR头显并简化开发任务，通过点击“窗口”（Window）和“包管理器”（Package Manager），从Unity资源商店安装插件。使用Unity高斯点阵插件，将高斯点阵输出转换为可用资源。通过包管理器从Unity资源商店安装Ultra Leap插件，以提升手部追踪性能。使用whisper.unity插件，转录来自VR头显麦克风的音频。通过包管理器安装该插件。通过安装LLM Unity插件，启用基于大语言模型的响应生成功能。安装方式与前述插件相同。使用Meta Voice SDK，将大语言模型生成的响应转换为语音输出。通过点击“窗口”和“包管理器”，从Unity资源商店安装文本转语音插件。最后，使用VR头显体验并交互沉浸式环境。源自相同等距柱状投影图像的相机位置组被用于生成密集点云，以实现场景重建，揭示了拍摄角度的一致性空间映射。所提出的方法结合高斯点阵技术，实现了高度逼真的重建效果，与真实环境极为相似。用户可通过虚拟现实有效与重建环境进行交互，在保持沉浸感和空间感知的同时，头显内显示的视觉内容与实际房间布局相匹配。基于专业治疗师的反馈，构建了具有治疗目标的熟悉与陌生虚拟环境。在重建空间中渲染了虚拟代理（virtual agent），使用户能够通过VR参与真实感的交互场景，该代理在头显视图中呈现为逼真的形象。当基于输入图像时，虚拟重建能准确复现特定视角，但视角偏差会导致明显的渲染局限性。与COLMAP生成的点云输出相比，高斯点阵技术生成的重建结果在视觉上更连续、更逼真，适用于实时交互，尽管其度量精度有所降低。

photorealistic-learned-landscapes-for-augmented-reality

Research

科研

JoVE Journal

Engineering

工程

用于增强现实的逼真学习景观

来源：Carly Fassler1, Liyu Huang1, Kavita Prasad1, Jiayi Xu2, Guansen Tong2, Jie Ying Wu2, Michael C.

基于增强现实的切除肿瘤标本可视化

本研究提出了一种实验范式 a 结合主观与客观评估的可用性测试。客观评估采用神经信息系统（NeuroIS）方法，主观评估采用可用性问卷和美国国家航空航天局任务负荷指数（NASA-TLX）量表。...

增强现实可用性评估：一项神经信息系统研究

本文介绍了基于增强现实（AR）三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作，实现远程手术，使其如同在近距离进行手术操作一般。...

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

本方案提供了在自由移动的模型（例如器官）上实施红外标记跟踪以及利用增强现实进行全息可视化的操作指南。此外，还概述了使用电磁跟踪技术在自由移动模型上对全息导航系统进行临床前验证的实验设置。...

全息头戴式显示器结合红外追踪软组织导航的技术方法及临床前验证

有机光伏（OPV）材料在纳米尺度上本质上是不均匀的。OPV材料的纳米级不均匀性会影响光伏器件的性能。本文中，我们描述了一种用于定量测量OPV材料电学和力学性能的实验方案，空间分辨率优于100...

使用原子力显微镜对有机光伏材料进行同步定量电导率与力学性能测量

我们报道了一种方法 原位 通过在充满液体的微流控腔室中对氢氟酸处理的Si...

液相环境中脉冲紫外激光辐照实现硅表面润湿性的选择性区域改性

由于钯、金和钴的重要性及其广泛使用...

利用具有纳米级车轮状孔结构的新型传感器/吸附剂从城市矿山中检测和回收钯、金及钴金属

我们介绍一种在多芯光纤的每个纤芯中刻写相同光纤布拉格光栅的技术。该技术通过在光路中引入一个额外的表面，以减轻光纤包层曲面对光束的透镜效应。...

在多芯光纤中写入布拉格光栅

介绍了用于研究固态冷却过程以及表征形状记忆合金（SMA）弹热材料性能的实验方法。设计了一套定制的测试装置，用于控制并全面监测弹热冷却过程，此外还为热-力耦合建模方法提供了验证平台。...

基于形状记忆效应的弹热制冷过程研究的实验方法及模型验证

我们通过实验者用手操控的运动捕捉系统和完全沉浸式虚拟现实眼镜，驱动扫描探针显微镜的针尖在三维空间中运动，实现了在金属表面上对单个有机分子的精确操控。...

通过带有三维虚拟现实界面的扫描探针显微镜实现单分子的手控操纵

学习使用360度图像和COLMAP工具创建逼真的三维重建系统，结合高斯溅射技术实现沉浸式虚拟现实环境。该方法可应用于自闭症治疗、教育培训和工业验证等领域，为神经科学研究提供新的交互式平台。

用于增强现实的基于学习的逼真景观

探索更多视频