方法文章

将增强现实技术整合到美容鼻整形手术流程的方案

0 次观看

⸱

DOI：

10.3791/71617

⸱

2026年9月25日

 ,  ,  ,  ,  , 
1Division of Facial Plastic and Reconstructive Surgery, Department of Otolaryngology – Head & Neck Surgery, Vanderbilt University Medical Center, 2John Sealy School of Medicine, University of Texas Medical Branch, 3Department of Otolaryngology – Head & Neck Surgery, Vanderbilt University Medical Center, 4Head & Neck Institute, Cleveland Clinic

本文内容

摘要

本方案描述了将增强现实与三维全息成像技术整合到美容鼻整形手术流程中，以增强术中可视化效果并促进外科决策。

摘要

美容性鼻整形手术通常依赖术中参考图像，以帮助实现患者期望的美学效果。然而，这些图像通常以二维（2D）形式显示，过于简化了三维（3D）鼻部解剖结构，并要求外科医生将注意力从手术区域转移。增强现实（AR）技术可通过将患者特异性的三维全息图像投射到外科医生的视野中，提供实时的空间可视化，从而克服这些局限性。本文介绍了一种将增强现实技术整合到美容性鼻整形手术流程中的方案，该方案结合使用三维面部成像系统和头戴式混合现实显示设备。术前获取三维面部图像，与患者共同进行形态调整以呈现期望的手术效果，随后导出为全息模型，并在术中显示，以便与手术区域进行视觉比对。该方案已成功融入手术流程，使外科医生能够在术前规划和术中评估期间于真实空间中操作全息模型。本方案为在美容性鼻整形手术中引入增强现实技术提供了可重复的操作流程，可能有助于提升术中可视化效果、支持手术决策，并促进术前规划与术中解剖结构之间的比对。

引言

术前与患者共同决策是美容性鼻整形手术的关键组成部分，其内容包括在了解患者对手术期望目标的同时，模拟可能的美容效果。照片模拟有助于患者和外科医生共同直观地了解期望的手术效果，并明确实际可实现的范围。变形后的图像常在手术过程中作为参考，但这些参考图像通常以二维（2D）形式呈现，要么打印在纸上，要么显示在计算机屏幕上。这种二维形式不仅过度简化了鼻部复杂的三维（3D）解剖结构，还要求外科医生将注意力从手术区域转移开来1,2。

增强现实（AR）技术可通过将渲染的三维全息图像直接投射到外科医生的视野中，提供实时的空间可视化，从而克服这些局限性。AR 将计算机生成的图像与真实环境相结合，已应用于面部整形手术中的面部创伤修复3,4、颅面外科手术5以及小耳畸形修复术6，以改善术中可视化效果并优化手术流程。然而，AR 在美容性鼻整形术中的应用仍较为有限。近期关于 AR 及混合现实技术在面部手术和鼻整形术中新兴应用的研究多为病例报告和小样本病例系列7,8,9,10。

在之前的一项研究中，我们使用混合现实头戴式显示器（Microsoft HoloLens 2；Microsoft Corporation，美国华盛顿州雷德蒙德）在尸体标本上成功完成了两例增强现实（AR）引导下的鼻整形手术。随后开展了一项概念验证性研究，对六名患者进行了AR引导的美容鼻整形手术可行性探索9。在本方案中，我们采用头戴式混合现实显示器（Apple Vision Pro；Apple Inc.，美国加利福尼亚州库比蒂诺）作为术中全息引导的可视化平台。后文对该设备的提及均简称为头戴式显示器（HMD）。本文介绍了一种将增强现实技术整合到美容鼻整形手术流程中的操作方案，旨在提升术中可视化效果，并便于术前规划与术中解剖结构之间的比对。该增强现实系统主要用于提供视觉参考，而非具备自动配准功能的增强现实导航系统。本方案所述技术可用于手术规划和术中可视化两个阶段。三维全息图像可在术中手动重新定位，从而实现用户自主定制的增强现实体验。

方案

本方案在范德堡大学医学中心实施，遵循范德堡大学医学中心机构审查委员会的指南（IRB 批准号 #241657）。所有参与者在参与前均签署书面知情同意书，包括同意在手术过程中使用增强现实（AR）技术投射术前及变形后的三维全息图像。所有患者数据均已去标识化。患者接受标准的术前评估，并使用具备真实感渲染功能的三维面部成像系统进行摄影。纳入标准包括年龄在18岁及以上、拟行美容性鼻整形术的患者。

1. 3D 照片采集

  1. 根据制造商的说明设置并校准3D面部成像系统。
  2. 在配套的工作站上打开图像采集软件。
  3. 创建新的患者记录，并输入所需的患者标识信息。
  4. 选择面部捕捉模式，以打开新的3D图像采集页面。
  5. 让患者坐直，面部正对摄像头，头部对齐法兰克福水平面（图1）。
  6. 尽可能将患者的眼睛与三个摄像头视图中显示的绿色参考线对齐（图2）。
  7. 采集3D面部图像。
  8. 确认采集的图像已自动加载到渲染环境中（图3）。
  9. 保存图像，并重命名文件以区别于后续生成的变形图像。

figure-protocol-1
图1： 三维面部成像系统的设置。用于术前图像采集的三维面部成像系统。患者应保持坐姿端正，正对相机系统，头部与法兰克福水平面保持对齐，然后进行图像采集。请点击此处查看该图的放大版本。

figure-protocol-2
图2： 三维图像采集过程中的患者定位。 典型的定位界面，用于在图像采集前确认患者体位正确。在所有摄像头视图中，患者的眼睛应与参考引导线对齐，以确保三维面部图像采集的标准化。请点击此处查看该图的放大版本。

figure-protocol-3
图3： 三维面部渲染与形变界面。用于术前图像修改的代表性三维面部渲染环境。红色圆圈标示了隆鼻形变工具，该工具用于在导出三维模型以生成全息图之前，模拟期望的美容效果。请点击此处查看该图的放大版本。

2. 图像变形

  1. 在渲染环境中选择鼻整形模拟工具（图3）。
  2. 与患者共同商议，调整图像以呈现期望的美容效果。
  3. 将修改后的图像另存为具有唯一名称的新文件。
    注意：面部模拟软件用于手术规划，所生成的模型可进一步用于实验性三维术中可视化。

3. 三维图像导出与文件转换

  1. 图像导出
    1. 在患者主页上选择基线术前图像。
    2. 选择左上角的“导出”图标，以在3D分析环境中打开图像。
    3. 从下拉菜单中选择“文件”，然后选择“导出”。
    4. 将术前3D图像导出为.obj文件。
      注意：导出图像会自动生成一个对应的.mtl文件和三个.jpg文件（每个摄像机视角各一个），这些文件将保存到所选的导出位置。
    5. 对经过修饰的美容目标图像重复上述导出步骤。
      注意：每位患者应共有10个导出文件：术前模型5个文件（一个.obj、一个.mtl和三个.jpg文件），修饰后的美容目标模型5个文件。将所有文件保存在一个包含患者唯一标识符的文件夹中。
    6. 在将每个导出的3D模型上传至在线全息管理平台之前，将其转换为.glb格式。
      注意：最终的.glb文件大小应在2 MB至10 MB之间。也可使用能产生相同输出的等效文件转换软件或更新版本的软件。
  2. 转换为.glb格式及文件大小缩减
    1. 将.obj文件导入计算机辅助设计（CAD）软件项目中。
    2. 将模型作为新的.obj文件导出至包含关联.mtl文件和三个.jpg文件的同一文件夹中。
    3. 使用旧版.obj导入选项，将导出的.obj文件导入开源3D建模软件项目中。
    4. 选择已导入的对象，并将其导出为.glb文件。
    5. 在导出过程中，在“包含”选项下启用“选定对象”。
    6. 在导出前，于“网格”设置下启用“应用修改器”，并禁用“形状键”和“动画”。
    7. 其余所有导出设置保持默认值不变。
      注意：如果导出的文件超过11 MB，可能无法正常加载。
    8. 如有必要，在3D建模软件中应用“减面”修改器以减小文件大小。
    9. 将减面比调整在0.05至0.2之间以减小文件大小。
      注意：根据我们的经验，此范围不会明显影响模型保真度。如有需要，可使用更高的比例。
      警告：导出时请勿启用压缩，因为压缩后的模型可能无法在头戴式显示器（HMD）中正确加载。
    10. 导出后，通过右键单击文件、选择“属性”并确认文件大小在2 MB至10 MB之间，再进行上传。
  3. 将图像上传至在线全息管理平台
    1. 登录在线全息管理平台。
    2. 选择“添加”图标，然后选择“新患者”，以创建新的扫描记录。
    3. 使用扫描日期输入患者标识（例如，YYYY-MM-DD_RHINOPLASTY）。
    4. 选择患者的性别。
    5. 创建一个新病例，为该病例指定标题，并上传相应的全息图像文件。
    6. 通过勾选已上传文件旁边的复选框确认上传。
      注意：系统将自动生成一个随机的患者姓名，并与上传的扫描数据相关联。

4. 使用头戴式显示器（HMD）

注意：在手术室使用头戴式显示器（HMD）前，应先熟悉其操作。手术前需由外科医生和助手共同测试HMD，以尽量减少手术过程中的中断。

  1. 在头戴式显示器中打开全息图像
    1. 在头戴式显示器（HMD）上安装全息模型后，打开全息图像查看应用程序。
    2. 登录应用程序，并打开由随机化患者姓名标识的相应患者文件夹。
    3. 单击术前全息图像文件一次。
      警告：请勿多次点击该文件，否则可能导致模型无法加载。
    4. 等待加载指示完成，且文件指示灯变为蓝色。
    5. 确认术前三维图像的全息图出现在视野中，通常位于右侧。
      注意：如果文件指示灯已变为蓝色但全息图未立即可见，请在周围空间中查找，直至定位到模型。
    6. 重复上述步骤，加载整形美容目标图像的形变后全息图。
    7. 在术中使用前，验证两个全息图的方向和比例保真度。
      注意：如果模型加载成功但未能显示，应重新上传未压缩的模型。仅通过网格简化进行文件转换，以达到推荐的文件大小。如果全息图像查看应用程序需要重新认证，请使用头戴式显示器内显示的认证码完成登录流程。在佩戴HMD时，他人协助可能有助于完成此过程。通常仅在初始设置期间需要重新认证，前提是用户在整个手术过程中保持登录状态。
  2. 操控全息图像
    1. 将拇指和食指捏合，手动调整全息图的大小、位置和旋转角度，直至其相对于手术区域置于理想位置。
    2. 必要时使用双手操作，以方便重新定位。
    3. 定位完成后，确认全息图在视野中的方向、比例和位置保持固定。
      注意：除非手动调整，全息图将保持固定，允许用户按需自定义增强现实环境。
  3. 手术准备
    1. 手术前，将全息图加载至全息图像查看应用程序中。
    2. 在增强现实（AR）
    3. 环境中打开并定位术前图像和形变后的美容目标全息图。
    4. 在手术开始前，验证全息图的操作、缩放及整个系统的功能是否正常。
    5. 保持全息图处于打开状态，以便在手术期间佩戴HMD时可立即调用。
    6. 在手术前对HMD进行针对外科医生眼睛的校准。
      注意：每次手术前均应执行HMD校准。手术过程中，若外科医生希望在查看全息图时保持无菌状态，助手可协助其佩戴和摘下HMD。
  4. 术中使用HMD
    1. 手术开始时，佩戴HMD以在手术规划期间查看术前和形变后的全息图像。
    2. 根据需要，在鼻部整形过程中使用HMD。
    3. 所有切口缝合后，再次佩戴HMD，将患者鼻部与形变后的美容目标进行比对（图4）。

figure-protocol-4
图4： 头戴式显示器的术中应用。 在美容性鼻整形术中，使用头戴式显示器可视化患者特异性全息模型的代表性术中场景。外科医生在手术规划及术中评估期间，通过该设备查看全息模型，并与手术视野进行比对。请点击此处查看该图的放大版本。

结果

AR 技术已成功整合至美容鼻整形手术的工作流程中。图 1、图 2、图 3、图 4 展示了该工作流程的代表性阶段。采用三维面部成像系统获取标准化的术前面部图像（图 1），并通过定位界面指导患者体位，以确保图像采集的一致性（图 2）。获取的图像随后被导入渲染环境，在导出用于生成全息影像前，对术前面部模型进行修改，以模拟预期的美容效果（图 3）。

图像处理完成后，通过全息影像 viewing application，使用头戴式显示器（HMD）显示未变形和已变形的三维面部模型。术中，全息模型可手动重新定位、调整大小和旋转，以便与患者鼻部进行实时视觉比对，既可作为直接叠加，也可作为邻近的视觉参考（图4）。

该头戴显示器已成功整合到作者的外科手术工作流程中，且所需培训极少。与之前使用的可视化系统相比，外科医生报告称显示分辨率和界面响应速度均有提升。初步的外科医生调查反馈表明，该系统在术中评估手术进展以及与计划的美容效果进行对比方面具有实用价值9。

总体而言，本方案展示了一种可重复的工作流程，将增强现实（AR）技术整合到美容鼻整形术中，以促进术中对术前规划与手术区域的可视化和对比。这些观察结果支持将基于头戴式显示器（HMD）的可视化系统纳入美容鼻整形术工作流程的可行性。本研究描述的是一种技术方案和可行性工作流程，而非临床疗效评估；然而，目前正在进行与该工作流程相关的客观结局指标的研究。

本文描述了一种将增强现实（AR）技术整合到美容鼻整形手术工作流程中的方案。支持该工作流程可行性的数据可从以下网址获取：https://doi.org/10.1177/26893614261430605。

讨论

先前的一项研究证明了在整形性鼻整形术中使用增强现实（AR）技术的可行性，发现AR技术易于整合，仅需极少的额外手术时间，并且能够降低外科医生的认知负荷9。在手术应用中，AR还被报道可增强解剖结构的理解11并缩短手术时间12。在鼻整形术领域，AR相关研究强调了该技术在辅助术前规划、提高手术精确度以及改善患者满意度方面的潜力7,8,9,10。本方案在既往研究基础上进一步拓展，描述了一种基于头戴式显示器（HMD）的替代性工作流程，可整合至整形性鼻整形术中，以支持术中可视化操作。

本方案提出在术中使用患者特异性的三维术前图像及形变后的美容目标图像作为全息视觉参考。目前的增强现实（AR）技术可通过提供额外的三维视角来补充传统的二维参考图像，从而辅助术中手术决策。该方法在面部整形与重建手术中可能具有应用价值，因为在美容和重建手术过程中，对患者特异性解剖结构的空间理解至关重要。

应当指出若干局限性。主要的使用限制在于，术中使用头戴式显示器（HMD）需要额外人员协助，以便外科医生在手术过程中保持无菌或刷手状态。必须有一名助手留在手术室或附近，协助穿戴和摘除HMD。此外，这款特定的HMD比其他设备更重，且其外接有线电源要求外科医生穿着带口袋的刷手服，或由助手在使用HMD时手持电池包。增强现实（AR）设备的材料成本也较高。本方案所用HMD最新型号的起售价为3699美元13，而3D图像采集系统的价格约为25,000美元。

其他局限性涉及术中对全息参考图像的解读。全息图像由外科医生手动调整大小、重新定位和旋转，当前方案未描述自动配准、追踪、表面匹配、基于标志点的对齐或患者特异性锚定技术。然而，这些功能可能并非美容鼻整形术目标所必需。从技术上讲，当前系统功能上更接近一种可穿戴的三维参考显示器，而非具备自动配准功能的增强现实（AR）系统。手动操作使外科医生能够直接将全息图像叠加或放置于患者鼻部附近，作为可调节的视觉参考。若采用追踪或锚定定位方式，全息图像可能因作为固定覆盖层而遮挡手术视野，或在固定于手术区域旁时妨碍直接对比。术中水肿、软组织变形、切口、组织操作、牵拉、手术暴露以及进行性肿胀等因素，也可能影响患者术中解剖结构与术前或修整后的全息模型之间的比对。尽管这些因素可能影响对全息参考图像的解读，但在使用传统二维参考图像时同样存在此类问题。经验丰富的外科医生应能识别并合理考虑这些变量，无论参考图像的维度如何。针对该工作流程的其他研究方法可能包括：与传统二维参考图像进行比较、使用其他类型的头戴式显示器（HMD）、评估配准叠加系统、分析患者特异性锚定方法，或对计划与术后美学结果进行定量比较。本论文提出了一项技术可行性方案，定量验证工作正在进行中。虽然三维全息图像可像传统图像一样增强鼻整形术中对美容目标的术中可视化，但其用途仅限于参考材料。最终的手术决策仍由外科医生自主判断。本方案使用者应保持无菌操作，并优先保障患者安全。在适当使用的情况下，该系统应对手术区域和患者造成极低风险。鉴于本方案具有实验性质，应对每位患者充分告知该技术的风险与益处，并在术中使用头戴式显示器前获得知情同意。

尽管需要进一步研究来验证这些发现，但增强现实（AR）技术在面部整形与重建手术中可能具有应用前景，例如在美容性鼻整形术期间改善对患者特异性三维参考图像的获取。AR技术的进一步普及可能会发现其在面部整形与重建手术中的更多应用。未来有必要开展多中心研究，评估手术时间、准确性、美学效果、患者安全性和工作流程效率等客观结果，以进一步验证该方法。

披露

作者声明无披露事项。

致谢

本工作由美国国立卫生研究院（NIH）耳聋与其他沟通障碍国家研究所（R25DC020728）和国家癌症研究所（NCI）K08 职业发展奖（5K08CA293255-02）资助。作者谨此感谢 Shreeya Bahethi 在视频制作方面的贡献。

材料

本文使用的材料清单
姓名公司目录编号评论
3D 分析模块Canfield Scientific Inc.N/A用于导出三维图像文件的 VECTRA 3D 分析模块软件。RRID: N/A
3D 采集模块Canfield Scientific Inc.N/A用于获取三维面部图像的 VECTRA 采集模块软件。RRID: N/A
三维面部成像系统Canfield Scientific Inc.N/A用于面部图像采集的 VECTRA M3 三维成像系统。RRID: N/A
计算机工作站Dell Inc.W31C003与三维面部成像系统配合使用的工作站。最低配置要求：Windows 11（64 位）、Intel Core i7 或更高处理器、≥16 GB 内存、配备 ≥4 GB 显存的兼容 NVIDIA 显卡，以及两个 USB 2.0 接口。由 Canfield Scientific Inc. 配置并提供。
计算机辅助设计软件Autodesk Inc.N/A用于在转换前修复三维模型文件的 Meshmixer 软件。RRID: SCR_015736
计算机辅助设计软件（旧版）Microsoft CorporationN/AMicrosoft 3D Builder 软件，用于修复三维模型文件（已弃用；可选替代方案）。
面部形变软件Canfield Scientific Inc.N/AFace Sculptor 软件，用于生成理想的美容模拟效果以辅助手术规划。RRID: N/A
头戴式显示器Apple Inc.N/AApple Vision Pro（M2）混合现实头显，用于术中可视化。RRID: N/A
全息模型管理平台ApoQlar MedicalN/AHoloMedicine Online Preview 应用程序，用于在可视化前上传和管理全息模型。RRID: N/A
全息模型查看应用程序ApoQlar MedicalN/AVSI HoloMedicine Preview 应用程序，用于在头戴式显示器中可视化全息模型。RRID: N/A
开源三维建模软件Blender Development TeamVersion 4.4Blender 软件，用于将三维模型转换为 .glb 格式并进行网格简化。RRID: SCR_008606

参考文献

  1. Kim CH, Most SP. Photography and photodocumentation for the rhinoplasty patient. Clin Plast Surg. 2022;49(1):13-22.
  2. Weissler JM, et al. The evolution of photography and three-dimensional imaging in plastic surgery. Plast Reconstr Surg. 2017;139(3):761.
  3. Yao J, et al. Augmented reality technology could be an alternative method to treat craniomaxillofacial foreign bodies: A comparative study between augmented reality technology and navigation technology. J Oral Maxillofac Surg. 2020;78(4):578-587.
  4. Chen G, et al. The preliminary application of augmented reality in unilateral orbitozygomatic maxillary complex fractures treatment. J Craniofac Surg. 2020;31(2):542-548.
  5. Liu K, et al. Augmented reality navigation method for recontouring surgery of craniofacial fibrous dysplasia. Sci Rep. 2021;11(1):10043.
  6. Nuri T, Mitsuno D, Otsuki Y, Ueda K. Augmented reality technology for the positioning of the auricle in the treatment of microtia. Plast Reconstr Surg Glob Open. 2020;8(2):e2626.
  7. Autelitano M, et al. Augmented reality for rhinoplasty: 3D scanning and projected AR for intraoperative planning validation. Healthc Technol Lett. 2025;12(1):e12116. doi:10.1049/htl2.12116.
  8. Heydari MS, Kolivand M, Al-Azzawi M, Kolivand H. Intelligent augmented reality application for personalised rhinoplasty using machine learning. Intell Robot. 2025;5(2):355-377. doi:10.20517/ir.2025.18.
  9. Barna AJ, et al. Use of augmented reality technology in cosmetic rhinoplasty: A feasibility study. Facial Plast Surg Aesthet Med. 2026. doi:10.1177/26893614261430605.
  10. Huang C, et al. The combined application of augmented reality and guide template technology in the treatment of nasal deformities. J Craniofac Surg. 2021;32(7):2431-2434. doi:10.1097/SCS.0000000000007522.
  11. Rose AS, Kim H, Fuchs H, Frahm JM. Development of augmented reality applications in otolaryngology-head and neck surgery. Laryngoscope. 2019;129(S3):S1-S11.
  12. Pérez-Pachón L, et al. Image overlay surgery based on augmented reality: A systematic review. Adv Exp Med Biol. 2020;8:175-195.
  13. Apple Inc. Buy Apple Vision Pro. Apple. Available at: https://www.apple.com/apple-vision-pro/. Accessed July 18, 2026.

重印与许可

标签

三维面部成像手术流程全息模型混合现实显示术中可视化术前规划手术决策鼻部解剖

本文已发表

视频即将推出

联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。