方法文章

结合增强现实与3D打印技术在智能手机上显示患者模型

19.7K 次观看

⸱

DOI：

10.3791/60618

⸱

2020年1月2日

 ,  ,  ,  ,  , 
1Department of Bioengineering and Aerospace Engineering, Universidad Carlos III de Madrid, 2Instituto de Investigación Sanitaria Gregorio Marañón, 3Department of Orthopedic Surgery and Traumatology, Hospital General Universitario Gregorio Marañón, 4Department of Surgery, Faculty of Medicine, Universidad Complutense de Madrid

本文内容

摘要

本文介绍了一种利用3D打印参考标记设计增强现实智能手机应用程序的方法，用于可视化患者的解剖学三维模型。

摘要

增强现实（AR）在医学领域的教育、培训和手术引导方面具有巨大潜力。将其与三维（3D）打印（3DP）技术结合，为临床应用开辟了新的可能性。尽管这些技术近年来呈指数级发展，但其在医生群体中的应用仍有限，因为需要具备工程学和软件开发方面的深入知识。因此，本实验方案旨在提供一种分步式方法，使无相关经验的用户也能创建一款智能手机应用程序，将增强现实与3D打印相结合，利用3D打印的参考标记实现患者解剖结构3D模型的可视化。本方案详细描述了如何基于患者的三维医学影像构建患者解剖结构的3D虚拟模型，随后说明如何将3D模型相对于标记参考进行定位。同时提供了所需工具和模型的3D打印操作指南。最后，给出了应用程序部署的具体步骤。该方案基于免费且支持多平台的软件，可适用于任何医学成像方式或患者个体。文中还介绍了一种替代方法，用于实现由患者解剖结构生成的3D打印模型与投影全息图像之间的自动配准。作为示例，本文提供了一例远端下肢肉瘤患者的临床案例，以展示该方法的具体应用。预计本方案将加速增强现实与3D打印技术在医疗专业人员中的推广与应用。

引言

增强现实（AR）和3D打印（3DP）是近年来在医学领域应用日益广泛的技术。对于AR而言，其通过与虚拟3D模型及真实环境的交互，在医学教育与培训1,2,3、与其他医生的沟通与协作4，以及临床操作的引导方面5,6,7,8,9,10，为医生提供了显著帮助。同样，3DP已成为医生开发患者特异性、可定制化工具11,12,13，或构建患者解剖结构3D模型的有力解决方案，有助于提升术前规划和临床干预的效果14,15。

增强现实（AR）和三维打印（3DP）技术均有助于提高医学操作中的方位感、引导能力及空间技能，因此将二者结合是合乎逻辑的下一步。先前的研究表明，联合使用这两种技术可在患者教育中增加价值16，有助于解释医学状况和拟定的治疗方案，优化手术工作流程17,18，并改善患者与模型的配准19。尽管这些技术近年来呈指数级发展，但其在医生中的应用仍有限，因为它们需要大量的工程和软件开发知识。因此，本研究的目的是描述一种分步方法，使缺乏广泛技术知识的初学者用户也能使用AR和3DP技术。

本方案描述了如何开发一款增强现实（AR）智能手机应用程序，该程序能够通过智能手机摄像头追踪3D打印标记物，将基于患者的任意三维模型叠加到真实世界环境中。此外，还介绍了一种替代方法，用于实现3D打印生物模型（即根据患者解剖结构创建的三维模型）与投影全息图像之间的自动配准。所述方案完全基于免费且支持多平台的软件。

在以往的研究中，增强现实（AR）中的患者与图像配准是通过人工方式5或表面识别算法10计算得出的，或根本无法实现2。当需要高精度配准时，这些方法被认为存在一定局限性19。为克服这些局限性，本研究结合增强现实技术与三维打印（3DP），提供了可在AR操作中实现精确且简便的患者与图像配准的工具。

该方案具有通用性，可应用于任何医学成像方式或患者。本文以一例真实的临床病例为例，展示该方法的应用：患者患有远端腿部肉瘤。第一步介绍如何从计算机断层扫描（CT）医学图像中便捷地分割出病变解剖结构，以生成三维虚拟模型。随后对三维模型进行定位，然后将所需工具和模型进行三维打印。最后，部署所需的增强现实（AR）应用程序。该应用程序能够在智能手机摄像头画面中实时叠加显示患者的三维模型。

方案

本研究遵循2013年修订的1964年《赫尔辛基宣言》的原则。本文所使用的匿名患者数据和图片，均在获得受试者和/或其法定代理人签署的书面知情同意后使用，其中受试者已同意将此类数据用于包括科学出版物在内的传播活动。

1. 用于分割、三维模型提取、定位及增强现实应用程序部署的工作站设置

注意：本实验方案已使用每种工具指定的特定软件版本进行测试。虽然较新版本的软件可能同样适用，但无法保证兼容性。

  1. 使用配备 Microsoft Windows 10 或 Mac OS 操作系统的计算机。
  2. 根据官方网站的说明，从以下网站安装相应工具：
    3D Slicer（版本 4.10.2）：https://download.slicer.org/。
    Meshmixer（版本 3.5）：http://www.meshmixer.com/download.html。
    Unity（版本 2019）：https://unity3d.com/get-unity/download。
    （仅限 iOS 部署）Xcode（最新版本）：https://developer.apple.com/xcode/。
    注意：完成本实验方案所需的所有软件工具均可免费下载用于个人用途。每个步骤中将具体说明所使用的软件。
  3. 从以下 GitHub 仓库下载数据，地址为 https://github.com/BIIG-UC3M/OpenARHealth。
    注意：该仓库包含以下文件夹：
    “/3DSlicerModule/”：用于将三维模型相对于3D打印标记进行定位的3D Slicer模块。在第3节中使用。请按照 https://github.com/BIIG-UC3M/OpenARHealth 上提供的说明将该模块添加到3D Slicer中。
    “/Data/PatientData/Patient000_CT.nrrd”：一名患有远端腿部肉瘤患者的CT图像。本实验方案以该图像为例进行描述。
    “/Data/Biomodels/”：患者的三维模型（骨骼和肿瘤）。
    “/Data/Markers/”：将被3D打印的标记，AR应用程序将通过检测这些标记来定位虚拟三维模型。共有两种标记可供使用。

2. 生物模型构建

注意：本节的目标是创建患者解剖结构的三维模型。这些模型将通过对医学图像（此处使用CT图像）应用分割方法获得。该过程包括三个不同步骤：1）将患者数据导入3D Slicer软件，2）目标解剖结构的体积分割，3）以OBJ格式导出分割结果为三维模型。最终生成的三维模型将在增强现实（AR）应用中进行可视化。

  1. 通过将医学图像文件拖入 3D Slicer 软件窗口，加载患者数据（“/Data/PatientData/Patient000_CT.nrrd”）。点击 OK。CT 图像（轴向、矢状向、冠状向）将显示在相应的窗口中。
    注意：此处使用的数据为“近似原始光栅数据”（NRRD）格式，但 3D Slicer 也支持医学图像格式（DICOM）文件的加载。如需进一步操作说明，请访问以下链接：https://www.slicer.org/wiki/Documentation/4.10/Training。
  2. 为分割患者解剖结构，请进入 3D Slicer 中的 Segment Editor 模块。
    1. 进入该模块时会自动创建一个“分割”项目。在 Master Volume 区域中选择目标容积（即患者的医学图像）。然后，在下方的 Add 按钮上单击右键以创建一个分割段，系统将生成一个名为“Segment_1”的新分割段。
    2. 存在一个名为 Effects 的面板，其中包含多种工具，可用于准确分割医学图像中的目标区域。选择最适合目标区域的工具，并在图像窗口区域进行分割操作。
      1. 为分割骨骼（本例中为胫骨和腓骨），使用 Threshold 工具设置 CT 图像中对应骨组织的最小与最大 HU 值。使用此工具可去除 HU 值超出该阈值范围的其他成分，例如软组织。
      2. 使用 Scissors 工具去除分割掩膜中的非目标区域，例如床板或其他解剖结构。由于肿瘤难以通过自动工具精确勾画，需使用 Draw 和 Erase 工具手动分割肉瘤。
        注意：如需了解有关分割流程的更多细节，请访问以下链接：https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation。
    3. 点击 Show 3D 按钮，以查看分割结果的三维重建图像。
  3. 通过进入 3D Slicer 中的 Segmentations 模块，将分割结果导出为三维模型文件格式。
    1. 进入 Export/import models and labelmaps 区域。在操作类型中选择 Export，在输出类型中选择 Models，然后点击 Export 完成操作，从分割区域生成三维模型。
    2. 点击左上角的 SAVE 以保存模型，选择需要保存的元素。随后，在 File format 列中将三维模型的文件格式更改为“OBJ”。选择文件存储路径，然后点击 Save。
  4. 重复步骤 2.2 和 2.3，以创建其他不同解剖区域的三维模型。
    注意：示例中提供的预分割模型可在中国台湾下载的数据中找到（步骤 1.3 中已下载：“/Data/Biomodels/”）。

3. 生物模型定位

注意：在本节中，将对第 2 节创建的 3D 模型相对于标记进行定位，以实现增强现实可视化。此任务将使用 3D Slicer 中的 ARHealth: Model Position 模块。请按照步骤 1.3 中提供的说明将该模块添加到 3D Slicer 中。定位 3D 模型有两种不同方式：“可视化”模式和“配准”模式。

  1. 可视化模式
    注意：可视化模式允许将三维患者模型相对于增强现实（AR）标记放置在任意位置。使用此选项时，用户可通过AR应用程序，以3D打印的AR标记为参考来可视化生物模型。当不需要精确定位时可使用此模式，虚拟模型可在智能手机摄像头视野范围内的任意位置显示，只要同时可见标记即可。
    1. 进入 ARHealth：模型定位 模块，在初始化部分选择 可视化 模式。点击 加载标记模型 按钮以加载该选项对应的标记。
    2. 通过点击 … 按钮选择第2节中保存的模型路径，加载第2节创建的三维模型。然后点击 加载模型 按钮将其载入3D Slicer。模型需逐个加载。如需删除先前加载的模型，可先选中该模型，再点击 移除模型 按钮；或点击 全部移除 一次性删除所有已加载模型。
    3. 点击 完成并居中 按钮，使所有模型相对于标记居中对齐。
    4. 可通过不同的滑动条（即平移、旋转、缩放）调整三维模型相对于标记的位置、方向和比例。
      注意：另设有“重置位置”按钮，用于在修改前将模型恢复至原始位置。
    5. 选择文件保存路径后，点击 保存模型 按钮以保存当前状态下的模型。三维模型将以 "_registered.obj" 作为扩展名保存。
  2. 配准模式
    注意：配准模式允许将AR标记与一个三维生物模型在任意期望位置进行组合。随后，可提取包含AR标记的组合三维模型的任意部分并进行3D打印。在AR应用程序中，所有生物模型将以该组合式3D打印模型作为参考进行显示。此模式使用户能够利用参考标记，便捷地完成患者（此处为患者骨骼的某一部分）与虚拟模型之间的配准。
    1. 进入 ARHealth：模型定位 模块，在初始化部分选择 配准 模式。点击 加载标记模型 按钮以加载该选项对应的标记。
    2. 按照步骤3.1.2的方法加载模型。
    3. 移动三维模型，确保其与立方体标记的支撑结构相交，因为这些模型后续将被合并并进行3D打印。标记底座的高度可进行调整。可通过不同的滑动条（即平移、旋转、缩放）调整三维模型相对于标记的位置、方向和比例。
    4. 选择文件保存路径后，点击 保存模型 按钮以保存当前状态下的模型。三维模型将以 "_registered.obj" 作为扩展名保存。
    5. 解剖结构模型可能过大。若如此，可在Meshmixer软件中围绕标记适配器对三维模型进行切割，仅对两模型的组合部分中的一段进行3D打印。
    6. 打开Meshmixer，加载步骤3.2.4中保存的生物模型及立方体标记的支撑结构模型。在 对象浏览器 窗口中同时选中这两个模型，然后点击左上角刚出现的工具窗口中的 合并 选项，将模型合并。
    7. 在Meshmixer中，使用 编辑 菜单下的 平面切割 工具，移除不需3D打印的模型部分。
    8. 为保存待打印模型，请进入 文件 > 导出，并选择所需格式。

4. 3D 打印

注意：此步骤的目的是为最终的增强现实（AR）应用3D打印所需的物理模型。应用程序需检测的标记以及所需的不同物体取决于第3节中选择的模式。在满足各步骤所要求的颜色和材料条件的前提下，本研究可使用任何材料进行3D打印。聚乳酸（PLA）或丙烯腈-丁二烯-苯乙烯共聚物（ABS）均为合适的选择。

  1. 使用3D打印机打印立方体标记。如果无法获得双挤出头3D打印机，请跳至步骤4.2。若使用双挤出头3D打印机，请专门用于打印“Data/Markers/Marker1_TwoColorCubeMarker/”中提供的双色标记。在3D打印软件中，为文件“TwoColorCubeMarker_WHITE.obj”选择白色材料，为“TwoColorCubeMarker_BLACK.obj”选择黑色材料。
    注意：为提高标记检测效果，建议以高质量模式打印，并采用较小的层高。
  2. 若无法获得双挤出头3D打印机且未执行步骤4.1，则按以下方式执行本步骤，通过贴纸方式替代制作带贴纸的3D打印标记：
    1. 使用3D打印机以白色材料打印文件“Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj”。
    2. 使用普通打印机将文件“Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf”打印至贴纸纸张上，然后使用任意切割工具沿黑色边框精确裁剪图像，去除黑色线条。
      注意：建议使用贴纸纸张以获得更高品质的标记。但也可将图像打印在普通纸张上，并使用普通胶棒将图像粘贴至立方体表面。
    3. 按照文档“Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf”中的说明，将贴纸按相应顺序粘贴至步骤4.2.1中获得的3D打印立方体上。
      注意：贴纸尺寸小于立方体面。贴纸与立方体面边缘之间应保留1.5 mm的边框。“Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl”可进行3D打印，用于引导贴纸定位，使其精确对准立方体面的中心。
  3. 根据第3节所选模式，3D打印相应的适配器。
    1. 若选择了可视化模式（第3.1节），请3D打印“Data/3DPrinting/Option1/ MarkerBaseTable.obj”，该基座适配器用于将标记垂直放置于水平表面上。
    2. 若选择了配准模式（第3.2节），请3D打印在步骤3.2.8中创建的、已连接标记适配器的模型。

注意：步骤 4.3 中的 3D 打印物体可使用任意颜色的材料进行打印。

5. AR 应用部署

注意：本节的目标是在 Unity 引擎中设计一款智能手机应用程序，该程序包含之前章节创建的 3D 模型，并将此应用程序部署到智能手机上。此步骤需要一个 Vuforia 开发许可证密钥（个人使用免费）。该应用程序可部署在 Android 或 iOS 设备上。

  1. 创建一个 Vuforia 开发者账户，以获取在 Unity 中使用其库的许可证密钥。访问 https://developer.vuforia.com/vui/auth/register 上的链接并创建账户。
    1. 访问 https://developer.vuforia.com/vui/develop/Licenses 上的链接，选择 获取开发密钥，然后按照说明将一个免费的开发许可证密钥添加到用户的账户中。
    2. 在 许可证管理器 菜单中，选择上一步创建的密钥，并复制提供的密钥，该密钥将在步骤 5.3.3 中使用。
  2. 设置智能手机。
    1. 若要开始使用 Unity 和 Android 设备，请访问 https://docs.unity3d.com/Manual/android-GettingStarted.html 上的链接。
    2. 若要开始使用 Unity 和 iOS 设备，请访问 https://docs.unity3d.com/Manual/iphone-GettingStarted.html 上的链接。
  3. 通过首先打开 Unity v.2019 并创建一个新的 3D 项目，来为 AR 应用设置 Unity 项目。然后，在 文件 菜单下的 构建设置 中，将平台切换为 Android 或 iOS 设备。
    1. 通过选择 编辑 > 项目设置 > 播放器设置 > XR 设置，并勾选标有 Vuforia 增强现实支持 的复选框，将 Vuforia 启用到项目中。
    2. 在 菜单栏 > 游戏对象 > Vuforia Engine > ARCamera 下创建一个“ARCamera”，并在提示时导入 Vuforia 组件。
    3. 通过选择 Resources 文件夹并点击 Vuforia Configuration，将 Vuforia 许可证密钥添加到 Vuforia 配置设置中。然后，在 应用程序许可证密钥 部分粘贴在第 5.1.2 节中复制的密钥。
    4. 将提供的 Vuforia 目标文件“/Data/Vuforia/ AR_Cube_3x3x3.unitypackage”导入 Unity，该文件包含 Vuforia 检测第 4 节所述标记所需的文件。
    5. 在 菜单栏 > 游戏对象 > Vuforia Engine > 多图像 下创建一个 Vuforia 多目标（MultiTarget）。
    6. 点击上一步创建的多目标，选择将用于检测的标记类型。在 多目标行为 下的 数据库 选项中，选择 ARHealth_3DPrintedCube_30x30x30。在 多目标行为 下的 多目标 选项中，根据第 4 节中创建的标记，选择 TwoColorCubeMarker 或 StickerCubeMarker。
    7. 通过在“Resources”文件夹下创建一个名为“Models”的新文件夹，将第 3 节中创建的 3D 模型加载到 Unity 场景的 MultiTarget 中。将 3D 模型拖入此文件夹。在 Unity 中加载后，将它们拖到第 5.3.5 步创建的“MultiTarget”项目下。这将使它们依赖于该标记。
      注意：模型应在 Unity 3D 视图场景中可见。
    8. 通过创建新材质并将新材质分配给模型来更改 3D 模型的颜色。
      1. 通过转到 菜单栏 > 资源 > 创建 > 材质，在“Resources”文件夹下创建一个名为“Materials”的新文件夹。选择该材质并在配置部分更改颜色。然后，将文件拖到 3D 模型层级结构下。
    9. 可选：如果有网络摄像头可用，可点击位于上方中间位置的播放按钮，在计算机上测试其应用。如果标记对网络摄像头可见，则应被检测到，且 3D 模型应在场景中出现。
    10. 如果使用 Android 智能手机进行应用部署，请在 Unity 中转到 文件 > 构建设置，并从列表中选择已连接的手机。选择 部署并运行。将文件以 .apk 扩展名保存在计算机上，并允许过程完成。部署完成后，应用应已安装在手机上并可运行。
      注意：本方案已在 Android v.8.0 Oreo 或更高版本上测试过。对于较早版本，无法保证正常功能。
    11. 如果应用将部署在 iOS 设备上，请在 Unity 中转到 文件 > 构建设置 并选择 运行。选择保存应用文件的路径。允许过程完成。前往保存的文件夹，打开扩展名为“.projectxcode”的文件。
      1. 在 Xcode 中，按照第 5.2.2 步的说明完成部署。
        注意：有关 Unity 中 Vuforia 的更多信息，请访问 https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html 上的链接。

6. 应用可视化

  1. 打开已安装的应用程序，该程序将调用智能手机的摄像头。运行应用程序时，需用摄像头从较短距离（至少40 cm）对准标记物。一旦应用程序检测到标记物，此前步骤中创建的3D模型应精确显示在智能手机屏幕上的预设位置。
    注意：光照条件可能影响标记物识别的准确性。建议在光照良好的环境中使用该应用程序。

结果

本方案应用于一名患有远端腿部肉瘤的患者的影像数据，以从三维角度可视化受累的解剖区域。根据第2节所述方法，从患者的CT扫描图像中分割出受累骨骼（此处为胫骨和腓骨）及肿瘤组织。随后，利用3D Slicer的分割工具生成了两个生物模型：骨骼模型（胫骨和腓骨部分）（图1A）和肿瘤模型（图1B）。

接下来，两个3D模型在虚拟环境中相对于标记物进行定位，以实现最佳可视化效果。本示例遵循了第3节中描述的两种模式。在可视化模式下，模型被居中放置于标记物的上表面（图2）。在配准模式下，标记物适配器被放置于骨骼（具体为胫骨）中（图3）。随后，选取胫骨的一小部分用于3D打印，并配备一个3D打印的标记物适配器（图4）。使用Ultimaker 3 Extended 3D打印机和PLA材料制作3D打印标记物（图5A, B）、用于“可视化”模式的标记物支架底座（图5C），以及用于“配准”模式的胫骨部分（图5D）。图5E展示了标记物如何连接到“可视化”模式的3D打印底座上。图5F展示了标记物与“配准”模式的3D打印生物模型的连接方式。最后，使用Unity创建应用程序并将其部署到智能手机上。

图6展示了应用程序在“可视化”模式下的运行情况。全息影像被准确地定位在立方体的上部，位置与先前设定一致。图7展示了“配准”模式下的应用效果，此时应用程序将完整的骨骼模型准确叠加在3D打印部件之上。最终呈现的全息影像清晰且逼真，保持了生物模型的真实尺寸，并实现了精确的空间定位。使用智能手机应用程序时，摄像头必须能够持续看到增强现实（AR）标记，以便应用程序正确显示全息影像。此外，环境光照条件应良好且稳定，以确保AR标记被准确识别。光照条件不佳或标记表面存在反光会干扰AR标记的追踪，导致应用程序运行异常。

创建应用程序所需的时间取决于多个因素。第1部分的耗时受限于下载速度。关于解剖结构分割（第2部分），影响分割时间的因素包括区域的复杂程度和医学成像方式（例如，CT图像较容易分割，而MRI图像则更困难）。以胫骨的代表性示例为例，从CT扫描数据生成两个3D模型大约需要10分钟。生物模型定位（第3部分）操作简单直接。在此示例中，定义生物模型相对于AR标记的位置大约耗时5分钟。对于3D打印步骤，所需时间高度依赖于所选的打印模式。“双色标记”以高质量打印耗时5小时20分钟。“贴纸标记”的打印耗时1小时30分钟，另需加上粘贴贴纸的时间。对于没有Unity使用经验的用户而言，应用程序开发的最后一步可能较为耗时，但只要按照本方案的步骤操作，即可轻松完成。一旦完成AR标记的3D打印，开发一个全新的AR应用程序可在1小时以内完成。随着经验的积累，该时间还可进一步缩短。

figure-results-1
图1：由一名患有远端腿部肉瘤的患者的CT图像构建的3D模型示意图。（A）骨组织以白色显示（胫骨和腓骨）。（B）肿瘤以红色显示。请点击此处查看该图的放大版本。

figure-results-2
图2：结果显示在3D Slicer软件的“可视化”模式下，骨与肿瘤的虚拟3D模型相对于3D打印标记参考物的位置关系。 患者3D模型（A）位于标记立方体上表面（B）的上方。请点击此处查看该图的放大版本。

figure-results-3
图3：结果显示了3D Slicer中的“配准”模式如何将骨组织和肿瘤的虚拟3D模型（A）相对于3D打印的标记参考物（B）进行定位。 标记适配器已连接至骨组织模型上。 请点击此处查看该图的放大版本。

figure-results-4
图4：骨组织小片段与3D标记适配器。 将这两个部件组合后进行3D打印。 请点击此处查看该图的放大版本。

figure-results-5
图5：最终应用所需的3D打印工具。（A）使用两种材料颜色3D打印的“双色立方体标记”。（B）3D打印的“贴纸立方体标记”，表面粘贴有贴纸。（C）标记基座立方体适配器。（D）患者骨组织3D模型及标记立方体适配器的局部视图。（E）“贴纸立方体标记”安装在标记基座立方体适配器中。（F）“双色立方体标记”安装在连接于患者解剖结构的标记适配器上。请点击此处查看该图的放大版本。

figure-results-6
图6：使用“可视化”模式时的应用界面显示。 患者病变解剖结构的三维模型位于3D打印立方体上表面的上方。 请点击此处查看该图的放大版本。

figure-results-7
图7：使用“配准”模式时的增强现实（AR）可视化效果。 3D打印的标记物可实现3D打印生物模型与虚拟3D模型之间的配准。请点击此处查看该图的放大版本。

讨论

增强现实（AR）在医学领域的教育、培训和手术指导方面具有巨大潜力。AR 与 3D 打印技术的结合可能为临床应用开辟新的可能性。本方案描述了一种方法学，可使无经验的用户创建一款智能手机应用程序，将 AR 与 3D 打印（3DP）相结合，利用 3D 打印的参考标记物实现患者解剖学 3D 模型的可视化。

总体而言，增强现实（AR）与三维打印（3DP）最具吸引力的临床应用之一是通过为患者提供病例的全新视角，改善医患之间的沟通，从而更有效地解释特定的医学状况或治疗方案。另一个可能的应用是用于目标定位的手术导航，其中可将带有附着参考AR标记的患者特异性三维打印工具放置在刚性结构（例如骨骼）上，并作为导航的参考依据。该应用在骨科和颌面外科手术中尤为有用，因为在手术过程中可轻易接触到骨组织表面。

本方案从第1节开始，介绍工作站设置及所需的软件工具。第2节描述如何使用3D Slicer软件，从任何医学成像模态中便捷地分割出患者的靶向解剖结构，以获得三维模型。此步骤至关重要，因为所创建的虚拟三维模型将直接显示在最终的增强现实（AR）应用中。

在第3节中，使用 3D Slicer 将上一节创建的三维模型与增强现实（AR）标记进行配准。在此配准过程中，患者的三维模型能够相对于 AR 标记被高效且简便地定位。本节中定义的位置将决定最终应用程序中全息影像的相对位置。该方案被认为可降低复杂性并拓展多种潜在应用。第3节介绍了两种定义模型与 AR 标记之间空间关系的不同选项：“可视化”模式和“配准”模式。第一种选项，“可视化”模式，允许三维模型相对于标记任意定位，并以完整的生物模型形式显示。该模式可真实呈现患者解剖结构的三维视角，并通过移动被追踪的 AR 标记来实现对生物模型的移动和旋转。第二种选项，“配准”模式，允许将标记适配器附着并组合到生物模型的任意部位，从而实现自动配准过程。使用此选项时，可将包含标记适配器的三维模型局部进行3D打印，而应用程序则以全息影像形式显示模型的其余部分。

第4节提供了3D打印过程的指导。首先，用户可在两种不同的标记物之间进行选择：“双色标记”和“贴纸标记”。整个“双色标记”均可通过3D打印制成，但需要使用双喷嘴3D打印机。若无此类打印机，可选用“贴纸标记”。该标记结构较为简单，可通过3D打印出立方体结构，再使用贴纸纸张或贴纸胶水将立方体的图案粘贴上去即可制成。此外，两种标记均设计有可扩展部分，可精确适配特定的连接器，因此可在多种情况下重复使用。

第5节介绍了使用Vuforia软件开发工具包创建用于增强现实的Unity项目的流程。对于没有编程经验的用户而言，此步骤可能是最具挑战性的部分，但通过遵循本指南，应能更轻松地获得第6节中展示的最终应用程序。当手机摄像头识别到3D打印的标记时，该应用程序会在手机屏幕上显示患者的虚拟模型。为使应用程序能够检测到3D标记，手机与标记之间的距离需至少保持约40厘米或更近，同时需要具备良好的照明条件。

本方案的最终应用允许用户选择要可视化的特定生物模型及其位置。此外，该应用程序可通过连接在生物模型上的3D打印标记物和适配器，实现患者与全息影像的自动配准。这以直接且便捷的方式解决了将虚拟模型与环境进行配准的难题。更重要的是，该方法无需具备医学影像或软件开发方面的专业知识，不依赖复杂的硬件和昂贵的软件，且可在较短时间内完成实施。预计该方法将有助于加快增强现实（AR）和三维打印（3DP）技术在医疗专业人员中的推广应用。

披露

作者无任何利益冲突需要披露。

致谢

本报告由项目 PI18/01625 和 PI15/02121（西班牙科学、创新与大学部，卡洛斯三世健康研究所及欧洲区域发展基金“一种建设欧洲的方式”）以及 IND2018/TIC-9753（马德里自治区）资助。

材料

本文使用的材料清单
姓名公司目录编号评论
3D打印材料：丙烯腈-丁二烯-苯乙烯共聚物（ABS）常用于家用3D打印机的热塑性聚合物材料。
3D打印材料：聚乳酸（PLA）家用3D打印机中常用的生物塑料材料。
3D Slicer用于医学影像信息学、图像处理和三维可视化的开源软件平台
安卓Alphabet, Inc.Android 是由 Google 开发的一款移动操作系统。该系统基于修改版的 Linux 内核及其他开源软件，主要面向智能手机和平板电脑等触摸屏移动设备设计。
Autodesk MeshmixerAutodesk, Inc.Meshmixer 是一款用于处理三角网格的尖端软件。免费软件。
iPhone 操作系统Apple, Inc.iPhone OS 是由苹果公司为其硬件设备独家创建和开发的移动操作系统。
Ultimaker 3 ExtendedUltimaker BV熔融沉积成型3D打印机
统一性Unity TechnologiesUnity 是一个用于创建 3D、2D 和 VR 的实时开发平台 &游戏、汽车、交通、电影、动画、建筑、工程领域的增强现实（AR）可视化 &以及更多功能。免费软件。
XcodeApple, Inc.Xcode 是用于为 Mac、iPhone、iPad、Apple Watch 和 Apple TV 创建应用程序的完整开发工具集。免费软件。

参考文献

  1. Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
  2. Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
  3. Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
  4. Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210(2019).
  5. Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2(2018).
  6. Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
  7. Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
  8. Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1(2019).
  9. Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
  10. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  11. Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
  12. Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131(2016).
  13. De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
  14. Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
  15. Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
  16. Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
  17. Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
  18. Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
  19. Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

3D 3D Slicer Vuforia 3D Unity 3D

相关文章