Summary
此处介绍的是一种使用 3D 打印参考标记设计增强现实智能手机应用程序的方法，用于对患者的解剖三维模型进行可视化。
Abstract
增强现实 （AR） 在医疗领域的教育、培训和外科指导方面有着巨大的潜力。它与三维 （3D） 打印 （3DP） 的结合为临床应用开辟了新的可能性。尽管这些技术近年来呈指数级增长，但医生采用这些技术仍然有限，因为它们需要广泛的工程和软件开发知识。因此，此协议的目的是描述一个分步方法，使没有经验的用户能够创建一个智能手机应用程序，该应用程序将 AR 和 3DP 结合在一起，使用 3D 打印参考标记来可视化患者的解剖 3D 模型。该协议描述了如何创建从 3D 医学图像派生的患者解剖结构的 3D 虚拟模型。然后，它说明如何相对于标记引用执行 3D 模型的定位。还提供了有关如何 3D 打印所需工具和模型的说明。最后，提供了部署应用的步骤。该协议基于自由和多平台软件，可应用于任何医疗成像方式或患者。介绍了一种替代方法，用于在患者解剖学创建的 3D 打印模型和投影全息图之间提供自动配准。例如，提供了一个患有远端腿肉瘤患者的临床案例来说明该方法。预计该协议将加速医疗专业人员采用AR和3DP技术。
Introduction
AR 和 3DP 是提供越来越多的医疗应用的技术。在AR的情况下，它与虚拟3D模型和真实环境的互动有利于医生在教育和培训1，2，3，与其他医生的沟通和互动4，并在临床干预5，6，7，8，9，10的指导。同样，3DP已成为医生在开发患者特定的可定制工具11，12，13或创建患者解剖学的3D模型，这有助于改善术前规划和临床干预14，15的强大解决方案。
AR 和 3DP 技术都有助于提高医疗程序的方向、指导和空间技能;因此，它们的组合是下一个逻辑步骤。以往的工作表明，他们的联合使用可以增加患者教育的价值16，促进解释医疗条件和建议的治疗，优化手术工作流程17，18和改进患者到模型登记19。尽管这些技术近年来呈指数级增长，但医生采用这些技术仍然有限，因为它们需要广泛的工程和软件开发知识。因此，本工作的目的是描述一种分步方法，使没有经验的用户无需广泛的技术知识即可使用AR和3DP。
该协议描述了如何开发 AR 智能手机应用程序，允许使用智能手机摄像头跟踪的 3D 打印标记将任何基于患者的 3D 模型叠加到真实环境中。此外，还介绍了一种替代方法，用于在 3D 打印的生物模型（即从患者的解剖结构创建的 3D 模型）和投影全息图之间提供自动配准。所述协议完全基于自由和多平台软件。
在以前的工作中，AR患者对图像的配准是使用表面识别算法10手动计算的，或者已经不可用2。当需要准确的登记时，这些方法被认为有些有限。为了克服这些限制，此工作提供了工具，通过结合 AR 技术和 3DP，在 AR 程序中执行准确而简单的患者到图像注册。
该协议是通用的，可应用于任何医学成像方式或患者。例如，提供了一个患有远端腿肉瘤的患者的真实临床案例来说明该方法。第一步介绍如何轻松地从计算机断层扫描 （CT） 医学图像中分割受影响的解剖结构以生成 3D 虚拟模型。之后，对 3D 模型进行定位，然后对所需的工具和模型进行 3D 打印。最后，部署了所需的 AR 应用。这个程序允许实时可视化患者3D模型覆盖在智能手机相机上。
Protocol
这项研究是根据2013年修订的1964年《赫尔辛基宣言》的原则进行的。本文中包含的匿名患者数据和图片是在获得参与者和/或其法律代表的书面知情同意后使用的，其中他/她批准将这些数据用于传播活动，包括科学出版物。
1. 用于分段、3D 模型提取、定位和 AR 应用部署的工作站设置
注：此协议已使用每个工具所指示的特定软件版本进行了测试。它很可能适用于较新版本，尽管不能保证。
- 使用带有微软 Windows 10 或 Mac 操作系统的计算机作为操作系统。
- 根据官方说明，从相应的网站安装以下工具：
3D 切片器（v. 4.10.2）：https://download.slicer.org/ 。
网状混合器（第3.5部分）：http://www.meshmixer.com/download.html。
统一（诉2019）：https://unity3d.com/get-unity/download。
（仅适用于 iOS 部署）Xcode（上一版本）：https://developer.apple.com/xcode/。
注：完成协议所需的所有软件工具都可以免费下载，用于个人目的。将明确说明每个步骤中使用的软件。 - 从以下 GitHub 存储库下载数据，https://github.com/BIIG-UC3M/OpenARHealth。
注： 存储库包含以下文件夹：
"/3D切片模块/"：3D切片器模块，用于相对于 3D 打印标记定位 3D 模型。第 3 节使用。按照https://github.com/BIIG-UC3M/OpenARHealth中提供的说明将模块添加到 3D 切片器中。
"/数据/患者数据/Patient000_CT.nrrd"：患有远端腿肉瘤患者的CT。该协议是使用此图像作为示例描述的。
"/数据/生物模型/"：患者（骨骼和肿瘤）的3D模型。
"/数据/标记/"：将 3D 打印的标记，AR 应用程序将检测到这些标记来定位虚拟 3D 模型。有两个标记可用。
2. 生物模型创建
注：本节的目标是创建患者解剖学的3D模型。它们将通过对医学图像应用分割方法（此处，使用 CT 图像）获得。该过程包括三个不同的步骤：1） 将患者数据加载到 3D 切片器软件中，2、对目标解剖体积进行分割，以及 3） 以 OBJ 格式将分段导出为 3D 模型。生成的 3D 模型将在最终的 AR 应用程序中可视化。
- 通过将医疗图像文件拖到 3D 切片器软件窗口中来加载患者数据（"/数据/患者数据/Patient000_CT.nrrd"。）单击"确定"。CT 视图（轴向、下垂、日冕）将显示在相应的窗口中。
注意： 此处使用的数据以"几乎原始栅格数据"（NRRD） 格式找到，但 3D 切片器允许加载医疗图像格式 （DICOM） 文件。转到以下链接，以在https://www.slicer.org/wiki/Documentation/4.10/Training找到进一步说明。 - 要对患者的解剖进行分段，请访问 3D 切片器中的分段编辑器模块。
- 进入模块时，将自动创建"分段"项。在主音量部分中选择所需的音量（患者的医疗图像）。然后，右键单击下面的"添加"按钮以创建句段。将创建一个名称为"Segment_1"的新段。
- 有一个名为"效果"的面板，其中包含用于正确分割医疗图像目标区域的各种工具。为目标选择最方便的工具，并将线段段到图像窗口区域。
- 要分割骨骼（本例中为骨骼和纤维），请使用阈值工具从 CT 图像中设置与骨组织相对应的最小和最大 HU 值。通过使用此工具，将删除 HU 超出这些阈值的其他元素，如软组织。
- 使用剪刀工具从分段蒙版上移除不需要的区域，如床或其他解剖结构。使用绘制和擦除工具手动分割肉瘤，因为肿瘤很难用自动工具轮廓。
注：要了解有关分段过程的更多详细信息，请转到https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation找到的链接。
- 单击"显示 3D"按钮可查看分段的 3D 表示形式。
- 通过进入 3D 切片器中的分段模块，以 3D 模型文件格式导出分段。
- 转到导出/导入模型和标签映射。在"操作"部分中选择"导出"，在输出类型部分中选择"模型"。单击"导出"以完成并从分段区域创建 3D 模型。
- 选择"保存（左上角）"以保存模型。选择要保存的元素。然后，在"文件格式"列中将 3D 模型的文件格式更改为"OBJ"。选择将存储文件的路径，然后单击"保存"。
- 重复步骤 2.2 和 2.3 以创建不同解剖区域的其他 3D 模型。
注： 提供的示例的预分段模型可在步骤 1.3 中之前下载的数据中找到（"/数据/生物模型/"）。
3. 生物模型定位
注：在本节中，第 2 节中创建的 3D 模型将相对于增强现实可视化的标记进行定位。来自 3D 切片器的ARHealth：模型位置模块将用于此任务。按照步骤 1.3 中提供的说明将模块添加到 3D 切片器。定位 3D 模型有两种不同的替代方法："可视化"模式和"注册"模式。
- 可视化模式
注：可视化模式允许将3D患者模型定位在相对于AR标记的任何位置。使用此选项，用户可以使用 AR 应用程序使用 3D 打印的 AR 标记作为参考来可视化生物模型。当不需要精度时，可以使用此模式，虚拟模型的可视化可以在智能手机摄像头和标记的视场的任意位置显示。- 转到ARHealth：模型位置模块，然后（在初始化部分）选择可视化模式。单击"加载标记模型"以加载此选项的标记。
- 通过单击..."按钮从第 2 节选择已保存模型的路径，加载第 2 节中创建的 3D 模型。然后，单击"加载模型"按钮将其加载到 3D 切片器中。模型必须一次加载一个。要删除以前加载的所有模型，请单击该模型后跟"删除模型"按钮，或单击"全部删除"以删除一次加载的所有模型。
- 单击"完成"和"居中"按钮以居中标记内的所有模型。
- 可以针对具有不同滑块的标记（即平移、旋转、缩放）修改 3D 模型的位置、方向和缩放。
注： 在更改位置之前，还有一个额外的"重置位置"按钮用于重置模型的原始位置。 - 通过选择存储文件的路径并单击"保存模型"按钮，将模型保存在此位置。3D 模型将保存为扩展名"_registered.obj"。
- 注册模式
注：注册模式允许将AR标记与一个3D生物模型结合在任何所需位置。然后，可以提取和打印组合的 3D 模型（包括 AR 标记）的任何部分。所有生物模型都将使用此组合 3D 打印生物模型作为参考显示在 AR 应用程序中。此模式允许用户使用参考标记轻松注册患者（此处为患者骨骼的一部分）和虚拟模型。- 转到ARHealth：模型位置模块，然后（在初始化部分）选择注册模式。单击"加载标记模型"以加载此选项的标记。
- 如步骤 3.1.2 中所做的那样加载模型。
- 移动 3D 模型并确保它们与立方体标记的支撑结构交集，因为这些模型稍后将合并和打印 3D。可以修改标记基的高度。可以针对具有不同滑块的标记（即平移、旋转、缩放）修改 3D 模型的位置、方向和缩放。
- 通过选择存储文件的路径并单击"保存模型"按钮，将模型保存在此位置。3D 模型将保存为扩展名"_registered.obj"。
- 解剖模型可能太大。如果是这样，则围绕标记适配器剪切 3D 模型，使用 Meshmixer 软件仅剪切两个模型组合的一部分。
- 打开网格混合器并加载步骤 3.2.4 中保存的立方体标记模型的生物模型和支撑结构。通过在"对象浏览器"窗口中选择这两个模型来组合这些模型。单击刚刚出现在左上角的工具窗口中的"合并"选项。
- 在"网格混合器"中，使用"编辑"菜单下的"平面切割"工具删除模型中不需要的不会进行 3D 打印的部分。
- 要将模型保存为 3D 打印，请转到"文件>导出"并选择所需的格式。
4. 3D打印
注：此步骤的目的是 3D 打印最终 AR 应用程序所需的物理模型。应用程序要检测的标记和所需的不同对象取决于第 3 节中选择的模式。任何材料都可用于 3D 打印，以便按照每个步骤要求的颜色材料进行。聚乳酸 （PLA） 或丙烯酰胺苯乙烯 （ABS） 都是足够的选择。
- 使用 3D 打印机打印立方标记。如果双挤出机 3D 打印机不可用，请跳到步骤 4.2。使用双挤出式 3D 打印机专门打印"数据/标记/Marker1_TwoColorCubeMarker/"中提供的双色标记。在 3D 打印软件中，为文件"TwoColorCubeMarker_WHITE.obj"选择白色材质，为"TwoColorCubeMarker_BLACK.obj"选择黑色材料。
注：为了更好的标记检测，在具有小图层高度的高质量模式下打印。 - 如果双挤出机 3D 打印机不可用且未执行步骤 4.1，请按照以下步骤打印带有贴纸的 3D 打印标记，以替代方式执行以下操作：
- 使用 3D 打印机使用白色材料打印文件"数据/标记/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE.obj"。
- 使用传统打印机在贴纸纸上打印文件"数据/标记/Marker2_StickerCubeMarker/Stickers.pdf"。然后，使用任何切割工具通过移除黑线来精确切割黑色框架中的图像。
注：建议使用不干胶纸来获得更高质量的标记。但是，图像可以打印在普通纸张上，并且可以使用一个通用的胶棒将图像粘贴到立方体上。 - 按照文档"数据/标记/Marker2_StickerCubeMarker/Stickers.pdf"的说明，将贴纸放在步骤 4.2.1 中获得的 3D 打印立方体中，按相应顺序放置。
注：贴纸比立方体的面小。在贴纸和面边缘之间留出 1.5 mm 的相框。"数据/标记/Marker2_StickerCubeMarker/StickerPlacer.stl"可以进行 3D 打印，以引导贴纸定位，并完全匹配立方体面的中心。
- 3D 打印适配器，具体取决于第 3 节中选择的模式。
- 如果选择了可视化模式（第 3.1 节），则 3D 打印"Data/3DPrinting/选项1/标记BaseTable.obj"，这是一个用于将标记置于水平表面上垂直位置的基适配器。
- 如果选择了注册模式（第 3.2 节），则 3D 打印步骤 3.2.8 中创建的模型，并附加标记适配器。
注：步骤 4.3 中的 3D 打印对象可以打印在任何颜色材料中。
5. AR 应用程序部署
注意：本节的目标是在 Unity 引擎中设计一个智能手机应用程序，其中包括前面部分中创建的 3D 模型，并将此应用程序部署到智能手机上。此步骤需要一个 Vuforia 开发许可证密钥（免费供个人使用）。该应用程序可以部署在 Android 或 iOS 设备上。
- 创建一个 Vuforia 开发人员帐户以获取许可证密钥，以在 Unity 中使用其库。转到在https://developer.vuforia.com/vui/auth/register找到的链接并创建一个帐户。
- 转到在https://developer.vuforia.com/vui/develop/Licenses找到的链接，然后选择"获取开发密钥"。然后，按照说明将免费开发许可证密钥添加到用户帐户中。
- 在"许可证管理器"菜单中，选择在上一步骤中创建的密钥，然后复制提供的密钥，该密钥将在步骤 5.3.3 中使用。
- 设置智能手机。
- 要开始使用 Unity 和 Android 设备，请访问在https://docs.unity3d.com/Manual/android-GettingStarted.html找到的链接。
- 要开始使用 Unity 和 iOS 设备，请访问在https://docs.unity3d.com/Manual/iphone-GettingStarted.html找到的链接。
- 通过首先打开 Unity v.2019 并创建新的 3D 项目，为 AR 应用设置统一项目。然后，下生成设置在文件菜单，将平台切换到 Android 或 iOS 设备。
- 通过选择"编辑>项目设置>播放器设置>XR设置"，并选中标记为"Vuforia 增强现实支持"的复选框，将 Vuforia 启用到项目中。
- 在Menubar >游戏对象> Vuforia 引擎> ARCamera和导入 Vuforia 组件（如出现提示时）下创建"ARCamera"。
- 通过选择"资源"文件夹并单击"Vuforia 配置"，将 Vuforia 许可证密钥添加到 Vuforia 配置设置中。然后，在"应用许可证密钥"部分中，粘贴第 5.1.2 节中复制的密钥。
- 将"/数据//AR_Cube_3x3x3.unity软件包"中提供的 Vuforia 目标文件导入 Unity，其中包含 Vuforia 检测第 4 节中描述的标记所需的文件。
- 在菜单栏下创建一个 Vuforia 多目标 >游戏对象> Vuforia 引擎>多图像。
- 通过单击上一步中创建的 MultiTarget，选择用于检测的标记类型。在"多目标行为"下的"数据库"选项中，选择ARHealth_3DPrintedCube_30x30x30。在"多目标行为"下的"多目标"选项中，根据第 4 节中创建的标记选择"双色立方标记"或"贴纸立方标记"。
- 通过在"资源"文件夹下创建一个名称为"模型"的新文件夹，将第 3 节中创建的 3D 模型加载到MultiTarget下的 Unity 场景中。将 3D 模型拖动到此文件夹中。在 Unity 中加载后，将它们拖动到步骤 5.3.5 中创建的"多目标"项下。这将使它们依赖于标记。
注：模型应在 Unity 3D 视图场景中可见。 - 通过创建新材质并将新材质分配给模型来更改 3D 模型的颜色。
- 通过访问菜单栏>资产>创建>材料，在"资源"文件夹下创建一个名为"材料"的新文件夹。选择材料并更改配置部分中的颜色。然后，在 3D 模型层次结构下拖动文件。
- 可选：如果有可用的网络摄像头，请单击位于中上部的播放按钮以测试其在计算机上的应用程序。如果摄像头可以看到该标记，则应检测到该标记，并且 3D 模型应出现在场景中。
- 如果应用将部署在 iOS 设备中，请转到"统一"中的"文件>生成设置"并选择"运行"。选择保存应用文件的路径。允许进程完成。转到保存的文件夹，打开带有扩展名".projectxcode"的文件。
- 在 Xcode 中，按照步骤 5.2.2 中的说明完成部署。
注：有关 Unity 中的 Vuforia 的更多信息，请访问在 https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html中找到的链接。
- 在 Xcode 中，按照步骤 5.2.2 中的说明完成部署。
6. 应用可视化
- 打开已安装的应用程序，该应用程序将使用智能手机的摄像头。运行应用程序时，从短距离（最小 40 厘米）用相机查看标记。应用检测到标记后，在智能手机屏幕上完成过程中定义的位置应完全显示在前几步中创建的 3D 模型。
注：照明可以改变标记检测的精度。建议在照明条件良好的环境中使用该应用程序。
Representative Results
该协议应用于患有远端腿肉瘤的患者的数据，以便从三维角度可视化受影响的解剖区域。使用第2节所述的方法，从患者的CT扫描中分离了受影响的骨骼部分（这里，骨质和纤维瘤）和肿瘤。然后，使用3D切片机的分割工具，创建了两个生物模型：骨骼（骨质和纤维瘤部分）（图1A）和肿瘤（图1B）。
接下来，两个 3D 模型几乎相对于标记进行了定位，以实现最佳可视化。本示例遵循了第 3 节中描述的两种模式。对于可视化模式，模型居中于标记的上表面（图 2）。对于注册模式，标记适配器位于骨骼中（具体来说，tibia =图 3*）。然后，使用 3D 标记适配器（图 4） 选择一小部分的 tibia 进行 3D 打印。Ultimaker 3 扩展 3D 打印机与 PLA 材料用于创建 3D 打印标记 （图 5A， B），标记持有人基础 （图 5C） 为"可视化"模式， 和部分 tibia 的"注册"模式 （图 5D）。图 5E显示了标记如何附加到"可视化"模式 3D 打印基。图 5F显示了带有"注册"模式的附件，3D 打印的生物模型。最后，Unity 用于创建应用程序并将其部署到智能手机上。
图 6显示了应用在"可视化"模式下的工作方式。全息图准确位于立方体的上部，如先前定义的那样。图 7显示了"注册"模式的应用程序，其中应用程序将完整的骨骼模型放置在 3D 打印部分的顶部。全息图的最终可视化清晰而逼真，保持了生物模型的真实尺寸，并准确定位。使用智能手机应用程序时，相机需要看到 AR 标记，应用程序才能正确显示全息图。此外，场景中的光线条件必须具有良好的质量和恒定，以便进行正确的标记检测。标记表面上的不良光照条件或反射会妨碍 AR 标记的跟踪，并导致应用程序出现故障。
创建应用所需的时间取决于几个因素。第 1 节的持续时间受下载速度的限制。关于解剖分割（第 2 节），影响分割时间的因素包括区域复杂性和医学成像方式（即 CT 易于分割，而 MRI 则更难）。对于 tibia 的代表性示例，从 CT 扫描生成两个 3D 模型大约需要 10 分钟。生物模型定位（第 3 节）简单明了。在这里，大约花了5分钟才定义与AR标记生物模型的位置。对于 3D 打印步骤，持续时间高度依赖于所选模式。"双色标记"在 5 小时 20 分钟内以高质量制造。"贴纸标记"在 1 小时 30 分钟内制造，加上粘贴贴纸所需的时间。应用开发的最后一步对于没有 Unity 经验的人来说可能非常耗时，但按照协议步骤可以轻松完成。一旦 AR 标记经过 3D 打印，即可在不到 1 小时内完成全新 AR 应用程序的开发。通过额外的经验，可以进一步缩短此持续时间。
图1：从远端腿肉瘤患者的CT图像创建的3D模型的表示。（A） 以白色表示的骨组织（头骨和腓骨）。（B） 以红色表示的肿瘤。请点击此处查看此图的较大版本。
图 2：结果显示 3D 切片器中的"可视化"模式如何相对于 3D 打印标记参考定位骨骼和肿瘤的虚拟 3D 模型。患者 3D 模型 （A） 位于标记立方体 （B） 的上表面上方。请点击此处查看此图的较大版本。
图 3：显示 3D 切片器中的"注册"模式如何相对于 3D 打印标记参考 （B） 定位骨骼和肿瘤的虚拟 3D 模型 （A）。标记适配器连接到骨组织模型。请点击此处查看此图的较大版本。
图4：骨组织小部分和3D标记适配器。两个组件组合后进行 3D 打印。请点击此处查看此图的较大版本。
图 5：最终应用程序所需的 3D 打印工具。（A） "双色立方体标记"3D 打印，有两种颜色的材料。（B） "贴纸立方体标记"3D打印，贴有贴纸。（C） 标记基多维数据集适配器.（D） 患者骨组织3D模型和标记立方体适配器的部分。（E） 放置在标记基立方体适配器中的"贴纸立方体标记"。（F） "双色立方体标记"放置在附着在患者解剖结构上的标记适配器中。请点击此处查看此图的较大版本。
图 6：使用"可视化"模式时应用显示。患者受影响的解剖 3D 模型位于 3D 打印立方体的上表面上方。请点击此处查看此图的较大版本。
图 7：使用"注册"模式时的 AR 可视化。3D 打印标记支持将 3D 打印的生物模型与虚拟 3D 模型进行注册。请点击此处查看此图的较大版本。
Discussion
AR在医疗领域的教育、培训和外科指导方面有着巨大的潜力。它与 3D 打印的开放式结合可能为临床应用开辟新的可能性。该协议描述了一种方法，使没有经验的用户能够创建一个智能手机应用程序，结合AR和3DP，以可视化患者的解剖3D模型与3D打印参考标记。
一般来说，AR 和 3DP 最有趣的临床应用之一是改善患者与医生的沟通，为患者提供不同的病例视角，改进对特定医疗条件或治疗的解释。另一个可能的应用包括目标定位的手术指导，其中3D打印的患者专用工具（附有参考AR标记）可以放置在刚性结构（即骨骼）上，并用作导航参考。此应用对于骨科和颌面外科手术特别有用，在手术过程中很容易接触到骨组织表面。
该协议从第 1 节开始，描述工作站设置和必要的软件工具。第 2 节介绍如何使用 3D 切片器软件从任何医学成像模式轻松分割患者的目标解剖，以获得 3D 模型。此步骤至关重要，因为创建的虚拟 3D 模型是最终 AR 应用程序中显示的模型。
在第 3 节中，3D 切片器用于使用 AR 标记注册上一节中创建的 3D 模型。在此注册过程中，患者 3D 模型能够根据 AR 标记高效且简单定位。本节中定义的位置将确定最终应用中的全息图相对位置。据认为，此解决方案降低了复杂性，并增加了可能的应用程序。第 3 节描述了两个不同的选项来定义模型和 AR 标记之间的空间关系："可视化"和"注册"模式。第一个选项"可视化"模式允许 3D 模型相对于标记放置在任何位置，并显示为整个生物模型。此模式提供患者解剖学的逼真的 3D 视角，并允许通过移动跟踪的 AR 标记来移动和旋转生物模型。第二个选项"注册"模式允许将标记适配器附着和组合到生物模型的任何部分，从而提供自动注册过程。使用此选项，3D 模型的一小部分（包括标记适配器）可以进行 3D 打印，并且应用程序可以将模型的其余部分显示为全息图。
第 4 节提供了 3D 打印流程的指南。首先，用户可以在两个不同的标记之间进行选择："双色标记"和"贴纸标记"。整个"双色标记"可以 3D 打印，但需要双挤出机 3D 打印机。如果此打印机不可用，则建议使用"贴纸标记"。这是一个更简单的标记，可以通过 3D 打印立方结构，然后粘贴立方体的图像与贴纸纸或贴纸胶获得。此外，两个标记都设计了可扩展部分，以完美地适应特定的适配器。因此，标记可以在多种情况下重复使用。
第 5 节介绍了使用 Vuforia 软件开发工具包为 AR 创建 Unity 项目的过程。对于没有编程经验的用户来说，此步骤可能是最困难的部分，但使用这些准则，应该更容易获得第 6 节中介绍的最终应用程序。当相机识别 3D 打印标记时，应用程序会在智能手机屏幕上显示患者的虚拟模型。为了使应用程序检测到 3D 标记，需要从手机到标记的最小距离约 40 厘米或更少，以及良好的照明条件。
该协议的最终应用允许用户选择特定的生物模型来可视化和位置。此外，该应用程序可以使用连接到生物模型的3D打印标记和适配器执行自动患者全息图注册。这解决了以直接和方便的方式将虚拟模型注册到环境中的挑战。此外，这种方法不需要广泛的医学成像或软件开发知识，不依赖于复杂的硬件和昂贵的软件，可以在短时间内实施。预计这种方法将有助于加快医疗专业人员采用AR和3DP技术。
Disclosures
作者没有什么可透露的。
Acknowledgments
本报告得到PI18/01625和PI15/02121项目（西恩西亚大学、圣卡洛斯三世研究所和欧洲区域发展基金"欧洲大学"）和欧洲区域发展基金（马德里大学）的支持。
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
