结合增强现实与3D打印技术在智能手机上显示患者模型

本方案为缺乏经验的用户提供了一套工具，使其能够通过构建自己的智能手机应用程序，将增强现实技术应用于医学领域。该方法结合了增强现实与3D打印技术，能够快速、便捷地将基于基础数据生成的3D模型叠加显示在3D打印的参考标记上。该技术可应用于任何可将3D打印参考标记刚性固定于患者身上的医学场景。

通过基于靶向数据定位生成的可视化3D模型，可提升患者的诊疗效果。本方案专为无医学影像或软件开发背景的用户设计，旨在促进增强现实在医学领域的应用。要创建患者解剖结构的3D模型，首先将医学图像文件导入3D Slicer软件窗口，然后点击“确定”。为分割患者解剖结构，请进入3D Slicer中的分割编辑器模块。进入该模块后，系统将自动创建一个分割项目。

在主音量部分选择所需的体积，然后在图像下方单击右键，选择“添加”以创建片段。在效果面板中，选择最适合目标的工具，并对患者的医学图像进行分割。要以3D模型文件格式导出分割结果，请打开分割模块。

在导出/导入模型和标签图时，选择导出和模型，然后单击导出以从已分割区域创建3D模型。单击保存并选择要保存的元素。然后将3D模型的文件格式更改为OBJ。

可重复进行分割，以创建不同解剖区域的额外三维模型。若需将三维患者模型相对于增强现实标记置于任意位置，请打开 AR Health 模型定位模块并选择可视化模式。点击“加载标记模型”以加载此选项的标记，点击省略号按钮选择已保存的三维模型路径，再点击“加载模型”以在 3D Slicer 中加载模型。

单击“完成并居中”以将所有模型在标记内居中。根据需要使用滑动条调整3D模型相对于标记的位置、方向和缩放比例。然后选择文件存储路径，单击“保存模型”以将模型按当前位置保存。

若要将增强现实标记与三维生物模型在任意所需位置进行组合，请打开 AR Health 模型定位模块，在初始化部分选择配准模式。点击“加载标记模型”以载入此选项的标记，并移动三维模型，使其与立方体标记的支撑结构相交，必要时可调整标记底座的高度。如需在此位置保存模型，请选择文件存储路径，然后点击“保存模型”。

如果解剖模型过大，可在Meshmixer软件中加载生物模型及立方体标记模型的支撑结构。在对象浏览器窗口中同时选中两个模型以合并模型，然后从编辑菜单中选择平面切割工具，去除不需要进行3D打印的模型部分。为保存可用于3D打印的模型，选择文件菜单中的导出功能，并选择所需的文件格式。

为了3D打印最终增强现实应用所需的物理模型，在3D打印软件中，为TwoColorCuebMarker_white.obj文件选择白色材料，为TwoColorCubeMarker_white.obj文件选择黑色材料。

然后使用双喷嘴3D打印机，以高质量模式和较小的层高，用黑色和白色3D打印立方体标记物。要在Unity引擎中设计包含3D模型的智能手机应用程序，请打开Vuforia开发者平台并创建账户。选择“获取开发密钥”以获得免费的开发许可证密钥，并在许可证管理器菜单中选择并复制该密钥。

设置智能手机时，在 Unity 2019 版本应用程序中，从文件菜单的构建设置中选择与设备匹配的适当平台。要将 Vuforia 启用到项目中，请选择编辑、项目设置、播放器设置和 XR 设置，然后勾选标有“Vuforia 增强现实支持”的复选框。要创建增强现实摄像机，请选择菜单栏、游戏对象、Vuforia Engine 和 AR 摄像机，并在提示时导入 Vuforia 组件。

要将 Vuforia 许可证密钥添加到 Vuforia 配置设置中，请选择资源文件夹，点击 Vuforia 配置，然后将许可证密钥粘贴到应用程序许可证密钥部分。将包含 Vuforia 检测标记所需文件的 Vuforia 目标文件导入 Unity，选择菜单栏中的“游戏对象”→“Vuforia Engine”→“多图像”，以创建 Vuforia 多目标。点击多目标以选择将用于检测的标记类型，并在多目标行为的数据库选项中选择 ARHealth_3dPrintedCube_30x30x30。

在“多目标行为”的多目标选项下，根据标记选择 TwoColorCubeMarker 或 StickerCubeMarker。将 3D 模型拖入模型文件夹中，并将该文件夹拖至多目标项目下方。模型应会在 Unity 3D 视图场景中显示。

要更改3D模型的颜色，需创建新材质并将新材质分配给模型。如果计算机配备有网络摄像头，请单击播放以在计算机上测试应用程序。当摄像头能够识别标记时，系统应能检测到该标记，并在场景中显示3D模型。

如果将使用 Android 智能手机进行应用程序开发，请在 Unity 中选择构建设置，并从列表中选择已连接的手机。然后将文件保存为 apk 扩展名，并允许该过程完成。如果应用程序将部署在 iOS 设备上，请在构建设置中选择文件，然后保存该文件。

为了查看该应用程序的效果，请在智能手机上打开应用，然后通过应用内的智能手机摄像头从至少40厘米的距离观察标记。一旦应用程序检测到标记，先前创建的3D模型便会精确显示在智能手机屏幕上的预定位置。采用如上所述的方法，可从一名患有小腿远端肉瘤及肿瘤的患者的CT扫描图像中，分割出受影响的胫骨和腓骨部分。

使用分割工具，分别为骨骼和肿瘤创建了一个生物模型。在可视化模式中，将模型置于标记物的上半部分中心。在配准模式中，将标记物适配器放置于胫骨，并选取胫骨的一小部分与三维标记物适配器一同进行3D打印。

聚乳酸可用于制造3D打印标记物、标记物底座以及骨段，如图所示。此处，标记物被安装在用于可视化模式的3D打印底座上；此处则展示了其与用于配准模式的3D打印生物模型的连接方式。该示意图展示了应用程序在可视化模式下的工作状态，全息影像被准确地定位在立方体上部，位置与先前定义一致。

在配准模式下，完整的骨骼模型可以精确地叠加在3D打印的切片上，从而在骨骼位置处清晰且真实地可视化标记物。为了利用增强现实技术来可视化重要的患者信息，您需要几种可免费获取的软件工具，以及3D打印机和智能手机。该方法可应用于从医学影像获得的任何模型。

其应用可扩展至其他干预措施，例如放射治疗中的体位固定或穿刺针插入定位。目前，我们正将此项技术的发展应用于新的临床领域，包括肌筋膜治疗或骨科手术。初步研究结果令人鼓舞，且外科医生的反馈非常积极。