此处介绍的是一种使用 3D 打印参考标记设计增强现实智能手机应用程序的方法,用于对患者的解剖三维模型进行可视化。
增强现实 (AR) 在医疗领域的教育、培训和外科指导方面有着巨大的潜力。它与三维 (3D) 打印 (3DP) 的结合为临床应用开辟了新的可能性。尽管这些技术近年来呈指数级增长,但医生采用这些技术仍然有限,因为它们需要广泛的工程和软件开发知识。因此,此协议的目的是描述一个分步方法,使没有经验的用户能够创建一个智能手机应用程序,该应用程序将 AR 和 3DP 结合在一起,使用 3D 打印参考标记来可视化患者的解剖 3D 模型。该协议描述了如何创建从 3D 医学图像派生的患者解剖结构的 3D 虚拟模型。然后,它说明如何相对于标记引用执行 3D 模型的定位。还提供了有关如何 3D 打印所需工具和模型的说明。最后,提供了部署应用的步骤。该协议基于自由和多平台软件,可应用于任何医疗成像方式或患者。介绍了一种替代方法,用于在患者解剖学创建的 3D 打印模型和投影全息图之间提供自动配准。例如,提供了一个患有远端腿肉瘤患者的临床案例来说明该方法。预计该协议将加速医疗专业人员采用AR和3DP技术。
AR 和 3DP 是提供越来越多的医疗应用的技术。在AR的情况下,它与虚拟3D模型和真实环境的互动有利于医生在教育和培训1,2,3,与其他医生的沟通和互动4,并在临床干预5,6,7,8,9,10的指导。同样,3DP已成为医生在开发患者特定的可定制工具11,12,13或创建患者解剖学的3D模型,这有助于改善术前规划和临床干预14,15的强大解决方案。
AR 和 3DP 技术都有助于提高医疗程序的方向、指导和空间技能;因此,它们的组合是下一个逻辑步骤。以往的工作表明,他们的联合使用可以增加患者教育的价值16,促进解释医疗条件和建议的治疗,优化手术工作流程17,18和改进患者到模型登记19。尽管这些技术近年来呈指数级增长,但医生采用这些技术仍然有限,因为它们需要广泛的工程和软件开发知识。因此,本工作的目的是描述一种分步方法,使没有经验的用户无需广泛的技术知识即可使用AR和3DP。
该协议描述了如何开发 AR 智能手机应用程序,允许使用智能手机摄像头跟踪的 3D 打印标记将任何基于患者的 3D 模型叠加到真实环境中。此外,还介绍了一种替代方法,用于在 3D 打印的生物模型(即从患者的解剖结构创建的 3D 模型)和投影全息图之间提供自动配准。所述协议完全基于自由和多平台软件。
在以前的工作中,AR患者对图像的配准是使用表面识别算法10手动计算的,或者已经不可用2。当需要准确的登记时,这些方法被认为有些有限。为了克服这些限制,此工作提供了工具,通过结合 AR 技术和 3DP,在 AR 程序中执行准确而简单的患者到图像注册。
该协议是通用的,可应用于任何医学成像方式或患者。例如,提供了一个患有远端腿肉瘤的患者的真实临床案例来说明该方法。第一步介绍如何轻松地从计算机断层扫描 (CT) 医学图像中分割受影响的解剖结构以生成 3D 虚拟模型。之后,对 3D 模型进行定位,然后对所需的工具和模型进行 3D 打印。最后,部署了所需的 AR 应用。这个程序允许实时可视化患者3D模型覆盖在智能手机相机上。
AR在医疗领域的教育、培训和外科指导方面有着巨大的潜力。它与 3D 打印的开放式结合可能为临床应用开辟新的可能性。该协议描述了一种方法,使没有经验的用户能够创建一个智能手机应用程序,结合AR和3DP,以可视化患者的解剖3D模型与3D打印参考标记。
一般来说,AR 和 3DP 最有趣的临床应用之一是改善患者与医生的沟通,为患者提供不同的病例视角,改进对特定医疗条件或治疗的解释。另一个可能的应用包括目标定位的手术指导,其中3D打印的患者专用工具(附有参考AR标记)可以放置在刚性结构(即骨骼)上,并用作导航参考。此应用对于骨科和颌面外科手术特别有用,在手术过程中很容易接触到骨组织表面。
该协议从第 1 节开始,描述工作站设置和必要的软件工具。第 2 节介绍如何使用 3D 切片器软件从任何医学成像模式轻松分割患者的目标解剖,以获得 3D 模型。此步骤至关重要,因为创建的虚拟 3D 模型是最终 AR 应用程序中显示的模型。
在第 3 节中,3D 切片器用于使用 AR 标记注册上一节中创建的 3D 模型。在此注册过程中,患者 3D 模型能够根据 AR 标记高效且简单定位。本节中定义的位置将确定最终应用中的全息图相对位置。据认为,此解决方案降低了复杂性,并增加了可能的应用程序。第 3 节描述了两个不同的选项来定义模型和 AR 标记之间的空间关系:”可视化”和”注册”模式。第一个选项”可视化”模式允许 3D 模型相对于标记放置在任何位置,并显示为整个生物模型。此模式提供患者解剖学的逼真的 3D 视角,并允许通过移动跟踪的 AR 标记来移动和旋转生物模型。第二个选项”注册”模式允许将标记适配器附着和组合到生物模型的任何部分,从而提供自动注册过程。使用此选项,3D 模型的一小部分(包括标记适配器)可以进行 3D 打印,并且应用程序可以将模型的其余部分显示为全息图。
第 4 节提供了 3D 打印流程的指南。首先,用户可以在两个不同的标记之间进行选择:”双色标记”和”贴纸标记”。整个”双色标记”可以 3D 打印,但需要双挤出机 3D 打印机。如果此打印机不可用,则建议使用”贴纸标记”。这是一个更简单的标记,可以通过 3D 打印立方结构,然后粘贴立方体的图像与贴纸纸或贴纸胶获得。此外,两个标记都设计了可扩展部分,以完美地适应特定的适配器。因此,标记可以在多种情况下重复使用。
第 5 节介绍了使用 Vuforia 软件开发工具包为 AR 创建 Unity 项目的过程。对于没有编程经验的用户来说,此步骤可能是最困难的部分,但使用这些准则,应该更容易获得第 6 节中介绍的最终应用程序。当相机识别 3D 打印标记时,应用程序会在智能手机屏幕上显示患者的虚拟模型。为了使应用程序检测到 3D 标记,需要从手机到标记的最小距离约 40 厘米或更少,以及良好的照明条件。
该协议的最终应用允许用户选择特定的生物模型来可视化和位置。此外,该应用程序可以使用连接到生物模型的3D打印标记和适配器执行自动患者全息图注册。这解决了以直接和方便的方式将虚拟模型注册到环境中的挑战。此外,这种方法不需要广泛的医学成像或软件开发知识,不依赖于复杂的硬件和昂贵的软件,可以在短时间内实施。预计这种方法将有助于加快医疗专业人员采用AR和3DP技术。
The authors have nothing to disclose.
本报告得到PI18/01625和PI15/02121项目(西恩西亚大学、圣卡洛斯三世研究所和欧洲区域发展基金”欧洲大学”)和欧洲区域发展基金(马德里大学)的支持。
3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |