方法文章

全息头戴式显示器结合红外追踪软组织导航的技术方法及临床前验证

956 次观看

⸱

DOI：

10.3791/68607

⸱

2025年9月2日

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

本文内容

摘要

本方案提供了在自由移动的模型（例如器官）上实施红外标记跟踪以及利用增强现实进行全息可视化的操作指南。此外，还概述了使用电磁跟踪技术在自由移动模型上对全息导航系统进行临床前验证的实验设置。

摘要

增强现实（AR）技术有望通过在手术过程中将三维（3D）解剖信息直接叠加到患者身上，从而提升手术引导的精确性。然而，AR 的实际应用面临重大挑战，尤其是在准确追踪手术操作期间自由移动的器官方面。因此，术中必须依赖可靠的器官追踪方法，以维持全息影像叠加的精确性。针对全息可视化准确性的临床前验证也存在额外挑战，需要建立可用于定量评估的实验方案。本方案旨在解决上述两个问题：介绍一种利用自制红外标记物和头戴式显示设备（HMD），开发 AR 可视化应用的综合方法，以实现器官的实时追踪；同时提供一种基于电磁（EM）追踪的验证框架，用于在模型实验中评估全息影像的准确性。本文详细阐述了从医学影像构建患者特异性三维模型、设计与制造定制红外标记物、将这些标记物集成至 HMD 的 AR 应用程序，并将其部署于手术导航中的逐步操作指南。此外，还详细描述了一种利用电磁追踪技术，在半可变形肾模型中对全息可视化精度进行定量测量的验证流程。因此，本方案不仅促进了器官的实时追踪，还建立了一套临床前验证方法体系。实现器官的实时追踪可通过精确叠加全息影像，增强对自由移动器官的手术引导能力，有望提高手术准确性并改善患者预后。

引言

在外科肿瘤学中，准确定位肿瘤及其与邻近健康组织的关系，对于在保留正常组织的同时实现完全肿瘤切除至关重要1。切除不彻底可能导致局部复发和生存率降低2,3，而过度切除组织则可能损害功能并影响生活质量4。手术导航系统有望通过为外科医生提供术中引导，改善根治性切除效果并保留健康组织，从而提升临床治疗效果5。然而，传统的手术导航系统通常将二维（2D）解剖信息显示在手术区域外的屏幕上，迫使外科医生在脑中将屏幕上显示的2D信息与患者实际的三维（3D）解剖结构进行关联，增加了认知负担6。尽管近年来3D建模技术的进步使外科医生能更清晰地理解肿瘤与周围解剖结构的关系7，但这些信息仍显示在手术区域之外，无法解决视线切换的问题6,8。这些手术导航系统的局限性可能导致导航使用中的潜在错误，进而影响手术效果9。

为了克服上述局限性，增强现实（AR）技术通过在患者身上以三维形式可视化解剖结构和切除边界，成为一种颇具前景的解决方案10,11。通过叠加基于磁共振成像（MRI）或计算机断层扫描（CT）数据分割得到的术前三维模型，可以实现对解剖结构的可视化。系统性综述强调了增强现实在青少年患者开放手术中的潜在优势12，该领域的初步研究也证明了配备视觉标记物的个体化三维导板在自动配准方面的可行性13。Van Doormaal 等人开发了一种结合增强现实设备的导航系统，采用基于点的配准方法，并使用带有图像靶标的指针用于神经外科手术14。他们在手术前于手术室对患者以及在模型实验中评估了所开发的增强现实应用，结果显示标志点配准误差分别为 7.2 mm 和 4.4 mm。

尽管已取得令人鼓舞的进展，但这些配准系统通常较为僵化，缺乏对目标器官的实时追踪能力，因此仍需实现对器官运动的实时跟踪15,16。这一点对于在手术过程中会受到操作而移动的器官尤为突出，例如肾脏和肝脏，可能导致引导不准确、需要重新配准（耗时较长），以及对健康组织造成潜在损伤或切除错误17。为更进一步解决这些问题，研究人员基于Iqbal等人提出的一项应用，开发出一种新型增强现实（AR）系统，该系统通过使用红外标记物实现对器官的连续追踪18。这一技术进步使得AR叠加图像能够动态适应器官位置的实时变化，从而保持空间准确性，并有望提高手术精度。通过将刚性配准与基于动态红外标记物的追踪技术相结合，该系统在实现精确、实时的全息手术引导方面迈出了重要一步。

本方案介绍了一种基于红外标记的增强现实（AR）导航系统及其在头戴式显示器（HMD）上的临床前验证方法。我们的目标是开发并验证一种实时增强现实导航系统，以在临床前环境中实现对运动器官的精确全息叠加。首先，本方案描述了如何准备一个全息应用程序，该程序使用尺寸为32 mm（宽）× 15 mm（长）× 6 mm（高）的红外标记，实时追踪模拟器官，从而在器官运动过程中保持三维全息图像的稳定叠加。我们以热塑性聚氨酯丝材（TPU）打印的肾脏模型作为运动器官的示例。其次，方案概述了如何设计和打印定制的红外标记，并将其集成到全息可视化应用程序中，使其他研究人员和临床医生能够将该应用适配于涉及开放手术模拟和运动器官的其他临床前模型场景。最后，基于电磁追踪的验证方法提供了定量测量手段，用于计算系统的准确性，从而在模型实验中实现对全息引导的临床前验证。该方法的一个局限性在于缺乏自动配准流程，这在一定程度上限制了系统的精度。然而，该方法有助于用户评估其开发的AR技术在特定临床应用中的适用性。

方案

本研究遵循了本机构的指导原则，不适用于《涉及人类受试者的医学研究法案》（WMO），因此无需获取参与者的知情同意。

1. 准备用于三维建模和增强现实应用部署的硬件和软件包

  1. 在运行 Microsoft Windows 10 的个人计算机（PC）上下载并安装以下软件程序。
    1. 从 https://unity.com/download 下载 Unity Hub v3.11.1 和 Unity v. 2019.4.22f1。在安装 Unity 2019.4.22f1 时包含 Visual Studio 2019。使用手册链接：https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. 从 https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64 下载 MeshMixer v. 3.5.0，使用手册链接为 https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. 从 https://download.slicer.org/ 下载 3DSlicer v. 5.6.2，使用手册链接为 https://slicer.readthedocs.io/en/latest/
    4. 从 https://www.autodesk.com/products/fusion-360/personal 下载 Autodesk Fusion v. 2.0.21508，使用手册链接为 https://help.autodesk.com/view/fusion360/ENU/
    5. 从 https://bambulab.com/en/download/studio 下载 Bambu Studio v. 01.09.07.52，使用手册链接为 https://wiki.bambulab.com/en/studio-handy

2. 设计和打印自定义红外标记

  1. 按照以下说明在三维设计软件中设计红外标记物。
    1. 打开计算机辅助三维设计（CAD）软件（参见材料表），并创建一个新文件。
    2. 选择实体选项卡，点击创建草图，开始绘制红外标记物的新设计。
    3. 按下中心直径圆按钮，绘制三个或四个直径为 3 mm 的小圆，这些小圆用作螺丝的安装点。
    4. 通过将三角形的顶点与对边中点相连，计算红外标记物的中心点。按下直线按钮，从一个圆的一侧画线连接至另一圆的圆心，将所有小圆连接起来。
    5. 以中心点为圆心，使用“中心直径圆”功能绘制一个圆作为红外标记物的基底。使用三点矩形工具绘制矩形，将中心圆与三个或四个小圆分别连接。
    6. 将圆形基底和矩形部分拉伸至 2 mm 厚度，小圆部分拉伸至 5 mm。
    7. 在每个三个圆柱上添加螺纹，采用 ISO 公制螺纹标准（例如 M3 × 0.5，6g，右旋），以适配 6.4 mm 红外反射球体。操作方式为按下创建，然后选择螺纹。
    8. 使用 3D 打印或导出功能，将模型导出为对象（OBJ）文件。
    9. 在三维 CAD 软件中，通过选择测量功能，测量红外反射球体相对于中心点的 XYZ 坐标。测量各小圆圆心相对于整体形状中心点的位置，并在步骤 4.1.2 中使用这些坐标。
  2. 按照以下步骤打印三维标记物。
    1. 将导出的立体光刻（.STL）文件拖入适用于三维打印机的软件场景中（参见材料表），以导入红外标记物模型。
    2. 配置切片参数，包括层高（0.08 mm 为避免红外反射球体螺纹打印不准确的最小层高），操作方式为按下质量 > 层高。通过按下支撑 > 启用结构支撑，为设计添加支撑结构。
    3. 点击全部切片，然后点击导出所有切片文件，将切片文件导出至三维打印机，并使用聚乳酸丝材（例如 PLA；参见材料表）在三维打印机上打印该三维模型（参见材料表）。

3. 准备肾脏的三维患者特异性模型

  1. 模型分割
    1. 打开 3D 分割软件（参见材料表），使用“导入 DICOM 文件”功能导入患者的 MRI/CT 数据。
    2. 进入“分割编辑器”，选择合适的源图像数据，然后点击添加以创建新的分割。
    3. 根据成像方式选择手动或半自动分割。
    4. 对于手动分割，使用“绘制”和“擦除”工具在每一层图像上对肿瘤及周围相关结构进行分割。
    5. 对于半自动分割，可考虑使用“阈值”工具并设置适合特定结构的阈值范围，以及使用“剪刀”工具去除无关结构。
    6. 在“数据”界面中，选择已创建的分割，然后右键点击进入导出可见分割为模型按钮。确保屏幕右侧的“眼睛”选项已选中。
    7. 点击保存导出模型的 STL 文件，并将文件保存为 .STL 格式。
  2. 患者特异性模型的后处理
    1. 将 STL 文件导入网格编辑软件（参见材料表），通过选择3D 模型 > 编辑来减少三角面数量，选择一个能在不改变 3D 模型视觉外观的前提下减少三角面数量的百分比，然后点击确认。
    2. 确保目标点在全息应用的 3D 模型中得到可视化呈现，以便进一步验证。点击添加球体，并将球体放置在 3D 模型上。
    3. 点击文件 > 导出，将 3D 模型导出为 OBJ 文件格式。选择模型后，通过点击编辑 > 简化，将多边形数量减少至约 100,000 个。较高的多边形数量会增加图形处理器的运算负担，因此减少场景中的多边形数量可显著降低渲染时间。

4. 准备全息应用

  1. 按以下说明配置 IRTrackingOrgans_HoloLens 项目。
    1. 启动游戏开发软件（参见材料表），导入 IRTrackingOrgans_HoloLens 项目并打开。
    2. 使用文本编辑器按照默认格式修改 JavaScript Object Notation (JSON) 文件，以基于步骤 2.1.10 中测得的坐标实现自定义红外标记。该 JSON 文件保存在 Assets/StreamingAssets 目录中。
    3. 转到 DINO Unity 选项卡，选择 ToolManager > ResearchModeController > JSON file 和 Parent 变换，然后单击 Create Objects & Apply JSON Setting。
    4. 将步骤 1.1 中创建的虚拟红外标记 3D 模型作为资源导入。
    5. 通过选中模型并在检视窗口中修改变换坐标，将虚拟红外标记 3D 模型移至场景中生成标记的位置。
    6. 通过选择并将患者特异性 3D 模型拖入场景中，将其插入到当前场景。
    7. 调整患者 3D 模型的位置，使红外标记接触 3D 模型表面。将红外标记置于 3D 对象中心附近，以尽量减少杠杆效应引起的误差。
  2. 将场景与患者选择菜单连接
    1. 为便于实际使用并选择多个病例，需将患者场景连接至菜单界面中的按钮。前往 Assets > Scenes > Menu scene。
    2. 在层级窗口中，进入 NearMenu4x2 和 ButtonCollection ，然后选择相应按钮。
    3. 在检视窗口中，进入 Basic Events，在 MenuScript.LoadScene 下输入患者场景的名称。
  3. 为首次部署准备头戴式显示器（HMD）
    注意：仅当首次部署应用程序时，才需要执行本节操作。
    1. 登录头戴式显示器（HMD）设备（参见材料表），并将设备设置为研究模式。前往 Settings > Update & Security > For Developers > 启用开发者功能和设备发现。
    2. 将 HMD 与 PC 配对（通过 Wi-Fi 或 USB-C）。若为首次连接，请按以下步骤操作：在开发者选项中查找 HMD 的 IP 地址，在网页浏览器中输入该 IP 地址以连接至设备门户，并通过生成 PIN 码并输入该 PIN 码完成设备配对。
  4. 构建并将应用程序部署到 HMD
    1. 前往 File > Build Settings，通过点击 Add Open Scenes 按以下顺序添加场景至构建列表：Menu > Tracking Scene 。
    2. 使用通用 Windows 平台进行构建，目标设备为 HoloLens，架构选择 x64。点击 Build 并选择一个构建目录。
    3. 使用 Visual Studio 2019 打开生成的构建文件（.sln），并将平台更改为 ARM64。然后在解决方案资源管理器中右键单击 .sln 文件，打开属性，在“调试”部分的“计算机名称”下输入 HMD 的 IP 地址。
    4. 通过选择 Debug > Start without Debugging 将应用程序部署到 HMD。
    5. 启动 HMD 并打开全息应用程序。随后导航至患者菜单界面，选择 适当病例 以启动全息可视化与引导功能。

5. 活体器官运动全息可视化的验证

  1. 半可变形模体打印
    1. 创建或获取具有真实解剖结构的肾脏模体的三维模型。
    2. 将三维模型导入三维CAD建模软件，并通过使用 实体 > 创建 > 孔 > 功能，在模型侧面集成五个配准旋转支点，设置参数为：孔类型：简单孔，攻丝类型：简单，钻尖：角度，高度：0.5 mm，直径：4.0 mm。
    3. 在三维模型中集成一个带孔的圆柱体，用于固定电磁（EM）参考传感器，以进行后续验证步骤。
      1. 使用中心直径圆功能创建一个草图，包含一个直径为2.8 mm的外圆和内圆；将外圆拉伸16.5 mm。
      2. 通过 修改 > 合并 > 选择三维模型和圆柱体 > 连接 > 确定 将圆柱体与三维模型合并。
    4. 使用导出或三维打印功能导出该三维模型。
    5. 使用柔性或半柔性线材（如TPU，参见 材料表），按照步骤2.2中描述的程序打印肾脏模体。
  2. 使用电磁追踪系统设置3D Slicer
    1. 参见详细的3D Slicer和SlicerIGT教程（https://www.slicerigt.org/wp/user-tutorial/），了解如何将电磁系统与3D Slicer进行配置。 
      注意：本协议的此部分假定用户已充分理解并正确完成了3D Slicer、电磁追踪配置及连接的设置。
    2. 将电磁追踪系统的场发生器（参见 材料表）放置在模体正下方。清除周围环境中的所有铁磁性材料，以避免电磁场不均匀。
    3. 将电磁传感器（参见 材料表）和电磁探针（参见 材料表）连接至电磁追踪系统。确保这些工具的变换在3D Slicer中能够被准确可视化。
    4. 通过使用胶水将电磁参考传感器（例如NDI Aurora 6DOF电缆工具）固定在圆柱体内，将其连接到三维模型上。
    5. 在3D Slicer中导入带有支点的三维模型，并使用 标记点配准向导 > 放置控制点 功能在数字模型上分配标记点。
    6. 使用电磁探针在现实中精确定位标记点，点击 放置控制点 并在3D Slicer中注册这些点。通过点击 更新 计算刚性线性配准变换。
    7. 完成配准后，将配准变换应用于三维模型，以建立其与电磁参考传感器之间的关联。此后，若物理移动三维模型，其在3D Slicer中的数字对应物也应同步移动；通过观察运动情况，视觉确认其同步性。
  3. 全息验证
    1. 启动设备并打开步骤4.4.5中的全息应用程序。随后导航至正确的患者三维模型，该模型也应在3D Slicer中可视化。
    2. 根据术前规划的可视化结果，使用胶水将6.4 mm的红外标记物（参见 材料表）固定在正确位置。
    3. 使用电磁探针基于全息可视化在数字空间中精确定位目标点，并保存该组电磁传感器坐标。
    4. 计算定位目标标记点时的误差，并与已放置的标记点进行比较，以定量验证全息可视化的准确性。

结果

使用肾脏模型来演示红外追踪系统在器官追踪中的性能，并验证全息验证装置在运动器官中的应用效果。完整的工作流程如图1所示。

首先，基于MRI数据，在3DSlicer中使用阈值工具对肾脏进行半自动分割。将生成的3D模型导出并导入到3D CAD软件中以减少多边形数量。保存第二个模型，并使用球体工具将五个目标点整合到该模型中(图2)。该模型用于全息显示的技术验证。第一个不含目标点的模型被导入Autodesk Fusion。在此模型中整合了五个支点，并集成了圆柱结构以方便电磁传感器的使用。利用3D切片软件对3D模型进行3D打印前的准备。采用打印密度为8%的TPU材料，以制备具有轻微柔韧性的肾脏表面。

设计并3D打印了一个标准化的红外标记物，并安装了红外反射球体（直径6.4 mm）。通过该红外标记物，测量其各坐标点与中心点之间的相对位置关系。在游戏开发软件中，导入包含红外标记物坐标的JSON文件。其次，导入用于验证的肾脏3D模型，并设定目标点。同时，为实现可视化，导入红外标记物的3D模型，并根据JSON文件中定义的坐标点将其移动至相应位置。将3D模型对齐至红外标记物的中心（图3），并应用了额外的着色器效果。在集成患者菜单场景后，将应用程序部署到头戴式显示器（HMD）上。

根据红外标记的位置，使用头戴式显示器（HMD）在儿童腹部模型内部的肾脏上呈现全息3D模型(图4)。其跟踪速率为11.6 Hz。然而，当距离超过60 cm时，HMD会失去对红外标记的跟踪能力。其次，红外标记跟踪过程中的持续跟踪噪声会导致全息叠加图像闪烁，从而造成可视化不准确。

为验证目的，电磁追踪系统通过 Plus 服务器与 3D Slicer 相连接。将一个电磁传感器放置在模拟肾脏模型上以进行追踪（图2）。在完成基于点的配准后，三维模型的配准中位精度达到 0.59 mm，证明该方法可用于验证全息影像的准确性（图5）。基于三名外科医生的操作数据，中位点定位误差为 8.74 mm（四分位距：6.38 - 10.85）（表1）。

该增强现实（AR）跟踪与可视化系统的实施涉及一个持续约45至60分钟的方案。一名具有2年经验的技术医师执行了整个方案一次，以确定各步骤所需的时间。值得注意的是，某些步骤仅需执行一次。每位患者所需的关键步骤包括图像分割、模型在游戏开发软件中的集成以及场景配置。在个体化患者案例中，对解剖结构进行分割所需时间相对较长，原因是涉及多个解剖结构，但对肾实质和肿瘤的分割可在30分钟内完成。将分割得到的三维模型导入应用程序并将其与红外标记对齐，大约需要5分钟的手动调整。正确场景的连接不超过5分钟。游戏开发项目的构建时间取决于硬件配置，通常约为3分钟，随后部署到HoloLens 2上大约需要10分钟。总体而言，不包括验证设置，该方案展示了一种在临床前环境中实现活动器官跟踪的方法。

术前MRI到三维肾脏模型；手术过程中全息可视化示意图。
图1：工作流程示意图。 该工作流程展示了在模拟环境下每位患者所需经历的各个步骤，包括术前阶段、全息阶段和术中阶段。术前阶段包括对术前医学影像进行分割（见步骤3）。全息应用的准备包括在三维模型上虚拟规划红外标记的位置（见步骤4）。在术中阶段，外科医生可以选择正确的患者信息，并固定红外标记，以实现全息可视化和持续追踪。请点击此处查看此图的放大版本。

用于手术规划和对准的术前红外标记物和电磁传感器放置示意图。
图2：验证方法中所用肾脏模型的概述。 左图：肾脏的三维全息图像，显示目标点及红外标记物的虚拟放置位置。中图：集成电磁传感器并带有配准用旋转支点的三维模型。右图：用于验证程序的3D打印模型，包含红外标记物及用于电磁传感器的圆柱结构。请点击此处查看该图的放大版本。

3D建模界面，Unity中的肾脏结构，空间设计，调试可视化工具。
图3：在游戏开发软件中全息应用的准备工作。 肾脏模型被转换为红外标记。其次，将着色器应用于肾脏及目标点。请点击此处查看该图的放大版本。

红外引导手术导航设置；带红外标记的工具，用于位置追踪的红外指针。
图 4：模型实验的全息可视化。左图：红外标记在肾脏上的放置位置。右图：目标点按正确顺序（1 至 5）的全息可视化。全息图像的位移是由红外标记追踪过程中的抖动引起的。请点击此处查看该图的放大版本。

显示电磁追踪器的3D Slicer系统示意图，突出用于手术导航的光学和指针坐标系。
图5：用于移动器官全息可视化的电磁追踪验证协议设置示意图。 绿色、红色和蓝色表示验证所需电磁工具的坐标变换。黄色和绿色表示头戴式显示器（HMD）相关的坐标变换。请点击此处查看该图的放大版本。

参与者测量GT-X (mm)GT-Y (mm)GT-Z (mm)点-X (mm)点-Y (mm)点-Z (mm)PLE (mm)
外科医生 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
外科医生 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
外科医生 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

表1：针对每次测量，提供了所有外科医生的目标标志点的真实坐标（GT）、相应的点位置坐标以及测得的 PLE。

讨论

本方案介绍了一种用于实时器官追踪与全息可视化的技术，包括在模拟环境下对运动肿瘤和器官的验证。该方法利用基于红外标记的追踪技术结合头戴式显示器（HMD），有望在移动器官操作过程中更准确地维持解剖结构的全息叠加。尽管本研究以肾脏追踪为例，但通过微调分割方案，该方法也可探索应用于其他临床领域，例如肝脏或肺部的开放性手术。其次，红外标记还可与多种外科技术联合使用，如腹腔镜手术。在此类场景中，可通过腹腔镜图像检测红外反射贴片，以实现对器官、器械或解剖标志点的追踪。然而，将该技术拓展至其他临床领域或外科技术时，可能因目标器官变形特性的差异或技术限制（如视野范围有限）而引入误差，需在临床前实验中进一步验证。

本实验方案的第1步主要侧重于配置必要的硬件和软件工具。该配置过程涉及多个应用程序和步骤，因此必须正确安装所有软件包（包括任何必要的扩展），以避免后续部署过程中出现问题。尽管游戏开发软件与集成开发环境的组合至关重要，但预计不同版本的软件通常不会引发问题。

在步骤2中，描述了定制红外标记物的制作过程。如果该追踪技术将用于其他应用，此步骤尤为重要。通过灵活调整红外标记物的形状，可确保其适用于多种临床前应用。此外，用户可尝试不同的设计，以提高红外标记物在器官表面的附着性，并增强对红外标记物追踪的准确性。同时，测试多种不同直径的红外标记物，有助于在超过60 cm的距离下实现更优的检测效果。

在步骤3中，描述了基于医学影像的患者特异性三维建模。肾脏和肿瘤的精确分割至关重要，因为它直接影响手术引导的准确性。分割效果不佳可能导致产生误导性的可视化结果，从而影响手术精度19。其次，该步骤耗时最长。整合全自动分割方法可加快操作流程，在确保精确解剖分割的同时，减少对手动和半自动调整的依赖20。优化多边形数量对于实现最佳的增强现实（AR）渲染性能至关重要。若未进行此项优化，头戴式显示器（HMD）的性能将显著下降。

在第4步中，介绍了在实现DINO-DLL后全息应用的配置。其中一个关键方面是红外标记位置与全息解剖模型之间的正确对齐，因为这会影响手动配准的准确性。尤其应尽量减小杠杆效应，以防止在远离红外标记中心的位置产生误差。进一步的改进可包括引入额外的配准方法。此外，当前系统在连续可视化方面的跟踪速率处于可接受范围，与文献21报道的结果一致。第三，进一步的优化应包括实现卡尔曼滤波器，以降低红外标记跟踪数据中的噪声，从而消除全息可视化中的抖动现象。

在步骤5中，该框架提供了一种利用电磁追踪的全息验证方法。该方案适用于在模拟体模环境中验证全息图像的准确性，可对运动器官的全息成像精度进行定量评估。此步骤的关键在于将电磁追踪传感器精确集成至半可变形的3D打印体模中。用户必须确保电磁传感器的准确校准以及在3D Slicer中的标志点配准。若出现验证误差，可尝试重新配准或移除任何金属物体，以提高验证精度。为进一步验证其临床可行性， 离体 器官可用于更精确地模拟手术组织22.

本方案为研究人员实施用于器官追踪的增强现实（AR）解决方案并在模体实验中验证这些系统提供了全面的指导。此外，本方案还提供了一种广泛适用的验证设置，可轻松应用于不同的临床场景，特别是用于验证针对运动器官的增强现实方法。鉴于全息应用部署的复杂性，该框架有助于实现从基于增强现实的概念性解决方案向临床前验证的过渡。

披露

作者无任何利益冲突需要披露。

致谢

我们感谢 Hisham Iqbal 在基于开放的 DINO-DLL 仓库建立使用 HoloLens 2 进行红外标记追踪方面的专业知识和大力支持。

材料

本文使用的材料清单
姓名公司目录编号评论
3D Slicer (v5.6.2)SlicerN/A用于医学图像分割及电磁跟踪验证的必要软件
6.4 mm (1/4") M3 标记点 Infrarec 标记点OptiTrackN/A红外反射球体，应附着于标记物上以实现跟踪 
Autodesk Fusion 360 (v2.0.21508)AutodeskN/A用于设计红外标记点和模型体模的 CAD 软件
Bambu Studio (v01.09.07.52)Bambu LabN/A适用于 Bambu 3D 打印机的 3D 打印切片软件
Bambu X1 CarbonBambu LabN/A用于打印红外标记点和模型体模的 3D 打印机
HoloLens 2MicrosoftN/A用于增强现实可视化的头戴式增强现实显示设备
IRTrackingOrgans_HoloLens 开源N/A基于 Unity 的支持红外标记点跟踪的应用程序
MeshMixer (v3.5.0)AutodeskN/A用于网格编辑和多边形数量减少
NDI AuroraNorthern Digital Inc.N/A用于验证的电磁跟踪系统
NDI Aurora 6DOF 电缆工具Northern Digital Inc.N/A用于注册模型器官运动的传感器
NDI Aurora 6DOF 探针Northern Digital Inc.N/A用于识别模型上解剖标志点位置
聚乳酸丝材任意制造商N/A用于打印红外标记点等刚性部件的丝材
热塑性聚氨酯丝材任意制造商N/A用于打印可变形肾脏模型体模的半柔性丝材
Unity Hub (v3.11.1) 和 Unity (v2019.4.22f1)Unity TechnologiesN/A用于增强现实应用程序开发与部署的游戏开发软件
Visual Studio 2019MicrosoftN/AUnity 集成与部署所需的集成开发环境

参考文献

  1. Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

重印与许可

标签

增强现实手术器官追踪电磁追踪三维肾脏模型患者特异性三维模型红外标记
全息头戴式显示器结合红外追踪软组织导航的技术方法及临床前验证
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。