使用全息头戴式显示器进行软组织导航的红外跟踪技术方法和临床前验证

Summary

该协议提供了使用增强现实实现自由移动的幻影（例如器官）的红外标记跟踪和全息可视化的指南。此外，它还概述了使用自由移动模型上的电磁跟踪对全息导航系统进行临床前验证的设置。

Abstract

增强现实 （AR） 有可能通过在外科手术过程中将三维 （3D） 解剖信息直接叠加到患者身上来增强手术指导。然而，AR 的实际实施遇到了重大挑战，特别是在准确跟踪手术作过程中自由移动的器官方面。因此，需要可靠的器官跟踪方法来在术中保持精确的全息覆盖。全息可视化的临床前验证对准确性提出了额外的挑战，需要实验方案进行定量评估。该协议解决了这两个挑战：它描述了一种开发 AR 可视化应用程序的综合方法，使用定制的红外标记使用头戴式显示器 （HMD） 进行实时器官跟踪，并提供了一个利用电磁 （EM） 跟踪来验证幻象实验中的全息精度的验证框架。这项工作概述了从医学成像创建患者特定 3D 模型、设计和制造定制红外标记、将这些标记集成到 HMD 的 AR 应用程序中并部署它们用于手术导航的分步指南。此外，它还详细介绍了使用电磁跟踪定量测量半变形肾脏模型中全息可视化精度的验证程序。因此，该协议既促进了实时器官跟踪，又建立了临床前验证方法。实施实时器官跟踪可以通过准确叠加全息图来增强对自由移动器官的手术指导，从而有可能提高手术准确性和更好的患者治疗效果。

Introduction

在肿瘤外科中，准确识别肿瘤位置以及与邻近健康组织的关系对于在保留健康组织的同时实现肿瘤完全切除至关重要¹.不完全切除可导致局部复发和生存率降低 ^2,3，^而过度切除组织可能会损害功能和生活质量⁴。手术导航系统有望在改善根治性切除的同时保留健康组织，为外科医生提供术中指导，从而有可能改善临床结果⁵。然而，传统的手术导航系统通常在位于手术区域外的屏幕上显示二维 （2D） 解剖信息。这种方法迫使外科医生在心理上将显示的 2D 信息与患者的实际三维 （3D） 解剖结构相关联，从而增加认知负荷⁶。尽管3D建模的最新进展使外科医生能够更好地了解肿瘤与周围解剖结构的关系^7，但这些信息仍然在手术区域之外可视化，从而保持了切换焦点问题^6,8。手术导航系统的这些局限性可能会导致手术导航使用中的潜在错误，并可能导致手术结果不理想⁹。

为了克服上述局限性，增强现实 （AR） 已成为一种有前途的解决方案，通过对患者^10,11 进行 3D 解剖结构和切除边界的可视化。通过叠加根据磁共振成像 （MRI） 或计算机断层扫描 （CT） 数据进行分割的术前 3D 模型，可以可视化解剖结构。在系统评价中，强调了 AR 对青少年患者开放手术的潜在益处¹²，该领域的初步工作证明了配备视觉标记以进行自动注册的患者特定 3D 指南的可行性¹³。Van Doormaal等人通过使用基于点的配准和带有图像目标的指针，开发了一种带有AR设备的导航系统，用于神经外科¹⁴。他们在手术前和幻影实验中评估了在手术室中开发的 AR 应用程序，结果显示基准配准误差分别为 7.2 毫米和 4.4 毫米。

尽管取得了可喜的进展，但这些登记系统通常是僵化的，缺乏对目标器官的实时跟踪，因此，仍然需要实时跟踪器官运动^15,16。这尤其适用于在手术过程中纵的移动器官，例如肾脏和肝脏，这可能导致引导不准确，需要重新注册，这需要相当长的时间，并且对健康组织或不正确的切除造成潜在伤害¹⁷。为了进一步解决这些问题，开发了一种基于 Iqbal 等人提出的应用程序的新型 AR 系统，该系统结合了用于连续器官跟踪的红外标记¹⁸。这一发展使 AR 叠加能够动态适应器官位置的实时变化，从而保持空间准确性并有可能提高手术精度。通过将刚性配准与基于动态红外标记的跟踪相结合，该系统在手术中实现准确、实时的全息引导方面取得了重大进步。

该协议为头戴式显示器 （HMD） 提供了一种基于红外标记的 AR 导航和临床前验证系统。我们的目标是开发和验证实时增强现实导航系统，以在临床前环境中保持移动器官的准确全息叠加。首先，该协议描述了如何准备全息应用程序，该应用程序使用尺寸为 32 毫米（宽）x 15 毫米（长）x 6 毫米（高）的红外标记来实时跟踪幻影器官，保持独立于运动的 3D 全息图的叠加。我们使用用热塑性聚氨酯长丝 （TPU） 打印的肾脏模型作为移动器官的示例模型。其次，它概述了如何设计和打印自定义红外标记，以及如何将这些标记集成到全息可视化应用程序中。这使得其他研究人员和临床医生能够将应用程序调整为其他涉及开放手术和移动器官模拟的临床前幻影场景。最后，基于电磁跟踪的验证方法提供定量测量来计算准确性，为幻影实验中的全息引导提供临床前验证。这种方法的一个局限性是缺乏自动注册程序，这限制了该系统的准确性。然而，这种方法可以帮助用户确定他们开发的 AR 技术是否适合其临床应用。

Protocol

本研究遵循我们机构的指导方针，不受《涉及人类受试者的医学研究法》（WMO） 的约束。因此，不需要获得参与者的知情同意。

1. 准备用于 3D 建模和 AR 应用部署的硬件和软件包

1. 在运行 Microsoft Windows 10 的个人计算机 （PC） 上下载并安装以下软件程序。
   1. 从 https://unity.com/download 下载 Unity Hub v3.11.1 和 Unity v. 2019.4.22f1。在安装 Unity 2019.4.22f1 期间包括 Visual Studio 2019。手册链接：https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
   2. 从 https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64 下载 MeshMixer v. 3.5.0，手册链接 https://help.autodesk.com/view/MSHMXR/2019/ENU/
   3. 从 https://download.slicer.org/ 下载 3DSlicer v. 5.6.2，手册链接 https://slicer.readthedocs.io/en/latest/
   4. 下载Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal，手册链接 https://help.autodesk.com/view/fusion360/ENU/
   5. 从 https://bambulab.com/en/download/studio 下载 Bambu Studio v. 01.09.07.52，手册链接 https://wiki.bambulab.com/en/studio-handy

2. 设计和打印定制红外标记

1. 如下所述，在 3D 设计软件中设计红外标记。
   1. 打开 3D 计算机辅助设计 （CAD） 软件（参见 材料表）并创建一个新文件。
   2. 选择 “实体”（SOLID ） 选项卡，然后单击 “创建草图 ”（Create Sketch） 以开始绘制红外标记的新设计草图。
   3. 按中心 直径圆添加三个或四个直径为 3 毫米的小圆圈。这些圆圈用作螺钉的连接点。
   4. 通过将三角形的顶点连接到对边的中点来计算红外标记的中心点。按 直线 并通过从一侧到圆点绘制线来连接所有圆。
   5. 使用“中心直径圆”在中心点上创建一个圆作为红外标记的底部。使用 3 点矩形绘制矩形，将中心圆与三个或四个较小的圆中的每一个连接起来。
   6. 将圆形底座和矩形挤出至 2 毫米的厚度，将小圆挤出至 5 毫米的厚度。
   7. 使用 ISO 公制配置文件（例如，M3 × 0.5、6g，右手）向三个锥体中的每一个添加一个螺纹，以容纳 6.4 毫米红外反射球体，方法是按创建，然后按螺纹。
   8. 使用 3D 打印或导出功能将模型导出为对象 （OBJ） 文件。
   9. 在 3D CAD 软件中，通过选择 测量来测量与中心点相关的红外反射球体的 XYZ 坐标。测量圆的中心点与形状中心点相关的位置。在步骤 4.1.2 中使用这些坐标。
2. 打印 3D 标记，如下所述。
   1. 导入导出的立体光刻 （.STL）文件，将其拖到场景中，将其拖到适合3D打印机的软件中（参见 材料表）。
   2. 通过按 质量>层高来配置切片参数，包括层高（0.08 毫米是可能的最小层高，以避免红外反射球的线打印不准确）。通过按 “支持”>“启用结构体”向设计添加支持。
   3. 通过单击“全部切片”将切片文件导出到 3D 打印机，通过单击“导出所有切片文件”导出文件，然后使用带有聚乳酸长丝（例如 PLA;参见材料表）的 3D 打印机（参见材料表）打印 3D 模型。

3. 准备肾脏的 3D 患者特异性模型

1. 模型细分
   1. 打开 3D 分割软件（参见 材料表）并使用导入 DICOM 文件导入患者 MRI/CT 数据。
   2. 转到 Segment Editor，选择适当的 Source 卷，然后单击 Add 创建新的分段。
   3. 根据成像方式选择手动或半自动分割。
   4. 对于手动分割，使用“绘制和擦除”工具对每个切片中的肿瘤和周围相关结构进行分割。
   5. 对于半自动分割，请考虑使用具有特定结构适当阈值范围的阈值和剪刀等选项来分割不相关的结构。
   6. 在 数据（Data） 屏幕中，选择 已创建的分段（Created segmentation ） ，然后右键单击以转到 将可见细分导出到模型（Export Visible Segments to Models ） 按钮。确保在屏幕右侧选择眼睛选项。
   7. 通过 单击保存 导出模型的 STL 文件，并将文件另存为 .STL 文件。
2. 患者特定模型的后处理
   1. 将 STL 文件导入网格编辑器（参见 材料表），并通过选择 3D 模型 > 编辑 来减少三角形的数量，然后减少一个百分比，在不使 3D 模型的视觉方面变形的情况下减少三角形，然后按 接受。
   2. 确保目标点在全息应用程序的 3D 模型中直观地表示，以便进一步验证。按 添加球体 并将它们放置在 3D 模型上。
   3. 按文件 >导出，将 3D 模型导出为 OBJ 文件格式。通过选择模型确保 3D 模型具有大约 100,000 个面，并通过按 编辑>减少来缩小面。多边形数量越多，图形处理单元需要进行更多作，因此减少场景中的多边形数量可以大大缩短渲染时间。

4. 准备全息应用程序

1. 如下所述配置IRTrackingOrgans_HoloLens项目。
   1. 启动游戏开发软件（参见 材料表）并导入IRTrackingOrgans_HoloLens项目并打开它。
   2. 使用文本编辑器调整 JavaScript 对象表示法 （JSON） 文件，遵循默认格式，以根据步骤 2.1.10 中测量的坐标实现自定义红外标记。JSON 文件保存在 Assets/StreamingAssets 中。
   3. 转到 DINO Unity 选项卡，选择 ToolManager > ResearchModeController > JSON 文件 和 父转换 ，然后单击 创建对象 & 应用 JSON 设置。
   4. 将虚拟红外标记 3D 模型导入为在步骤 1.1 中创建的资产。
   5. 通过选择模型并在检查器窗口中更改变换坐标，将虚拟红外标记 3D 模型转换为场景中生成标记的位置。
   6. 通过选择患者特定的 3D 模型并将其拖动到场景中，将其插入场景中。
   7. 将患者3D模型转换到正确的位置，使红外标记接触3D模型的表面。将红外标记放置在靠近 3D 对象中心的位置，以尽量减少由于杠杆效应而导致的不准确性。
2. 使用患者选择菜单连接场景
   1. 为了实际使用和选择多个病例，请将患者场景连接到菜单屏幕中的按钮。转到 资产 > 场景 > 菜单场景。
   2. 在“层次结构”窗口中，转到“ NearMenu4x2 ”和 “ButtonCollection ”，然后转到相关按钮。
   3. 在 Inspector 窗口中，转到 Basic Events， 然后在 MenuScript.LoadScene 下键入患者场景的名称。
3. 为首次部署准备 HMD
   注意：仅当首次部署应用程序时，才需要此部分。
   1. 登录 HMD（参见 材料表）设备并将设备设置为研究模式。前往 “设置”>“更新与安全性”>“面向开发者”>打开“开发者功能和设备发现”。
   2. 将 HMD 与 PC（Wi-Fi 或 USB-C）配对。如果这是第一次连接，请按照以下步骤作：在开发人员选项卡中找到 HMD 的 IP 地址，在 Web 浏览器中填写 IP 地址以连接到设备门户，然后通过生成 PIN 并填写 PIN 来配对设备。
4. 生成应用程序并将其部署到 HMD
   1. 通过转到 文件（File） > 构建设置（Build Settings） 将场景添加到构建中，按以下顺序添加场景：按 添加打开的场景（Add Open Scenes） 菜单>跟踪场景。
   2. 使用通用 Windows 平台、目标设备 HoloLens 和体系结构 x64 生成项目。单击 构建并 选择构建映射。
   3. 使用 Visual Studio 2019 打开生成文件 （.sln），并将平台更改为 ARM64。然后，通过右键单击解决方案资源管理器中的 .sln文件 打开属性，并在“调试”中，在“计算机名称”下键入 HMD 的 IP 地址。
   4. 通过选择 “调试”>“启动而不调试”，将应用程序部署到 HMD。
   5. 启动 HMD 并打开全息应用程序。随后，导航到患者菜单屏幕并选择 适当的病例 以启动全息可视化和指导。

5. 运动器官全息可视化的验证

1. 半变形幻影打印
   1. 创建或获取具有逼真解剖结构的肾脏模型的 3D 模型。
   2. 将 3D 模型导入 3D CAD 建模软件，并使用 “实体”>“创建>孔> ，设置”孔类型：简单“、”孔丝锥类型：简单“、”钻孔点：角度“、”高度：0.5 毫米“和”直径：4.0 毫米“将五个套准枢轴点集成到模型的侧面。
   3. 将带孔的圆柱体集成到 3D 模型中，以固定 EM 参考传感器以进行进一步的验证步骤。
      1. 使用“中心直径圆”创建具有圆和直径为 2.8 mm 的内圆的草图。将外圆挤出 16.5 毫米。
      2. 通过 “修改”>“组合”>“选择 3D 模型和圆柱体”>“连接”>“确定”将圆柱体与 3D 模型组合在一起。
   4. 使用导出或 3D 打印功能导出 3D 模型。
   5. 使用柔性或半柔性灯丝，例如 TPU（参见 材料表）按照步骤 2.2 中描述的程序打印肾脏模型。
2. 使用 EM 跟踪系统设置 3D 切片机
   1. 请参阅详尽的 3D 切片器和切片机 IGT 教程 （https://www.slicerigt.org/wp/user-tutorial/），了解如何使用 3D-Slicer 设置 EM 系统。
      注意：协议的这一部分假定 3DSlicer 的设置、EM 跟踪配置和连接已充分理解并正确设置。
   2. 将 EM 跟踪系统的场发生器（参见 材料表）直接放置在模型下方。从环境中去除所有铁磁材料，以避免电磁场不均匀。
   3. 将 EM 传感器（参见 材料表）和 EM 指针（参见 材料表）连接到 EM 跟踪系统。确保这些工具的转换在 3DSlicer 中准确可视化。
   4. 用胶水将 EM 参考传感器（例如 NDI Aurora 6DOF 电缆工具）固定在圆柱体中，将其连接到 3D 模型上。
   5. 在 3D 切片器中，导入带有枢轴点的 3D 模型，并使用基 准配准向导>放置控制点以数字方式分配地标点。
   6. 通过使用 EM 指针精确定位现实生活中的地标点来执行地标配准，按 放置控制点 并在 3DSlicer 中注册它们。按 Update 计算刚性线性配准变换。
   7. 配准后，将配准变换应用于 3D 模型，以在其与 EM 参考传感器之间建立链接。随后，如果 3D 模型被物理移动，则其在 3DSlicer 中的数字对应模型应该移动;因此，通过观察动作来目视确认这一点。
3. 全息验证
   1. 启动设备并打开步骤 4.4.5 的全息应用程序。随后，导航到正确的患者 3D 模型，该模型也在 3DSlicer 中可视化。
   2. 使用胶水将红外标记固定到正确的位置，并安装了 6.4 毫米红外标记（参见 材料表），如术前计划所示。
   3. 使用 EM 指针根据全息可视化以数字方式精确定位目标点。保存 EM 传感器坐标集。
   4. 计算定位目标地标与放置地标的误差，以定量验证全息可视化。

Results

使用肾脏模型来演示红外跟踪系统用于器官跟踪的性能，并验证移动器官中的全息验证设置。图 1 概述了完整的工作流程。

首先，使用 3DSlicer 中的阈值工具根据 MRI 数据半自动分割肾脏。生成的 3D 模型被导出并导入到 3D CAD 软件中，以减少多边形数量。保存了第二个模型，并使用球体工具将五个目标点集成到该模型中（图2）。该模型用于全息显示器的技术验证。没有目标点的模型的第一个版本已导入到 Autodesk Fusion 中。该模型集成了五个枢轴点，并集成了气缸以方便 EM 传感器。使用3D切片软件，准备了用于3D打印的3D模型。打印密度为 8% 的 TPU 用于创建最小柔韧的肾脏表面。

设计了一个标准化的红外标记，3D 打印，并装有红外反射球（直径 6.4 毫米）。从该红外标记，测量红外标记的坐标与中心点相关。在游戏开发软件应用程序中，导入了包含红外标记坐标的 JSON 文件。其次，导入肾脏的3D模型，并标有目标点进行验证。此外，出于可视化目的，导入了红外标记模型并将其转换为 JSON 文件实现的点的位置。将 3D 模型转换为红外标记的中心（图 3），并应用了额外的着色器。集成患者菜单场景后，将应用程序部署在 HMD 上。

根据红外标记的位置，使用 HMD 在小儿腹部模型内的肾脏上可视化全息 3D 模型 （图 4）。 它的跟踪速率为 11.6 Hz。然而，对于超过 60 厘米的距离，HMD 失去了跟踪红外标记的能力。其次，红外标记跟踪中的连续跟踪和噪声导致全息叠加闪烁，导致可视化不准确;

出于验证目的，EM 跟踪系统通过 Plus 服务器连接到 3D 切片机。将电磁传感器放置在幻肾上进行跟踪（图2）。在基于点的配准后，3D 模型的配准精度中位数为 0.59 mm，这被证明是验证全息精度的准确方法（图 5）。 根据三名外科医生的输入，中位点定位误差为 8.74 毫米（四分位距：6.38 - 10.85）（表 1）。

该 AR 跟踪和可视化系统的实施涉及一个跨越大约 45-60 分钟的协议。一位拥有 2 年经验的经验丰富的技术医生执行了整个协议一次，以确定协议各个步骤的持续时间。值得注意的是，某些步骤只需要执行一次。每位患者的基本步骤包括分割、游戏开发软件中的模型集成和场景配置。由于涉及多种解剖结构，在患者特异性病例中分割解剖结构需要相对较长的时间，但肾实质和肿瘤的分割可以在 30 分钟内完成。将分段的 3D 模型集成到应用程序中并将它们与红外标记对齐大约需要 5 分钟的手动调整。连接正确的场景不超过 5 分钟。游戏开发项目生成时间因硬件规格而异，但通常需要大约 3 分钟，然后大约需要 10 分钟才能部署到 HoloLens 2。总体而言，不包括验证设置，该协议展示了一种在临床前环境中移动器官跟踪的方法。

图 1：工作流程的示意图。 该工作流程显示了每位患者在幻影环境中所需的步骤，包括术前阶段、全息和术中阶段。术前阶段包括分割（见步骤 3）术前医学成像。全息应用程序的准备包括虚拟规划红外标记在 3D 模型上的放置（参见步骤 4）。在术中阶段，外科医生可以选择正确的患者并固定红外标记以进行全息可视化和连续跟踪。 请点击此处查看此图的大图。

图 2：验证方法中使用的肾脏模型概述。 左：肾脏的 3D 全息图，带有目标点和红外标记的虚拟位置。中：带有集成电磁传感器和用于配准的枢轴点的 3D 模型。右：3D 打印模型，带有红外标记和用于 EM 传感器的圆柱体，用于验证程序。 请点击此处查看此图的大图。

图 3：游戏开发软件中全息应用程序的准备。 肾脏模型被转换为红外标记。其次，将着色器应用于肾脏和目标点。 请点击此处查看此图的大图。

图 4：幻影实验的全息可视化。 左：肾脏上红外标记的放置。右：目标点按正确顺序（1 到 5）的全息可视化。全息可视化的位移是由红外标记跟踪中的抖动引起的。 请点击此处查看此图的大图。

图 5：EM 跟踪验证协议的设置，用于移动器官的全息可视化。 绿色、红色和蓝色可视化了验证所需的电磁工具的转换。黄色和绿色可视化了头戴式显示器 （HMD） 的转换。 请点击此处查看此图的大图。

参与者	测量	GT-X（毫米）	GT-Y（毫米）	GT-Z （毫米）	X点（毫米）	Y 点 （mm）	Z 点 （mm）	PLE （毫米）
外科医生 1	1	-67.02	7.88	297.50	-76.72	8.97	295.49	9.97
	2	-46.77	4.78	249.67	-55.71	-0.26	243.61	11.91
	3	-3.21	-12.36	244.46	-9.99	-3.03	244.83	11.54
	4	-15.06	1.16	273.72	-20.00	2.71	272.70	5.27
	5	-39.00	5.40	281.25	-46.82	6.91	277.75	8.70
外科医生 2	1	-67.02	7.88	297.50	-63.60	8.02	292.12	6.38
	2	-46.77	4.78	249.67	-45.94	2.73	246.98	3.48
	3	-3.21	-12.36	244.46	-5.43	-10.70	244.27	2.78
	4	-15.06	1.16	273.72	-11.87	0.80	267.51	7.00
	5	-39.00	5.40	281.25	-35.54	5.82	273.28	8.70
外科医生 3	1	-67.02	7.88	297.50	-62.97	7.87	287.43	10.85
	2	-46.77	4.78	249.67	-44.59	-0.42	242.70	8.96
	3	-3.21	-12.36	244.46	2.23	-20.32	253.48	13.20
	4	-15.06	1.16	273.72	-10.73	1.33	266.14	8.74
	5	-39.00	5.40	281.25	-34.95	5.93	271.74	10.35

表1： 对于每次测量，都会提供目标地标的地面实况 （GT） 坐标、它们相应的点位置坐标以及为所有外科医生测量的 PLE。

Discussion

所提出的协议概述了一种实时器官跟踪和全息可视化的方法，包括在幻影环境中移动肿瘤和器官的验证。利用 HMD 的基于红外标记的跟踪，该方法有可能在作移动器官期间更好地保持正确的解剖全息叠加。尽管该方法可用于跟踪肾脏，但也可以在其他临床领域进行探索，例如肝脏或肺部的开放手术，只需对分割方案进行最小的调整。其次，红外标记有可能与各种手术技术一起使用，例如腹腔镜手术。在这种情况下，可以在腹腔镜图像上检测到红外反射贴纸，以跟踪器官、工具或解剖标志。然而，将该技术应用于其他临床领域或手术技术可能会由于靶器官变形性的变化或技术限制（例如视野有限）而引入错误，这需要在临床前实验中进行验证。

该协议的第 1 步主要侧重于设置必要的硬件和软件工具。此设置需要大量应用程序和步骤，因此正确安装所有软件包（包括任何必要的扩展）至关重要，以避免下游部署问题。预计不同版本的软件不会导致问题，尽管游戏开发软件和集成开发环境的结合至关重要。

在步骤 2 中，描述了创建自定义红外标记的过程。如果跟踪将用于其他应用程序，则此步骤变得尤为重要。修改红外标记形状的灵活性确保了其对各种临床前应用的潜在适用性。此外，用户可以探索各种设计选项，以提高红外标记对器官表面的粘附性，并提高跟踪红外标记的准确性。此外，测试多个红外标记直径可以改善超过 60 厘米距离的检测。

在步骤 3 中，描述了基于医学成像的患者特定 3D 建模。肾脏和肿瘤的准确分割至关重要，因为它直接影响手术引导的准确性。分割不良可能会导致误导性可视化，从而影响手术精度¹⁹。其次，这一步是最耗时的。集成全自动分割方法可以加快协议，减少手动和半自动调整的必要性，同时确保精确的解剖分割²⁰。优化多边形数量对于实现最佳 AR 渲染性能至关重要。如果不执行此优化，HMD 的性能将受到严重影响。

在步骤 4 中，概述了在实现 DINO-DLL 之后全息应用程序的配置。一个关键方面是红外标记位置和全息解剖模型之间的正确对齐，因为这会影响手动配准精度。特别是，应尽量减少杠杆效应，以防止在距离红外标记中心更远的距离处出现不准确。进一步的改进可能包括实施其他注册方法。此外，当前系统表现出可接受的连续可视化跟踪率，这与文献²¹ 一致。第三，进一步的改进应该包括实施卡尔曼滤波器来减少红外标记跟踪数据中的噪声，从而消除全息可视化的抖动。

在步骤5中，该框架提供了一种利用电磁跟踪的全息验证方法。该协议可用于验证幻影环境中全息图的准确性，因为它提供了对移动器官的全息精度的定量评估。这里的关键一步是将电磁跟踪传感器精确集成到半变形的 3D 打印模型中。用户必须确保在 3D 切片机中准确校准 EM 传感器和地标配准。如果发生验证错误，重新配准或移除任何金属物体可以提高验证的准确性。为了进一步验证临床可行性，可以采用 离体 器官来更准确地模拟手术组织²²。

该协议为旨在实施器官跟踪的 AR 解决方案并在幻影实验中验证这些系统的研究人员提供了综合指南。此外，它还提供了一个广泛适用的验证设置，可以在不同的临床场景中轻松使用，特别是用于验证用于移动器官的 AR 方法。鉴于部署全息应用程序的复杂性，该框架有助于从基于概念的 AR 解决方案过渡到临床前验证。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
3D 切片器 （v5.6.2）	切片机	不适用	医学图像分割软件，是电磁跟踪验证所必需的
6.4 毫米（1/4 英寸）M3 标记 Infrarec 标记	OptiTrack	不适用	红外反射球体，应附在标记上进行跟踪
欧特克 Fusion 360 （v2.0.21508）	欧特克	不适用	用于设计红外标记和模型的 CAD 软件
班布工作室 （v01.09.07.52）	班布实验室	不适用	用于 Bambu 3D 打印机的 3D 打印切片软件
Bambu X1 碳纤维	班布实验室	不适用	用于红外标记和模型的 3D 打印机
全息镜头 2	Microsoft	不适用	用于 AR 可视化的增强现实头戴式显示器
IRTrackingOrgans_HoloLens	开源	不适用	基于 Unity 的应用程序，支持红外标记跟踪
网格混合器 （v3.5.0）	欧特克	不适用	用于网格编辑和多边形缩减
NDI极光	北方数字公司	不适用	用于验证的电磁跟踪系统
NDI Aurora 6DOF 电缆工具	北方数字公司	不适用	用于记录幻脏器官运动的传感器
NDI 极光 6DOF 探头	北方数字公司	不适用	用于识别模型上的地标位置
聚乳酸长丝	任何制造商	不适用	用于打印刚性部件（如红外线标记）的灯丝
热塑性聚氨酯长丝	任何制造商	不适用	用于打印可变形肾脏模型的半柔性灯丝
Unity Hub （v3.11.1） 和 Unity （v2019.4.22f1）	Unity 技术	不适用	用于 AR 应用程序开发和部署的游戏开发软件
Visual Studio 2019	Microsoft	不适用	Unity 集成和部署所需的 IDE