使用全息头戴式显示器进行软组织导航的红外跟踪技术方法和临床前验证
2025年9月2日
该协议提供了使用增强现实实现自由移动的幻影（例如器官）的红外标记跟踪和全息可视化的指南。此外，它还概述了使用自由移动模型上的电磁跟踪对全息导航系统进行临床前验证的设置。
Princess Maxima 儿科肿瘤中心的这项研究的范围是开发和验证增强现实系统。该系统应准确对齐移动器官的全息图。当前的一个实验挑战是验证全息图是否与移动器官的实时位置保持准确对齐。
目前，增强现实验证技术仅针对骨骼等刚性解剖结构进行了描述。然而，我们的协议的优势在于它也可用于验证移动器官的增强现实。首先，打开 3D 计算机辅助设计软件并创建一个新文件。
选择“实体”选项卡，然后单击“创建草图”以开始红外标记的新设计。按中心直径圆添加三个或四个直径为三毫米的小圆圈。使用直线工具，将三角形的顶点连接到对边的中点，并绘制连接圆的线以计算中心点。
在中心点处，使用“中心直径圆”绘制一个圆，然后使用两点“矩形”工具绘制将此中心圆与每个较小圆连接起来的矩形。将中心圆形底座和连接矩形挤出至两毫米的厚度。将较小的圆圈挤出至五毫米的厚度。
按创建，然后选择螺纹，然后使用 ISO 公制配置文件将螺纹添加到三个锥体，以适合 6.4 毫米红外反射球体。使用 3D 打印或导出功能，将最终模型导出为对象文件。在 3D 计算机辅助设计软件中，选择测量以测量红外反射球相对于中心点的 x、y 和 z 坐标。
测量每个小圆的中心点与整个形状中心相关的位置。启动游戏开发软件。导入IRTrackingOrgans_HoloLens项目文件并打开项目。
使用文本编辑器，打开保存在 Assets 或 StreamingAssets 文件夹中的 JavaScript 对象表示法文件。调整文件以使用先前记录的坐标并遵循默认格式定义自定义红外标记。在 DINO Unity 选项卡中，选择 ToolManager，单击 ResearchModeController，然后单击 JSON 文件和 父转换，然后单击 创建对象应用 JSON 设置。
导入创建的 3D 红外标记模型。选择特定于患者的 3D 模型，并在“检查器”窗口中更改其变换坐标，以匹配场景中生成的标记的位置。然后将患者特定的 3D 模型拖到场景中以插入它。
转换患者的 3D 模型以将红外标记与其表面对齐。将红外标记放置在靠近模型中心的位置，以减少杠杆效应引起的位置误差。现在，将患者场景连接到菜单屏幕中的按钮，以允许多个病例选择。
导航到转到 资产（Assets）、场景（Scenes） 和 菜单场景（Menu scene）。在“层次结构”窗口中，转到“NearMenu4x2”，然后转到“ButtonCollection”，然后选择相关按钮。在 Inspector 窗口中，转到 Basic Events 和 MenuScript 下。
LoadScene，键入患者场景的名称。创建或获取具有逼真解剖结构的肾脏模型的 3D 模型。将 3D 模型导入 3D CAD 建模软件。
然后使用实体、创建和孔功能对模型侧面的五个配准枢轴点进行积分。将“孔类型”设置为“简单”，将“孔丝锥类型”设置为“简单”，将“钻孔点”设置为“角度”，将“高度”设置为 0.5 毫米，将“直径”设置为 4.0 毫米。要固定电磁参考传感器，请创建一个带孔的圆柱体并将其集成到肾脏模型中。
开始一个新草图，然后使用“中心直径圆”绘制一个直径为 2.8 毫米的圆和一个内圆。将外圆挤出 16.5 毫米。然后转到修改，然后转到组合。
选择 3D 肾脏模型和圆柱体，选择“连接”，然后单击“确定”进行确认。然后使用导出或 3D 打印功能导出最终的集成模型。接下来，使用柔性或半柔性灯丝（例如热塑性聚氨酯）按照前面描述的程序打印肾脏模型。将电磁跟踪系统的场发生器直接放置在打印的肾脏模型下方。
清除周围环境中的所有铁磁物体，以防止电磁场不均匀。然后将电磁传感器和电磁指针连接到跟踪系统。使用胶水将电磁参考传感器牢固地固定在圆柱体内，将电磁参考传感器连接到 3D 模型上。
在 3D 切片器中，导入包含枢轴点的 3D 肾脏模型。使用基准注册向导。选择放置控制点，并以数字方式分配注册地标。
要在 3D 切片器中执行地标配准，请使用电磁指针精确定位物理地标点。按在每个物理位置放置一个控制点以在软件中注册它们。然后按 Update 计算刚性线性配准变换。
现在，将计算出的配准变换应用于 3D 模型，以将其与电磁参考传感器链接。移动物理模型并确认 3D 切片器中的数字版本跟随其运动。启动全息显示设备，然后打开之前配置的全息应用程序。
然后导航到当前在 3D 切片器中可视化的正确患者特定 3D 模型。现在，使用胶水将红外标记贴在指定位置，确保按照术前计划的指导，安装的 6.4 毫米红外反射球就位。使用电磁指针以数字方式识别通过全息可视化看到的目标点。
保存生成的 EM 传感器坐标集。通过将保存的目标坐标与实际放置的地标进行比较来计算误差，以验证全息可视化的准确性。在所有参与者中，点定位误差 （PLE） 显示中值为 8.74 毫米，个别测量值范围为 2.78 至 13.20 毫米。
Surgeon 2 始终实现最低的 PLE 测量值，包括 2.78 毫米和 3.48 毫米的两个最准确定位。在外科医生 3 的第三次测量中观察到最大的定位误差，PLE 为 13.20 毫米。该协议将帮助其他人部署全息项目并在临床前环境中准确验证他们的增强现实系统。
我们的外科研究小组将很快开始对多个小儿手术病例进行自动全息跟踪。可移动器官是根据机器学习算法和 RGB 摄像机馈送进行跟踪的。
概述
该协议为实现自由移动的幽灵和全息可视化的红外标记跟踪以及使用增强现实提供了一个全面的指南。它还详细说明了具有电磁跟踪的全息导航系统的临床前验证的设置。
关键研究组成部分
科学领域
- 神经科学
- 增强现实
- 电磁跟踪
背景
- 医疗应用的增强现实系统的开发。
- 与移动器官对齐全息图的挑战。
- 现有的验证技术主要关注刚性结构。
- 对动态解剖模型适用的协议的需求。
研究目的
- 验证移动器官的增强现实。
- 创建一个可靠的全息导航跟踪系统。
- 增强医学影像的临床前验证方法。
使用的方法
- 用于红外标记设计的3D CAD建模。
- 电磁跟踪与全息显示的集成。
- 使用3D Slicer进行地标注册。
- 创建患者特定的3D模型以实现准确跟踪。
主要结果
- 成功设计和实施了红外标记。
- 全息图与移动器官模型的准确对齐。
- 通过实时运动分析验证跟踪系统。
- 在临床前环境中展示了该协议的有效性。
结论
- 该协议能够使用增强现实有效跟踪移动器官。
- 它为未来的动态解剖可视化研究奠定了基础。
- 通过这种方法，实现了临床前验证技术的增强。
常见问题
Executive Industry Relevance
Reliable intraoperative tracking of free-moving soft tissues is a critical challenge for surgical navigation and AR-guided interventions. This protocol establishes a validated workflow for integrating real-time infrared tracking with holographic overlays, enabling quantitative assessment of spatial accuracy in dynamic preclinical models. The approach supports predictive confidence in surgical navigation technologies and informs translational development for next-generation image-guided procedures.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative hypothesis testing of AR-guided navigation accuracy in dynamic tissue models.
- Supports mechanistic de-risking by validating overlay precision for moving anatomical targets.
- Facilitates functional assessment of tracking technologies prior to clinical translation.
Screening & Assay Development
- Establishes reproducible, quantitative validation protocols for AR navigation systems using phantom models.
- Standardizes measurement of localization error to benchmark system performance.
- Prepares validated tracking workflows for downstream integration in surgical device development.
Translational & Preclinical Research
- Aligns preclinical validation with disease-relevant, semi-deformable organ models for translational continuity.
- Enables risk-adjusted advancement of AR navigation platforms based on quantitative accuracy metrics.
- Supports biomarker-aligned validation of spatial tracking in anatomically realistic settings.
Pipeline & Workflow Integration
This protocol bridges early discovery, preclinical validation, and translational development for AR-guided surgical navigation technologies.
- Discovery Biology: Provides a framework for hypothesis-driven testing of tracking and overlay accuracy in moving tissue models.
- Screening: Delivers standardized, quantitative readouts of localization error for system benchmarking.
- Analytics: Outputs precise spatial error metrics (e.g., Point Localization Error) to compare operator and system performance.
- Translational Research: Connects preclinical validation to clinical readiness by using anatomically relevant phantoms and quantitative endpoints.
- Enterprise Reuse: Offers a reusable validation methodology for diverse AR navigation and tracking platforms.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in AR navigation accuracy for dynamic surgical environments.
- Operational Value: Standardizes validation workflows and enables reproducible, quantitative assessment across teams.
- Strategic Value: Informs go/no-go decisions for AR platform advancement based on robust preclinical data.
- Portfolio Impact: Supports risk-adjusted prioritization of navigation technologies with validated performance metrics.
Implementation Considerations
- Requires expertise in 3D modeling, AR application development, and quantitative validation protocols.
- Needs access to 3D CAD software, holographic head-mounted displays, and electromagnetic tracking systems.
- Demands cross-team standardization of phantom design, marker integration, and measurement procedures.
- Adaptation to different organ models or surgical contexts may require protocol customization.
- Accuracy is influenced by operator skill, marker placement, and environmental electromagnetic conditions.
