使用全息头戴式显示器进行软组织导航的红外跟踪技术方法和临床前验证

Princess Maxima 儿科肿瘤中心的这项研究的范围是开发和验证增强现实系统。该系统应准确对齐移动器官的全息图。当前的一个实验挑战是验证全息图是否与移动器官的实时位置保持准确对齐。

目前，增强现实验证技术仅针对骨骼等刚性解剖结构进行了描述。然而，我们的协议的优势在于它也可用于验证移动器官的增强现实。首先，打开 3D 计算机辅助设计软件并创建一个新文件。

选择“实体”选项卡，然后单击“创建草图”以开始红外标记的新设计。按中心直径圆添加三个或四个直径为三毫米的小圆圈。使用直线工具，将三角形的顶点连接到对边的中点，并绘制连接圆的线以计算中心点。

在中心点处，使用“中心直径圆”绘制一个圆，然后使用两点“矩形”工具绘制将此中心圆与每个较小圆连接起来的矩形。将中心圆形底座和连接矩形挤出至两毫米的厚度。将较小的圆圈挤出至五毫米的厚度。

按创建，然后选择螺纹，然后使用 ISO 公制配置文件将螺纹添加到三个锥体，以适合 6.4 毫米红外反射球体。使用 3D 打印或导出功能，将最终模型导出为对象文件。在 3D 计算机辅助设计软件中，选择测量以测量红外反射球相对于中心点的 x、y 和 z 坐标。

测量每个小圆的中心点与整个形状中心相关的位置。启动游戏开发软件。导入IRTrackingOrgans_HoloLens项目文件并打开项目。

使用文本编辑器，打开保存在 Assets 或 StreamingAssets 文件夹中的 JavaScript 对象表示法文件。调整文件以使用先前记录的坐标并遵循默认格式定义自定义红外标记。在 DINO Unity 选项卡中，选择 ToolManager，单击 ResearchModeController，然后单击 JSON 文件和 父转换，然后单击 创建对象应用 JSON 设置。

导入创建的 3D 红外标记模型。选择特定于患者的 3D 模型，并在“检查器”窗口中更改其变换坐标，以匹配场景中生成的标记的位置。然后将患者特定的 3D 模型拖到场景中以插入它。

转换患者的 3D 模型以将红外标记与其表面对齐。将红外标记放置在靠近模型中心的位置，以减少杠杆效应引起的位置误差。现在，将患者场景连接到菜单屏幕中的按钮，以允许多个病例选择。

导航到转到 资产（Assets）、场景（Scenes） 和 菜单场景（Menu scene）。在“层次结构”窗口中，转到“NearMenu4x2”，然后转到“ButtonCollection”，然后选择相关按钮。在 Inspector 窗口中，转到 Basic Events 和 MenuScript 下。

LoadScene，键入患者场景的名称。创建或获取具有逼真解剖结构的肾脏模型的 3D 模型。将 3D 模型导入 3D CAD 建模软件。

然后使用实体、创建和孔功能对模型侧面的五个配准枢轴点进行积分。将“孔类型”设置为“简单”，将“孔丝锥类型”设置为“简单”，将“钻孔点”设置为“角度”，将“高度”设置为 0.5 毫米，将“直径”设置为 4.0 毫米。要固定电磁参考传感器，请创建一个带孔的圆柱体并将其集成到肾脏模型中。

开始一个新草图，然后使用“中心直径圆”绘制一个直径为 2.8 毫米的圆和一个内圆。将外圆挤出 16.5 毫米。然后转到修改，然后转到组合。

选择 3D 肾脏模型和圆柱体，选择“连接”，然后单击“确定”进行确认。然后使用导出或 3D 打印功能导出最终的集成模型。接下来，使用柔性或半柔性灯丝（例如热塑性聚氨酯）按照前面描述的程序打印肾脏模型。将电磁跟踪系统的场发生器直接放置在打印的肾脏模型下方。

清除周围环境中的所有铁磁物体，以防止电磁场不均匀。然后将电磁传感器和电磁指针连接到跟踪系统。使用胶水将电磁参考传感器牢固地固定在圆柱体内，将电磁参考传感器连接到 3D 模型上。

在 3D 切片器中，导入包含枢轴点的 3D 肾脏模型。使用基准注册向导。选择放置控制点，并以数字方式分配注册地标。

要在 3D 切片器中执行地标配准，请使用电磁指针精确定位物理地标点。按在每个物理位置放置一个控制点以在软件中注册它们。然后按 Update 计算刚性线性配准变换。

现在，将计算出的配准变换应用于 3D 模型，以将其与电磁参考传感器链接。移动物理模型并确认 3D 切片器中的数字版本跟随其运动。启动全息显示设备，然后打开之前配置的全息应用程序。

然后导航到当前在 3D 切片器中可视化的正确患者特定 3D 模型。现在，使用胶水将红外标记贴在指定位置，确保按照术前计划的指导，安装的 6.4 毫米红外反射球就位。使用电磁指针以数字方式识别通过全息可视化看到的目标点。

保存生成的 EM 传感器坐标集。通过将保存的目标坐标与实际放置的地标进行比较来计算误差，以验证全息可视化的准确性。在所有参与者中，点定位误差 （PLE） 显示中值为 8.74 毫米，个别测量值范围为 2.78 至 13.20 毫米。

Surgeon 2 始终实现最低的 PLE 测量值，包括 2.78 毫米和 3.48 毫米的两个最准确定位。在外科医生 3 的第三次测量中观察到最大的定位误差，PLE 为 13.20 毫米。该协议将帮助其他人部署全息项目并在临床前环境中准确验证他们的增强现实系统。

我们的外科研究小组将很快开始对多个小儿手术病例进行自动全息跟踪。可移动器官是根据机器学习算法和 RGB 摄像机馈送进行跟踪的。