基于增强现实的切除肿瘤标本可视化

摘要

来源：
Carly Fassler¹, Liyu Huang¹, Kavita Prasad¹, Jiayi Xu², Guansen Tong², Jie Ying Wu², Michael C. Topf<sup>1,3

1</sup>范德堡大学医学中心耳鼻喉—头颈外科系。

²范德堡大学计算机科学系。

³范德堡大学工程学院，范德堡大学。

本视频展示了使用增强现实（AR）技术进行肿瘤切除手术，其中通过三维扫描获得的肿瘤标本以全息影像的形式呈现在头戴式显示器上。外科医生可以操控并固定该全息影像，以确保精确切除肿瘤。

方案

所有涉及样本采集的操作均按照本机构的IRB指南进行。

注意：可在图1中看到详细说明实验方案流程的示意图。

1. 三维扫描

1. 按照先前描述的3D扫描方案7，获取肿瘤切除标本的3D扫描图像。
   1. 在病理实验室附近设置市售的台式3D扫描仪，该实验室通常是获取标本的场所。
   2. 轻轻冲洗并拍干切除的标本，然后拍摄其前表面和后表面的二维照片。
   3. 将标本放置在扫描仪转盘上，确保使用一层薄塑料膜保护转盘免受任何体液污染。
   4. 使用 3D 扫描仪软件和笔记本电脑，获取样本前表面和后表面的 3D 扫描图像。
   5. 使用3D扫描仪软件，通过三点数据交叉配准来对齐两组扫描数据。
   6. 一旦扫描呈现出三维结构的形态 离体 样本，继续进行步骤 1.2。
2. 单击“保存您的扫描”，将完成的扫描从3D扫描软件中以.obj文件和.jpeg文件格式保存。

2. 增强现实环境的设置

1. 打开桌面AR软件。打开增强现实VISE程序包。
2. 将1.2步骤中生成的3D模型以.obj文件格式、纹理数据以.jpeg文件格式，通过拖拽方式从桌面上传至软件的“项目资源”（Project Assets）框中。
3. 戴上头戴式显示器（HMD）。
4. 通过抬起非优势手的手腕，在HMD环境中打开菜单。当出现方形图标时，将手指指向该图标并轻触，以查看菜单弹出。
5. 选择文件 | 显示所有应用 | 在头戴式显示器（HMD）上打开全息远程应用程序。
6. 通过顶部工具栏中的“混合现实 | 远程连接 | 播放模式下的全息远程连接”选项，将头戴式显示器（HMD）连接到软件。
7. 输入HMD的IP地址，该地址在打开全息远程应用程序时会显示。
   注意：  如果应用内未显示，也可以在设置中查找，或通过语音命令“What's My IP Address”获取IP地址。
8. 确保头戴式显示器（HMD）和运行软件的设备连接至同一 Wi-Fi 网络。点击顶部中央的三角形播放按钮。此时，HMD 头显将显示“Rendering”。
9. 将3D对象模型拖入左侧的层级栏中。打开该对象的下拉菜单，将“default”拖入“替换对象”下的“调整轴心”弹出窗口中。点击“应用所选对象”。
10. 在层级菜单中打开 Medical_Object 下拉列表，先选择 anchor，再选择移动 Medical_Object'在“调整轴心点”弹出窗口中，s 轴心点位于此处。
11. 将纹理文件拖入“调整轴心”弹出窗口的（纹理 2D）框中。选择“应用所选纹理文件”。
12. 再次点击屏幕顶部中央的播放按钮。

3. 进入虚拟现实

1. 使用语音指令“Open”以初始化全息图像。
2. 如果未看到对象或对象从视野中丢失，使用语音指令“Reposition”将对象重新置于视野中央。
3. 对象将以解剖实际尺寸呈现。使用语音指令“Lock Size”保持当前尺寸，“Unlock Size”更改对象尺寸，以及“Back to Scale”恢复对象至解剖实际尺寸。
4. 用食指和拇指做捏合动作，以实现对象的缩放、移动和旋转，操作方式与操控实体物体相同。

4. 使用语音命令

1. 使用以下语音命令免手操作对象：
   1. 右转：将对象向右旋转。
   2. 左转：将对象向左旋转。
   3. 变大：增大对象。
   4. 变小：缩小对象。
   5. 增加透明度：提高对象的透明度。
   6. 降低透明度：降低对象的透明度。

5. 基于AR的样本重新对准

注意：全息图的三维重对准可参见图2。

1. 使用拇指和食指操作通过头戴式显示器（HMD）看到的三维标本全息图像。
   1. 在真实环境中将拇指和食指并拢，以抓取在虚拟环境中显示的全息图像中的物体。
   2. 当三维全息图像在虚拟环境中被放置到所需位置后，在真实环境中张开拇指和食指，即可释放该物体。
2. 使用语音指令“Lock”将全息图像固定在当前位置，或使用“Unlock”重新操作该物体。
3. 根据全息图像的解剖学方位，按照步骤 5.1–5.2 将虚拟标本重新对齐至切除床。当通过头戴式显示器（HMD）观察时，若全息图像已尽可能与切除床对齐，则使用语音指令“Lock”将标本固定到位。

结果

图 1:协议工作流程。示意图展示了与当前标准方案并行的实验方案。

图 2:通过 HMD 查看的 3D 全息图重新对齐。用户通过 HMD 看到 （A） 用户的手抓住 3D 全息图，（B） 用户的手将 3D 全息图释放到切除床上，以及 （C） 3D 全息图的最终产品重新对齐到切除中。缩写:HMD = 头戴式显示器。

材料