使用增强现实技术进行经导管主动脉瓣置换术的自动手术

Summary

本文介绍了基于增强现实 （AR） 的 3D 重建的自动手术模块的设计和实现。该系统允许外科医生检查重建的特征并复制手术手部动作，就像他们在附近进行手术一样，从而实现远程手术。

Abstract

增强现实 （AR） 在医疗应用中的需求量很大。本文的目的是使用 AR 为经导管主动脉瓣置换术 （TAVR） 提供自动手术。TAVR 是心内直视手术的替代医疗程序。TAVR 使用导管用新瓣膜替换受伤的瓣膜。在现有模型中，给出了远程指导，而手术不是基于 AR 的自动化。在本文中，我们部署了一个连接到电机的空间对齐相机，用于在手术环境中自动捕获图像。摄像头跟踪患者心脏的 2D 高分辨率图像以及导管测试台。这些捕获的图像使用移动应用程序上传给作为心脏病学专家的远程外科医生。该图像用于从 2D 图像跟踪进行 3D 重建。这在 HoloLens 中查看，就像笔记本电脑中的仿真器一样。外科医生可以远程检查具有额外转换功能（如旋转和缩放）的 3D 重建图像。这些转换功能是通过手势启用的。外科医生的指导被传输到手术环境，以在实时场景中自动化该过程。手术区域的导管试验台由远程外科医生的手势引导控制。开发的原型模型展示了通过 AR 进行远程手术引导的有效性。

Introduction

AR 可以将 3D 模型叠加在真实环境中。AR 的技术发展在许多领域都发生了范式转变，即教育¹、医疗²、制造³ 和娱乐⁴。AR 技术以及超可靠的低延迟通信证明了它在医疗领域不可避免的作用。从人体解剖学的学习阶段到手术指导，学习阶段都可以通过 AR 驱动的软件 ^5,6 和硬件进行可视化。AR 为手术环境中的医生提供了关键且可靠的解决方案 ^7,8。

主动脉瓣狭窄是心脏瓣膜病，在人类中最常见⁹。这种疾病的根本原因是不良的饮食习惯和不规律的日常生活。这种疾病的症状和结果是心脏瓣膜变窄，然后是血流量减少。在对人类心脏造成任何损害之前，需要解决这个问题。因此，心脏负担过重，无法处理血流。因此，在发生任何损害之前，需要进行手术，由于最近几天的技术发展，这也可以使用 TAVR 手术来完成。该程序可以根据患者的心脏和其他身体部位的状况来采用。在这个 TAVR^10,11 中，插入导管以替换心脏中受损的瓣膜。然而，放置导管位置¹² 以更换瓣膜对从业者来说很乏味。这个想法促使我们设计了一个基于 AR^13,14 的自动化手术模型，它可以帮助外科医生在置换过程中精确定位瓣膜。此外，手术可以通过运动映射算法进行，该算法将从远程位置捕获的外科医生的运动映射到机械臂。

在现有工作 15,16,17 中，通过透视监测 TAVR¹⁸ 程序的可视化。因此，很难分析心脏瓣膜，并且找到更换位置很繁琐。这为导管在人体心脏中的定位设置了屏障。此外，远程运动被映射到手术区域，以使过程自动化。然而，为了克服研究空白，我们提出了一种使用 AR 辅助技术进行基于机器人的自动化瓣膜置换手术。

该方案是一种通用模型，可应用于所有手术环境。在工作的开始阶段，以最大的自由度和最完整的空间分辨率捕获手术环境周围的 2D 图像。这意味着捕获了足够的图像用于 3D 重建¹⁹ 目的，然后通过手势跟踪²⁰ 进行运动映射。

Protocol

1. 手术环境

1. 设计手术环境，如图 1 所示。确保环境中有一个承载物体的盘片、一个机械臂和两个侧挂臂，一个用于固定摄像头占位符，另一个具有一致的白色背景以及用于平衡的称重模块。
2. 开发两个驱动程序，一个用于实时手术环境的快照，如步骤 2.1 至 2.10 所述，另一个用于控制支持 360° 监控的旋转机构，如步骤 3.1 至 3.4 所述。
3. 在实现上述两个模块之前，请启用移动设备和笔记本电脑的蓝牙，它们充当外科医生的 HoloLens 仿真器。
4. 配对设备以实现不间断的图像传输。

2. 设置驱动程序以控制两个吊臂

1. 确保吊臂由步进电机控制，其布置如图 2 所示，以实现 360° 的完美旋转。
2. 使用 TB 6600 驱动器将电机连接到微控制器板。要运行电机，请从浏览器安装微控制器 IDE。
3. 点击 下载 按钮下载软件。然后，在微控制器 IDE 中，转到 File > Open a New Sketch 编写代码。
4. 确保通过专用连接端口（例如 COM 4）连接微控制器板以与新 sketch 连接。检查 Com Port 并验证它是否显示微控制器板。
5. 检查步进电机驱动器 TB 6600 的硬件开关设置。确保设置使电流为 2 A，这可以通过设置 SW4 ON 以及 SW5 和 SW6 OFF 来实现。
6. 确保设置 SW1、SW2 和 SW3 的开关位置，使微步为 1/8 步，以达到符合要求的旋转步长。确保 TB1 中的设置为 SW2 OFF、SW2 ON 和 SW3 OFF 6600。
7. 将 RTC 3231 与微控制器连接，以实现实时全局时间同步。确保公转步长为 12°，并且仅当实时单位（即从 RTC 模块读取的秒数）为奇数时，才会触发电机步长。
8. 将微控制器板的 5 V 引脚连接到 RTC VCC，将微控制器的 GND 连接到 RTC 的 GND。
9. 将 RTC 的 SCL 引脚连接到 A0 引脚，将 SDA 连接到微控制器的 A1 引脚。该模块可以确保 12° 的步长，一次旋转 30 步。确保步长递增每奇数秒发生一次。让本软件模块驱动步进电机²¹。
10. 通过运行代码来验证设置是否正常工作，该代码位于 GitHub 页面上:https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。
11. 下载 Android Studio 以开发自动相机应用程序。确保满足系统要求，然后从网站下载软件。

3. 开发用于移动场景监控和图像传输的驱动程序作为客户端模块

1. 在 Android 操作系统中开发一个可以每 2 秒拍摄一次快照的相机应用程序，尤其是当秒数为奇数时。
2. 将手机与系统连接。在 Android Studio 中，点击 New > New Project ，然后选择 Empty Views 活动。单击 Next（下一步 ）开发 Android 代码，该代码可在 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 获取。
3. 确保应用程序自动捕获图像并将其一致地发送到远程设备。
4. 拍摄快照后立即通过蓝牙将移动应用程序中的快照传输到配对设备，即远程外科医生的系统。
   注意:确保第 2 节和第 3 节中提到的模块以时间同步方式运行，一个用于每偶数秒，另一个用于每个奇数秒。

4. 开发客户端模块以接收和处理监控图像

1. 打开 server 模块，它是一个图形用户界面。
2. 在文本字段 VVID 中输入 VVID 端口号，默认值为 94f39d29 7d6d 437d 973b fba39e49d4ee。
3. 单击 Create Socket 以创建并绑定套接字。单击 Connect 以建立与移动应用程序的连接。
4. 点击 Capture 以捕获现场监控图像并将其保存在本地文件夹中
5. 在字段 folder name 中输入本地文件夹名称（如果需要不是提到的默认文件夹名称）。

5. 操作机械臂

1. 让 client 模块也包括一个机械臂。将手臂设计为在其底部、肩部、肘部、手腕和手指处进行旋转运动。
2. 确保使用 MG 996R 舵机来控制底座、肩部和肘部的旋转运动。确保使用 SG 90 伺服电机来控制肘部和手指的旋转运动。
3. 在微控制器 IDE 中编译 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 中给出的代码，以根据从远程外科医生那里收到的命令驱动机械臂。

用于增强现实的 6. 3D 重建

1. 从本地文件夹中按顺序逐个读取两个图像，以获取它们之间可能的重叠（由于图像收集得很近，因此连续图像之间将存在重叠）。
2. 根据定向增强特征描述的要求，使用三级滤波²² （DITF） 算法设计三级滤波器，以获得梯度和方向。
3. 使用 DITF 方法²² 提取特征，如图 3 所示。
4. 使用 SFM²³ 从收集的特征中重建 3D 图像。

7. 外科医生位置的手势识别

1. 通过提供基于手势的旋转和放大/缩小重建特征，使外科医生能够从各个角度可视化环境，从而促进外科医生检查 3D 重建图像特征。
2. 将外科医生的拇指尖和右手食指之间的距离标准化并映射到相应的旋转角度。让归一化方式使裸露的最小距离对应于 0°，最大值对应于 180°。
3. 通过蓝牙将手势控制传输到远程手术环境，以及物体盘片的旋转，这使得当 3D 重建特征在外科医生端旋转时，它就会绕其轴旋转。
4. 找到外科医生左手的尖端和拇指之间的距离，以控制机器人手臂手指的运动。
5. 从外科医生左手的拇指尖和食指之间的空间距离相对于假想的 xy 接地平面测量仰角，以确定仰角。将此角度映射到机器人手臂可以使用 x-y 平面形成的仰角。
6. 求外科医生的手与虚拟 y-z 平面的方位角。通过基于手势的识别来识别这些角度。
7. 绘制距离、仰角和方位角，以控制机器人的手指移动和手臂旋转，这两者都对应于仰角和方位角。
8. 让外科医生通过缩放和旋转来检查重建的特征。让外科医生将命令传输到机械臂，以便从远程位置进行手术。
9. 确保手术命令作为序列的控制字符串传输，该序列以字符串 concurence 开头，后跟控制转盘旋转和机械臂控制器的值。设 [θ_b， θ_s， θ_e， θ_w， θ_f] 为向量的角度，该向量由值组成，每个值对应于机器人手臂的底座、肩部、肘部、手腕和手指对应的控制信号。
   注意:GitHub 链接提供了在手术领域启用手势控制的代码。https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。

Results

该协议使用心脏模型进行了测试。 图 2 显示了在空间分布摄像机的帮助下对手术区域进行实时监控的预期设置。如图 2 所示，分布式相机有助于提高场的空间分辨率，以实现有效的 3D 重建。然而，实现这些相机在不同空间位置的物理放置涉及复杂性。因此，我们优化了设置设计，并提出了由 TB6600 驱动器驱动的 NEMA 电机旋转的空间自定向摄像机布置解决方案。这种结构是可行的，并在模型中实现， 图 1 中显示了相同的内容。

在图 1 中，自动相机快照及其通过蓝牙协议传输后由 Android 代码控制。该模块的组织方式是，捕获每奇数秒发生一次，它们的传输每偶数秒进行一次，如第 3 节所述。与 NEMA 电机接口的微控制器模块负责每偶数秒旋转一次结构，以便保证有足够的时间进行不模糊的照片捕捉。因此，总共拍摄了 30 张照片，旋转 360°，并使用蓝牙传输。

此外， 在图 1 中，显示了手术环境的 DITF 描述符的 3D 重建视图。需要注意的是，外科医生可以通过手部运动映射的缩放和旋转来检查这些基于描述符的重建。此外，这些动作被发送到手术环境以模拟手术，以便导管可以插入真实区域。运动映射的完成方式是将它们映射到六个不同的角度来控制机器人部件，即底座、肩部、肘部、手腕、抓手和手指。这些角度以矢量形式表示为 [θ_b， θ_s， θ_e， θ_w， θ_f]。在给定的向量中，值 θ_p对应于旋转人体对象的盘片的运动映射。相同的 θ_p也用于将 HoloLens 仿真器中显示的描述符定向到外科医生一侧。

图 3 显示了模型 DITF 特征，这是 3D 重建的基本步骤。根据提取的特征，在图像匹配中识别对应关系。参考图像与 45° 旋转的各种结果之间的对应关系如图 4 所示。不同颜色的对应关系清楚地表明了识别和匹配相似特征的有效性，即使图像处于不同的视图方向也是如此。 在图 5 中，包括运动映射的精度，这表明当两根手指之间的距离较低时，精度很高。但是，当手指之间的距离增加时，准确性开始下降。

另一方面，模型处理数据所需的时间在 AR 中是必不可少的。因此，该参数用于验证所提出的模型，测量处理图像的时间延迟，并使用现有算法验证结果，例如定向 FAST 和旋转 BRIEF （ORB）²⁴ 和提升高效二进制局部图像描述符 （BEBLID）²⁵。结果表明，DITF 在延迟方面超过了现有模型，例如 ORB 和 BEBLID，如图 6 所示。除此之外，3D 重建模型还通过重建误差进行了验证， 图 7 所示的图表明直方图很窄，这意味着重建误差很小;结果表明，所提算法的重构得到了验证和验证。 图 8 显示了所提议模型的 3D 重建输出。它反映了可视化的清晰度，并且图像的定量结果也使用绘图进行了验证。这些结果证明，所提出的模型通过旋转变换提取了所有必要的特征来重建 3D 模型。因此，远程专家可以对手术区域进行精确的可视化和控制。

图 1:使用增强现实实现经导管主动脉瓣置换术自动化手术的硬件设置。 （A） 带有实时监控系统的手术区域。（B） 基于增强现实的可视化。 请单击此处查看此图的较大版本。

图 2:手术环境的预期模型。 所示型号配备了使用空间分布摄像头传感器对手术环境进行实时监控。 请单击此处查看此图的较大版本。

图 3:放置在手术测试床中的人类心脏模型及其使用特征描述符算法提取的特征。 （A） 输入心脏模型。（B） 使用心脏体模模型的三级滤波特征提取进行定向增强特征描述。 请单击此处查看此图的较大版本。

图 4:两个图像特征之间的特征匹配。 （A） 使用三级滤波特征提取进行心脏模型定向增强特征描述。（B） 使用 45° 旋转心脏模型模型的三级滤波特征提取进行定向增强特征描述。这些线条表示相似图像在两个不同方向上的特征之间的对应关系。线条颜色表示不同的所选要素。 请单击此处查看此图的较大版本。

图 5:手势跟踪的准确性。 该图显示了百分比精度。样本编号 （N） 选择为 500。运动映射执行 500 次，从中找到正确映射的数量。然后，将准确度计算为正确映射与样本总数之间的比率。 请单击此处查看此图的较大版本。

图 6:使用定向 FAST 和旋转 BRIEF 的第三级过滤以及提升高效二进制局部图像描述符算法的定向强化特征描述的延迟。绘制了延迟，即从图像中提取特征所花费的时间。我们选择 N 作为 500，这意味着时间延迟计算完成 500 次以上，然后取平均值。该过程针对三种算法完成并绘制。请单击此处查看此图的较大版本。

图 7:所提模型的重建误差分布。 重建误差是指从其特征重建的 3D 图像与原始图像之间的误差。误差图是一个直方图，指示特定事件的发生次数。当误差为零时，计数最大，并且它在任一端衰减。这是预期的结果。该图表明直方图（正常密度）的方差较小，因此与平均值 （0） 的误差在任一方向上的分布都不是很大。 请单击此处查看此图的较大版本。

图 8:心脏模型的 3D 重建。 每个彩色点表示来自相应特征的 3D 重建点。截至目前，特征重建算法对颜色进行归一化，然后，其他特征也会着色。 请单击此处查看此图的较大版本。

Discussion

在现有工作¹⁵ 中，检查 X 射线和 CT 扫描以定位心脏中的导管。然而，AR TAVR 置换通过使用 3D 重建实施自动化模型，在 TAVR¹⁸ 外科手术中建立了新的可能性。正如协议部分提到的，这项工作有五个阶段需要设计。我们在之前的工作²² 中提出的第 6 节中提到的 DITF²² 的第一阶段通过某种方式进行了增强，将模型嵌入到医疗应用中。3D 重建的第二阶段是从 2D 点构建 3D 模型的具有挑战性的任务。我们使用各种输入图像测试了模型以验证模型。采用 SFM²³ 重建图像。图像的对应关系是在 DITF²² 以及校准矩阵的帮助下测量的。下一阶段是手势跟踪;3D 重建中的手势控制界面是另一项具有挑战性的实时任务。缩放控制和旋转变化嵌入了手势，以便远程专家轻松访问 3D 模型。第四阶段是移动应用程序创建，这在第 3 节中针对自动图像捕获进行了说明。此应用程序将数据作为 3D 模型加载到远程专家。最后阶段是硬件设置，使用带有机器人手臂的心脏模型进行演示，该模型可以自动插入导管以替换受伤的心脏瓣膜，如图 1 所示。

开发的方法是使用增强现实和特征提取从手术环境的现场监控进行远程手术。据我们所知，本文中提出的重要贡献在文献中没有看到。开发的方法具有低延迟，可以从特征中重建 3D 图像。此外，该方法在重建特征和原始图像之间的误差非常低。此延迟和错误分别显示在 图 6 和 图 7 中。这些数字还表明，其他算法，即 ORB²⁴ 和 BEBLID²⁵ 不如所提出的方法。

我们在开发该方法时面临的挑战是移动应用程序和远程服务器之间基于蓝牙协议的传输。由于场景采集和传输必须每 2 秒完成一次，因此需要超高速通信。它经常以损坏的套接字结束，并且需要大量的异常处理和并行例程管理才能顺利处理。除此之外，我们在该方法的开发和实施过程中还遇到了一些问题。

但是，有一些故障排除技术可以解决这些问题。蓝牙通信涉及选择正确的频道或 VVID 端口号。此外，在继续之前，应确保在任一端切换蓝牙设备。对于驱动机械臂和悬挂旋转臂的基于微处理器的例程，需要确保串行通信的端口号。电机驱动器的连接，考虑到 NEMA 和伺服电机要得到适当的保证。如果操作不当，NEMA 电机会以意外的方式旋转，即使只是与驱动器的连接出错。需要正确识别 NEMA 电机的两个线圈的引线;否则，与驱动器的连接最终可能会以不希望的方式旋转，甚至损坏电机。设计一个耦合器来支撑重约 1 公斤的旋转臂的悬挂是一项挑战。为了解决这个问题，我们在电机轴上钻了一个直径为 1 毫米的孔。平衡手臂的两侧，包括移动设备的重量，也是一项挑战;否则，结构可能会在地面上拖动，从而导致结构从电机轴上拆下或下拉。需要确保正确拧紧机械臂的底座、肩部、肘部、手腕和手指;否则，当零件旋转并举起重物时，零件可能会掉落。两个模块的并行运行应该通过设置适当的 Python 环境来处理，不同的线程并行运行以实现平稳工作。

结果得出结论，所提出的自动 TAVR¹⁸ 模型是 AR 手术引导的有效方法。根据医学专家的指导，这个提议的模型可以灵活地将此原型应用于医学领域的任何手术。基于学习的模型可以改进 3D 重建。要重建 3D 模型，需要将具有良好照明图像的多个视图作为输入;但是，将来可以解决此问题。 此外，未来，我们希望开发基于 5G 通信的传输，以确保低延迟和超可靠的通信，从而实现无故障和平稳运行。此外，我们想开发自己的 AR 设备，而不是目前使用的模拟器。这可以提高 3D 模型在实时手术环境中的可视化效果。

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
安卓 IDE	软件	https://developer.android.com/studio	软件可以从此链接下载
Arduino 板	Ardunio Uno	Ardunio Uno	，用于处理
Arduino 软件	软件	https://www.arduino.cc/en/software。	软件可以从此链接下载
人类心脏模型	生物实验室设备制造商和出口商	B071YBLX2V（8B-ZB2Q-H3MS-1）	轻量级模型与 3 个部分对心脏进行深入分析。
移动支架	Humble 通用垄断支架	B07S9KNGVS	要在手术领域携带移动设备
pycharm IDE	软件	https://www.jetbrains.com/pycharm/	软件可以从此链接下载
机械臂	打印机器人	B08R2JLKYM（P0-E2UT-JSOU）	手臂可以通过控制进行控制 signal.it 有 5 个自由度的访问。
伺服电机	科尔摩根联合工程师电机	MG-966R	高扭矩伺服电机，伺服脉冲范围从 500 到 2500 微秒（&微;s），频率为 50 Hz 至 333 Hz。
伺服电机	科尔摩根合作工程师 电机	SG-90R	1.8 kg-cm 至 2.5 kg-cm 负载可应用于 SG-90R 伺服。
步进电机	28BYJ-48	28BYJ-48	步进电机，5V 直流，100 Hz 频率，扭矩 1200 Gf.cm
步进电机	Nema 23	Nema	步进电机，9V - 42 V DC，100 Hz 频率