需要JoVE订阅才能观看此内容。 请登录或开始免费试用

方法文章

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

1.5K 次观看

⸱

DOI：

10.3791/67096

⸱

2024年8月9日

 ,  , 
1School of Electronics Engineering, Vellore Institute of Technology, Vellore

本文内容

摘要

本文介绍了基于增强现实（AR）三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作，实现远程手术，使其如同在近距离进行手术操作一般。

摘要

增强现实（AR）在医学应用中需求迫切。本文旨在通过增强现实技术实现经导管主动脉瓣置换术（TAVR）的自动化手术。TAVR 是一种替代开胸手术的医疗手段，通过导管将受损瓣膜替换为新瓣膜。在现有模型中，仅提供远程指导，而手术本身并未基于增强现实实现自动化。本文部署了一台与电机连接的空间对准相机，用于在手术环境中自动采集图像。该相机可追踪患者心脏的二维高分辨率图像以及手术区域中的导管操作平台。所采集的图像通过移动应用程序上传至远程的心脏病学专家外科医生。这些图像用于从二维图像追踪中进行三维重建，并可在笔记本电脑上的类似 HoloLens 的模拟器中查看。外科医生可远程检查三维重建图像，并利用旋转和缩放等附加变换功能进行观察。这些变换功能通过手势操作实现。外科医生的指导指令被实时传输至手术环境，以实现手术过程的自动化。手术区域中的导管操作平台由远程外科医生的手势指令进行控制。所开发的原型模型验证了通过增强现实实现远程手术指导的有效性。

引言

增强现实（AR）可将三维模型叠加到真实世界环境中。AR 技术的发展已在多个领域引发范式变革，包括教育1、医学2、制造3和娱乐4。AR 技术与超可靠低延迟通信相结合，已证明其在医学领域中不可或缺的作用。从人体解剖学的学习阶段到手术引导，各阶段的学习均可通过 AR 驱动的软件5,6和硬件实现可视化。AR 为手术环境中的医疗从业者提供了关键且可靠的解决方案7,8。

主动脉瓣狭窄是人类最常见的心脏瓣膜疾病9疾病的根本原因是不良的饮食习惯和日常生活的不规律。该病的症状及后果是心脏瓣膜狭窄，继而引起血流减少。此问题需在对人的心脏造成损害之前及时处理。因此，心脏会因血流负担过重而超负荷工作。故在损害发生之前，必须进行手术治疗；而得益于近年来的技术进步，此类手术也可通过经导管主动脉瓣置换术（TAVR）来实施。该手术方式可根据患者心脏及其他身体部位的具体状况进行选择。在此TAVR10,11，导管被植入以替代心脏中受损的瓣膜。然而，导管位置的放置12 更换瓣膜对手术医师而言十分繁琐。这一想法促使我们设计了一种基于增强现实（AR）的自动化手术模型。13,14，有助于外科医生在置换过程中精确定位瓣膜。此外，手术还可通过运动映射算法完成，该算法将从远程位置捕捉到的外科医生动作映射至机械臂。

在现有研究15,16,17中，经导管主动脉瓣置换术（TAVR）18过程的可视化通过透视成像进行监测。因此，分析心脏瓣膜较为困难，且定位置换位置繁琐耗时。这为导管在人体心脏中的准确定位设置了障碍。此外，远程操作虽可映射至手术区域以实现过程自动化，但为弥补当前研究的不足，我们提出一种基于机器人、结合增强现实（AR）辅助技术的自动化瓣膜置换手术方案。

该方案是一种通用模型，可应用于所有手术环境。在工作初期阶段，需在手术环境中以最大自由度和最高空间分辨率全方位采集二维图像。这意味着需采集足够数量的图像以用于三维重建19，随后通过手势追踪进行运动映射20。

访问受限。请登录或开始试用以查看此内容。

方案

1. 手术环境

  1. 设计一个如图1所示的手术环境。确保该环境中包含一个用于承载物体的托盘、一个机械臂和两个侧挂臂，其中一个侧挂臂用于固定摄像头占位装置，另一个则配备一致的白色背景，并集成称重模块以保持平衡。
  2. 开发两个驱动程序：一个用于获取实时手术环境的快照，具体步骤见2.1至2.10；另一个用于控制支持360°监控的旋转机构，具体步骤见3.1至3.4。
  3. 在实现上述两个模块之前，启用作为外科医生HoloLens模拟器使用的移动设备和笔记本电脑的蓝牙功能。
  4. 配对设备以实现不间断的图像传输。

2. 设置驱动装置以控制两个悬挂臂

  1. 确保悬挂臂由步进电机控制，其连接方式如图2所示，以实现无故障的360°旋转。
  2. 使用TB6600驱动器将电机连接到微控制器板。要运行电机，请从浏览器安装微控制器IDE。
  3. 点击下载按钮以下载软件。然后在微控制器IDE中，进入文件 > 打开新草图以编写代码。
  4. 确保将微控制器板通过专用连接端口（例如COM4）连接，以便与新草图进行通信。检查通信端口，并确认其显示微控制器板。
  5. 检查步进电机驱动器TB6600的硬件开关设置。确保设置使电流为2 A，可通过将SW4设为开启，SW5和SW6设为关闭来实现。
  6. 确保SW1、SW2和SW3的开关位置设置为1/8微步，以满足所需的旋转步数要求。在TB6600中，设置应为SW1关闭、SW2开启、SW3关闭。
  7. 将RTC 3231与微控制器连接，以实现真实的全球时间同步。确保旋转步长为12°，且仅当实时时钟单元（即从RTC模块读取的秒数）为奇数时，才触发电机步进增量。
  8. 将微控制器板的5 V引脚连接至RTC的VCC，微控制器的GND引脚连接至RTC的GND。
  9. 将RTC的SCL引脚连接至微控制器的A0引脚，SDA引脚连接至A1引脚。该模块可确保每步12°，每圈共30步。确保步进增量在每个奇数秒发生。让此软件模块驱动步进电机21。
  10. 通过运行代码验证系统是否正常工作，代码可在GitHub页面获取： https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。
  11. 下载Android Studio以开发自动相机应用程序。确保系统满足要求，然后从网站下载软件。

3. 开发基于移动设备的场景监控与图像传输驱动程序作为客户端模块

  1. 在 Android 操作系统中开发一个相机应用程序，能够每 2 秒拍摄一次快照，特别是在秒数为奇数时进行拍摄。
  2. 将手机与系统连接。在 Android Studio 中，点击 新建 > 新建项目，并选择 空视图活动。点击 下一步 以开发 Android 代码，该代码可在 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 获取。
  3. 确保该应用程序能够自动捕获图像，并持续将图像发送至远程设备。
  4. 在拍摄快照后，立即通过蓝牙将快照从移动应用程序传输到配对设备，即远程外科医生的系统。
    注意：确保第 2 和第 3 节中提到的模块能够按时同步运行，一个在每偶数秒运行，另一个在每奇数秒运行。

4. 开发用于接收和处理监控图像的客户端模块

  1. 打开服务器模块，该模块是一个图形用户界面。
  2. 在文本字段 VVID 中输入 VVID 端口号，其默认值为 94f39d29 7d6d 437d 973b fba39e49d4ee。
  3. 点击 Create Socket 以创建并绑定套接字。点击 Connect 以与移动应用程序建立连接。
  4. 点击 Capture 以捕获并保存本地文件夹中的场景监控图像。
  5. 如果需要使用非默认的文件夹名称，请在文件夹名称字段中输入本地文件夹名称。

5. 操作机械臂

  1. 让客户端模块也包含一个机械臂。设计该机械臂，使其底座、肩部、肘部、腕部和手指具有旋转运动功能。
  2. 确保使用 MG 996R 舵机来控制底座、肩部和肘部的旋转运动。确保使用 SG 90 舵机来控制腕部和手指的旋转运动。
  3. 在微控制器 IDE 中编译位于 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 的代码，以根据远程外科医生发出的指令驱动机械臂。

6. 增强现实的三维重建

  1. 依次从本地文件夹中逐对读取两张图像，以获取它们之间可能存在的重叠区域（由于图像是在近距离内采集的，连续图像之间会存在重叠）。
  2. 根据方向增强特征描述的要求，使用三级滤波设计三级滤波器22 （DITF） 用于获取梯度和方向的算法。
  3. 使用 DITF 方法提取特征22，如图所示 图3.
  4. 使用 SFM 从采集的特征中重建三维图像23.

7. 外科医生位置的手势识别

  1. 通过提供基于手势的三维重建特征旋转和缩放功能，使外科医生能够从各个角度观察环境，从而便于其检查三维重建图像特征。
  2. 将外科医生右手拇指尖与食指尖之间的距离归一化，并映射为对应的旋转角度。归一化方式应使得最小距离对应0°，最大距离对应180°。
  3. 通过蓝牙将手势控制信号传输至远程手术环境，以控制物体托盘的旋转，使其绕轴转动，同时外科医生端的三维重建特征也随之旋转。
  4. 通过测量外科医生左手拇指尖与食指尖之间的距离，控制机械臂手指的运动。
  5. 测量外科医生左手拇指尖与食指尖在空间中相对于假想的x-y地面平面的仰角高度，以确定仰角，并将该角度映射为机械臂相对于x-y平面所能达到的仰角。
  6. 确定外科医生手部相对于虚拟y-z平面的方位角，并通过基于手势的识别技术获取这些角度。
  7. 将距离、仰角和方位角映射为控制机械臂手指运动和臂部旋转的参数，其中臂部旋转对应于仰角和方位角。
  8. 允许外科医生通过缩放和旋转来检查重建特征，并向机械臂发送指令，以实现远程手术操作。
  9. 确保手术指令以控制序列字符串的形式传输，该字符串以起始标识符开头，后跟控制托盘旋转和机械臂控制器的数值。设[θb, θs, θe, θw, θf]为向量角度，其各值分别对应机械臂底座、肩部、肘部、腕部和手指的控制信号。
    注意：GitHub链接提供了在手术领域实现手势控制的代码。 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。

访问受限。请登录或开始试用以查看此内容。

结果

本方案已使用心脏仿体模型进行了测试。图2展示了借助空间分布的摄像头对术区进行实时监控的预期设置。如图2所示，分布式的摄像头有助于提高视野的空间分辨率，从而实现有效的三维重建。然而，在不同空间位置上实际布置这些摄像头存在复杂性。因此，我们优化了装置设计，提出了一种由TB6600驱动器驱动的NEMA电机带动旋转的空间自定位摄像头布局方案。该结构具有可行性，已在模型中实现，如图1所示。

在图1中，自动相机拍摄快照并随后通过蓝牙协议传输的过程由一段 Android 代码控制。该模块的运行机制设计为：在每个奇数秒拍摄一次照片，每个偶数秒进行一次传输，如第3节所述。与 NEMA 电机连接的微控制器模块负责在每个偶数秒旋转一次结构，以确保有足够时间完成无模糊的图像拍摄。因此，在360°旋转过程中共拍摄30张照片，并通过蓝牙进行传输。

访问受限。请登录或开始试用以查看此内容。

讨论

在已有研究15中，通过X射线和CT扫描来确定导管在心脏中的位置。然而，通过采用基于三维重建的自动化模型，增强现实（AR）TAVR置换术为TAVR18手术过程开辟了新的可能性。如方案部分所述，本研究的设计包含五个阶段。第6节中提到的DITF22第一阶段，即我们在先前工作22中提出的方案，已得到改进，使其能够嵌入医学应用中。第二阶段为三维重建，其关键挑战是从二维点构建三维模型。我们通过多种输入图像对模型进行了验证测试。采用运动恢复结构（SFM）23方法进行图像重建。借助DITF22和校准矩阵，测量图像之间的对应关系。下一阶段是手势跟踪；在三维重建中实现手势控制界面，是实时处理中的另一项挑战。通过手势实现缩放控制和旋转调节，便于远程专家便捷地操作三维模型。第四阶段是移动应用程序的开发，如第3节所述，用于实现自动图像采集。该应用程序将数据以三维模型形式传输给远程...

访问受限。请登录或开始试用以查看此内容。

披露

作者声明无利益冲突。

致谢

作者声明本研究未获得任何资助。

访问受限。请登录或开始试用以查看此内容。

材料

本文使用的材料清单
姓名公司目录编号评论
安卓 IDE软件https://developer.android.com/studio软件可从此链接下载
Arduino 开发板Arduino UnoArduino Uno用于处理的微控制器
Arduino 软件软件https://www.arduino.cc/en/software.软件可从此链接下载
人体心脏模型生物实验室设备制造商和出口商B071YBLX2V(8B-ZB2Q-H3MS-1)轻质模型，分为三个部分，便于深入分析心脏结构
手机支架Humble 通用单脚架支架B07S9KNGVS用于在手术区域固定手机
PyCharm IDE软件https://www.jetbrains.com/pycharm/软件可从此链接下载
机械臂Printed-botsB08R2JLKYM(P0-E2UT-JSOU)可通过控制信号操控机械臂，具有五个自由度
伺服电机Kollmorgen Co-Engineers 电机MG-966R高扭矩伺服电机，伺服脉冲范围为 500 至 2500 微秒 (µs)，频率为 50 Hz 至 333 Hz 
伺服电机Kollmorgen Co-Engineers 电机SG-90R可对 SG-90R 伺服电机施加 1.8 kg-cm 至 2.5 kg-cm 的负载
步进电机28BYJ-4828BYJ-48步进电机，5V 直流，100 Hz 频率，扭矩为 1200 Gf·cm
步进电机Nema 23Nema步进电机，9V - 42V 直流，100 Hz 频率

参考文献

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

访问受限。请登录或开始试用以查看此内容。

重印与许可

探索更多文章

增强现实手术远程外科指导三维重建机械臂控制手势控制实时同步特征提取导管测试平台远程医疗手术
使用增强现实技术实现经导管主动脉瓣置换术的自动手术
联系我们
向图书馆推荐

隐私政策

使用条款

政策

版权所有 © 2026 MyJoVE Corporation。保留所有权利。