本文介绍了基于增强现实(AR)三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作,实现远程手术,使其如同在近距离进行手术操作一般。
本文介绍了基于增强现实(AR)三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作,实现远程手术,使其如同在近距离进行手术操作一般。
增强现实(AR)在医学应用中需求迫切。本文旨在通过增强现实技术实现经导管主动脉瓣置换术(TAVR)的自动化手术。TAVR 是一种替代开胸手术的医疗手段,通过导管将受损瓣膜替换为新瓣膜。在现有模型中,仅提供远程指导,而手术本身并未基于增强现实实现自动化。本文部署了一台与电机连接的空间对准相机,用于在手术环境中自动采集图像。该相机可追踪患者心脏的二维高分辨率图像以及手术区域中的导管操作平台。所采集的图像通过移动应用程序上传至远程的心脏病学专家外科医生。这些图像用于从二维图像追踪中进行三维重建,并可在笔记本电脑上的类似 HoloLens 的模拟器中查看。外科医生可远程检查三维重建图像,并利用旋转和缩放等附加变换功能进行观察。这些变换功能通过手势操作实现。外科医生的指导指令被实时传输至手术环境,以实现手术过程的自动化。手术区域中的导管操作平台由远程外科医生的手势指令进行控制。所开发的原型模型验证了通过增强现实实现远程手术指导的有效性。
增强现实(AR)可将三维模型叠加到真实世界环境中。AR 技术的发展已在多个领域引发范式变革,包括教育1、医学2、制造3和娱乐4。AR 技术与超可靠低延迟通信相结合,已证明其在医学领域中不可或缺的作用。从人体解剖学的学习阶段到手术引导,各阶段的学习均可通过 AR 驱动的软件5,6和硬件实现可视化。AR 为手术环境中的医疗从业者提供了关键且可靠的解决方案7,8。
主动脉瓣狭窄是人类最常见的心脏瓣膜疾病9疾病的根本原因是不良的饮食习惯和日常生活的不规律。该病的症状及后果是心脏瓣膜狭窄,继而引起血流减少。此问题需在对人的心脏造成损害之前及时处理。因此,心脏会因血流负担过重而超负荷工作。故在损害发生之前,必须进行手术治疗;而得益于近年来的技术进步,此类手术也可通过经导管主动脉瓣置换术(TAVR)来实施。该手术方式可根据患者心脏及其他身体部位的具体状况进行选择。在此TAVR10,11,导管被植入以替代心脏中受损的瓣膜。然而,导管位置的放置12 更换瓣膜对手术医师而言十分繁琐。这一想法促使我们设计了一种基于增强现实(AR)的自动化手术模型。13,14,有助于外科医生在置换过程中精确定位瓣膜。此外,手术还可通过运动映射算法完成,该算法将从远程位置捕捉到的外科医生动作映射至机械臂。
在现有研究15,16,17中,经导管主动脉瓣置换术(TAVR)18过程的可视化通过透视成像进行监测。因此,分析心脏瓣膜较为困难,且定位置换位置繁琐耗时。这为导管在人体心脏中的准确定位设置了障碍。此外,远程操作虽可映射至手术区域以实现过程自动化,但为弥补当前研究的不足,我们提出一种基于机器人、结合增强现实(AR)辅助技术的自动化瓣膜置换手术方案。
该方案是一种通用模型,可应用于所有手术环境。在工作初期阶段,需在手术环境中以最大自由度和最高空间分辨率全方位采集二维图像。这意味着需采集足够数量的图像以用于三维重建19,随后通过手势追踪进行运动映射20。
1. 手术环境
2. 设置驱动装置以控制两个悬挂臂
3. 开发基于移动设备的场景监控与图像传输驱动程序作为客户端模块
4. 开发用于接收和处理监控图像的客户端模块
5. 操作机械臂
6. 增强现实的三维重建
7. 外科医生位置的手势识别
本方案已使用心脏仿体模型进行了测试。图2展示了借助空间分布的摄像头对术区进行实时监控的预期设置。如图2所示,分布式的摄像头有助于提高视野的空间分辨率,从而实现有效的三维重建。然而,在不同空间位置上实际布置这些摄像头存在复杂性。因此,我们优化了装置设计,提出了一种由TB6600驱动器驱动的NEMA电机带动旋转的空间自定位摄像头布局方案。该结构具有可行性,已在模型中实现,如图1所示。
在图1中,自动相机拍摄快照并随后通过蓝牙协议传输的过程由一段 Android 代码控制。该模块的运行机制设计为:在每个奇数秒拍摄一次照片,每个偶数秒进行一次传输,如第3节所述。与 NEMA 电机连接的微控制器模块负责在每个偶数秒旋转一次结构,以确保有足够时间完成无模糊的图像拍摄。因此,在360°旋转过程中共拍摄30张照片,并通过蓝牙进行传输。
此外,在图1中展示了手术环境DITF描述符的三维重建视图。需要注意的是,外科医生可以通过手势映射进行缩放和旋转,以检查基于描述符的重建结果。同时,这些动作会被发送到手术环境中,以模拟手术过程,从而使导管能够在实际场景中插入。手势映射以六种不同的角度进行,用于控制机器人的各个部分,即基座、肩部、肘部、腕部、夹持器和手指。这些角度以向量形式表示为[θb, θs, θe, θw, θf]。在该向量中,θp表示对人体对象托盘进行旋转的手势映射。同样的θp也用于调整外科医生端HoloLens模拟器中显示的描述符方向。
图3展示了模体模型的DITF特征,这是三维重建的关键步骤。基于提取的特征,在图像匹配中识别出对应点。参考图像与旋转45°后不同结果之间的对应关系如图4所示。不同颜色的对应点清晰地表明,即使图像处于不同的视角方向,仍能有效识别并匹配相似特征。在图5中,包含了运动映射的准确性结果,表明当两手指间距较小时,准确性较高;但当手指间距增大时,准确性开始下降。
另一方面,模型处理数据所需的时间在增强现实(AR)中至关重要。因此,为验证所提出的模型,将处理图像的时间延迟作为参数进行测量,并利用现有的算法(如快速定向和旋转BRIEF(ORB))对结果进行验证。24 增强型高效二进制局部图像描述符(BEBLID)25结果表明,DITF 在延迟方面优于现有的模型(如 ORB 和 BEBLID),如图所示 图6此外,通过重建误差对三维重建模型进行验证,图中所示为 图7 表明直方图较窄,意味着重建误差极小;这证明所提出算法的重建结果经过了验证和确认。 图8 展示了所提出模型的三维重建输出结果。该结果反映了可视化效果的清晰度,并通过图表验证了图像的定量分析结果。这些结果证明,所提出的模型通过旋转变换提取了重建三维模型所需的所有关键特征。因此,远程专家能够对手术区域实现精确的可视化和控制。

图1:使用增强现实技术实现经导管主动脉瓣置换术自动化手术的硬件系统搭建。(A)配备实时监控系统的手术区域。(B)基于增强现实的可视化界面。请点击此处查看该图的放大版本。

图 2:手术环境的预期模型。 所示模型配备了利用空间分布的摄像头传感器对手术环境进行实时监控的功能。请点击此处查看此图的放大版本。

图3:置于手术测试平台中的人类心脏模型及其通过特征描述算法提取的特征。(A)输入的心脏模型。(B)利用三级滤波特征提取方法对心脏模型进行方向增强的特征描述。请点击此处查看该图的放大版本。

图4:两个图像特征之间的特征匹配。(A)使用三级滤波特征提取方法对心脏模型进行方向增强的特征描述。(B)使用三级滤波特征提取方法对旋转45°的心脏模型进行方向增强的特征描述。线条表示两种不同取向下相似图像特征之间的对应关系。线条颜色表示所选择的不同特征。请点击此处查看该图的放大版本。

图 5:手势跟踪的准确率。 本图显示了准确率的百分比。样本数量(N)设定为 500。动作映射共执行 500 次,统计其中正确映射的次数,然后通过正确映射次数与总样本数的比值计算准确率。 请点击此处查看该图的放大版本。

图6:使用三级滤波的定向增强特征描述的延迟,基于 ORB(Oriented FAST and rotated BRIEF)和 BEBLID(Boosted Efficient Binary Local Image Descriptor Algorithm)算法。 延迟表示从图像中提取特征所需的时间,图中展示了该时间的测量结果。我们选择 N 为 500,即对时间延迟进行 500 次计算后取平均值。该过程针对三种算法分别执行并绘图。 请点击此处查看此图的放大版本。

图7:所提出模型的重建误差分布。重建误差是指从特征重建的三维图像与原始图像之间的误差。该误差图是一个直方图,表示特定事件发生次数的统计。当误差为零时,计数达到最大值,并向两侧递减,这是理想的结果。该图表明直方图(正态密度)的方差较小,因此误差相对于均值(0)在两个方向上的离散程度均不大。请点击此处查看此图的放大版本。

图8:心脏模型的三维重建。 每个彩色点表示从相应特征重建得到的三维点。目前,特征重建算法会对颜色进行归一化处理,并据此对其他特征着色。请点击此处查看该图的放大版本。
在已有研究15中,通过X射线和CT扫描来确定导管在心脏中的位置。然而,通过采用基于三维重建的自动化模型,增强现实(AR)TAVR置换术为TAVR18手术过程开辟了新的可能性。如方案部分所述,本研究的设计包含五个阶段。第6节中提到的DITF22第一阶段,即我们在先前工作22中提出的方案,已得到改进,使其能够嵌入医学应用中。第二阶段为三维重建,其关键挑战是从二维点构建三维模型。我们通过多种输入图像对模型进行了验证测试。采用运动恢复结构(SFM)23方法进行图像重建。借助DITF22和校准矩阵,测量图像之间的对应关系。下一阶段是手势跟踪;在三维重建中实现手势控制界面,是实时处理中的另一项挑战。通过手势实现缩放控制和旋转调节,便于远程专家便捷地操作三维模型。第四阶段是移动应用程序的开发,如第3节所述,用于实现自动图像采集。该应用程序将数据以三维模型形式传输给远程专家。最后阶段为硬件设置,通过使用心脏模型和机械臂进行演示,该系统可自动将导管插入以替换受损的心脏瓣膜,如图1所示。
所提出的方法旨在通过增强现实和特征提取技术,实现基于手术环境现场监控的远程手术。据我们所知,本文提出的这些重要贡献在现有文献中尚未见报道。该方法在从特征重建三维图像时具有较低的延迟,且重建特征与原始图像之间的误差极小。延迟和误差分别如图6和图7所示。这些图还表明,其他算法,即ORB24和BEBLID25,性能均低于所提出的方法。
在方法开发过程中,我们面临的主要挑战是移动应用程序与远程服务器之间基于蓝牙协议的数据传输。由于场景采集和传输必须每2秒完成一次,因此需要超高速通信。这经常导致套接字中断,需要大量的异常处理和并行例程管理,以确保流程顺畅。此外,在该方法的开发与实施过程中,我们也遇到了一些问题。
然而,存在一些故障排除技术可解决上述问题。蓝牙通信需要选择正确的通道或VVID端口号。此外,在继续操作之前,必须确保两端的蓝牙设备均已开启。关于驱动机械臂和悬挂旋转臂的基于微处理器的程序,需确认串行通信所用的端口号。必须正确连接电机驱动器,特别是涉及NEMA步进电机和伺服电机时。如果连接不当,即使只是驱动器接线错误,NEMA电机也可能出现非预期的旋转行为。必须正确识别NEMA电机两个线圈的引线,否则与驱动器的连接可能导致电机非预期旋转,甚至损坏电机。设计一种能够支撑重量约为1 kg的旋转悬挂臂的联轴器是一项挑战。为解决此问题,我们在电机轴上钻了一个直径为1 mm的孔。平衡旋转臂两侧的重量(包括移动设备的重量)也是一大难点;否则,结构可能会拖拽地面,导致整体结构被拉扯脱落或从电机轴上被拽下。必须确保机械臂的基座、肩部、肘部、腕部和手指各部分均已正确拧紧螺丝;否则,在旋转或举升负载时部件可能脱落。两个模块的并行运行需要通过配置合适的Python环境来实现,应使用不同的线程并行运行,以确保系统平稳工作。
结果表明,所提出的自动TAVR18模型是一种用于主动脉瓣反流(AR)手术引导的有效方法。该模型具有良好的灵活性,可根据医学专家的指导,将此原型应用于医学领域的任何手术。基于学习的模型有望提升三维重建效果。为了重建三维模型,需要输入具有良好光照条件的多视角图像;然而,这一问题可在未来进一步解决。此外,未来我们希望开发基于5G通信的传输系统,以实现低延迟和超可靠的通信,保障手术操作的无故障与流畅进行。同时,我们还计划开发自主的增强现实(AR)设备,以替代目前使用的模拟器,从而改善在真实手术环境中对三维模型的可视化效果。
作者声明无利益冲突。
作者声明本研究未获得任何资助。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 安卓 IDE | 软件 | https://developer.android.com/studio | 软件可从此链接下载 |
| Arduino 开发板 | Arduino Uno | Arduino Uno | 用于处理的微控制器 |
| Arduino 软件 | 软件 | https://www.arduino.cc/en/software. | 软件可从此链接下载 |
| 人体心脏模型 | 生物实验室设备制造商和出口商 | B071YBLX2V(8B-ZB2Q-H3MS-1) | 轻质模型,分为三个部分,便于深入分析心脏结构 |
| 手机支架 | Humble 通用单脚架支架 | B07S9KNGVS | 用于在手术区域固定手机 |
| PyCharm IDE | 软件 | https://www.jetbrains.com/pycharm/ | 软件可从此链接下载 |
| 机械臂 | Printed-bots | B08R2JLKYM(P0-E2UT-JSOU) | 可通过控制信号操控机械臂,具有五个自由度 |
| 伺服电机 | Kollmorgen Co-Engineers 电机 | MG-966R | 高扭矩伺服电机,伺服脉冲范围为 500 至 2500 微秒 (µs),频率为 50 Hz 至 333 Hz |
| 伺服电机 | Kollmorgen Co-Engineers 电机 | SG-90R | 可对 SG-90R 伺服电机施加 1.8 kg-cm 至 2.5 kg-cm 的负载 |
| 步进电机 | 28BYJ-48 | 28BYJ-48 | 步进电机,5V 直流,100 Hz 频率,扭矩为 1200 Gf·cm |
| 步进电机 | Nema 23 | Nema | 步进电机,9V - 42V 直流,100 Hz 频率 |