方法文章

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

1.5K 次观看

DOI:

10.3791/67096

2024年8月9日

本文内容

摘要

本文介绍了基于增强现实(AR)三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作,实现远程手术,使其如同在近距离进行手术操作一般。

摘要

增强现实(AR)在医学应用中需求迫切。本文旨在通过增强现实技术实现经导管主动脉瓣置换术(TAVR)的自动化手术。TAVR 是一种替代开胸手术的医疗手段,通过导管将受损瓣膜替换为新瓣膜。在现有模型中,仅提供远程指导,而手术本身并未基于增强现实实现自动化。本文部署了一台与电机连接的空间对准相机,用于在手术环境中自动采集图像。该相机可追踪患者心脏的二维高分辨率图像以及手术区域中的导管操作平台。所采集的图像通过移动应用程序上传至远程的心脏病学专家外科医生。这些图像用于从二维图像追踪中进行三维重建,并可在笔记本电脑上的类似 HoloLens 的模拟器中查看。外科医生可远程检查三维重建图像,并利用旋转和缩放等附加变换功能进行观察。这些变换功能通过手势操作实现。外科医生的指导指令被实时传输至手术环境,以实现手术过程的自动化。手术区域中的导管操作平台由远程外科医生的手势指令进行控制。所开发的原型模型验证了通过增强现实实现远程手术指导的有效性。

引言

增强现实(AR)可将三维模型叠加到真实世界环境中。AR 技术的发展已在多个领域引发范式变革,包括教育1、医学2、制造3和娱乐4。AR 技术与超可靠低延迟通信相结合,已证明其在医学领域中不可或缺的作用。从人体解剖学的学习阶段到手术引导,各阶段的学习均可通过 AR 驱动的软件5,6和硬件实现可视化。AR 为手术环境中的医疗从业者提供了关键且可靠的解决方案7,8

主动脉瓣狭窄是人类最常见的心脏瓣膜疾病9疾病的根本原因是不良的饮食习惯和日常生活的不规律。该病的症状及后果是心脏瓣膜狭窄,继而引起血流减少。此问题需在对人的心脏造成损害之前及时处理。因此,心脏会因血流负担过重而超负荷工作。故在损害发生之前,必须进行手术治疗;而得益于近年来的技术进步,此类手术也可通过经导管主动脉瓣置换术(TAVR)来实施。该手术方式可根据患者心脏及其他身体部位的具体状况进行选择。在此TAVR10,11,导管被植入以替代心脏中受损的瓣膜。然而,导管位置的放置12 更换瓣膜对手术医师而言十分繁琐。这一想法促使我们设计了一种基于增强现实(AR)的自动化手术模型。13,14,有助于外科医生在置换过程中精确定位瓣膜。此外,手术还可通过运动映射算法完成,该算法将从远程位置捕捉到的外科医生动作映射至机械臂。

在现有研究15,16,17中,经导管主动脉瓣置换术(TAVR)18过程的可视化通过透视成像进行监测。因此,分析心脏瓣膜较为困难,且定位置换位置繁琐耗时。这为导管在人体心脏中的准确定位设置了障碍。此外,远程操作虽可映射至手术区域以实现过程自动化,但为弥补当前研究的不足,我们提出一种基于机器人、结合增强现实(AR)辅助技术的自动化瓣膜置换手术方案。

该方案是一种通用模型,可应用于所有手术环境。在工作初期阶段,需在手术环境中以最大自由度和最高空间分辨率全方位采集二维图像。这意味着需采集足够数量的图像以用于三维重建19,随后通过手势追踪进行运动映射20

方案

1. 手术环境

  1. 设计一个如图1所示的手术环境。确保该环境中包含一个用于承载物体的托盘、一个机械臂和两个侧挂臂,其中一个侧挂臂用于固定摄像头占位装置,另一个则配备一致的白色背景,并集成称重模块以保持平衡。
  2. 开发两个驱动程序:一个用于获取实时手术环境的快照,具体步骤见2.1至2.10;另一个用于控制支持360°监控的旋转机构,具体步骤见3.1至3.4。
  3. 在实现上述两个模块之前,启用作为外科医生HoloLens模拟器使用的移动设备和笔记本电脑的蓝牙功能。
  4. 配对设备以实现不间断的图像传输。

2. 设置驱动装置以控制两个悬挂臂

  1. 确保悬挂臂由步进电机控制,其连接方式如图2所示,以实现无故障的360°旋转。
  2. 使用TB6600驱动器将电机连接到微控制器板。要运行电机,请从浏览器安装微控制器IDE。
  3. 点击下载按钮以下载软件。然后在微控制器IDE中,进入文件 > 打开新草图以编写代码。
  4. 确保将微控制器板通过专用连接端口(例如COM4)连接,以便与新草图进行通信。检查通信端口,并确认其显示微控制器板。
  5. 检查步进电机驱动器TB6600的硬件开关设置。确保设置使电流为2 A,可通过将SW4设为开启,SW5和SW6设为关闭来实现。
  6. 确保SW1、SW2和SW3的开关位置设置为1/8微步,以满足所需的旋转步数要求。在TB6600中,设置应为SW1关闭、SW2开启、SW3关闭。
  7. 将RTC 3231与微控制器连接,以实现真实的全球时间同步。确保旋转步长为12°,且仅当实时时钟单元(即从RTC模块读取的秒数)为奇数时,才触发电机步进增量。
  8. 将微控制器板的5 V引脚连接至RTC的VCC,微控制器的GND引脚连接至RTC的GND。
  9. 将RTC的SCL引脚连接至微控制器的A0引脚,SDA引脚连接至A1引脚。该模块可确保每步12°,每圈共30步。确保步进增量在每个奇数秒发生。让此软件模块驱动步进电机21
  10. 通过运行代码验证系统是否正常工作,代码可在GitHub页面获取: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。
  11. 下载Android Studio以开发自动相机应用程序。确保系统满足要求,然后从网站下载软件。

3. 开发基于移动设备的场景监控与图像传输驱动程序作为客户端模块

  1. 在 Android 操作系统中开发一个相机应用程序,能够每 2 秒拍摄一次快照,特别是在秒数为奇数时进行拍摄。
  2. 将手机与系统连接。在 Android Studio 中,点击 新建 > 新建项目,并选择 空视图活动。点击 下一步 以开发 Android 代码,该代码可在 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 获取。
  3. 确保该应用程序能够自动捕获图像,并持续将图像发送至远程设备。
  4. 在拍摄快照后,立即通过蓝牙将快照从移动应用程序传输到配对设备,即远程外科医生的系统。
    注意:确保第 2 和第 3 节中提到的模块能够按时同步运行,一个在每偶数秒运行,另一个在每奇数秒运行。

4. 开发用于接收和处理监控图像的客户端模块

  1. 打开服务器模块,该模块是一个图形用户界面。
  2. 在文本字段 VVID 中输入 VVID 端口号,其默认值为 94f39d29 7d6d 437d 973b fba39e49d4ee。
  3. 点击 Create Socket 以创建并绑定套接字。点击 Connect 以与移动应用程序建立连接。
  4. 点击 Capture 以捕获并保存本地文件夹中的场景监控图像。
  5. 如果需要使用非默认的文件夹名称,请在文件夹名称字段中输入本地文件夹名称。

5. 操作机械臂

  1. 让客户端模块也包含一个机械臂。设计该机械臂,使其底座、肩部、肘部、腕部和手指具有旋转运动功能。
  2. 确保使用 MG 996R 舵机来控制底座、肩部和肘部的旋转运动。确保使用 SG 90 舵机来控制腕部和手指的旋转运动。
  3. 在微控制器 IDE 中编译位于 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 的代码,以根据远程外科医生发出的指令驱动机械臂。

6. 增强现实的三维重建

  1. 依次从本地文件夹中逐对读取两张图像,以获取它们之间可能存在的重叠区域(由于图像是在近距离内采集的,连续图像之间会存在重叠)。
  2. 根据方向增强特征描述的要求,使用三级滤波设计三级滤波器22 (DITF) 用于获取梯度和方向的算法。
  3. 使用 DITF 方法提取特征22,如图所示 图3.
  4. 使用 SFM 从采集的特征中重建三维图像23.

7. 外科医生位置的手势识别

  1. 通过提供基于手势的三维重建特征旋转和缩放功能,使外科医生能够从各个角度观察环境,从而便于其检查三维重建图像特征。
  2. 将外科医生右手拇指尖与食指尖之间的距离归一化,并映射为对应的旋转角度。归一化方式应使得最小距离对应0°,最大距离对应180°。
  3. 通过蓝牙将手势控制信号传输至远程手术环境,以控制物体托盘的旋转,使其绕轴转动,同时外科医生端的三维重建特征也随之旋转。
  4. 通过测量外科医生左手拇指尖与食指尖之间的距离,控制机械臂手指的运动。
  5. 测量外科医生左手拇指尖与食指尖在空间中相对于假想的x-y地面平面的仰角高度,以确定仰角,并将该角度映射为机械臂相对于x-y平面所能达到的仰角。
  6. 确定外科医生手部相对于虚拟y-z平面的方位角,并通过基于手势的识别技术获取这些角度。
  7. 将距离、仰角和方位角映射为控制机械臂手指运动和臂部旋转的参数,其中臂部旋转对应于仰角和方位角。
  8. 允许外科医生通过缩放和旋转来检查重建特征,并向机械臂发送指令,以实现远程手术操作。
  9. 确保手术指令以控制序列字符串的形式传输,该字符串以起始标识符开头,后跟控制托盘旋转和机械臂控制器的数值。设[θb, θs, θe, θw, θf]为向量角度,其各值分别对应机械臂底座、肩部、肘部、腕部和手指的控制信号。
    注意:GitHub链接提供了在手术领域实现手势控制的代码。 https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。

结果

本方案已使用心脏仿体模型进行了测试。图2展示了借助空间分布的摄像头对术区进行实时监控的预期设置。如图2所示,分布式的摄像头有助于提高视野的空间分辨率,从而实现有效的三维重建。然而,在不同空间位置上实际布置这些摄像头存在复杂性。因此,我们优化了装置设计,提出了一种由TB6600驱动器驱动的NEMA电机带动旋转的空间自定位摄像头布局方案。该结构具有可行性,已在模型中实现,如图1所示。

图1中,自动相机拍摄快照并随后通过蓝牙协议传输的过程由一段 Android 代码控制。该模块的运行机制设计为:在每个奇数秒拍摄一次照片,每个偶数秒进行一次传输,如第3节所述。与 NEMA 电机连接的微控制器模块负责在每个偶数秒旋转一次结构,以确保有足够时间完成无模糊的图像拍摄。因此,在360°旋转过程中共拍摄30张照片,并通过蓝牙进行传输。

此外,在图1中展示了手术环境DITF描述符的三维重建视图。需要注意的是,外科医生可以通过手势映射进行缩放和旋转,以检查基于描述符的重建结果。同时,这些动作会被发送到手术环境中,以模拟手术过程,从而使导管能够在实际场景中插入。手势映射以六种不同的角度进行,用于控制机器人的各个部分,即基座、肩部、肘部、腕部、夹持器和手指。这些角度以向量形式表示为[θb, θs, θe, θw, θf]。在该向量中,θp表示对人体对象托盘进行旋转的手势映射。同样的θp也用于调整外科医生端HoloLens模拟器中显示的描述符方向。

图3展示了模体模型的DITF特征,这是三维重建的关键步骤。基于提取的特征,在图像匹配中识别出对应点。参考图像与旋转45°后不同结果之间的对应关系如图4所示。不同颜色的对应点清晰地表明,即使图像处于不同的视角方向,仍能有效识别并匹配相似特征。图5,包含了运动映射的准确性结果,表明当两手指间距较小时,准确性较高;但当手指间距增大时,准确性开始下降。

另一方面,模型处理数据所需的时间在增强现实(AR)中至关重要。因此,为验证所提出的模型,将处理图像的时间延迟作为参数进行测量,并利用现有的算法(如快速定向和旋转BRIEF(ORB))对结果进行验证。24 增强型高效二进制局部图像描述符(BEBLID)25结果表明,DITF 在延迟方面优于现有的模型(如 ORB 和 BEBLID),如图所示 图6此外,通过重建误差对三维重建模型进行验证,图中所示为 图7 表明直方图较窄,意味着重建误差极小;这证明所提出算法的重建结果经过了验证和确认。 图8 展示了所提出模型的三维重建输出结果。该结果反映了可视化效果的清晰度,并通过图表验证了图像的定量分析结果。这些结果证明,所提出的模型通过旋转变换提取了重建三维模型所需的所有关键特征。因此,远程专家能够对手术区域实现精确的可视化和控制。

手术中的增强现实:机械臂、远程控制、手势追踪、三维重建。
图1:使用增强现实技术实现经导管主动脉瓣置换术自动化手术的硬件系统搭建。A)配备实时监控系统的手术区域。(B)基于增强现实的可视化界面。请点击此处查看该图的放大版本。

机器人手臂心脏手术练习;解剖模型;医学培训装置;外科技术演示。
图 2:手术环境的预期模型。 所示模型配备了利用空间分布的摄像头传感器对手术环境进行实时监控的功能。请点击此处查看此图的放大版本。

显示解剖结构、教育可视化和示意图的人类心脏模型对比
图3:置于手术测试平台中的人类心脏模型及其通过特征描述算法提取的特征。A)输入的心脏模型。(B)利用三级滤波特征提取方法对心脏模型进行方向增强的特征描述。请点击此处查看该图的放大版本。

跟踪算法示意图;在物体上叠加的彩色线条和标记,图像分析过程。
图4:两个图像特征之间的特征匹配。A)使用三级滤波特征提取方法对心脏模型进行方向增强的特征描述。(B)使用三级滤波特征提取方法对旋转45°的心脏模型进行方向增强的特征描述。线条表示两种不同取向下相似图像特征之间的对应关系。线条颜色表示所选择的不同特征。请点击此处查看该图的放大版本。

准确率与距离关系图、像素间距与准确率、数据分析、趋势图。
图 5:手势跟踪的准确率。 本图显示了准确率的百分比。样本数量(N)设定为 500。动作映射共执行 500 次,统计其中正确映射的次数,然后通过正确映射次数与总样本数的比值计算准确率。 请点击此处查看该图的放大版本。

比较算法延迟:ORB、BEBLID 和 DITF(单位:毫秒)的柱状图。
图6:使用三级滤波的定向增强特征描述的延迟,基于 ORB(Oriented FAST and rotated BRIEF)和 BEBLID(Boosted Efficient Binary Local Image Descriptor Algorithm)算法。 延迟表示从图像中提取特征所需的时间,图中展示了该时间的测量结果。我们选择 N 为 500,即对时间延迟进行 500 次计算后取平均值。该过程针对三种算法分别执行并绘图。 请点击此处查看此图的放大版本。

显示重建误差分布的直方图;模型准确性的数据分析。
图7:所提出模型的重建误差分布。重建误差是指从特征重建的三维图像与原始图像之间的误差。该误差图是一个直方图,表示特定事件发生次数的统计。当误差为零时,计数达到最大值,并向两侧递减,这是理想的结果。该图表明直方图(正态密度)的方差较小,因此误差相对于均值(0)在两个方向上的离散程度均不大。请点击此处查看此图的放大版本。

静态平衡示意图,显示数据点分布;用于可视化空间相关性。
图8:心脏模型的三维重建。 每个彩色点表示从相应特征重建得到的三维点。目前,特征重建算法会对颜色进行归一化处理,并据此对其他特征着色。请点击此处查看该图的放大版本。

讨论

在已有研究15中,通过X射线和CT扫描来确定导管在心脏中的位置。然而,通过采用基于三维重建的自动化模型,增强现实(AR)TAVR置换术为TAVR18手术过程开辟了新的可能性。如方案部分所述,本研究的设计包含五个阶段。第6节中提到的DITF22第一阶段,即我们在先前工作22中提出的方案,已得到改进,使其能够嵌入医学应用中。第二阶段为三维重建,其关键挑战是从二维点构建三维模型。我们通过多种输入图像对模型进行了验证测试。采用运动恢复结构(SFM)23方法进行图像重建。借助DITF22和校准矩阵,测量图像之间的对应关系。下一阶段是手势跟踪;在三维重建中实现手势控制界面,是实时处理中的另一项挑战。通过手势实现缩放控制和旋转调节,便于远程专家便捷地操作三维模型。第四阶段是移动应用程序的开发,如第3节所述,用于实现自动图像采集。该应用程序将数据以三维模型形式传输给远程专家。最后阶段为硬件设置,通过使用心脏模型和机械臂进行演示,该系统可自动将导管插入以替换受损的心脏瓣膜,如图1所示。

所提出的方法旨在通过增强现实和特征提取技术,实现基于手术环境现场监控的远程手术。据我们所知,本文提出的这些重要贡献在现有文献中尚未见报道。该方法在从特征重建三维图像时具有较低的延迟,且重建特征与原始图像之间的误差极小。延迟和误差分别如图6图7所示。这些图还表明,其他算法,即ORB24和BEBLID25,性能均低于所提出的方法。

在方法开发过程中,我们面临的主要挑战是移动应用程序与远程服务器之间基于蓝牙协议的数据传输。由于场景采集和传输必须每2秒完成一次,因此需要超高速通信。这经常导致套接字中断,需要大量的异常处理和并行例程管理,以确保流程顺畅。此外,在该方法的开发与实施过程中,我们也遇到了一些问题。

然而,存在一些故障排除技术可解决上述问题。蓝牙通信需要选择正确的通道或VVID端口号。此外,在继续操作之前,必须确保两端的蓝牙设备均已开启。关于驱动机械臂和悬挂旋转臂的基于微处理器的程序,需确认串行通信所用的端口号。必须正确连接电机驱动器,特别是涉及NEMA步进电机和伺服电机时。如果连接不当,即使只是驱动器接线错误,NEMA电机也可能出现非预期的旋转行为。必须正确识别NEMA电机两个线圈的引线,否则与驱动器的连接可能导致电机非预期旋转,甚至损坏电机。设计一种能够支撑重量约为1 kg的旋转悬挂臂的联轴器是一项挑战。为解决此问题,我们在电机轴上钻了一个直径为1 mm的孔。平衡旋转臂两侧的重量(包括移动设备的重量)也是一大难点;否则,结构可能会拖拽地面,导致整体结构被拉扯脱落或从电机轴上被拽下。必须确保机械臂的基座、肩部、肘部、腕部和手指各部分均已正确拧紧螺丝;否则,在旋转或举升负载时部件可能脱落。两个模块的并行运行需要通过配置合适的Python环境来实现,应使用不同的线程并行运行,以确保系统平稳工作。

结果表明,所提出的自动TAVR18模型是一种用于主动脉瓣反流(AR)手术引导的有效方法。该模型具有良好的灵活性,可根据医学专家的指导,将此原型应用于医学领域的任何手术。基于学习的模型有望提升三维重建效果。为了重建三维模型,需要输入具有良好光照条件的多视角图像;然而,这一问题可在未来进一步解决。此外,未来我们希望开发基于5G通信的传输系统,以实现低延迟和超可靠的通信,保障手术操作的无故障与流畅进行。同时,我们还计划开发自主的增强现实(AR)设备,以替代目前使用的模拟器,从而改善在真实手术环境中对三维模型的可视化效果。

披露

作者声明无利益冲突。

致谢

作者声明本研究未获得任何资助。

材料

本文使用的材料清单
姓名公司目录编号评论
安卓 IDE软件https://developer.android.com/studio软件可从此链接下载
Arduino 开发板Arduino UnoArduino Uno用于处理的微控制器
Arduino 软件软件https://www.arduino.cc/en/software.软件可从此链接下载
人体心脏模型生物实验室设备制造商和出口商B071YBLX2V(8B-ZB2Q-H3MS-1)轻质模型,分为三个部分,便于深入分析心脏结构
手机支架Humble 通用单脚架支架B07S9KNGVS用于在手术区域固定手机
PyCharm IDE软件https://www.jetbrains.com/pycharm/软件可从此链接下载
机械臂Printed-botsB08R2JLKYM(P0-E2UT-JSOU)可通过控制信号操控机械臂,具有五个自由度
伺服电机Kollmorgen Co-Engineers 电机MG-966R高扭矩伺服电机,伺服脉冲范围为 500 至 2500 微秒 (µs),频率为 50 Hz 至 333 Hz 
伺服电机Kollmorgen Co-Engineers 电机SG-90R可对 SG-90R 伺服电机施加 1.8 kg-cm 至 2.5 kg-cm 的负载
步进电机28BYJ-4828BYJ-48步进电机,5V 直流,100 Hz 频率,扭矩为 1200 Gf·cm
步进电机Nema 23Nema步进电机,9V - 42V 直流,100 Hz 频率

参考文献

  1. Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. Smartphone-based augmented reality patient education in radiation oncology. Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).
  2. Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. A 3D visualization-based augmented reality application for brain tumor segmentation. Comput Anim Virtual Worlds. 35 (1), e2223(2024).
  3. Xia, L., et al. Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop. Robotic Comput Integ Manufac. 86, 102664(2024).
  4. Preece, C., Skandalis, A. Time to imagine an escape: investigating the consumer timework at play in augmented reality. Eur J Market. 58, 92-118 (2024).
  5. Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. The role of augmented reality in surgical training: a systematic review. Surg Innov. 30, 366-382 (2023).
  6. Moreta-Martinez, R., et al. Combining augmented reality and 3D printing to display patient models on a smartphone. J Vis Exp. (155), 60618(2020).
  7. Ma, L., Huang, T., Wang, J., Liao, H. Visualization, registration and tracking techniques for augmented reality guided surgery: a review. Phys Med Biol. 68, 04TR02(2023).
  8. Hofman, J., et al. First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery. Healthc Technol Lett. 11 (2-3), 33-39 (2023).
  9. Thiene, G., Rizzo, S., Basso, C. Bicuspid aortic valve: The most frequent and not so benign congenital heart disease. Cardiovasc Pathol. 70, 107604(2024).
  10. Mack, M. J., et al. Transcatheter aortic-valve replacement in low-risk patients at five years. New Engl J Med. 389, 1949-1960 (2023).
  11. Vitanova, K., et al. Aortic valve versus root surgery after failed transcatheter aortic valve replacement. J Thorac Cardiovas Surg. 166, 1418-1430 (2023).
  12. Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. 3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results. EJVES Vascular Forum. 59, 24-30 (2023).
  13. Faris, H., Harfouche, C., Bandle, J., Wisbach, G. Surgical tele-mentoring using a robotic platform: initial experience in a military institution. Surg Endosc. 37, 9159-9166 (2023).
  14. Fitzgerald, L., et al. Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future. Surg Open Sci. 14, 109-113 (2023).
  15. de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy. Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).
  16. Tang, H., et al. A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering. Int J Med Robotics Comput Assist Surg. 19, e2569(2023).
  17. Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy. Appl Sci. 13, 3483(2023).
  18. Thourani, V. H., et al. Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark. Ann Thorac Surg. 117, 106-112 (2024).
  19. Domínguez-Velasco, C. F., et al. Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures. Int J Med Robotics Comput Assist Surg. 19, e2529(2023).
  20. Wang, Q., Xie, Z. Arias: An ar-based interactive advertising system. Plos One. 18, e0285838(2023).
  21. Ji, F., Chong, F., Wang, F., Bai, D. Augmented reality platform for the unmanned mining process in underground mines. Mining,Metal Explor. 39 (2), 385-395 (2022).
  22. Indhumathi, S., Clement, J. C. Directional intensified feature description using tertiary filtering for augmented reality tracking. Sci Rep. 13, 20311(2023).
  23. Gao, L., Zhao, Y., Han, J., Liu, H. Research on multi-view 3D reconstruction technology based on SFM. Sensors. 22 (12), 4366(2022).
  24. Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. BEBLID: Boosted efficient binary local image descriptor. Pattern Recog Lett. 133, 366-372 (2020).
  25. Borman, R. I., Harjoko, A. Improved ORB algorithm through feature point optimization and Gaussian pyramid. Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).

重印与许可

标签

增强现实手术远程外科指导三维重建机械臂控制手势控制实时同步特征提取导管测试平台远程医疗手术