使用增强现实技术实现经导管主动脉瓣置换术的自动手术

我们的研究致力于通过增强现实和机器人技术革新远程手术，旨在提高医疗操作的精确性和可及性。我们正在探索如何利用实时三维重建和特征提取，使外科医生即使在远距离情况下也能获得前所未有的控制力和可视化效果。我们已自主实现了一种方向增强型特征提取方法，以确保对外科手术特征的精确检测，从而增强外科医生对机械臂的控制能力。

通过从最少的二维图像进行三维重建，我们显著降低了系统的硬件复杂性，并提高了系统效率。我们的系统利用单个移动摄像头，以每两秒拍摄一张图像的频率进行同步采集，为远程外科医生提供最佳的手术环境监控，并确保实时更新。我们采用蓝牙和局域网开发了无缝通信协议，具有低延迟和高可靠性，确保数据传输的连续性和准确性。

我们实现视频流与机械臂响应之间精确实时同步的方法，可为远程手术和远程医疗领域的未来研究提供基准。该方法为实时数据与机器人控制系统之间的集成提供了模型。我们实现视频流与机械臂响应之间精确实时同步的方法，可为远程手术和远程医疗领域的未来研究提供基准。

它为将实时数据与机器人控制系统相集成提供了一个模型。准备手术环境时，在工作平台上放置一个用于承载物品的托盘、一个机械臂和两个侧挂臂。将手机固定在手机支架中后，开启手机和笔记本电脑的蓝牙功能，后者将作为外科医生的 HoloLens 模拟器。

配对设备以实现不间断的图像传输。确保悬挂臂由步进电机控制，以实现完美的360度旋转。使用TB6600驱动器将电机连接到微控制器板。

单击下载按钮，从浏览器下载微控制器集成开发环境。然后，进入文件菜单，打开一个新草图以编写代码。将微控制器板连接到通信端口号，通过该连接端口与新草图进行交互。

检查通信端口，确认显示微控制器板。检查步进电机驱动器 TB6600 的硬件开关设置，确保电流为 2 安培。将 SW4 设为开启，SW5 和 SW6 设为关闭。

将 SW1 和 SW3 设为关闭，SW2 设为开启，以实现八分之一微步，满足所需的旋转步数。将 RTC 3231 与微控制器连接，以实现精确的全球时间同步。确保旋转步长为 12 度，且仅当从 RTC 模块读取的秒数为奇数时，电机才执行步进。

将微控制器板的5伏引脚连接到RTC的VCC，微控制器的接地引脚连接到RTC的接地引脚。将RTC的SCL引脚连接到微控制器的A0引脚，SDA引脚连接到A1引脚。该模块确保每步为12度，每转完成30步，且每奇数秒触发一次步进。

运行 GitHub 页面上提供的代码，以验证设置是否正常工作。下载 Android Studio 以开发自动相机应用程序。将手机连接到系统。

在 Android Studio 中，点击“新建”、“新建项目”，然后选择“空视图活动”。点击“下一步”，以开发给定网站上的 Android 代码。确认应用程序能够自动捕获图像并持续将其发送到远程设备。

通过蓝牙将移动应用程序中的快照立即传输至远程外科医生系统。首先，打开图形用户界面服务器模块。在VVID文本字段中输入VVID端口号。

单击“创建套接字”以创建并绑定套接字。然后，单击“连接”以建立与移动应用程序的连接。现在，单击“捕获”以捕获场景监控图像并将其保存到本地文件夹中。

让客户端模块包含一个机械臂，该机械臂的基座、肩部、肘部、腕部和手指均具备旋转运动功能。确保使用 MG996R 伺服电机控制基座、肩部和肘部的旋转运动。使用 SG90 伺服电机控制腕部和手指的旋转运动。

在微控制器集成开发环境中编译代码，以根据远程外科医生发出的指令控制机械臂。从本地文件夹中依次逐个读取两张图像，识别它们之间可能存在的重叠区域。采用DITF方法提取特征。

使用 SFM 从采集的特征中重建三维图像。通过手势控制实现旋转和放大/缩小，使外科医生能够检查三维重建图像的特征，从而可以从任意角度进行观察。将外科医生右手拇指尖与食指尖之间的距离归一化，并映射为对应的旋转角度。

通过蓝牙将手势控制传输至远程手术环境。确保远程端物体托盘的旋转与外科医生端三维重建特征的旋转相一致。随着两只手指间距离的增加，动作映射的准确性下降。

DITF 算法相较于 ORB 和 BEBLID 实现了最低的延迟。