Name: 使用增强现实技术进行经导管主动脉瓣置换术的自动手术 (视频) | JoVE Journal
Uploaded: 2024-08-09T14:25:00.000+00:00
Duration: 7 min 46 s
Description: 了解增强现实与机器人技术如何实现远程自动手术。本方法通过实时三维重建和特征提取，为外科医生提供精确控制与可视化能力，提升手术效率并降低硬件复杂度。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

作者声明本研究未获得任何资助。

1. 手术环境
<ol>
	<li>设计一个如图1所示的手术环境。确保该环境中包含一个用于承载物体的托盘、一个机械臂和两个侧挂臂，其中一个侧挂臂用于固定摄像头占位装置，另一个则配备一致的白色背景，并集成称重模块以保持平衡。</li>
	<li>开发两个驱动程序：一个用于获取实时手术环境的快照，具体步骤见2.1至2.10；另一个用于控制支持360°监控的旋转机构，具体步骤见3.1至3.4。</li>
	<li>在实现上述两个模块之前，启用作为外科医生HoloLens模拟器使用的移动设备和笔记本电脑的蓝牙功能。</li>
	<li>配对设备以实现不间断的图像传输。</li>
</ol>
2. 设置驱动装置以控制两个悬挂臂
<ol>
	<li>确保悬挂臂由步进电机控制，其连接方式如图2所示，以实现无故障的360°旋转。</li>
	<li>使用TB6600驱动器将电机连接到微控制器板。要运行电机，请从浏览器安装微控制器IDE。</li>
	<li>点击下载按钮以下载软件。然后在微控制器IDE中，进入文件 &#62; 打开新草图以编写代码。</li>
	<li>确保将微控制器板通过专用连接端口（例如COM4）连接，以便与新草图进行通信。检查通信端口，并确认其显示微控制器板。</li>
	<li>检查步进电机驱动器TB6600的硬件开关设置。确保设置使电流为2 A，可通过将SW4设为开启，SW5和SW6设为关闭来实现。</li>
	<li>确保SW1、SW2和SW3的开关位置设置为1/8微步，以满足所需的旋转步数要求。在TB6600中，设置应为SW1关闭、SW2开启、SW3关闭。</li>
	<li>将RTC 3231与微控制器连接，以实现真实的全球时间同步。确保旋转步长为12°，且仅当实时时钟单元（即从RTC模块读取的秒数）为奇数时，才触发电机步进增量。</li>
	<li>将微控制器板的5 V引脚连接至RTC的VCC，微控制器的GND引脚连接至RTC的GND。</li>
	<li>将RTC的SCL引脚连接至微控制器的A0引脚，SDA引脚连接至A1引脚。该模块可确保每步12°，每圈共30步。确保步进增量在每个奇数秒发生。让此软件模块驱动步进电机21。</li>
	<li>通过运行代码验证系统是否正常工作，代码可在GitHub页面获取：&#160;https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。</li>
	<li>下载Android Studio以开发自动相机应用程序。确保系统满足要求，然后从网站下载软件。</li>
</ol>
3. 开发基于移动设备的场景监控与图像传输驱动程序作为客户端模块
<ol>
	<li>在 Android 操作系统中开发一个相机应用程序，能够每 2 秒拍摄一次快照，特别是在秒数为奇数时进行拍摄。</li>
	<li>将手机与系统连接。在 Android Studio 中，点击 新建 &#62; 新建项目，并选择 空视图活动。点击 下一步 以开发 Android 代码，该代码可在&#160;https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 获取。</li>
	<li>确保该应用程序能够自动捕获图像，并持续将图像发送至远程设备。</li>
	<li>在拍摄快照后，立即通过蓝牙将快照从移动应用程序传输到配对设备，即远程外科医生的系统。 
	注意：确保第 2 和第 3 节中提到的模块能够按时同步运行，一个在每偶数秒运行，另一个在每奇数秒运行。</li>
</ol>
4. 开发用于接收和处理监控图像的客户端模块
<ol>
	<li>打开服务器模块，该模块是一个图形用户界面。</li>
	<li>在文本字段 VVID 中输入 VVID 端口号，其默认值为 94f39d29 7d6d 437d 973b fba39e49d4ee。</li>
	<li>点击 Create Socket 以创建并绑定套接字。点击 Connect 以与移动应用程序建立连接。</li>
	<li>点击 Capture 以捕获并保存本地文件夹中的场景监控图像。</li>
	<li>如果需要使用非默认的文件夹名称，请在文件夹名称字段中输入本地文件夹名称。</li>
</ol>
5. 操作机械臂
<ol>
	<li>让客户端模块也包含一个机械臂。设计该机械臂，使其底座、肩部、肘部、腕部和手指具有旋转运动功能。</li>
	<li>确保使用 MG 996R 舵机来控制底座、肩部和肘部的旋转运动。确保使用 SG 90 舵机来控制腕部和手指的旋转运动。</li>
	<li>在微控制器 IDE 中编译位于&#160;https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR 的代码，以根据远程外科医生发出的指令驱动机械臂。</li>
</ol>
6. 增强现实的三维重建
<ol>
	<li>依次从本地文件夹中逐对读取两张图像，以获取它们之间可能存在的重叠区域（由于图像是在近距离内采集的，连续图像之间会存在重叠）。</li>
	<li>根据方向增强特征描述的要求，使用三级滤波设计三级滤波器22 （DITF）&#160;用于获取梯度和方向的算法。</li>
	<li>使用 DITF 方法提取特征22，如图所示 图3.</li>
	<li>使用 SFM 从采集的特征中重建三维图像23.</li>
</ol>
7. 外科医生位置的手势识别
<ol>
	<li>通过提供基于手势的三维重建特征旋转和缩放功能，使外科医生能够从各个角度观察环境，从而便于其检查三维重建图像特征。</li>
	<li>将外科医生右手拇指尖与食指尖之间的距离归一化，并映射为对应的旋转角度。归一化方式应使得最小距离对应0°，最大距离对应180°。</li>
	<li>通过蓝牙将手势控制信号传输至远程手术环境，以控制物体托盘的旋转，使其绕轴转动，同时外科医生端的三维重建特征也随之旋转。</li>
	<li>通过测量外科医生左手拇指尖与食指尖之间的距离，控制机械臂手指的运动。</li>
	<li>测量外科医生左手拇指尖与食指尖在空间中相对于假想的x-y地面平面的仰角高度，以确定仰角，并将该角度映射为机械臂相对于x-y平面所能达到的仰角。</li>
	<li>确定外科医生手部相对于虚拟y-z平面的方位角，并通过基于手势的识别技术获取这些角度。</li>
	<li>将距离、仰角和方位角映射为控制机械臂手指运动和臂部旋转的参数，其中臂部旋转对应于仰角和方位角。</li>
	<li>允许外科医生通过缩放和旋转来检查重建特征，并向机械臂发送指令，以实现远程手术操作。</li>
	<li>确保手术指令以控制序列字符串的形式传输，该字符串以起始标识符开头，后跟控制托盘旋转和机械臂控制器的数值。设[θb, θs, θe, θw, θf]为向量角度，其各值分别对应机械臂底座、肩部、肘部、腕部和手指的控制信号。 
	注意：GitHub链接提供了在手术领域实现手势控制的代码。&#160;https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR。</li>
</ol>

Optimized 3D Reconstruction and Motion Mapping for Remote AR-Assisted Surgery

<ol><li>Wang, L. J., Casto, B., Reyes-Molyneux, N., Chance, W. W., Wang, S. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Smartphone-based+augmented+reality+patient+education+in+radiation+oncology%5BTitle%5D)+AND+%22Tech+Innov+Patient+Supp+Radiation+Oncol%22%5BJournal%5D)">Smartphone-based augmented reality patient education in radiation oncology.</a> Tech Innov Patient Supp Radiation Oncol. 29, 100229(2024).</li>
<li>Guerroudji, M. A., Amara, K., Lichouri, M., Zenati, N., Masmoudi, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+3D+visualization-based+augmented+reality+application+for+brain+tumor+segmentation%5BTitle%5D)+AND+%22Comput+Anim+Virtual+Worlds%22%5BJournal%5D)">A 3D visualization-based augmented reality application for brain tumor segmentation.</a> Comput Anim Virtual Worlds. 35 (1), e2223(2024).</li>
<li>Xia, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+indoor+positioning+based+mobile+production+monitoring+system+to+support+workers+with+human-in-the-loop%5BTitle%5D)+AND+%22Robotic+Comput+Integ+Manufac%22%5BJournal%5D)">Augmented reality and indoor positioning based mobile production monitoring system to support workers with human-in-the-loop.</a> Robotic Comput Integ Manufac. 86, 102664(2024).</li>
<li>Preece, C., Skandalis, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time+to+imagine+an+escape%3A+investigating+the+consumer+timework+at+play+in+augmented+reality%5BTitle%5D)+AND+%22Eur+J+Market%22%5BJournal%5D)">Time to imagine an escape: investigating the consumer timework at play in augmented reality.</a> Eur J Market. 58, 92-118 (2024).</li>
<li>Suresh, D., Aydin, A., James, S., Ahmed, K., Dasgupta, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+role+of+augmented+reality+in+surgical+training%3A+a+systematic+review%5BTitle%5D)+AND+%22Surg+Innov%22%5BJournal%5D)">The role of augmented reality in surgical training: a systematic review.</a> Surg Innov. 30, 366-382 (2023).</li>
<li>Moreta-Martinez, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Combining+augmented+reality+and+3D+printing+to+display+patient+models+on+a+smartphone%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Combining augmented reality and 3D printing to display patient models on a smartphone.</a> J Vis Exp. (155), 60618(2020).</li>
<li>Ma, L., Huang, T., Wang, J., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Visualization%2C+registration+and+tracking+techniques+for+augmented+reality+guided+surgery%3A+a+review%5BTitle%5D)+AND+%22Phys+Med+Biol%22%5BJournal%5D)">Visualization, registration and tracking techniques for augmented reality guided surgery: a review.</a> Phys Med Biol. 68, 04TR02(2023).</li>
<li>Hofman, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((First-in-human+real-time+ai-assisted+instrument+deocclusion+during+augmented+reality+robotic+surgery%5BTitle%5D)+AND+%22Healthc+Technol+Lett%22%5BJournal%5D)">First-in-human real-time ai-assisted instrument deocclusion during augmented reality robotic surgery.</a> Healthc Technol Lett. 11 (2-3), 33-39 (2023).</li>
<li>Thiene, G., Rizzo, S., Basso, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bicuspid+aortic+valve%3A+The+most+frequent+and+not+so+benign+congenital+heart+disease%5BTitle%5D)+AND+%22Cardiovasc+Pathol%22%5BJournal%5D)">Bicuspid aortic valve: The most frequent and not so benign congenital heart disease.</a> Cardiovasc Pathol. 70, 107604(2024).</li>
<li>Mack, M. J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Transcatheter+aortic-valve+replacement+in+low-risk+patients+at+five+years%5BTitle%5D)+AND+%22New+Engl+J+Med%22%5BJournal%5D)">Transcatheter aortic-valve replacement in low-risk patients at five years.</a> New Engl J Med. 389, 1949-1960 (2023).</li>
<li>Vitanova, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Aortic+valve+versus+root+surgery+after+failed+transcatheter+aortic+valve+replacement%5BTitle%5D)+AND+%22J+Thorac+Cardiovas+Surg%22%5BJournal%5D)">Aortic valve versus root surgery after failed transcatheter aortic valve replacement.</a> J Thorac Cardiovas Surg. 166, 1418-1430 (2023).</li>
<li>Bydlon, T. M., Torjesen, A., Fokkenrood, S., Di Tullio, A., Flexman, M. L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+visualisation+of+navigation+catheters+for+endovascular+procedures+using+a+3d+hub+and+fiber+optic+realshape+technology%3A+phantom+study+results%5BTitle%5D)+AND+%22EJVES+Vascular+Forum%22%5BJournal%5D)">3d visualisation of navigation catheters for endovascular procedures using a 3d hub and fiber optic realshape technology: phantom study results.</a> EJVES Vascular Forum. 59, 24-30 (2023).</li>
<li>Faris, H., Harfouche, C., Bandle, J., Wisbach, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Surgical+tele-mentoring+using+a+robotic+platform%3A+initial+experience+in+a+military+institution%5BTitle%5D)+AND+%22Surg+Endosc%22%5BJournal%5D)">Surgical tele-mentoring using a robotic platform: initial experience in a military institution.</a> Surg Endosc. 37, 9159-9166 (2023).</li>
<li>Fitzgerald, L., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mentoring+approaches+in+a+safe+surgery+program+in+tanzania%3A+Lessons+learned+during+covid-19+and+recommendations+for+the+future%5BTitle%5D)+AND+%22Surg+Open+Sci%22%5BJournal%5D)">Mentoring approaches in a safe surgery program in tanzania: Lessons learned during covid-19 and recommendations for the future.</a> Surg Open Sci. 14, 109-113 (2023).</li>
<li>de Turenne, A., Eugène, F., Blanc, R., Szewczyk, J., Haigron, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Catheter+navigation+support+for+mechanical+thrombectomy+guidance%3A+3d%2F2d+multimodal+catheter-based+registration+with+no+contrast+dye+fluoroscopy%5BTitle%5D)+AND+%22Int+J+Comput+Assist+Radiol+Surg%22%5BJournal%5D)">Catheter navigation support for mechanical thrombectomy guidance: 3d/2d multimodal catheter-based registration with no contrast dye fluoroscopy.</a> Int J Comput Assist Radiol Surg. 19 (3), 459-468 (2023).</li>
<li>Tang, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multiple+catheter+tips+tracking+method+in+x-ray+fluoroscopy+images+by+a+new+lightweight+segmentation+network+and+bayesian+filtering%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">A multiple catheter tips tracking method in x-ray fluoroscopy images by a new lightweight segmentation network and bayesian filtering.</a> Int J Med Robotics Comput Assist Surg. 19, e2569(2023).</li>
<li>Annabestani, M., Caprio, A., Wong, S. C., Mosadegh, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+machine+learning-based+roll+angle+prediction+for+intracardiac+echocardiography+catheter+during+bi-plane+fluoroscopy%5BTitle%5D)+AND+%22Appl+Sci%22%5BJournal%5D)">A machine learning-based roll angle prediction for intracardiac echocardiography catheter during bi-plane fluoroscopy.</a> Appl Sci. 13, 3483(2023).</li>
<li>Thourani, V. H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Survival+after+surgical+aortic+valve+replacement+in+low-risk+patients%3A+a+contemporary+trial+benchmark%5BTitle%5D)+AND+%22Ann+Thorac+Surg%22%5BJournal%5D)">Survival after surgical aortic valve replacement in low-risk patients: a contemporary trial benchmark.</a> Ann Thorac Surg. 117, 106-112 (2024).</li>
<li>Domínguez-Velasco, C. F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+simulation+as+training+model+of+ventricular+puncture%3A+Evidence+in+the+improvement+of+the+quality+of+punctures%5BTitle%5D)+AND+%22Int+J+Med+Robotics+Comput+Assist+Surg%22%5BJournal%5D)">Augmented reality simulation as training model of ventricular puncture: Evidence in the improvement of the quality of punctures.</a> Int J Med Robotics Comput Assist Surg. 19, e2529(2023).</li>
<li>Wang, Q., Xie, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Arias%3A+An+ar-based+interactive+advertising+system%5BTitle%5D)+AND+%22Plos+One%22%5BJournal%5D)">Arias: An ar-based interactive advertising system.</a> Plos One. 18, e0285838(2023).</li>
<li>Ji, F., Chong, F., Wang, F., Bai, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+platform+for+the+unmanned+mining+process+in+underground+mines%5BTitle%5D)+AND+%22Mining%2CMetal+Explor%22%5BJournal%5D)">Augmented reality platform for the unmanned mining process in underground mines.</a> Mining,Metal Explor. 39 (2), 385-395 (2022).</li>
<li>Indhumathi, S., Clement, J. C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Directional+intensified+feature+description+using+tertiary+filtering+for+augmented+reality+tracking%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Directional intensified feature description using tertiary filtering for augmented reality tracking.</a> Sci Rep. 13, 20311(2023).</li>
<li>Gao, L., Zhao, Y., Han, J., Liu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Research+on+multi-view+3D+reconstruction+technology+based+on+SFM%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Research on multi-view 3D reconstruction technology based on SFM.</a> Sensors. 22 (12), 4366(2022).</li>
<li>Suárez, I., Sfeir, G., Buenaposada, J. M., Baumela, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BEBLID%3A+Boosted+efficient+binary+local+image+descriptor%5BTitle%5D)+AND+%22Pattern+Recog+Lett%22%5BJournal%5D)">BEBLID: Boosted efficient binary local image descriptor.</a> Pattern Recog Lett. 133, 366-372 (2020).</li>
<li>Borman, R. I., Harjoko, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+ORB+algorithm+through+feature+point+optimization+and+Gaussian+pyramid%5BTitle%5D)+AND+%22Int+J+Adv+Comp+Sci+Appl%22%5BJournal%5D)">Improved ORB algorithm through feature point optimization and Gaussian pyramid.</a> Int J Adv Comp Sci Appl. 15 (2), 268-275 (2024).</li>
</ol>

作者声明无利益冲突。

在已有研究15中，通过X射线和CT扫描来确定导管在心脏中的位置。然而，通过采用基于三维重建的自动化模型，增强现实（AR）TAVR置换术为TAVR18手术过程开辟了新的可能性。如方案部分所述，本研究的设计包含五个阶段。第6节中提到的DITF22第一阶段，即我们在先前工作22中提出的方案，已得到改进，使其能够嵌入医学应用中。第二阶段为三维重建，其关键挑战是从二维点构建三维模型。我们通过多种输入图像对模型进行了验证测试。采用运动恢复结构（SFM）23方法进行图像重建。借助DITF22和校准矩阵，测量图像之间的对应关系。下一阶段是手势跟踪；在三维重建中实现手势控制界面，是实时处理中的另一项挑战。通过手势实现缩放控制和旋转调节，便于远程专家便捷地操作三维模型。第四阶段是移动应用程序的开发，如第3节所述，用于实现自动图像采集。该应用程序将数据以三维模型形式传输给远程专家。最后阶段为硬件设置，通过使用心脏模型和机械臂进行演示，该系统可自动将导管插入以替换受损的心脏瓣膜，如图1所示。
所提出的方法旨在通过增强现实和特征提取技术，实现基于手术环境现场监控的远程手术。据我们所知，本文提出的这些重要贡献在现有文献中尚未见报道。该方法在从特征重建三维图像时具有较低的延迟，且重建特征与原始图像之间的误差极小。延迟和误差分别如图6和图7所示。这些图还表明，其他算法，即ORB24和BEBLID25，性能均低于所提出的方法。
 
在方法开发过程中，我们面临的主要挑战是移动应用程序与远程服务器之间基于蓝牙协议的数据传输。由于场景采集和传输必须每2秒完成一次，因此需要超高速通信。这经常导致套接字中断，需要大量的异常处理和并行例程管理，以确保流程顺畅。此外，在该方法的开发与实施过程中，我们也遇到了一些问题。
然而，存在一些故障排除技术可解决上述问题。蓝牙通信需要选择正确的通道或VVID端口号。此外，在继续操作之前，必须确保两端的蓝牙设备均已开启。关于驱动机械臂和悬挂旋转臂的基于微处理器的程序，需确认串行通信所用的端口号。必须正确连接电机驱动器，特别是涉及NEMA步进电机和伺服电机时。如果连接不当，即使只是驱动器接线错误，NEMA电机也可能出现非预期的旋转行为。必须正确识别NEMA电机两个线圈的引线，否则与驱动器的连接可能导致电机非预期旋转，甚至损坏电机。设计一种能够支撑重量约为1 kg的旋转悬挂臂的联轴器是一项挑战。为解决此问题，我们在电机轴上钻了一个直径为1 mm的孔。平衡旋转臂两侧的重量（包括移动设备的重量）也是一大难点；否则，结构可能会拖拽地面，导致整体结构被拉扯脱落或从电机轴上被拽下。必须确保机械臂的基座、肩部、肘部、腕部和手指各部分均已正确拧紧螺丝；否则，在旋转或举升负载时部件可能脱落。两个模块的并行运行需要通过配置合适的Python环境来实现，应使用不同的线程并行运行，以确保系统平稳工作。
结果表明，所提出的自动TAVR18模型是一种用于主动脉瓣反流（AR）手术引导的有效方法。该模型具有良好的灵活性，可根据医学专家的指导，将此原型应用于医学领域的任何手术。基于学习的模型有望提升三维重建效果。为了重建三维模型，需要输入具有良好光照条件的多视角图像；然而，这一问题可在未来进一步解决。此外，未来我们希望开发基于5G通信的传输系统，以实现低延迟和超可靠的通信，保障手术操作的无故障与流畅进行。同时，我们还计划开发自主的增强现实（AR）设备，以替代目前使用的模拟器，从而改善在真实手术环境中对三维模型的可视化效果。

增强现实（AR）可将三维模型叠加到真实世界环境中。AR 技术的发展已在多个领域引发范式变革，包括教育1、医学2、制造3和娱乐4。AR 技术与超可靠低延迟通信相结合，已证明其在医学领域中不可或缺的作用。从人体解剖学的学习阶段到手术引导，各阶段的学习均可通过 AR 驱动的软件5,6和硬件实现可视化。AR 为手术环境中的医疗从业者提供了关键且可靠的解决方案7,8。
主动脉瓣狭窄是人类最常见的心脏瓣膜疾病9疾病的根本原因是不良的饮食习惯和日常生活的不规律。该病的症状及后果是心脏瓣膜狭窄，继而引起血流减少。此问题需在对人的心脏造成损害之前及时处理。因此，心脏会因血流负担过重而超负荷工作。故在损害发生之前，必须进行手术治疗；而得益于近年来的技术进步，此类手术也可通过经导管主动脉瓣置换术（TAVR）来实施。该手术方式可根据患者心脏及其他身体部位的具体状况进行选择。在此TAVR10,11，导管被植入以替代心脏中受损的瓣膜。然而，导管位置的放置12 更换瓣膜对手术医师而言十分繁琐。这一想法促使我们设计了一种基于增强现实（AR）的自动化手术模型。13,14，有助于外科医生在置换过程中精确定位瓣膜。此外，手术还可通过运动映射算法完成，该算法将从远程位置捕捉到的外科医生动作映射至机械臂。
在现有研究15,16,17中，经导管主动脉瓣置换术（TAVR）18过程的可视化通过透视成像进行监测。因此，分析心脏瓣膜较为困难，且定位置换位置繁琐耗时。这为导管在人体心脏中的准确定位设置了障碍。此外，远程操作虽可映射至手术区域以实现过程自动化，但为弥补当前研究的不足，我们提出一种基于机器人、结合增强现实（AR）辅助技术的自动化瓣膜置换手术方案。
该方案是一种通用模型，可应用于所有手术环境。在工作初期阶段，需在手术环境中以最大自由度和最高空间分辨率全方位采集二维图像。这意味着需采集足够数量的图像以用于三维重建19，随后通过手势追踪进行运动映射20。

<table><tbody><tr><td>安卓 IDE</td><td>软件</td><td>https://developer.android.com/studio</td><td>软件可从此链接下载</td></tr><tr><td>Arduino 开发板</td><td>Arduino Uno</td><td>Arduino Uno</td><td>用于处理的微控制器</td></tr><tr><td>Arduino 软件</td><td>软件</td><td>https://www.arduino.cc/en/software.</td><td>软件可从此链接下载</td></tr><tr><td>人体心脏模型</td><td>生物实验室设备制造商和出口商</td><td>B071YBLX2V(8B-ZB2Q-H3MS-1)</td><td>轻质模型，分为三个部分，便于深入分析心脏结构</td></tr><tr><td>手机支架</td><td>Humble 通用单脚架支架</td><td>B07S9KNGVS</td><td>用于在手术区域固定手机</td></tr><tr><td>PyCharm IDE</td><td>软件</td><td>https://www.jetbrains.com/pycharm/</td><td>软件可从此链接下载</td></tr><tr><td>机械臂</td><td>Printed-bots</td><td>B08R2JLKYM(P0-E2UT-JSOU)</td><td>可通过控制信号操控机械臂，具有五个自由度</td></tr><tr><td>伺服电机</td><td>Kollmorgen Co-Engineers 电机</td><td>MG-966R</td><td>高扭矩伺服电机，伺服脉冲范围为 500 至 2500 微秒 (&amp;micro;s)，频率为 50 Hz 至 333 Hz&amp;nbsp;</td></tr><tr><td>伺服电机</td><td>Kollmorgen Co-Engineers&amp;nbsp;电机</td><td>SG-90R</td><td>可对 SG-90R 伺服电机施加 1.8 kg-cm 至 2.5 kg-cm 的负载</td></tr><tr><td>步进电机</td><td>28BYJ-48</td><td>28BYJ-48</td><td>步进电机，5V 直流，100 Hz 频率，扭矩为 1200 Gf·cm</td></tr><tr><td>步进电机</td><td>Nema 23</td><td>Nema</td><td>步进电机，9V - 42V 直流，100 Hz 频率</td></tr></tbody></table>

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

Automatic Surgery in Transcatheter Aortic Valve Replacement Using Augmented Reality

增强现实（AR）在医学应用中需求迫切。本文旨在通过增强现实技术实现经导管主动脉瓣置换术（TAVR）的自动化手术。TAVR 是一种替代开胸手术的医疗手段，通过导管将受损瓣膜替换为新瓣膜。在现有模型中，仅提供远程指导，而手术本身并未基于增强现实实现自动化。本文部署了一台与电机连接的空间对准相机，用于在手术环境中自动采集图像。该相机可追踪患者心脏的二维高分辨率图像以及手术区域中的导管操作平台。所采集的图像通过移动应用程序上传至远程的心脏病学专家外科医生。这些图像用于从二维图像追踪中进行三维重建，并可在笔记本电脑上的类似 HoloLens 的模拟器中查看。外科医生可远程检查三维重建图像，并利用旋转和缩放等附加变换功能进行观察。这些变换功能通过手势操作实现。外科医生的指导指令被实时传输至手术环境，以实现手术过程的自动化。手术区域中的导管操作平台由远程外科医生的手势指令进行控制。所开发的原型模型验证了通过增强现实实现远程手术指导的有效性。

本方案已使用心脏仿体模型进行了测试。图2展示了借助空间分布的摄像头对术区进行实时监控的预期设置。如图2所示，分布式的摄像头有助于提高视野的空间分辨率，从而实现有效的三维重建。然而，在不同空间位置上实际布置这些摄像头存在复杂性。因此，我们优化了装置设计，提出了一种由TB6600驱动器驱动的NEMA电机带动旋转的空间自定位摄像头布局方案。该结构具有可行性，已在模型中实现，如图1所示。
在图1中，自动相机拍摄快照并随后通过蓝牙协议传输的过程由一段 Android 代码控制。该模块的运行机制设计为：在每个奇数秒拍摄一次照片，每个偶数秒进行一次传输，如第3节所述。与 NEMA 电机连接的微控制器模块负责在每个偶数秒旋转一次结构，以确保有足够时间完成无模糊的图像拍摄。因此，在360°旋转过程中共拍摄30张照片，并通过蓝牙进行传输。
此外，在图1中展示了手术环境DITF描述符的三维重建视图。需要注意的是，外科医生可以通过手势映射进行缩放和旋转，以检查基于描述符的重建结果。同时，这些动作会被发送到手术环境中，以模拟手术过程，从而使导管能够在实际场景中插入。手势映射以六种不同的角度进行，用于控制机器人的各个部分，即基座、肩部、肘部、腕部、夹持器和手指。这些角度以向量形式表示为[θb, θs, θe, θw, θf]。在该向量中，θp表示对人体对象托盘进行旋转的手势映射。同样的θp也用于调整外科医生端HoloLens模拟器中显示的描述符方向。
图3展示了模体模型的DITF特征，这是三维重建的关键步骤。基于提取的特征，在图像匹配中识别出对应点。参考图像与旋转45°后不同结果之间的对应关系如图4所示。不同颜色的对应点清晰地表明，即使图像处于不同的视角方向，仍能有效识别并匹配相似特征。在图5中，包含了运动映射的准确性结果，表明当两手指间距较小时，准确性较高；但当手指间距增大时，准确性开始下降。
另一方面，模型处理数据所需的时间在增强现实（AR）中至关重要。因此，为验证所提出的模型，将处理图像的时间延迟作为参数进行测量，并利用现有的算法（如快速定向和旋转BRIEF（ORB））对结果进行验证。24 增强型高效二进制局部图像描述符（BEBLID）25结果表明，DITF 在延迟方面优于现有的模型（如 ORB 和 BEBLID），如图所示 图6此外，通过重建误差对三维重建模型进行验证，图中所示为 图7 表明直方图较窄，意味着重建误差极小；这证明所提出算法的重建结果经过了验证和确认。 图8 展示了所提出模型的三维重建输出结果。该结果反映了可视化效果的清晰度，并通过图表验证了图像的定量分析结果。这些结果证明，所提出的模型通过旋转变换提取了重建三维模型所需的所有关键特征。因此，远程专家能够对手术区域实现精确的可视化和控制。
<img alt="手术中的增强现实：机械臂、远程控制、手势追踪、三维重建。" class="xfigimg" src="/files/ftp_upload/67096/67096fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：使用增强现实技术实现经导管主动脉瓣置换术自动化手术的硬件系统搭建。（A）配备实时监控系统的手术区域。（B）基于增强现实的可视化界面。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig01large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="机器人手臂心脏手术练习；解剖模型；医学培训装置；外科技术演示。" class="xfigimg" src="/files/ftp_upload/67096/67096fig02.jpg" data-altupdatedat="1788304762000" data-alt="图 2"> 
图 2：手术环境的预期模型。 所示模型配备了利用空间分布的摄像头传感器对手术环境进行实时监控的功能。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig02large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="显示解剖结构、教育可视化和示意图的人类心脏模型对比" class="xfigimg" src="/files/ftp_upload/67096/67096fig03.jpg" data-altupdatedat="1788304762000" data-alt="图3"> 
图3：置于手术测试平台中的人类心脏模型及其通过特征描述算法提取的特征。（A）输入的心脏模型。（B）利用三级滤波特征提取方法对心脏模型进行方向增强的特征描述。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig03large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="跟踪算法示意图；在物体上叠加的彩色线条和标记，图像分析过程。" class="xfigimg" src="/files/ftp_upload/67096/67096fig04.jpg" data-altupdatedat="1788304762000" data-alt="图4"> 
图4：两个图像特征之间的特征匹配。（A）使用三级滤波特征提取方法对心脏模型进行方向增强的特征描述。（B）使用三级滤波特征提取方法对旋转45°的心脏模型进行方向增强的特征描述。线条表示两种不同取向下相似图像特征之间的对应关系。线条颜色表示所选择的不同特征。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig04large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="准确率与距离关系图、像素间距与准确率、数据分析、趋势图。" class="xfigimg" src="/files/ftp_upload/67096/67096fig05.jpg" data-altupdatedat="1788304762000" data-alt="图 5"> 
图 5：手势跟踪的准确率。 本图显示了准确率的百分比。样本数量（N）设定为 500。动作映射共执行 500 次，统计其中正确映射的次数，然后通过正确映射次数与总样本数的比值计算准确率。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig05large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="比较算法延迟：ORB、BEBLID 和 DITF（单位：毫秒）的柱状图。" class="xfigimg" src="/files/ftp_upload/67096/67096fig06.jpg" data-altupdatedat="1788304762000" data-alt="图6"> 
图6：使用三级滤波的定向增强特征描述的延迟，基于 ORB（Oriented FAST and rotated BRIEF）和 BEBLID（Boosted Efficient Binary Local Image Descriptor Algorithm）算法。 延迟表示从图像中提取特征所需的时间，图中展示了该时间的测量结果。我们选择 N 为 500，即对时间延迟进行 500 次计算后取平均值。该过程针对三种算法分别执行并绘图。 <a href="https://www.jove.com/files/ftp_upload/67096/67096fig06large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="显示重建误差分布的直方图；模型准确性的数据分析。" class="xfigimg" src="/files/ftp_upload/67096/67096fig07.jpg" data-altupdatedat="1788304762000" data-alt="Figure 7"> 
图7：所提出模型的重建误差分布。重建误差是指从特征重建的三维图像与原始图像之间的误差。该误差图是一个直方图，表示特定事件发生次数的统计。当误差为零时，计数达到最大值，并向两侧递减，这是理想的结果。该图表明直方图（正态密度）的方差较小，因此误差相对于均值（0）在两个方向上的离散程度均不大。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig07large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="静态平衡示意图，显示数据点分布；用于可视化空间相关性。" class="xfigimg" src="/files/ftp_upload/67096/67096fig08.jpg" data-altupdatedat="1788304762000" data-alt="图8"> 
图8：心脏模型的三维重建。 每个彩色点表示从相应特征重建得到的三维点。目前，特征重建算法会对颜色进行归一化处理，并据此对其他特征着色。<a href="https://www.jove.com/files/ftp_upload/67096/67096fig08large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>

本文介绍了基于增强现实（AR）三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作，实现远程手术，使其如同在近距离进行手术操作一般。

增强现实（AR）在医学应用中需求迫切。本文旨在通过增强现实技术为经导管手术提供自动手术支持。

我们的研究致力于通过增强现实和机器人技术革新远程手术，旨在提高医疗操作的精确性和可及性。我们正在探索如何利用实时三维重建和特征提取，使外科医生即使在远距离情况下也能获得前所未有的控制力和可视化效果。我们已自主实现了一种方向增强型特征提取方法，以确保对外科手术特征的精确检测，从而增强外科医生对机械臂的控制能力。通过从最少的二维图像进行三维重建，我们显著降低了系统的硬件复杂性，并提高了系统效率。我们的系统利用单个移动摄像头，以每两秒拍摄一张图像的频率进行同步采集，为远程外科医生提供最佳的手术环境监控，并确保实时更新。我们采用蓝牙和局域网开发了无缝通信协议，具有低延迟和高可靠性，确保数据传输的连续性和准确性。我们实现视频流与机械臂响应之间精确实时同步的方法，可为远程手术和远程医疗领域的未来研究提供基准。该方法为实时数据与机器人控制系统之间的集成提供了模型。我们实现视频流与机械臂响应之间精确实时同步的方法，可为远程手术和远程医疗领域的未来研究提供基准。它为将实时数据与机器人控制系统相集成提供了一个模型。准备手术环境时，在工作平台上放置一个用于承载物品的托盘、一个机械臂和两个侧挂臂。将手机固定在手机支架中后，开启手机和笔记本电脑的蓝牙功能，后者将作为外科医生的 HoloLens 模拟器。配对设备以实现不间断的图像传输。确保悬挂臂由步进电机控制，以实现完美的360度旋转。使用TB6600驱动器将电机连接到微控制器板。单击下载按钮，从浏览器下载微控制器集成开发环境。然后，进入文件菜单，打开一个新草图以编写代码。将微控制器板连接到通信端口号，通过该连接端口与新草图进行交互。检查通信端口，确认显示微控制器板。检查步进电机驱动器 TB6600 的硬件开关设置，确保电流为 2 安培。将 SW4 设为开启，SW5 和 SW6 设为关闭。将 SW1 和 SW3 设为关闭，SW2 设为开启，以实现八分之一微步，满足所需的旋转步数。将 RTC 3231 与微控制器连接，以实现精确的全球时间同步。确保旋转步长为 12 度，且仅当从 RTC 模块读取的秒数为奇数时，电机才执行步进。将微控制器板的5伏引脚连接到RTC的VCC，微控制器的接地引脚连接到RTC的接地引脚。将RTC的SCL引脚连接到微控制器的A0引脚，SDA引脚连接到A1引脚。该模块确保每步为12度，每转完成30步，且每奇数秒触发一次步进。运行 GitHub 页面上提供的代码，以验证设置是否正常工作。下载 Android Studio 以开发自动相机应用程序。将手机连接到系统。在 Android Studio 中，点击“新建”、“新建项目”，然后选择“空视图活动”。点击“下一步”，以开发给定网站上的 Android 代码。确认应用程序能够自动捕获图像并持续将其发送到远程设备。通过蓝牙将移动应用程序中的快照立即传输至远程外科医生系统。首先，打开图形用户界面服务器模块。在VVID文本字段中输入VVID端口号。单击“创建套接字”以创建并绑定套接字。然后，单击“连接”以建立与移动应用程序的连接。现在，单击“捕获”以捕获场景监控图像并将其保存到本地文件夹中。让客户端模块包含一个机械臂，该机械臂的基座、肩部、肘部、腕部和手指均具备旋转运动功能。确保使用 MG996R 伺服电机控制基座、肩部和肘部的旋转运动。使用 SG90 伺服电机控制腕部和手指的旋转运动。在微控制器集成开发环境中编译代码，以根据远程外科医生发出的指令控制机械臂。从本地文件夹中依次逐个读取两张图像，识别它们之间可能存在的重叠区域。采用DITF方法提取特征。使用 SFM 从采集的特征中重建三维图像。通过手势控制实现旋转和放大/缩小，使外科医生能够检查三维重建图像的特征，从而可以从任意角度进行观察。将外科医生右手拇指尖与食指尖之间的距离归一化，并映射为对应的旋转角度。通过蓝牙将手势控制传输至远程手术环境。确保远程端物体托盘的旋转与外科医生端三维重建特征的旋转相一致。随着两只手指间距离的增加，动作映射的准确性下降。DITF 算法相较于 ORB 和 BEBLID 实现了最低的延迟。

automatic-surgery-transcatheter-aortic-valve-replacement-using

Research

科研

JoVE Journal

Medicine

医学

使用增强现实技术进行经导管主动脉瓣置换术的自动手术

本研究的目的是在经股动脉经导管主动脉瓣植入术（TAVI）期间，通过将术前CT数据与实时X射线（XR）透视成像进行融合，提高图像融合（IF）的配准精度。...

经导管主动脉瓣植入术中用于图像融合的三维CT血管造影与X射线透视成像的优化配准

将增强现实技术应用于股骨头坏死的髓芯减压术，以实现该手术过程的实时可视化。该方法可有效提高髓芯减压术的安全性和精确性。...

增强现实导航引导下股骨头坏死的髓芯减压术

遥操作机器人辅助经皮髂骨-骶骨螺钉固定术是一种可行的技术。由于机器人手臂具有优异的运动自由度和稳定性，螺钉通道可实现高精度置入。...

一种远程操作机器人辅助经髂骨-经骶骨螺钉固定技术

血管内治疗技术的进步已用微创治疗方式取代了复杂的开放性外科手术，例如瓣膜置换和动脉瘤修复。本文提出利用三维（3D）建模和虚拟现实技术，辅助神经介入导管室手术规划中的C形臂定位、角度测量和路径图生成，以缩短手术时间。...

利用影像学与虚拟现实技术开创精准手术的患者特异性方法

在经股动脉经导管主动脉瓣植入术中，采用上肢入路作为次要入路与较少的次要入路相关出血并发症相关，并可缩短需要延长起搏患者的早期下床活动时间。本方案旨在全面概述上肢入路技术，并指导术者采用该方法。...

经股动脉导管主动脉瓣植入术中上肢入路作为次级通路

为了理解组织工程心脏瓣膜中新生组织形成和狭窄发展的细胞与分子机制，研究人员建立了一种小鼠异位心脏瓣膜移植模型。采用异位心脏移植技术，将肺动脉瓣移植至受体动物体内。...

异位心脏移植小鼠模型中肺动脉瓣移植

对于主动脉根部较小的患者，采用无支架主动脉异种移植瓣进行全根部主动脉瓣置换是一种可行的选择。本文介绍了一种无支架主动脉异种移植瓣全根部植入的技术，重点阐述近端缝合线和冠状动脉吻合的处理方法，并讨论该技术的局限性及其他替代方案。...

小主动脉根部患者采用无支架主动脉异种移植瓣进行全根部主动脉瓣置换术

保留瓣膜的主动脉根部置换术具有保留患者自身主动脉瓣的优点。迄今为止所报道的技术较为复杂，限制了其在少数心脏外科医生中的应用。本方案逐步描述了一种标准化的技术，可被更多心脏外科医生重复实施。...

主动脉瓣再植入术在保留瓣膜的主动脉根部置换中的标准化技术

本方案的目的是详细描述经右前外侧小切口开胸和中心主动脉插管进行微创主动脉瓣置换术的技术。该技术有望提高患者的舒适度，并通过减少术后并发症，缩短住院时间，降低总体医疗成本。...

微创主动脉瓣置换术中右前小切口技术及患者选择标准

乳腺癌相关淋巴水肿在乳腺癌幸存者中较为常见，但目前尚无广泛应用的诊断与量化指南。本文介绍一种可靠且经济有效的方案，用于定义、量化和比较乳腺癌患者的上肢体积。...

将增强现实工具整合到乳腺癌相关淋巴水肿的预后预测与诊断中

了解增强现实与机器人技术如何实现远程自动手术。本方法通过实时三维重建和特征提取，为外科医生提供精确控制与可视化能力，提升手术效率并降低硬件复杂度。

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

探索更多视频