Name: 开创性地使用成像和虚拟现实进行精准手术的患者特定方法 (视频) | JoVE Journal
Uploaded: 2024-04-05T13:20:00.000+00:00
Duration: 6 min 18 s
Description: 探索利用虚拟现实和三维建模技术优化神经介入手术的方法。本研究通过自动化分割和精准C臂定位，有效降低患者辐射暴露并缩短手术时间，为神经外科手术规划提供创新解决方案。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

我们特别感谢评审委员会提出的富有见地的反馈意见，以及编辑部在整个文章撰写过程中给予的宝贵建议、专业知识、指导与支持。我们非常感谢OSF医疗系统任务合作伙伴所营造的协作环境，这提升了本研究工作的质量。感谢OSF医疗系统提供的资源与支持，以及Jump模拟与教育中心先进影像与建模实验室所提供的协助。

根据机构关于患者诊疗的指南、1996年健康保险可携性和责任法案（HIPAA）以及在适当时与机构审查委员会（IRB）的合作，使用去标识化的人类DICOM文件或用于患者诊疗的DICOM文件。
1. 分割患者特异性&#160;解剖结构
<ol>
	<li>获取医学影像
	<ol>
		<li>由医生或外科医师开始分割流程，下达医学影像检查医嘱。这些影像检查属于标准患者护理流程的一部分，不会引入额外的操作步骤。</li>
		<li>如果医生已知将需要进行图像分割，应确保要求从MRI或CT扫描仪导出薄层数据集。大多数情况下，这些薄层厚度小于1 mm；然而，不同扫描仪的分辨率可能有所差异。进行CT血管造影（CTA）扫描时应使用造影剂，以确保血管结构和血池的准确分割。
		<ol>
			<li>在数据采集过程中，建议采用以下参数获取MRI三维序列：以轴向扫描，确保层厚及层间间距为0.625 mm或更小，无间隔。建议采用以下参数获取CT三维序列：以螺旋模式扫描，层厚及层间间距为0.625 mm，例如神经扫描：管电压（Kvp）120，智能毫安（Smart mA）范围100–740，旋转速度0.5 ms；或心脏扫描：管电压70，智能毫安范围201–227（智能MA模式226），旋转速度0.28 ms14。针对每个身体部位，请遵循所在机构推荐的螺旋扫描参数。 
			注：应获取三维序列，使得在重建时，轴向、冠状面和矢状面具有接近各向同性的分辨率。在大多数情况下，应尽可能采集最薄的切片。该三维序列是在机构标准成像协议基础上额外执行的，但与常规扫描同时进行，因此对临床团队和患者而言，额外的工作量、辐射暴露和费用均极小。</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>请医生提出模型分割请求，并明确指出分割过程中需重点关注的解剖结构（此步骤通常由医生或外科医师完成）。</li>
	<li>下载扫描数据并本地保存。
	<ol>
		<li>若进行了多次扫描，应比较各次扫描的DICOM&#160;数据集，确定哪一组扫描的切片最薄且对比度最佳，因为这将在分割后生成分辨率最高的三维模型。</li>
		<li>确定最佳图像数据集后，从图像数据库中下载用于分割的数据，可选择匿名化处理，或保留含受保护健康信息（PHI）的数据。本方案适用于匿名化的DICOM数据。</li>
	</ol>
	</li>
	<li>将DICOM数据集导入图像分割软件。 
	注：以下操作说明中使用的术语基于Materialise Mimics图像分割软件。虽然Materialise Suite为订阅制软件，但亦存在开源替代方案，如3DSlicer。其他图像分割工具中的工具名称和术语可能有所不同。</li>
	<li>创建目标解剖结构的粗略掩膜，例如骨骼、血池、动脉瘤等。
	<ol>
		<li>在SEGMENT选项卡下，选择新建掩膜（New Mask）工具。</li>
		<li>通过点击并拖动设定上下阈值边界，尽可能包含相关的目标解剖结构，同时限制周围组织的纳入。可在阈值工具内拖动边界，或直接输入所需的亨氏单位（Hounsfield Unit, HU）数值。</li>
		<li>设定阈值时，可裁剪至扫描图像的特定区域，以避免过度选择周围组织。上下阈值边界会因扫描类型、序列类型、造影剂用量及患者个体差异而有显著不同。</li>
		<li>点击确定（OK）以完成粗略掩膜的创建。</li>
	</ol>
	</li>
	<li>使用SEGMENT选项卡中的其他工具，去除掩膜中不必要的部分，或根据需要添加缺失的组织。
	<ol>
		<li>使用区域生长（Region Grow）工具，将掩膜中与用户选定体素直接相连的所有体素分离；使用编辑掩膜（Edit Mask）工具，在二维和三维窗口中添加或删除掩膜中的体素；使用多层面编辑（Multiple Slices Edit）工具，通过较远切片间的插值实现体素的增减；使用填充孔洞（Fill Holes）或智能填充（Smart Fill）工具，填充用户定义大小范围内的掩膜孔洞。</li>
		<li>持续利用该选项卡中的工具优化掩膜，直至二维到三维的插值结果尽可能准确。</li>
	</ol>
	</li>
	<li>对所有目标解剖结构重复步骤1.5和1.6。</li>
	<li>就已完成的分割结果咨询医生，以确保其准确性。
	<ol>
		<li>向医生展示已完成的掩膜，确保未遗漏重要解剖结构，也未包含多余结构。大多数情况下，应咨询提出分割请求的医生进行质量控制。医生需确认每张切片上掩膜所高亮的DICOM区域尽可能准确（见图1）。</li>
	</ol>
	</li>
	<li>导出分割结果以进行后续处理。
	<ol>
		<li>在右侧的项目管理（Project Management）菜单中，使用计算部件（Calculate Part）工具将最终掩膜转换为部件。</li>
		<li>通过右键点击部件（The Part）并选择导出STL（Export STL），将计算得到的部件导出为三维文件。</li>
	</ol>
	</li>
</ol>
2. 为虚拟现实准备模型
<ol>
	<li>创建一个新的 Blender 项目，并删除默认的场景元素。按下 a 键以高亮显示所有可见元素，然后按下 x 键，再按 Enter 键将其从场景中移除。 
	注意：Blender 是一款免费且开源的建模软件。尽管其他建模软件也可能完成相同任务，但本步骤中使用的术语将特指 Blender。</li>
	<li>通过 文件 &#62; 导入 &#62; Stl（.stl）导入解剖结构文件。</li>
	<li>将患者的解剖结构与世界坐标原点对齐。
	<ol>
		<li>选择所有患者解剖结构，以保持相对位置关系。在所有文件导入后，按下 a 键即可完成选择。</li>
		<li>使用 移动 和 旋转 工具将解剖结构与世界坐标原点对齐。确保患者的鼻部与某一坐标轴对齐，另外两个垂直轴分别与耳部区域和颅顶接触。使用正交视图，该视图可通过 Blender 界面右上角的小部件激活。</li>
	</ol>
	</li>
	<li>导入 VR 量角器并将其与患者的解剖结构对齐。该量角器由 OSF 工程团队专门设计，用于在虚拟现实中根据三维空间中的角度获取 C 形臂角度。
	<ol>
		<li>从 补充文件 1 中导入量角器的 .stl 文件。</li>
		<li>将量角器上的 (0,0) 点（由最长的刻度线表示）与患者的鼻部对齐。将量角器臂之间的缺口朝向患者的足部方向。</li>
		<li>相应地缩放量角器。在大多数情况下，应将量角器缩放到较小尺寸，以确保在虚拟现实中缩放后仍便于测量。对于动脉瘤病例，应尝试将量角器缩放至刚好位于动脉瘤区域外侧。</li>
	</ol>
	</li>
	<li>将解剖结构的原点与世界坐标原点对齐。
	<ol>
		<li>在主视口中右键单击，选择 吸附 &#62; 将游标吸附到世界原点。这将确保 3D 游标与全局原点对齐。</li>
		<li>使用 a 键选择所有可见模型。</li>
		<li>在视口中右键单击，选择 设置原点 &#62; 原点至 3D 游标。这会将所有模型的 3D 原点对齐到同一点，确保它们在导入虚拟现实环境后能够正确对齐和缩放。</li>
	</ol>
	</li>
	<li>根据需要为模型添加纹理或颜色，以便在虚拟现实中更易于区分。
	<ol>
		<li>此步骤为可选操作。选择各个 .stl 文件，然后点击屏幕右侧的 材质属性 选项卡。在此选项卡下，可将基础颜色调整为所需颜色。对每个对象重复此步骤以添加颜色。</li>
	</ol>
	</li>
	<li>将最终模型导出为单个 .glb/.gltf 文件。确保在导出窗口的“包含”选项卡下，“限制于”&#160;中的所有选项均未被选中。 
	注意：.glb/.gltf 文件格式是虚拟现实软件以及上传至美国国立卫生研究院（NIH）3D 图书馆所要求的文件类型。其他软件可能需要不同的导出格式。</li>
</ol>
3. 在虚拟现实中培训医疗专业人员
注意：以下说明专为配合 Enduvo 数字教室软件使用而编写。尽管可能可以使用其他 3D 查看软件，但该软件具备移动模型、放置摄像机以及记录医生体位等功能，使其成为此操作的理想选择。不同的 VR 头显、控制器和软件组合可能具有不同的操作方式。
<ol>
	<li>创建一个新课程。
	<ol>
		<li>在课程创建菜单中导入步骤 2.7 中导出的 .gltf 文件。软件可能会显示一条消息：“您尝试上传的文件类型（GLB）目前尚未完全支持”。请忽略此消息，然后点击 确认 按钮。</li>
	</ol>
	</li>
	<li>在虚拟现实中打开课程以进行最终调整。
	<ol>
		<li>通过按下一个控制器上的拇指垫或摇杆进入透明度菜单，隐藏除目标解剖结构之外的所有模型。此时应仅显示动脉瘤模型。</li>
	</ol>
	</li>
	<li>让外科医生或医师进入虚拟现实环境，并给予其一定时间熟悉三维空间、功能操作以及课程中的解剖结构。</li>
	<li>当外科医生对解剖结构感到熟悉后，开始录制。
	<ol>
		<li>通过虚拟现实空间中的虚拟按钮或辅助显示器上的录制按钮，启动录制功能。</li>
		<li>让外科医生旋转目标解剖结构，以寻找前后位（AP）和侧位荧光透视视图的最佳观察角度。在找到理想角度后，请外科医生短暂停顿，并说明已找到理想角度，同时指明当前视角是前后位还是侧位。</li>
		<li>在所有理想角度确定后，通过虚拟现实按钮或外部显示器停止录制。</li>
	</ol>
	</li>
</ol>
4. 在虚拟现实中生成透视路图
<ol>
	<li>使用记录的术者位置获取透视图像模拟图。
	<ol>
		<li>在虚拟空间中，将一张模拟透视图像灰色背景的图像放置于模型后方。使用控制器上的选择按钮（通常为控制器背面的扳机键）根据需要调整图像。这将创建一致的背景颜色，便于观察解剖结构，并更贴近真实的透视成像效果。</li>
		<li>将相机置于术者声明为理想观察角度时的视线方向上，确保相机大致对准目标解剖结构的中心。术者在虚拟现实中将显示为一副悬浮的眼镜和两个控制器。</li>
		<li>在所需位置用相机拍摄一张二维快照。对每个理想角度重复此步骤。</li>
	</ol>
	</li>
	<li>利用术者的动作和量角器获取C型臂角度。
	<ol>
		<li>当术者声明某一理想观察角度时，暂停录制的教学内容。</li>
		<li>点击触摸板以打开快捷菜单，并取消勾选开启/关闭复选框，以显示附着在模型上的量角器。</li>
		<li>使用控制器的抓取按钮选择并调整指针或直边工具，使其与术者的视线方向对齐，并通过量角器的原点。</li>
		<li>后退远离模型，并从对应C型臂运动的正交视角观察角度。</li>
		<li>对于神经外科病例，当患者鼻部在所有C型臂轴向上均朝向0°时，从矢状面和轴面读取前后位（AP）角度；从冠状面和轴面读取侧位角度。在这两种情况下，轴面对应C型臂的左右角度，而矢状面和冠状面对应头侧与尾侧角度。</li>
		<li>对每个理想角度重复上述步骤。</li>
	</ol>
	</li>
</ol>

Virtual Reality-3D Modeling for Minimally Invasive Neuro-Interventional Planning

<ol><li>Xia, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+virtual+reality+surgical+planning+and+simulation+workbench+for+orthognathic+surgery%5BTitle%5D)+AND+%22Int+J+Adult+Orthodon+Orthognath+Surg%22%5BJournal%5D)">Three-dimensional virtual reality surgical planning and simulation workbench for orthognathic surgery.</a> Int J Adult Orthodon Orthognath Surg. 15 (4), 265-282 (2000).</li>
<li>Boedecker, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+virtual+3D-models+in+surgical+planning%3A+workflow+of+an+immersive+virtual+reality+application+in+liver+surgery%5BTitle%5D)+AND+%22Langenbecks+Arch+Surg%22%5BJournal%5D)">Using virtual 3D-models in surgical planning: workflow of an immersive virtual reality application in liver surgery.</a> Langenbecks Arch Surg. 406, 911-915 (2021).</li>
<li>Reitinger, B., Bornik, A., Beichel, R., Schmalstieg, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Liver+surgery+planning+using+virtual+reality%5BTitle%5D)+AND+%22IEEE+Comput+Graph+Appl%22%5BJournal%5D)">Liver surgery planning using virtual reality.</a> IEEE Comput Graph Appl. 26 (6), 36-47 (2006).</li>
<li>Robiony, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+surgical+planning+for+maxillofacial+distraction+osteogenesis%3A+The+role+of+Reverse+Engineering+Rapid+Prototyping+and+cooperative+work%5BTitle%5D)+AND+%22J+Oral+Maxillofacial+Surg%22%5BJournal%5D)">Virtual reality surgical planning for maxillofacial distraction osteogenesis: The role of Reverse Engineering Rapid Prototyping and cooperative work.</a> J Oral Maxillofacial Surg. 65 (6), 1198-1208 (2007).</li>
<li>Xia, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three-dimensional+virtual-reality+surgical+planning+and+soft-tissue+prediction+for+orthognathic+surgery%5BTitle%5D)+AND+%22IEEE+Trans+Info+Tech+Biomed%22%5BJournal%5D)">Three-dimensional virtual-reality surgical planning and soft-tissue prediction for orthognathic surgery.</a> IEEE Trans Info Tech Biomed. 5 (2), 97-107 (2001).</li>
<li>Kim, Y., Kim, H., Kim, Y. O. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+and+augmented+reality+in+plastic+surgery%3A+A+Review%5BTitle%5D)+AND+%22Arch+Plastic+Surg%22%5BJournal%5D)">Virtual reality and augmented reality in plastic surgery: A Review.</a> Arch Plastic Surg. 44 (3), 179-187 (2017).</li>
<li>Ayoub, A., Pulijala, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+application+of+virtual+reality+and+augmented+reality+in+oral+%26+maxillofacial+surgery%5BTitle%5D)+AND+%22BMC+Oral+Health%22%5BJournal%5D)">The application of virtual reality and augmented reality in oral & maxillofacial surgery.</a> BMC Oral Health. 19 (1), 238(2019).</li>
<li>Ulbrich, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advantages+of+a+training+course+for+surgical+planning+in+virtual+reality+for+oral+and+maxillofacial+surgery%3A+Crossover+study%5BTitle%5D)+AND+%22JMIR+Serious+Games%22%5BJournal%5D)">Advantages of a training course for surgical planning in virtual reality for oral and maxillofacial surgery: Crossover study.</a> JMIR Serious Games. 11, e40541(2023).</li>
<li>Lyuksemburg, V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+preoperative+planning+in+complex+surgical+oncology%3A+A+single-center+experience%5BTitle%5D)+AND+%22J+Surg+Res%22%5BJournal%5D)">Virtual reality for preoperative planning in complex surgical oncology: A single-center experience.</a> J Surg Res. 291, 546-556 (2023).</li>
<li>Macario, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((What+does+one+minute+of+operating+room+time+cost%5BTitle%5D)+AND+%22J+Clin+Anesth%22%5BJournal%5D)">What does one minute of operating room time cost.</a> J Clin Anesth. 22 (4), 233-236 (2010).</li>
<li>Bramlet, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+visualization+of+patient+specific+heart+model%5BTitle%5D)+AND+%22J+Cardiovasc+Mag+Res%22%5BJournal%5D)">Virtual reality visualization of patient specific heart model.</a> J Cardiovasc Mag Res. 18 (1), 13(2016).</li>
<li>Guillot, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Relationship+between+spatial+abilities%2C+mental+rotation+and+functional+anatomy+learning%5BTitle%5D)+AND+%22Adv+Health+Sci+Edu%22%5BJournal%5D)">Relationship between spatial abilities, mental rotation and functional anatomy learning.</a> Adv Health Sci Edu. 12 (4), 491-507 (2006).</li>
<li>Juhnke, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Use+of+virtual+reality+for+pre-surgical+planning+in+separation+of+conjoined+twins%3A+A+case+report%5BTitle%5D)+AND+%22Proc+Inst+Mech+Eng+H%22%5BJournal%5D)">Use of virtual reality for pre-surgical planning in separation of conjoined twins: A case report.</a> Proc Inst Mech Eng H. 233 (12), 1327-1332 (2019).</li>
<li>Mattus, M. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Creation+of+patient-specific+silicone+cardiac+models+with+applications+in+pre-surgical+plans+and+hands-on+training%5BTitle%5D)+AND+%22J+Vis+Exp%22%5BJournal%5D)">Creation of patient-specific silicone cardiac models with applications in pre-surgical plans and hands-on training.</a> J Vis Exp. (180), e62805(2022).</li>
<li>Kern, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Angiographic+projections+made+simple%3A+An+easy+guide+to+understanding+oblique+views%5BTitle%5D)+AND+%22Cath+Lab+Digest%22%5BJournal%5D)">Angiographic projections made simple: An easy guide to understanding oblique views.</a> Cath Lab Digest. 19 (8), (2011).</li>
<li>Reinschluessel, A. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+surgical+planning+-+evaluation+based+on+two+liver+tumor+resections%5BTitle%5D)+AND+%22Front+Surg%22%5BJournal%5D)">Virtual reality for surgical planning - evaluation based on two liver tumor resections.</a> Front Surg. 9, 821060(2022).</li>
<li>Tang, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+technology+for+preoperative+planning+and+intraoperative+navigation+during+Hepatobiliary+Surgery%3A+A+review+of+current+methods%5BTitle%5D)+AND+%22Hepatobiliary+Pancreat+Dis+Int%22%5BJournal%5D)">Augmented reality technology for preoperative planning and intraoperative navigation during Hepatobiliary Surgery: A review of current methods.</a> Hepatobiliary Pancreat Dis Int. 17 (2), 101-112 (2018).</li>
<li>Manzie, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+digital+surgical+planning+for+jaw+reconstruction%3A+A+usability+study%5BTitle%5D)+AND+%22ANZ+J+Surg%22%5BJournal%5D)">Virtual reality digital surgical planning for jaw reconstruction: A usability study.</a> ANZ J Surg. 93 (5), 1341-1347 (2023).</li>
<li>Corren, Y. B., et al. CT-based Simulation of Projection Angiography Using the SlicerHeart Virtual Cath Lab [Poster Presentation]. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCorren%2C+YB+%22World+Congress+of+Pediatric+Cardiology+and+Cardiac+Surgery%22">World Congress of Pediatric Cardiology and Cardiac Surgery</a>. , (2023).</li>
</ol>

Matthew Bramlet 是 Enduvo 公司的联合创始人。其余作者声明，他们对本文所述研究不存在任何相关或重大的经济利益。

随着3D打印技术的出现，三维建模已被引入医学工作流程中2,3,4,6,7,9,11，但虚拟现实（VR）使三维技术的应用超越了实体三维对象，拓展出全新的用途。将解剖结构和临床场景在虚拟世界中进行复制的努力，使得针对个体患者的个性化医疗实践成为可能1,2,3,4,9,11,13,16。本研究展示了在数字世界中以极小成本创建新型术前模拟的广阔能力。
在整个所述方案中，有多个步骤对病例的成功至关重要。获得正确的医学影像，是获得适当结果并保证足够分辨率的最重要因素。本方案无需对患者进行额外扫描，而是使用为每一例颅内动脉瘤病例所安排的标准CTA扫描。大多数扫描仪会根据扫描仪型号和医疗机构的协议，将扫描数据存储一段时间，通常扫描获得的薄层切片（厚度通常小于1毫米）不会被长期保存，往往仅保留数天，原因在于存储空间的限制。这些薄层切片能够提供更高的细节分辨率，并包含更微小的解剖结构，例如血管。在完成分割后，必须由医师进行质量控制，以确保后续步骤中生成的3D模型尽可能准确地反映患者的解剖结构。所有模型的质量控制应作为分割流程的一部分，以最大限度减少误差在方案后续步骤中的传播。质量控制包括检查血管边界，并将动脉瘤与周围血管分开进行分割，其方式应类似于使用造影剂后所呈现的影像表现。由医师进行质量控制至关重要，因为医师对模型的准确性负有全部责任，尤其是当这些模型将用于患者治疗方案的进一步决策时。在某些情况下，由医师亲自完成分割步骤可能是可行或更实际的选择。
该实验方案的下一个重要步骤是在整合量角器测量工具的同时保持空间模型的对齐。Blender 在此步骤中被证明是一种极为有用的工具，因为它能够将多种 STL 文件类型合并为一个包含多个图层的综合文件，每个图层在空间上均对齐，并可进行着色或纹理处理以增强清晰度。此外，在此步骤中会添加量角器的 STL 模型，以便在虚拟现实（VR）环境中采集角度数据。该量角器模型是使用计算机辅助设计（CAD）软件 SolidWorks 专门开发的。利用该软件中的高精度尺寸标注工具，在三个轴向上均创建了每 5° 标记一个刻度的弧线。量角器模型还包含十字准线，用于标示模型的精确中心，从而实现与患者解剖结构中心的对齐。模型中还设有一条粗长的基准杆，代表 (0,0) 位置，应与患者的鼻部对齐。需要注意的是，该对齐过程为手动完成，可能增加误差百分比。对齐的准确性至关重要，以确保所有潜在角度测量结果的精确性。一旦模型正确对齐，即可用于虚拟现实环境，在其中记录医生对模型的放置位置，以便后续确定模型所处的角度。在记录过程中，虚拟空间中的所有元素均相互关联地被记录下来，其中最重要的是医生的视角（POV）以及模型的移动和旋转。充分利用该记录功能及暂停功能，可通过医生的视角向量角器模型的十字准线引一条直线，从而以与使用真实量角器极为相似的方式读取测量值。
该方法学确实存在一些局限性。其中一个局限性在于，使用透视成像观察动脉瘤时，并不一定存在唯一正确的方位。这导致了由于观察角度不同而需要进行多次验证尝试。但从另一个角度来看，这一局限性也可能成为潜在优势：随着操作者通过操控三维模型积累更多经验，或许能够比当前在手术室内确定角度的方法找到更优的观察视角。该方案的另一个潜在局限性是，有可能在虚拟现实（VR）中确定出C型臂实际无法达到的观察角度。这一局限性在虚拟现实中可被操作医师识别并加以考虑，以便在将该技术纳入手术规划时做出相应调整。另一个凸显质量控制步骤重要性的局限性在于，在某些情况下，现实中位于动脉瘤远端的血管在透视成像中的显影程度，不如其在虚拟现实模型中那样明显。这可能导致医师在虚拟现实中过度关注某条血管，而该血管在实际操作中本不会构成阻碍，从而导致在虚拟现实中生成了次优的观察角度。在分割过程中，可以对大部分血管及感兴趣区域进行分割；介入医师可选择在不同血管模型之间切换查看，以确保观察角度内不存在额外的血管，而使用造影剂也可进一步降低此类风险。
开发一种三维模型量角器及可在虚拟现实（VR）中提供多轴角度测量的方案具有重要意义，并有望带来广泛的应用前景。其优势可能是多方面的，有望增强建筑、工程、制造和军事等多个行业。然而，正如本方案所示，该技术的真正潜力体现在医疗保健领域，尤其是在患者诊疗的手术规划环节。外科医生可利用此工具在虚拟现实中直接可视化并测量角度，从而细致评估和规划各类手术操作。该技术类似于已报道的用于心脏导管插入术的研究19。术前明确特定角度的直接优势之一，是显著减少在透视成像过程中进行完整360度旋转的需求，而透视成像在动脉瘤修复手术中是一种常用影像技术。通过确定模拟虚拟手术路径所需的角度，外科医生能够更精确地定位设备，从而降低患者所受的辐射暴露。这不仅通过减少辐射暴露相关风险而提升患者安全性，同时也优化了手术流程。由于减少了在透视调整上所花费的时间，手术团队能够更高效地操作，最终缩短手术时长。
在大多数非紧急情况下，3D 建模和虚拟现实技术的最新进展使医务人员能够在手术前深入了解患者的内部解剖结构，从而避免在手术过程中进行临时判断1,2,3,4,6,9,11,13,16。如果时间允许，医务人员应在将患者送入手术室之前，充分利用医学图像分割和虚拟现实诊断技术，以进一步加深对该病例的理解。这最终将有助于更全面地了解每位患者的个体情况，同时缩短手术时间和麻醉时间。

颅内动脉瘤的治疗是神经介入手术中具有挑战性的方面，需要精确的手术规划以确保最佳的患者预后。近年来，虚拟现实（VR）技术已成为增强手术规划的有前景工具，可使外科医生在虚拟三维环境中访问沉浸式、个体化患者的解剖模型1,2,3,4,5,6,7,8。本文介绍了一套完整的操作流程，涵盖医学影像与分割、三维建模、虚拟现实手术规划以及理想化虚拟路径图生成，以辅助动脉瘤治疗的手术规划。
上述步骤的结合最终形成了一种虚拟手术规划方法，使医生能够在手术前沉浸于虚拟环境中，全面了解患者独特的解剖结构。这种沉浸式方法使外科医生能够探索最佳体位并模拟各种手术场景。记录这些场景可为现实手术设备的摆放提供参考，例如C形臂的位置设置。
除了定位角度外，还可以在虚拟环境中使用专为三维空间设计的测量工具来测量解剖结构。这些测量结果可为颅内动脉瘤病例中所需器械的正确尺寸和形状提供参考依据9。
本方案介绍了一个综合性的流程&#160;，该流程无缝整合了医学影像、图像分割、虚拟现实模型制备以及虚拟手术路径生成，以增强手术规划过程。通过结合前沿技术，本方案有助于缩短手术室内的宝贵时间10，同时提升外科医生对复杂手术病例的信心和理解能力11,12,13。

<table><tbody><tr><td>3D Slicer&amp;nbsp;</td><td></td><td>N/A&amp;nbsp;</td><td>开源分割软件&amp;nbsp;</td></tr><tr><td>Blender&amp;nbsp;</td><td></td><td>N/A&amp;nbsp;</td><td>开源的计算机辅助设计（CAD）软件，可导入并编辑通过分割生成的有机模型&amp;nbsp;</td></tr><tr><td>Enduvo&amp;nbsp;</td><td>Enduvo&amp;nbsp;</td><td>N/A&amp;nbsp;</td><td>专有的虚拟现实（VR）查看器，专为教育设计，也是我们首选的VR查看器&amp;nbsp;</td></tr><tr><td>McKesson PACS Change Healthcare Radiology Solution&amp;nbsp;</td><td>McKesson&amp;nbsp;</td><td>N/A&amp;nbsp;</td><td>任何图像归档与通信系统（PACS）均可满足需求，McKesson 仅为我们选用的PACS软件解决方案&amp;nbsp;</td></tr><tr><td>Mimics&amp;nbsp;</td><td>Materialise&amp;nbsp;</td><td>N/A&amp;nbsp;</td><td>分割软件&amp;nbsp;</td></tr><tr><td>Quest&amp;nbsp;</td><td>Oculus&amp;nbsp;</td><td>N/A&amp;nbsp;</td><td>虚拟现实头戴式显示器&amp;nbsp;</td></tr><tr><td>Steam VR&amp;nbsp;</td><td>Steam&amp;nbsp;</td><td>N/A&amp;nbsp;</td><td>用于连接计算机与头显的软件&amp;nbsp;</td></tr><tr><td>支持虚拟现实的计算机&amp;nbsp;</td><td></td><td></td><td>最低配置要求请参见 Steam VR 的系统需求。</td></tr><tr><td>VR-STL-Viewer&amp;nbsp;</td><td>GitHub&amp;nbsp;</td><td>N/A&amp;nbsp;</td><td>一款开源的虚拟现实查看器，能够导入并查看 .stl 文件&amp;nbsp;，可以使用，但我们无法保证本文中提及的所有功能均可实现&amp;nbsp;</td></tr></tbody></table>

利用影像学与虚拟现实技术开创精准手术的患者特异性方法

Pioneering Patient-Specific Approaches for Precision Surgery Using Imaging and Virtual Reality

复杂血管畸形的血管内治疗将开放手术的风险转变为微创血管内介入治疗的优势。过去，复杂的开放手术曾是治疗多种疾病（如肺动脉瓣和主动脉瓣置换以及脑动脉瘤修复）的唯一选择。然而，随着导管输送器械的发展以及操作者技术的进步，这些手术（以及许多其他手术）现在可以通过经中心或外周静脉或动脉的微创介入方式完成。从开放手术转向血管内介入治疗的决策依赖于多模态影像，通常包括三维医学数字成像和通信（DICOM）影像数据集。利用这些三维图像，我们的实验室可生成病理解剖结构的三维模型，从而实现导管室手术前关键步骤的预规划分析，包括C臂位置的确定、三维测量以及理想化路图的生成。本文介绍了如何利用基于患者特异性病理分割出的三维模型来预测通用的C臂位置，如何测量与二维透视投影相关的三维结构的关键二维（2D）参数，以及如何生成二维透视路图类似物，以辅助导管室手术中C臂的准确定位。

按照本方案，可为正位（AP）和侧位透视视图生成虚拟手术路径图。这些路径图通过在虚拟现实（VR）中将摄像机置于外科医生的视角位置，捕捉其理想的正位和侧位视图，同时在目标解剖结构后方设置彩色背景，以更好地模拟透视图像。此时使用VR量角器记录外科医生观察目标解剖结构的角度，该角度记录为右前斜位或左前斜位（RAO/LAO——摄像机分别偏向患者右侧或左侧），以及头位或足位前斜位（CRA/CAA——摄像机分别偏向患者头部或足部方向）15。在开发该流程时，采用了回顾性病例，以便将VR中测得的角度与手术中C形臂设备实际使用角度进行比较。本流程共选取了三个不同的回顾性病例，每个病例均使用了不同的外科器械进行治疗。这三个病例的多样性体现了本方案的广泛适用性。要求外科医生在不参考术中C形臂实际角度的情况下，自行确定其偏好的正位和侧位角度，随后将VR测量结果与这些已有的C形臂位置进行对比。
在病例1中，声明的首选前后位（AP）观察角度在虚拟现实（VR）中测量为16°头侧倾斜角（CRA）、12°右前斜角（RAO）。该病例手术中实际使用角度为11° CRA和13° RAO。这些测量值之间的最大误差为颅尾轴方向5°。图2A显示了外科医生在虚拟现实中声明的AP视图，随后是图2B，显示了在虚拟现实中观察到的手术实际使用角度，以及图2C，显示了术中透视图像。比较这三幅图像可见，在相同角度下，虚拟现实图像与实际的透视图像极为相似。
由于三维模型未得到充分审查，同一病例的侧位视图展示了该流程中的诸多挑战之一。由于审查存在缺陷，部分无关血管被错误地分割出来，据外科医生所述，这些血管在虚拟现实（VR）中遮挡了动脉瘤的视野，且与目标解剖结构无关联，因此在VR中未能准确呈现。这些差异源于在与医生进行质量控制会话时，对所需目标解剖结构的沟通不充分。这些差异可见于图2D-F，从左至右分别为外科医生声明的侧位视图、基于术中荧光透视角度生成的VR图像，以及实际的荧光透视图像。除无关血管外，尽管冠状面和轴状面的测量值分别偏差6°和26°，外科医生声明的正位（AP）视图仍与实际荧光透视图像高度相似。如图2E所示，在VR中复制实际测量角度所获得的视图，与图2F右侧显示的真实荧光透视图像也十分接近，主要差异仍为异常的额外血管。本病例采用了可靠性较低的手动量角器放置方法，这可能是测量值存在轻微偏差的原因。后续病例将使用与解剖结构绑定的量角器，以确保在VR中获取角度测量的最大准确性。
在病例2和病例3中，虚拟现实（VR）中选定为最佳的视角并不能代表实际手术中所使用的视角。这是由于VR模型的初始放置基于一项盲法研究所致。需要强调的是，外科医生指出，透视手术可能存在多个可接受的治疗角度，且并不一定存在唯一正确的角度。为了进行比较，VR中的图像均根据报告的手术角度进行采集。 图3 显示VR-AP位视图 图3A 以及手术中前后位（AP）视图 图3B. 在 图3，可在侧位视图之间进行类似的比较 图3C，D 对于病例2。对于病例3， 图4 显示前后（AP）比较 图 4A，B以及横向比较 图4C，D这些病例的VR图像与透视图像之间的相似性进一步证明了VR可用于手术规划。
本方案的一个重要优势是通过在虚拟现实（VR）环境中利用三维模型来改进手术规划。此前一项关于VR在复杂肿瘤病例手术规划中有效性的研究表明，大约50%使用VR的病例改变了原本仅基于二维数据集制定的手术方案9。VR在肝肿瘤切除术的手术规划过程中也已被证明具有实用价值16,17，同样适用于涉及头颈部病变的手术操作18。参与本方案制定的外科医生表示：“在VR中，我能清晰地观察[解剖结构]，这充分体现了VR在血管内神经外科应用中的优势。”
<img alt="使用分割技术进行CT扫描分析、解剖结构可视化及医学影像软件界面。" class="xfigimg" src="/files/ftp_upload/66227/66227fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：分割软件界面截图。 该截图显示了基于掩膜（Masks）高亮显示的解剖结构。<a href="https://www.jove.com/files/ftp_upload/66227/66227fig01large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="脑动脉瘤成像；3D模型与血管造影；形态学分析，临床研究。" class="xfigimg" src="/files/ftp_upload/66227/66227fig02.jpg" data-altupdatedat="1788304762000" data-alt="图2"> 
图2：病例1。（A） 病例1在虚拟现实（VR）中由手术医生定位后的前后位视图。（B） 基于术中角度测量数据生成的病例1在虚拟现实（VR）中的前后位视图。（C） 术中采集的病例1前后位透视图像。（D） 病例1在虚拟现实（VR）中由手术医生定位后的侧位视图。（E） 基于术中角度测量数据生成的病例1在虚拟现实（VR）中的侧位视图。（F） 术中采集的病例1侧位透视图像。<a href="https://www.jove.com/files/ftp_upload/66227/66227fig02large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="脑血管系统3D模型与血管造影；右侧脑动脉成像示意图。" class="xfigimg" src="/files/ftp_upload/66227/66227fig03.jpg" data-altupdatedat="1788304762000" data-alt="Figure 3"> 
图3：病例2。 (A) 基于术中角度测量结果生成的病例2虚拟现实（VR）前后位视图。(B) 术中采集的病例2前后位透视图像。(C) 基于术中角度测量结果生成的病例2虚拟现实（VR）侧位视图。(D) 术中采集的病例2侧位透视图像。<a href="https://www.jove.com/files/ftp_upload/66227/66227fig03large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
<img alt="显示脑血管结构及动脉瘤栓塞的脑血管造影；医学影像分析。" class="xfigimg" src="/files/ftp_upload/66227/66227fig04.jpg" data-altupdatedat="1788304762000" data-alt="Figure 4"> 
图4：病例3。 (A) 基于术中角度测量结果生成的病例3在虚拟现实（VR）中的前后位视图。(B) 术中采集的病例3前后位X线透视图像。(C) 基于术中角度测量结果生成的病例3在虚拟现实（VR）中的侧位视图。(D) 术中采集的病例3侧位X线透视图像。<a href="https://www.jove.com/files/ftp_upload/66227/66227fig04large.jpg" target="_blank">请点击此处查看该图的高清版本。</a>
补充文件 1： 开发并使用了一个量角器的三维模型，并以 STL 文件格式用于本实验方案。<a href="https://www.jove.com/files/ftp_upload/66227/protractors.zip" target="_blank">请点击此处下载该文件。</a>

血管内治疗技术的进步已用微创治疗方式取代了复杂的开放性外科手术，例如瓣膜置换和动脉瘤修复。本文提出利用三维（3D）建模和虚拟现实技术，辅助神经介入导管室手术规划中的C形臂定位、角度测量和路径图生成，以缩短手术时间。

复杂血管畸形的血管内治疗将开放手术的风险转变为微创血管内治疗的优势……

本项回顾性病例研究的目的是验证在虚拟现实环境中使用量角器的准确性。这是一项盲法研究，将外科医生在虚拟现实中的操作位置与手术中的实际定位进行比较。目前，为了治疗和手术规划，需要在手术开始时获取三维旋转血管造影图像，以实现对脑动脉瘤及其他颅内血管畸形的最佳可视化。这会使患者暴露于辐射，并延长手术时间。在虚拟现实中进行分割可增强外科医生的信心，并加深对复杂手术病例的理解。人体存在于三维空间中，因此以三维空间观察比观察二维CT或MRI更能准确反映病理解剖结构。这些发现对研究和医学具有影响，可缩短术中确定成像设备角度所需的规划时间。目前，患者必须接受360度旋转扫描，以确定C型臂的位置。我们相信，通过在手术前提供C型臂定位建议，能够减少患者镇静时间和辐射暴露。分割是指从医学图像中重建患者特异性解剖结构的三维模型的过程。这是最关键的一步，但在软件需求和人力专业知识方面都耗费大量资源。因此，我们的主要研究重点是利用机器学习技术实现分割的自动化，以降低大规模部署该技术的门槛。首先，获取三维医学数字成像和通信（DICOM）数据集，并将其导入分割软件中。为了创建目标解剖结构的粗略掩膜，请转到“Segment”选项卡，选择“New Mask Tool”。通过点击并拖动来设置上下阈值边界，以尽可能包含相关的目标解剖结构。或者，输入所需的亨氏单位（Hounsfield unit）数值，然后点击“OK”以完成粗略掩膜的创建。在“片段”选项卡中，选择“区域生长”以分离出与目标体素直接相连的所有掩膜体素，并通过2D和3D窗口使用“编辑掩膜”功能添加或删除体素。利用“多层面编辑”功能，通过较远层面之间的插值来添加或删除体素，并依次使用“智能填充”和“填充孔洞”功能，以填补掩膜内指定大小的孔洞。在医生确认3D模型的准确性后，将获得的掩膜转换为3D部件，最后将其导出为stl文件。通过 FileImport.stl 导入所有解剖文件。使用移动和旋转工具，将解剖结构与世界坐标原点对齐。在将患者鼻部与包含耳部和颅顶的垂直轴对齐后，从 Blender 界面右上角小部件中激活正交视图。为了在虚拟现实中获取C型臂的角度，请导入量角器的.stl文件。为便于测量，将量角器缩放到较小尺寸，并将其放置在动脉瘤外部附近。将量角器的0度与患者鼻部对齐，并使量角器臂上的缺口朝向患者足部，然后导出为glb格式。首先，准备患者特异性的解剖分段结构及虚拟现实（VR）模型。在课程创建菜单中导入最终模型的gltf文件，弹出提示说明该文件类型未完全支持时，点击确认。按下操纵杆向下键后，进入透明度菜单，隐藏除目标动脉瘤解剖结构外的所有模型。将医生定位至虚拟现实环境中，并使其熟悉解剖课程内容。在虚拟现实空间中开始录制，让外科医生旋转目标解剖结构，以确定前后位和侧位透视的最佳观察角度。然后按下停止按钮。在虚拟空间中，将一张模拟荧光透视图像背景的图片放置在模型后方。在虚拟现实（VR）中，外科医生将显示为一副悬浮的眼镜和两个控制器。将相机位置调整至与外科医生的视线对齐，大致对准目标解剖结构的中心。然后在所需位置捕获二维快照，并对每个优选角度重复此操作。为获取C形臂角度，当外科医生声明优选观察角度时，暂停录制的课程。单击回溯以打开快捷菜单，然后选中量角器开启/关闭复选框。使用控制器的“抓取”按钮，选择并调整一个指针或直边，使其与外科医生的视角对齐，并穿过量角器的原点。后退远离模型，从对应于C形臂运动的正交视角观察角度。从矢状面和轴状面获取前后角度，然后从冠状面和轴状面获取侧方角度。轴向平面与C形臂的左右角度相对应，而矢状面和冠状面则与头侧和尾侧角度相对应。在虚拟现实（VR）中由外科医生确定的前后角度与手术过程中实际测量的角度以及真实的术中透视图像角度相似；然而，在同一病例的侧位视图中观察到了差异。

pioneering-patient-specific-approaches-for-precision-surgery-using

Research

科研

JoVE Journal

Medicine

医学

开创性地使用成像和虚拟现实进行精准手术的患者特定方法

本文介绍了一种利用3D打印参考标记设计增强现实智能手机应用程序的方法，用于可视化患者的解剖学三维模型。...

结合增强现实与3D打印技术在智能手机上显示患者模型

本方案描述了使用三维规划和打印技术修复骨缺损的方法。我们利用分割工具创建三维模型，随后使用三维设计软件为消融手术同期或二期修复手术设计患者特异性植入物。...

用于骨缺损重建的患者特异性植入物的三维规划与打印

通过遵循一种新型工作流程，将增强现实头戴式显示器 Magic Leap 与传统导航系统结合使用，在猪模型中置入椎弓根螺钉。根据 Gertzbein 标准，螺钉置入的中位时间为 &lt;2.5 分钟，技术精度达到亚毫米级，临床准确率达到...

使用增强现实头戴式显示器在猪模型中进行椎弓根螺钉置入

遥操作机器人辅助经皮髂骨-骶骨螺钉固定术是一种可行的技术。由于机器人手臂具有优异的运动自由度和稳定性，螺钉通道可实现高精度置入。...

一种远程操作机器人辅助经髂骨-经骶骨螺钉固定技术

提出了一种用于癌症切除标本三维扫描和虚拟建模的新方法，旨在改善多学科癌症诊疗团队之间的沟通。...

利用3D扫描与成像技术增强肿瘤边界信息的传递

活体显微镜的发现向临床转化面临的主要挑战是其对组织的穿透深度较浅。本文介绍了一种小鼠背部窗口腔模型，该模型可实现活体显微镜与临床适用的成像方式（如CT、MRI）的共同配准，从而进行直接的空间关联分析，有望加速活体显微镜发现成果的临床转化。...

用于转化癌症研究中活体显微成像与磁共振成像联合应用的背侧皮肤折叠窗室肿瘤小鼠模型

本文介绍了基于增强现实（AR）三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作，实现远程手术，使其如同在近距离进行手术操作一般。...

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

根治性内镜甲状腺切除术可能伴随多种手术并发症。本研究采用混合现实技术辅助外科医生实施根治性内镜甲状腺切除术，旨在提高手术安全性并降低手术操作门槛。...

混合现实辅助的根治性内镜甲状腺切除术

本方案提供了在自由移动的模型（例如器官）上实施红外标记跟踪以及利用增强现实进行全息可视化的操作指南。此外，还概述了使用电磁跟踪技术在自由移动模型上对全息导航系统进行临床前验证的实验设置。...

全息头戴式显示器结合红外追踪软组织导航的技术方法及临床前验证

我们介绍了使用自主设计的软件进行癫痫手术中图像整合、可视化和手术规划的步骤。...

癫痫手术中三维多模态影像整合与计算机辅助规划的流程

探索利用虚拟现实和三维建模技术优化神经介入手术的方法。本研究通过自动化分割和精准C臂定位，有效降低患者辐射暴露并缩短手术时间，为神经外科手术规划提供创新解决方案。

利用影像学与虚拟现实技术开创精准手术的患者特异性方法

探索更多视频