Name: 结合增强现实和 3D 打印，在智能手机上显示患者模型 (视频) | JoVE Journal
Uploaded: 2020-01-02T13:00:00.000+00:00
Duration: 9 min 26 s
Description: 学习使用增强现实和3D打印技术，在智能手机上可视化患者解剖模型。该方法通过3D Slicer进行医学图像分割，结合Unity引擎开发应用程序，无需医学影像或软件开发经验即可实现患者解剖结构的有效可视化。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本报告由项目 PI18/01625 和 PI15/02121（西班牙科学、创新与大学部，卡洛斯三世健康研究所及欧洲区域发展基金“一种建设欧洲的方式”）以及 IND2018/TIC-9753（马德里自治区）资助。

本研究遵循2013年修订的1964年《赫尔辛基宣言》的原则。本文所使用的匿名患者数据和图片，均在获得受试者和/或其法定代理人签署的书面知情同意后使用，其中受试者已同意将此类数据用于包括科学出版物在内的传播活动。
1. 用于分割、三维模型提取、定位及增强现实应用程序部署的工作站设置
注意：本实验方案已使用每种工具指定的特定软件版本进行测试。虽然较新版本的软件可能同样适用，但无法保证兼容性。
<ol>
	<li>使用配备 Microsoft Windows 10 或 Mac OS 操作系统的计算机。</li>
	<li>根据官方网站的说明，从以下网站安装相应工具： 
	3D Slicer（版本 4.10.2）：<a href="https://download.slicer.org/" target="_blank">https://download.slicer.org/</a>。 
	Meshmixer（版本 3.5）：<a href="http://www.meshmixer.com/download.html" target="_blank">http://www.meshmixer.com/download.html</a>。 
	Unity（版本 2019）：<a href="https://unity3d.com/get-unity/download" target="_blank">https://unity3d.com/get-unity/download</a>。 
	（仅限 iOS 部署）Xcode（最新版本）：<a href="https://developer.apple.com/xcode/" target="_blank">https://developer.apple.com/xcode/</a>。 
	注意：完成本实验方案所需的所有软件工具均可免费下载用于个人用途。每个步骤中将具体说明所使用的软件。</li>
	<li>从以下 GitHub 仓库下载数据，地址为 <a href="https://github.com/BIIG-UC3M/OpenARHealth" target="_blank">https://github.com/BIIG-UC3M/OpenARHealth</a>。 
	注意：该仓库包含以下文件夹： 
	“/3DSlicerModule/”：用于将三维模型相对于3D打印标记进行定位的3D Slicer模块。在第3节中使用。请按照 <a href="https://github.com/BIIG-UC3M/OpenARHealth" target="_blank">https://github.com/BIIG-UC3M/OpenARHealth</a> 上提供的说明将该模块添加到3D Slicer中。 
	“/Data/PatientData/Patient000_CT.nrrd”：一名患有远端腿部肉瘤患者的CT图像。本实验方案以该图像为例进行描述。 
	“/Data/Biomodels/”：患者的三维模型（骨骼和肿瘤）。 
	“/Data/Markers/”：将被3D打印的标记，AR应用程序将通过检测这些标记来定位虚拟三维模型。共有两种标记可供使用。</li>
</ol>
2. 生物模型构建
注意：本节的目标是创建患者解剖结构的三维模型。这些模型将通过对医学图像（此处使用CT图像）应用分割方法获得。该过程包括三个不同步骤：1）将患者数据导入3D Slicer软件，2）目标解剖结构的体积分割，3）以OBJ格式导出分割结果为三维模型。最终生成的三维模型将在增强现实（AR）应用中进行可视化。
<ol>
	<li>通过将医学图像文件拖入 3D Slicer 软件窗口，加载患者数据（“/Data/PatientData/Patient000_CT.nrrd”）。点击 OK。CT 图像（轴向、矢状向、冠状向）将显示在相应的窗口中。 
	注意：此处使用的数据为“近似原始光栅数据”（NRRD）格式，但 3D Slicer 也支持医学图像格式（DICOM）文件的加载。如需进一步操作说明，请访问以下链接：<a href="https://www.slicer.org/wiki/Documentation/4.10/Training" target="_blank">https://www.slicer.org/wiki/Documentation/4.10/Training</a>。</li>
	<li>为分割患者解剖结构，请进入 3D Slicer 中的 Segment Editor 模块。
	<ol>
		<li>进入该模块时会自动创建一个“分割”项目。在 Master Volume 区域中选择目标容积（即患者的医学图像）。然后，在下方的 Add 按钮上单击右键以创建一个分割段，系统将生成一个名为“Segment_1”的新分割段。</li>
		<li>存在一个名为 Effects 的面板，其中包含多种工具，可用于准确分割医学图像中的目标区域。选择最适合目标区域的工具，并在图像窗口区域进行分割操作。
		<ol>
			<li>为分割骨骼（本例中为胫骨和腓骨），使用 Threshold 工具设置 CT 图像中对应骨组织的最小与最大 HU 值。使用此工具可去除 HU 值超出该阈值范围的其他成分，例如软组织。</li>
			<li>使用 Scissors 工具去除分割掩膜中的非目标区域，例如床板或其他解剖结构。由于肿瘤难以通过自动工具精确勾画，需使用 Draw 和 Erase 工具手动分割肉瘤。 
			注意：如需了解有关分割流程的更多细节，请访问以下链接：<a href="https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation" target="_blank">https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation</a>。</li>
		</ol>
		</li>
		<li>点击 Show 3D 按钮，以查看分割结果的三维重建图像。</li>
	</ol>
	</li>
	<li>通过进入 3D Slicer 中的 Segmentations 模块，将分割结果导出为三维模型文件格式。
	<ol>
		<li>进入 Export/import models and labelmaps 区域。在操作类型中选择 Export，在输出类型中选择 Models，然后点击 Export 完成操作，从分割区域生成三维模型。</li>
		<li>点击左上角的 SAVE 以保存模型，选择需要保存的元素。随后，在 File format 列中将三维模型的文件格式更改为“OBJ”。选择文件存储路径，然后点击 Save。</li>
	</ol>
	</li>
	<li>重复步骤 2.2 和 2.3，以创建其他不同解剖区域的三维模型。 
	注意：示例中提供的预分割模型可在中国台湾下载的数据中找到（步骤 1.3 中已下载：“/Data/Biomodels/”）。</li>
</ol>
3. 生物模型定位
注意：在本节中，将对第 2 节创建的 3D 模型相对于标记进行定位，以实现增强现实可视化。此任务将使用 3D Slicer 中的 ARHealth: Model Position 模块。请按照步骤 1.3 中提供的说明将该模块添加到 3D Slicer 中。定位 3D 模型有两种不同方式：“可视化”模式和“配准”模式。
<ol>
	<li>可视化模式 
	注意：可视化模式允许将三维患者模型相对于增强现实（AR）标记放置在任意位置。使用此选项时，用户可通过AR应用程序，以3D打印的AR标记为参考来可视化生物模型。当不需要精确定位时可使用此模式，虚拟模型可在智能手机摄像头视野范围内的任意位置显示，只要同时可见标记即可。
	<ol>
		<li>进入 ARHealth：模型定位 模块，在初始化部分选择 可视化 模式。点击 加载标记模型 按钮以加载该选项对应的标记。</li>
		<li>通过点击 … 按钮选择第2节中保存的模型路径，加载第2节创建的三维模型。然后点击 加载模型 按钮将其载入3D Slicer。模型需逐个加载。如需删除先前加载的模型，可先选中该模型，再点击 移除模型 按钮；或点击 全部移除 一次性删除所有已加载模型。</li>
		<li>点击 完成并居中 按钮，使所有模型相对于标记居中对齐。</li>
		<li>可通过不同的滑动条（即平移、旋转、缩放）调整三维模型相对于标记的位置、方向和比例。 
		注意：另设有“重置位置”按钮，用于在修改前将模型恢复至原始位置。</li>
		<li>选择文件保存路径后，点击 保存模型 按钮以保存当前状态下的模型。三维模型将以 "_registered.obj" 作为扩展名保存。</li>
	</ol>
	</li>
	<li>配准模式 
	注意：配准模式允许将AR标记与一个三维生物模型在任意期望位置进行组合。随后，可提取包含AR标记的组合三维模型的任意部分并进行3D打印。在AR应用程序中，所有生物模型将以该组合式3D打印模型作为参考进行显示。此模式使用户能够利用参考标记，便捷地完成患者（此处为患者骨骼的某一部分）与虚拟模型之间的配准。
	<ol>
		<li>进入 ARHealth：模型定位 模块，在初始化部分选择 配准 模式。点击 加载标记模型 按钮以加载该选项对应的标记。</li>
		<li>按照步骤3.1.2的方法加载模型。</li>
		<li>移动三维模型，确保其与立方体标记的支撑结构相交，因为这些模型后续将被合并并进行3D打印。标记底座的高度可进行调整。可通过不同的滑动条（即平移、旋转、缩放）调整三维模型相对于标记的位置、方向和比例。</li>
		<li>选择文件保存路径后，点击 保存模型 按钮以保存当前状态下的模型。三维模型将以 "_registered.obj" 作为扩展名保存。</li>
		<li>解剖结构模型可能过大。若如此，可在Meshmixer软件中围绕标记适配器对三维模型进行切割，仅对两模型的组合部分中的一段进行3D打印。</li>
		<li>打开Meshmixer，加载步骤3.2.4中保存的生物模型及立方体标记的支撑结构模型。在 对象浏览器 窗口中同时选中这两个模型，然后点击左上角刚出现的工具窗口中的 合并 选项，将模型合并。</li>
		<li>在Meshmixer中，使用 编辑 菜单下的 平面切割 工具，移除不需3D打印的模型部分。</li>
		<li>为保存待打印模型，请进入 文件 &#62; 导出，并选择所需格式。</li>
	</ol>
	</li>
</ol>
4. 3D 打印
注意：此步骤的目的是为最终的增强现实（AR）应用3D打印所需的物理模型。应用程序需检测的标记以及所需的不同物体取决于第3节中选择的模式。在满足各步骤所要求的颜色和材料条件的前提下，本研究可使用任何材料进行3D打印。聚乳酸（PLA）或丙烯腈-丁二烯-苯乙烯共聚物（ABS）均为合适的选择。
<ol>
	<li>使用3D打印机打印立方体标记。如果无法获得双挤出头3D打印机，请跳至步骤4.2。若使用双挤出头3D打印机，请专门用于打印“Data/Markers/Marker1_TwoColorCubeMarker/”中提供的双色标记。在3D打印软件中，为文件“TwoColorCubeMarker_WHITE.obj”选择白色材料，为“TwoColorCubeMarker_BLACK.obj”选择黑色材料。 
	注意：为提高标记检测效果，建议以高质量模式打印，并采用较小的层高。</li>
	<li>若无法获得双挤出头3D打印机且未执行步骤4.1，则按以下方式执行本步骤，通过贴纸方式替代制作带贴纸的3D打印标记：
	<ol>
		<li>使用3D打印机以白色材料打印文件“Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj”。</li>
		<li>使用普通打印机将文件“Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf”打印至贴纸纸张上，然后使用任意切割工具沿黑色边框精确裁剪图像，去除黑色线条。 
		注意：建议使用贴纸纸张以获得更高品质的标记。但也可将图像打印在普通纸张上，并使用普通胶棒将图像粘贴至立方体表面。</li>
		<li>按照文档“Data/Markers/ Marker2_StickerCubeMarker/Stickers.pdf”中的说明，将贴纸按相应顺序粘贴至步骤4.2.1中获得的3D打印立方体上。 
		注意：贴纸尺寸小于立方体面。贴纸与立方体面边缘之间应保留1.5 mm的边框。“Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl”可进行3D打印，用于引导贴纸定位，使其精确对准立方体面的中心。</li>
	</ol>
	</li>
	<li>根据第3节所选模式，3D打印相应的适配器。
	<ol>
		<li>若选择了可视化模式（第3.1节），请3D打印“Data/3DPrinting/Option1/ MarkerBaseTable.obj”，该基座适配器用于将标记垂直放置于水平表面上。</li>
		<li>若选择了配准模式（第3.2节），请3D打印在步骤3.2.8中创建的、已连接标记适配器的模型。</li>
	</ol>
	</li>
</ol>
注意：步骤 4.3 中的 3D 打印物体可使用任意颜色的材料进行打印。
5. AR 应用部署
注意：本节的目标是在 Unity 引擎中设计一款智能手机应用程序，该程序包含之前章节创建的 3D 模型，并将此应用程序部署到智能手机上。此步骤需要一个 Vuforia 开发许可证密钥（个人使用免费）。该应用程序可部署在 Android 或 iOS 设备上。
<ol>
	<li>创建一个 Vuforia 开发者账户，以获取在 Unity 中使用其库的许可证密钥。访问 <a href="https://developer.vuforia.com/vui/auth/register" target="_blank">https://developer.vuforia.com/vui/auth/register</a> 上的链接并创建账户。
	<ol>
		<li>访问 <a href="https://developer.vuforia.com/vui/develop/Licenses" target="_blank">https://developer.vuforia.com/vui/develop/Licenses</a> 上的链接，选择 获取开发密钥，然后按照说明将一个免费的开发许可证密钥添加到用户的账户中。</li>
		<li>在 许可证管理器 菜单中，选择上一步创建的密钥，并复制提供的密钥，该密钥将在步骤 5.3.3 中使用。</li>
	</ol>
	</li>
	<li>设置智能手机。
	<ol>
		<li>若要开始使用 Unity 和 Android 设备，请访问 <a href="https://docs.unity3d.com/Manual/android-GettingStarted.html" target="_blank">https://docs.unity3d.com/Manual/android-GettingStarted.html</a> 上的链接。</li>
		<li>若要开始使用 Unity 和 iOS 设备，请访问 <a href="https://docs.unity3d.com/Manual/iphone-GettingStarted.html" target="_blank">https://docs.unity3d.com/Manual/iphone-GettingStarted.html</a> 上的链接。</li>
	</ol>
	</li>
	<li>通过首先打开 Unity v.2019 并创建一个新的 3D 项目，来为 AR 应用设置 Unity 项目。然后，在 文件 菜单下的 构建设置 中，将平台切换为 Android 或 iOS 设备。
	<ol>
		<li>通过选择 编辑 &#62; 项目设置 &#62; 播放器设置 &#62; XR 设置，并勾选标有 Vuforia 增强现实支持 的复选框，将 Vuforia 启用到项目中。</li>
		<li>在 菜单栏 &#62; 游戏对象 &#62; Vuforia Engine &#62; ARCamera 下创建一个“ARCamera”，并在提示时导入 Vuforia 组件。</li>
		<li>通过选择 Resources 文件夹并点击 Vuforia Configuration，将 Vuforia 许可证密钥添加到 Vuforia 配置设置中。然后，在 应用程序许可证密钥 部分粘贴在第 5.1.2 节中复制的密钥。</li>
		<li>将提供的 Vuforia 目标文件“/Data/Vuforia/ AR_Cube_3x3x3.unitypackage”导入 Unity，该文件包含 Vuforia 检测第 4 节所述标记所需的文件。</li>
		<li>在 菜单栏 &#62; 游戏对象 &#62; Vuforia Engine &#62; 多图像 下创建一个 Vuforia 多目标（MultiTarget）。</li>
		<li>点击上一步创建的多目标，选择将用于检测的标记类型。在 多目标行为 下的 数据库 选项中，选择 ARHealth_3DPrintedCube_30x30x30。在 多目标行为 下的 多目标 选项中，根据第 4 节中创建的标记，选择 TwoColorCubeMarker 或 StickerCubeMarker。</li>
		<li>通过在“Resources”文件夹下创建一个名为“Models”的新文件夹，将第 3 节中创建的 3D 模型加载到 Unity 场景的 MultiTarget 中。将 3D 模型拖入此文件夹。在 Unity 中加载后，将它们拖到第 5.3.5 步创建的“MultiTarget”项目下。这将使它们依赖于该标记。 
		注意：模型应在 Unity 3D 视图场景中可见。</li>
		<li>通过创建新材质并将新材质分配给模型来更改 3D 模型的颜色。
		<ol>
			<li>通过转到 菜单栏 &#62; 资源 &#62; 创建 &#62; 材质，在“Resources”文件夹下创建一个名为“Materials”的新文件夹。选择该材质并在配置部分更改颜色。然后，将文件拖到 3D 模型层级结构下。</li>
		</ol>
		</li>
		<li>可选：如果有网络摄像头可用，可点击位于上方中间位置的播放按钮，在计算机上测试其应用。如果标记对网络摄像头可见，则应被检测到，且 3D 模型应在场景中出现。</li>
		<li>如果使用 Android 智能手机进行应用部署，请在 Unity 中转到 文件 &#62; 构建设置，并从列表中选择已连接的手机。选择 部署并运行。将文件以 .apk 扩展名保存在计算机上，并允许过程完成。部署完成后，应用应已安装在手机上并可运行。 
		注意：本方案已在 Android v.8.0 Oreo 或更高版本上测试过。对于较早版本，无法保证正常功能。</li>
		<li>如果应用将部署在 iOS 设备上，请在 Unity 中转到 文件 &#62; 构建设置 并选择 运行。选择保存应用文件的路径。允许过程完成。前往保存的文件夹，打开扩展名为“.projectxcode”的文件。
		<ol>
			<li>在 Xcode 中，按照第 5.2.2 步的说明完成部署。 
			注意：有关 Unity 中 Vuforia 的更多信息，请访问 <a href="https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html" target="_blank">https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html</a> 上的链接。</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>
6. 应用可视化
<ol>
	<li>打开已安装的应用程序，该程序将调用智能手机的摄像头。运行应用程序时，需用摄像头从较短距离（至少40 cm）对准标记物。一旦应用程序检测到标记物，此前步骤中创建的3D模型应精确显示在智能手机屏幕上的预设位置。 
	注意：光照条件可能影响标记物识别的准确性。建议在光照良好的环境中使用该应用程序。</li>
</ol>

<ol><li>Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Integrating+Haptics+with+Augmented+Reality+in+a+Femoral+Palpation+and+Needle+Insertion+Training+Simulation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Haptics%22%5BJournal%5D)">Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation.</a> IEEE Transactions on Haptics. 4 (3), 199-209 (2011).</li>
<li>Pelargos, P. E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+virtual+and+augmented+reality+for+educational+and+clinical+enhancements+in+neurosurgery%5BTitle%5D)+AND+%22Journal+of+Clinical+Neuroscience%22%5BJournal%5D)">Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery.</a> Journal of Clinical Neuroscience. 35, 1-4 (2017).</li>
<li>Abhari, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Training+for+Planning+Tumour+Resection%3A+Augmented+Reality+and+Human+Factors%5BTitle%5D)+AND+%22IEEE+Transactions+on+Biomedical+Engineering%22%5BJournal%5D)">Training for Planning Tumour Resection: Augmented Reality and Human Factors.</a> IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).</li>
<li>Uppot, R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Implementing+Virtual+and+Augmented+Reality+Tools+for+Radiology+Education+and+Training%2C+Communication%2C+and+Clinical+Care%5BTitle%5D)+AND+%22Radiology%22%5BJournal%5D)">Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care.</a> Radiology. 291, 182210(2019).</li>
<li>Pratt, P., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Through+the+HoloLensTM+looking+glass%3A+augmented+reality+for+extremity+reconstruction+surgery+using+3D+vascular+models+with+perforating+vessels%5BTitle%5D)+AND+%22European+Radiology+Experimental%22%5BJournal%5D)">Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels.</a> European Radiology Experimental. 2 (1), 2(2018).</li>
<li>Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Development+of+augmented-reality+applications+in+otolaryngology-head+and+neck+surgery%5BTitle%5D)+AND+%22The+Laryngoscope%22%5BJournal%5D)">Development of augmented-reality applications in otolaryngology-head and neck surgery.</a> The Laryngoscope. , (2019).</li>
<li>Zhou, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Robot-Assisted+Surgery+for+Mandibular+Angle+Split+Osteotomy+Using+Augmented+Reality%3A+Preliminary+Results+on+Clinical+Animal+Experiment%5BTitle%5D)+AND+%22Aesthetic+Plastic+Surgery%22%5BJournal%5D)">Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment.</a> Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).</li>
<li>Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparison+of+Projective+Augmented+Reality+Concepts+to+Support+Medical+Needle+Insertion%5BTitle%5D)+AND+%22IEEE+Transactions+on+Visualization+and+Computer+Graphics%22%5BJournal%5D)">Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion.</a> IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1(2019).</li>
<li>Deng, W., Li, F., Wang, M., Song, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Easy-to-Use+Augmented+Reality+Neuronavigation+Using+a+Wireless+Tablet+PC%5BTitle%5D)+AND+%22Stereotactic+and+Functional+Neurosurgery%22%5BJournal%5D)">Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC.</a> Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).</li>
<li>Fan, Z., Weng, Y., Chen, G., Liao, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+interactive+surgical+visualization+system+using+mobile+spatial+information+acquisition+and+autostereoscopic+display%5BTitle%5D)+AND+%22Journal+of+Biomedical+Informatics%22%5BJournal%5D)">3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display.</a> Journal of Biomedical Informatics. 71, 154-164 (2017).</li>
<li>Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Three+dimensional-printed+patient-specific+cutting+guides+for+femoral+varization+osteotomy%3A+Do+it+yourself%5BTitle%5D)+AND+%22The+Knee%22%5BJournal%5D)">Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself.</a> The Knee. 24 (6), 1359-1368 (2017).</li>
<li>Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3D+patient-specific+surgical+printing+cutting+blocks+guides+and+spacers+for+open-+wedge+high+tibial+osteotomy+%28HTO%29+-+do+it+yourself%5BTitle%5D)+AND+%22Revue+de+Chirurgie+Orthop%C3%A9dique+et+Traumatologique%22%5BJournal%5D)">3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself.</a> Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131(2016).</li>
<li>De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Low-cost+customized+cranioplasty+using+a+3D+digital+printing+model%3A+a+case+report%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Low-cost customized cranioplasty using a 3D digital printing model: a case report.</a> 3D Printing in Medicine. 4 (1), 1-9 (2018).</li>
<li>Kamio, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Utilizing+a+low-cost+desktop+3D+printer+to+develop+a+%22one-stop+3D+printing+lab%22+for+oral+and+maxillofacial+surgery+and+dentistry+fields%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields.</a> 3D Printing in Medicine. 4 (1), 1-7 (2018).</li>
<li>Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+3D+models+in+orthopedic+oncology%3A+presenting+personalized+advantages+in+surgical+planning+and+intraoperative+outcomes%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes.</a> 3D Printing in Medicine. 4 (1), 1-13 (2018).</li>
<li>Wake, N., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Patient-specific+3D+printed+and+augmented+reality+kidney+and+prostate+cancer+models%3A+impact+on+patient+education%5BTitle%5D)+AND+%223D+Printing+in+Medicine%22%5BJournal%5D)">Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education.</a> 3D Printing in Medicine. 5 (1), 1-8 (2019).</li>
<li>Barber, S. R., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality%2C+Surgical+Navigation%2C+and+3D+Printing+for+Transcanal+Endoscopic+Approach+to+the+Petrous+Apex%5BTitle%5D)+AND+%22OTO+Open%3A+The+Official+Open+Access+Journal+of+the+American+Academy+of+Otolaryngology-Head+and+Neck+Surgery+Foundation%22%5BJournal%5D)">Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex.</a> OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).</li>
<li>Witowski, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+and+three-dimensional+printing+in+percutaneous+interventions+on+pulmonary+arteries%5BTitle%5D)+AND+%22Quantitative+Imaging+in+Medicine+and+Surgery%22%5BJournal%5D)">Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries.</a> Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).</li>
<li>Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+reality+in+computer-assisted+interventions+based+on+patient-specific+3D+printed+reference%5BTitle%5D)+AND+%22Healthcare+Technology+Letters%22%5BJournal%5D)">Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference.</a> Healthcare Technology Letters. , (2018).</li>
</ol>

作者无任何利益冲突需要披露。

增强现实（AR）在医学领域的教育、培训和手术指导方面具有巨大潜力。AR 与 3D 打印技术的结合可能为临床应用开辟新的可能性。本方案描述了一种方法学，可使无经验的用户创建一款智能手机应用程序，将 AR 与 3D 打印（3DP）相结合，利用 3D 打印的参考标记物实现患者解剖学 3D 模型的可视化。
总体而言，增强现实（AR）与三维打印（3DP）最具吸引力的临床应用之一是通过为患者提供病例的全新视角，改善医患之间的沟通，从而更有效地解释特定的医学状况或治疗方案。另一个可能的应用是用于目标定位的手术导航，其中可将带有附着参考AR标记的患者特异性三维打印工具放置在刚性结构（例如骨骼）上，并作为导航的参考依据。该应用在骨科和颌面外科手术中尤为有用，因为在手术过程中可轻易接触到骨组织表面。
本方案从第1节开始，介绍工作站设置及所需的软件工具。第2节描述如何使用3D Slicer软件，从任何医学成像模态中便捷地分割出患者的靶向解剖结构，以获得三维模型。此步骤至关重要，因为所创建的虚拟三维模型将直接显示在最终的增强现实（AR）应用中。
在第3节中，使用 3D Slicer 将上一节创建的三维模型与增强现实（AR）标记进行配准。在此配准过程中，患者的三维模型能够相对于 AR 标记被高效且简便地定位。本节中定义的位置将决定最终应用程序中全息影像的相对位置。该方案被认为可降低复杂性并拓展多种潜在应用。第3节介绍了两种定义模型与 AR 标记之间空间关系的不同选项：“可视化”模式和“配准”模式。第一种选项，“可视化”模式，允许三维模型相对于标记任意定位，并以完整的生物模型形式显示。该模式可真实呈现患者解剖结构的三维视角，并通过移动被追踪的 AR 标记来实现对生物模型的移动和旋转。第二种选项，“配准”模式，允许将标记适配器附着并组合到生物模型的任意部位，从而实现自动配准过程。使用此选项时，可将包含标记适配器的三维模型局部进行3D打印，而应用程序则以全息影像形式显示模型的其余部分。
第4节提供了3D打印过程的指导。首先，用户可在两种不同的标记物之间进行选择：“双色标记”和“贴纸标记”。整个“双色标记”均可通过3D打印制成，但需要使用双喷嘴3D打印机。若无此类打印机，可选用“贴纸标记”。该标记结构较为简单，可通过3D打印出立方体结构，再使用贴纸纸张或贴纸胶水将立方体的图案粘贴上去即可制成。此外，两种标记均设计有可扩展部分，可精确适配特定的连接器，因此可在多种情况下重复使用。
第5节介绍了使用Vuforia软件开发工具包创建用于增强现实的Unity项目的流程。对于没有编程经验的用户而言，此步骤可能是最具挑战性的部分，但通过遵循本指南，应能更轻松地获得第6节中展示的最终应用程序。当手机摄像头识别到3D打印的标记时，该应用程序会在手机屏幕上显示患者的虚拟模型。为使应用程序能够检测到3D标记，手机与标记之间的距离需至少保持约40厘米或更近，同时需要具备良好的照明条件。
本方案的最终应用允许用户选择要可视化的特定生物模型及其位置。此外，该应用程序可通过连接在生物模型上的3D打印标记物和适配器，实现患者与全息影像的自动配准。这以直接且便捷的方式解决了将虚拟模型与环境进行配准的难题。更重要的是，该方法无需具备医学影像或软件开发方面的专业知识，不依赖复杂的硬件和昂贵的软件，且可在较短时间内完成实施。预计该方法将有助于加快增强现实（AR）和三维打印（3DP）技术在医疗专业人员中的推广应用。

增强现实（AR）和3D打印（3DP）是近年来在医学领域应用日益广泛的技术。对于AR而言，其通过与虚拟3D模型及真实环境的交互，在医学教育与培训1,2,3、与其他医生的沟通与协作4，以及临床操作的引导方面5,6,7,8,9,10，为医生提供了显著帮助。同样，3DP已成为医生开发患者特异性、可定制化工具11,12,13，或构建患者解剖结构3D模型的有力解决方案，有助于提升术前规划和临床干预的效果14,15。
增强现实（AR）和三维打印（3DP）技术均有助于提高医学操作中的方位感、引导能力及空间技能，因此将二者结合是合乎逻辑的下一步。先前的研究表明，联合使用这两种技术可在患者教育中增加价值16，有助于解释医学状况和拟定的治疗方案，优化手术工作流程17,18，并改善患者与模型的配准19。尽管这些技术近年来呈指数级发展，但其在医生中的应用仍有限，因为它们需要大量的工程和软件开发知识。因此，本研究的目的是描述一种分步方法，使缺乏广泛技术知识的初学者用户也能使用AR和3DP技术。
本方案描述了如何开发一款增强现实（AR）智能手机应用程序，该程序能够通过智能手机摄像头追踪3D打印标记物，将基于患者的任意三维模型叠加到真实世界环境中。此外，还介绍了一种替代方法，用于实现3D打印生物模型（即根据患者解剖结构创建的三维模型）与投影全息图像之间的自动配准。所述方案完全基于免费且支持多平台的软件。
在以往的研究中，增强现实（AR）中的患者与图像配准是通过人工方式5或表面识别算法10计算得出的，或根本无法实现2。当需要高精度配准时，这些方法被认为存在一定局限性19。为克服这些局限性，本研究结合增强现实技术与三维打印（3DP），提供了可在AR操作中实现精确且简便的患者与图像配准的工具。
该方案具有通用性，可应用于任何医学成像方式或患者。本文以一例真实的临床病例为例，展示该方法的应用：患者患有远端腿部肉瘤。第一步介绍如何从计算机断层扫描（CT）医学图像中便捷地分割出病变解剖结构，以生成三维虚拟模型。随后对三维模型进行定位，然后将所需工具和模型进行三维打印。最后，部署所需的增强现实（AR）应用程序。该应用程序能够在智能手机摄像头画面中实时叠加显示患者的三维模型。

<table><tbody><tr><td>3D打印材料：丙烯腈-丁二烯-苯乙烯共聚物（ABS）</td><td></td><td></td><td>常用于家用3D打印机的热塑性聚合物材料。</td></tr><tr><td>3D打印材料：聚乳酸（PLA）</td><td></td><td></td><td>家用3D打印机中常用的生物塑料材料。</td></tr><tr><td>3D Slicer</td><td></td><td></td><td>用于医学影像信息学、图像处理和三维可视化的开源软件平台</td></tr><tr><td>安卓</td><td>Alphabet, Inc.</td><td></td><td>Android 是由 Google 开发的一款移动操作系统。该系统基于修改版的 Linux 内核及其他开源软件，主要面向智能手机和平板电脑等触摸屏移动设备设计。</td></tr><tr><td>Autodesk Meshmixer</td><td>Autodesk, Inc.</td><td></td><td>Meshmixer 是一款用于处理三角网格的尖端软件。免费软件。</td></tr><tr><td>iPhone 操作系统</td><td>Apple, Inc.</td><td></td><td>iPhone OS 是由苹果公司为其硬件设备独家创建和开发的移动操作系统。</td></tr><tr><td>Ultimaker 3 Extended</td><td>Ultimaker BV</td><td></td><td>熔融沉积成型3D打印机</td></tr><tr><td>统一性</td><td>Unity Technologies</td><td></td><td>Unity 是一个用于创建 3D、2D 和 VR 的实时开发平台 &amp;游戏、汽车、交通、电影、动画、建筑、工程领域的增强现实（AR）可视化 &amp;以及更多功能。免费软件。</td></tr><tr><td>Xcode</td><td>Apple, Inc.</td><td></td><td>Xcode 是用于为 Mac、iPhone、iPad、Apple Watch 和 Apple TV 创建应用程序的完整开发工具集。免费软件。</td></tr></tbody></table>

结合增强现实与3d打印技术在智能手机上显示患者模型

Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone

增强现实（AR）在医学领域的教育、培训和手术引导方面具有巨大潜力。将其与三维（3D）打印（3DP）技术结合，为临床应用开辟了新的可能性。尽管这些技术近年来呈指数级发展，但其在医生群体中的应用仍有限，因为需要具备工程学和软件开发方面的深入知识。因此，本实验方案旨在提供一种分步式方法，使无相关经验的用户也能创建一款智能手机应用程序，将增强现实与3D打印相结合，利用3D打印的参考标记实现患者解剖结构3D模型的可视化。本方案详细描述了如何基于患者的三维医学影像构建患者解剖结构的3D虚拟模型，随后说明如何将3D模型相对于标记参考进行定位。同时提供了所需工具和模型的3D打印操作指南。最后，给出了应用程序部署的具体步骤。该方案基于免费且支持多平台的软件，可适用于任何医学成像方式或患者个体。文中还介绍了一种替代方法，用于实现由患者解剖结构生成的3D打印模型与投影全息图像之间的自动配准。作为示例，本文提供了一例远端下肢肉瘤患者的临床案例，以展示该方法的具体应用。预计本方案将加速增强现实与3D打印技术在医疗专业人员中的推广与应用。

本方案应用于一名患有远端腿部肉瘤的患者的影像数据，以从三维视角可视化受累的解剖区域。根据第2节所述方法，从患者的CT扫描图像中分割出受累骨骼（此处为胫骨和腓骨）及肿瘤区域。随后，利用3D Slicer中的分割工具生成了两个生物模型：骨骼模型（胫骨和腓骨部分）（图1A）和肿瘤模型（图1B）。
接下来，两个3D模型在虚拟环境中相对于标记物进行定位，以实现最佳可视化效果。本示例遵循了第3节中描述的两种模式。在可视化模式下，模型被居中放置于标记物的上表面（图2）。在配准模式下，标记物适配器被放置于骨骼（具体为胫骨）中（图3）。随后，选取胫骨的一小部分进行3D打印，并配备一个3D打印的标记物适配器（图4）。使用Ultimaker 3 Extended 3D打印机和PLA材料制作了3D打印的标记物（图5A, B）、用于“可视化”模式的标记物支架底座（图5C），以及用于“配准”模式的胫骨部分（图5D）。图5E展示了标记物如何连接到“可视化”模式的3D打印底座上。图5F展示了标记物与“配准”模式的3D打印生物模型的连接方式。最后，使用Unity创建应用程序并将其部署到智能手机上。
图6展示了应用程序在“可视化”模式下的运行情况。全息影像被准确地定位在立方体的上部，位置与先前设定一致。图7展示了“配准”模式下的应用效果，此时应用程序将完整的骨骼模型准确叠加在3D打印部件之上。最终呈现的全息影像清晰且逼真，保持了生物模型的真实尺寸，并实现了精确的空间定位。使用智能手机应用程序时，摄像头必须能够持续看到增强现实（AR）标记，以确保全息影像的正确显示。此外，环境光照条件应良好且稳定，以保证AR标记的准确识别。光照条件不佳或标记表面存在反光会干扰AR标记的追踪，导致应用程序运行异常。
创建应用程序所需的时间取决于多个因素。第1部分的耗时受限于下载速度。关于解剖结构分割（第2部分），影响分割时间的因素包括区域的复杂程度和医学成像方式（例如，CT易于分割，而MRI则更困难）。以胫骨的代表性示例为例，从CT扫描生成两个3D模型大约需要10分钟。生物模型定位（第3部分）操作简单直接。在此示例中，定义生物模型相对于AR标记的位置大约耗时5分钟。对于3D打印步骤，所需时间高度依赖于所选的打印模式。“双色标记”以高质量打印耗时5小时20分钟。“贴纸标记”的打印耗时1小时30分钟，另需加上粘贴贴纸的时间。对于没有Unity使用经验的用户而言，应用程序开发的最后一步可能较为耗时，但只要按照操作步骤进行即可轻松完成。一旦完成AR标记的3D打印，开发一个全新的AR应用程序可在1小时之内完成。随着经验的积累，该时间还可进一步缩短。
<img alt="骨结构分析，突出显示骨折位置和愈合情况的三维模型，教学示意图。" class="xfigimg" src="/files/ftp_upload/60618/60618fig01.jpg" data-altupdatedat="1788282455000" data-alt="图1"> 
图1：由一名患有小腿远端肉瘤的患者的CT图像构建的三维模型示意图。 （A）以白色显示的骨组织（胫骨和腓骨）。（B）以红色显示的肿瘤。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig01large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="前臂骨的三维示意图及绿色形状，标注有空间方位分析。" class="xfigimg" src="/files/ftp_upload/60618/60618fig02.jpg" data-altupdatedat="1788282455000" data-alt="图2"> 
图2：结果显示了3D Slicer中的“可视化”模式如何相对于3D打印标记参考物来定位骨骼和肿瘤的虚拟3D模型。 患者3D模型（A）位于标记立方体上表面（B）的上方。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig02large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="静态平衡示意图；股骨胫骨定位；力矢量分析；力学模型" class="xfigimg" src="/files/ftp_upload/60618/60618fig03.jpg" data-altupdatedat="1788282455000" data-alt="图3"> 
图3：结果显示3D Slicer软件中的“配准”模式如何将骨骼和肿瘤的虚拟3D模型（A）相对于3D打印的标记参考物（B）进行定位。 标记适配器已连接至骨组织模型。 <a href="https://www.jove.com/files/ftp_upload/60618/60618fig03large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="带有固定装置的骨组织三维模型、骨科工程示意图、骨折稳定化" class="xfigimg" src="/files/ftp_upload/60618/60618fig04.jpg" data-altupdatedat="1788282455000" data-alt="图 4"> 
图 4：骨组织小段与 3D 标记适配器。 将这两个部件组合后进行 3D 打印。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig04large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="用于精确定位导航的立方体3D打印方向标记；六种配置。" class="xfigimg" src="/files/ftp_upload/60618/60618fig05.jpg" data-altupdatedat="1788282455000" data-alt="图5"> 
图5：最终应用所需的3D打印工具。（A）使用两种材料颜色3D打印的“双色立方体标记”。（B）3D打印的“贴纸立方体标记”，表面粘贴有标签。（C）标记基座立方体适配器。（D）患者骨组织3D模型及标记立方体适配器的局部视图。（E）“贴纸立方体标记”安装在标记基座立方体适配器中。（F）“双色立方体标记”安装在连接于患者解剖结构的标记适配器上。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig05large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="在智能手机上显示骨骼结构的增强现实可视化，解剖学研究的实验设置。" class="xfigimg" src="/files/ftp_upload/60618/60618fig06.jpg" data-altupdatedat="1788282455000" data-alt="图6"> 
图6：使用“可视化”模式时的应用界面。 患者病变解剖结构的三维模型位于3D打印立方体上表面的上方。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig06large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="增强现实应用在物理对象上显示三维模型叠加，教育演示。" class="xfigimg" src="/files/ftp_upload/60618/60618fig07.jpg" data-altupdatedat="1788282455000" data-alt="图7"> 
图7：使用“配准”模式时的增强现实可视化效果。 3D打印的标记物可实现3D打印生物模型与虚拟3D模型之间的配准。<a href="https://www.jove.com/files/ftp_upload/60618/60618fig07large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>

本文介绍了一种利用3D打印参考标记设计增强现实智能手机应用程序的方法，用于可视化患者的解剖学三维模型。

结合增强现实与3D打印技术在智能手机上显示患者模型

增强现实（AR）在医学领域的教育、培训和手术指导中具有巨大潜力。它与三维（3D）技术的结合……

本方案为缺乏经验的用户提供了一套工具，使其能够通过构建自己的智能手机应用程序，将增强现实技术应用于医学领域。该方法结合了增强现实与3D打印技术，能够快速、便捷地将基于基础数据生成的3D模型叠加显示在3D打印的参考标记上。该技术可应用于任何可将3D打印参考标记刚性固定于患者身上的医学场景。通过基于靶向数据定位生成的可视化3D模型，可提升患者的诊疗效果。本方案专为无医学影像或软件开发背景的用户设计，旨在促进增强现实在医学领域的应用。要创建患者解剖结构的3D模型，首先将医学图像文件导入3D Slicer软件窗口，然后点击“确定”。为分割患者解剖结构，请进入3D Slicer中的分割编辑器模块。进入该模块后，系统将自动创建一个分割项目。在主音量部分选择所需的体积，然后在图像下方单击右键，选择“添加”以创建片段。在效果面板中，选择最适合目标的工具，并对患者的医学图像进行分割。要以3D模型文件格式导出分割结果，请打开分割模块。在导出/导入模型和标签图时，选择导出和模型，然后单击导出以从已分割区域创建3D模型。单击保存并选择要保存的元素。然后将3D模型的文件格式更改为OBJ。可重复进行分割，以创建不同解剖区域的额外三维模型。若需将三维患者模型相对于增强现实标记置于任意位置，请打开 AR Health 模型定位模块并选择可视化模式。点击“加载标记模型”以加载此选项的标记，点击省略号按钮选择已保存的三维模型路径，再点击“加载模型”以在 3D Slicer 中加载模型。单击“完成并居中”以将所有模型在标记内居中。根据需要使用滑动条调整3D模型相对于标记的位置、方向和缩放比例。然后选择文件存储路径，单击“保存模型”以将模型按当前位置保存。若要将增强现实标记与三维生物模型在任意所需位置进行组合，请打开 AR Health 模型定位模块，在初始化部分选择配准模式。点击“加载标记模型”以载入此选项的标记，并移动三维模型，使其与立方体标记的支撑结构相交，必要时可调整标记底座的高度。如需在此位置保存模型，请选择文件存储路径，然后点击“保存模型”。如果解剖模型过大，可在Meshmixer软件中加载生物模型及立方体标记模型的支撑结构。在对象浏览器窗口中同时选中两个模型以合并模型，然后从编辑菜单中选择平面切割工具，去除不需要进行3D打印的模型部分。为保存可用于3D打印的模型，选择文件菜单中的导出功能，并选择所需的文件格式。为了3D打印最终增强现实应用所需的物理模型，在3D打印软件中，为TwoColorCuebMarker_white.obj文件选择白色材料，为TwoColorCubeMarker_white.obj文件选择黑色材料。然后使用双喷嘴3D打印机，以高质量模式和较小的层高，用黑色和白色3D打印立方体标记物。要在Unity引擎中设计包含3D模型的智能手机应用程序，请打开Vuforia开发者平台并创建账户。选择“获取开发密钥”以获得免费的开发许可证密钥，并在许可证管理器菜单中选择并复制该密钥。设置智能手机时，在 Unity 2019 版本应用程序中，从文件菜单的构建设置中选择与设备匹配的适当平台。要将 Vuforia 启用到项目中，请选择编辑、项目设置、播放器设置和 XR 设置，然后勾选标有“Vuforia 增强现实支持”的复选框。要创建增强现实摄像机，请选择菜单栏、游戏对象、Vuforia Engine 和 AR 摄像机，并在提示时导入 Vuforia 组件。要将 Vuforia 许可证密钥添加到 Vuforia 配置设置中，请选择资源文件夹，点击 Vuforia 配置，然后将许可证密钥粘贴到应用程序许可证密钥部分。将包含 Vuforia 检测标记所需文件的 Vuforia 目标文件导入 Unity，选择菜单栏中的“游戏对象”→“Vuforia Engine”→“多图像”，以创建 Vuforia 多目标。点击多目标以选择将用于检测的标记类型，并在多目标行为的数据库选项中选择 ARHealth_3dPrintedCube_30x30x30。在“多目标行为”的多目标选项下，根据标记选择 TwoColorCubeMarker 或 StickerCubeMarker。将 3D 模型拖入模型文件夹中，并将该文件夹拖至多目标项目下方。模型应会在 Unity 3D 视图场景中显示。要更改3D模型的颜色，需创建新材质并将新材质分配给模型。如果计算机配备有网络摄像头，请单击播放以在计算机上测试应用程序。当摄像头能够识别标记时，系统应能检测到该标记，并在场景中显示3D模型。如果将使用 Android 智能手机进行应用程序开发，请在 Unity 中选择构建设置，并从列表中选择已连接的手机。然后将文件保存为 apk 扩展名，并允许该过程完成。如果应用程序将部署在 iOS 设备上，请在构建设置中选择文件，然后保存该文件。为了查看该应用程序的效果，请在智能手机上打开应用，然后通过应用内的智能手机摄像头从至少40厘米的距离观察标记。一旦应用程序检测到标记，先前创建的3D模型便会精确显示在智能手机屏幕上的预定位置。采用如上所述的方法，可从一名患有小腿远端肉瘤及肿瘤的患者的CT扫描图像中，分割出受影响的胫骨和腓骨部分。使用分割工具，分别为骨骼和肿瘤创建了一个生物模型。在可视化模式中，将模型置于标记物的上半部分中心。在配准模式中，将标记物适配器放置于胫骨，并选取胫骨的一小部分与三维标记物适配器一同进行3D打印。聚乳酸可用于制造3D打印标记物、标记物底座以及骨段，如图所示。此处，标记物被安装在用于可视化模式的3D打印底座上；此处则展示了其与用于配准模式的3D打印生物模型的连接方式。该示意图展示了应用程序在可视化模式下的工作状态，全息影像被准确地定位在立方体上部，位置与先前定义一致。在配准模式下，完整的骨骼模型可以精确地叠加在3D打印的切片上，从而在骨骼位置处清晰且真实地可视化标记物。为了利用增强现实技术来可视化重要的患者信息，您需要几种可免费获取的软件工具，以及3D打印机和智能手机。该方法可应用于从医学影像获得的任何模型。其应用可扩展至其他干预措施，例如放射治疗中的体位固定或穿刺针插入定位。目前，我们正将此项技术的发展应用于新的临床领域，包括肌筋膜治疗或骨科手术。初步研究结果令人鼓舞，且外科医生的反馈非常积极。

combining-augmented-reality-3d-printing-to-display-patient-models-on

Research

科研

JoVE Journal

Medicine

医学

结合增强现实和 3D 打印，在智能手机上显示患者模型

来源：Carly Fassler1, Liyu Huang1, Kavita Prasad1, Jiayi Xu2, Guansen Tong2, Jie Ying Wu2, Michael C.

基于增强现实的切除肿瘤标本可视化

利用现代塑料挤出和打印技术，现在可以快速且低成本地制作实验室获取的X射线CT数据的物理模型。体层扫描数据的三维打印已成为一种强大的可视化、研究和教育工具，目前前临床影像学领域已可便捷获取该技术。...

3D打印临床前X射线计算机断层扫描数据集

本方案描述了用于手术模拟的患者特异性解剖颅骨模型全彩三维打印件的制备过程。详细说明了结合不同成像方式、图像分割、三维模型提取以及打印件制作等关键步骤。...

神经外科中复杂颅内肿瘤的多色3D打印

该方法展示了一种基于体素的3D打印工作流程，可直接从医学影像进行打印，具有精确的空间保真度以及空间和对比度分辨率。这使得能够对形态复杂、梯度变化的材料实现精确且渐进的材料分布控制，且材料分布与放射密度相关，同时不丢失或改变原始数据。...

体素打印解剖学：通过位图打印设计与制造用于术前规划的逼真模型

采用定制假体和混合现实技术进行了一例复杂的髋关节翻修成形术。据作者所知，这是文献中首次报道此类手术。<br...

混合现实在定制化翻修髋关节置换术中的应用：首例病例报告

通过遵循一种新型工作流程，将增强现实头戴式显示器 Magic Leap 与传统导航系统结合使用，在猪模型中置入椎弓根螺钉。根据 Gertzbein 标准，螺钉置入的中位时间为 &lt;2.5 分钟，技术精度达到亚毫米级，临床准确率达到...

使用增强现实头戴式显示器在猪模型中进行椎弓根螺钉置入

血管内治疗技术的进步已用微创治疗方式取代了复杂的开放性外科手术，例如瓣膜置换和动脉瘤修复。本文提出利用三维（3D）建模和虚拟现实技术，辅助神经介入导管室手术规划中的C形臂定位、角度测量和路径图生成，以缩短手术时间。...

利用影像学与虚拟现实技术开创精准手术的患者特异性方法

提出了一种用于癌症切除标本三维扫描和虚拟建模的新方法，旨在改善多学科癌症诊疗团队之间的沟通。...

利用3D扫描与成像技术增强肿瘤边界信息的传递

本文介绍了基于增强现实（AR）三维重建的自动手术模块的设计与实现。该系统通过允许外科医生观察重建的特征并复制手术手部动作，实现远程手术，使其如同在近距离进行手术操作一般。...

使用增强现实技术实现经导管主动脉瓣置换术的自动手术

本文介绍了一种基于计算机断层扫描从头构建心脏模型的方案，并通过三维（3D）打印与混合现实技术向医学生展示，以辅助解剖学学习。...

混合现实技术与三维打印在教学中的应用：以心脏解剖为例

学习使用增强现实和3D打印技术，在智能手机上可视化患者解剖模型。该方法通过3D Slicer进行医学图像分割，结合Unity引擎开发应用程序，无需医学影像或软件开发经验即可实现患者解剖结构的有效可视化。

结合增强现实与3D打印技术在智能手机上显示患者模型

探索更多视频