Summary
该方法演示了基于体素的3D打印工作流程,该工作流程直接从具有精确空间保真度和空间/对比度分辨率的医学图像进行打印。这样就可以通过与辐射密度相关的形态复杂分级材料精确、分级地控制材料分布,而不会丢失或改变数据。
Abstract
由于当前建模范式在准确性,质量和效率方面的根本限制,用于术前规划的3D打印的大多数应用仅限于骨骼结构和复杂器官的简单形态描述。这在很大程度上忽略了对大多数外科专业至关重要的软组织,在这些软组织中,物体的内部很重要,解剖学边界逐渐过渡。因此,生物医学行业复制人体组织的需求,显示出多种组织尺度和不同的材料分布,需要新的表示形式。
这里介绍的是一种直接从医学图像创建3D模型的新技术,该技术在空间和对比度分辨率方面优于当前的3D建模方法,并且包含以前无法实现的空间保真度和软组织分化。还介绍了对新型增材制造复合材料的经验测量,这些复合材料跨越了通过MRI和CT在软生物组织中看到的材料刚度范围。这些独特的体积设计和印刷方法允许对材料刚度和颜色进行确定性和连续调整。这种能力使增材制造在术前规划中的全新应用成为可能:机械现实主义。作为对提供外观匹配的现有模型的自然补充,这些新模型还允许医疗专业人员"感受"组织模拟剂的空间变化材料特性 - 这是触觉感觉起关键作用的领域的关键补充。
Introduction
目前,外科医生研究许多离散的2D(2D)成像方式,显示不同的数据,以计划对3D患者的手术。此外,在2D屏幕上查看此数据并不能完全传达所收集数据的全部范围。随着成像模式数量的增加,从表现出多种组织规模的不同模式合成更多数据的能力,需要新形式的数字和物理表示来压缩和整理信息,以实现更有效和高效的手术计划。
3D 打印的患者专用模型已成为手术计划的新诊断工具,已被证明可以减少手术时间和手术并发症1。然而,由于3D打印的标准立体光刻(STL)方法,该过程非常耗时,该方法显示可见的数据丢失,并将打印对象呈现为固体,均匀和各向同性材料。因此,用于手术计划的3D打印仅限于骨结构和复杂器官的简单形态描述2。这种限制是工业革命的产品和需求所引导的过时的制造范式的结果,其中制造的物体由其外部边界完全描述3。然而,生物医学行业需要复制人体组织,其中显示了多种组织尺度和不同的材料分布,需要新的表示形式来表示整个体积的变化,这些变化逐点变化。
为了解决这个问题,开发了一种3D可视化和建模技术(图1),并结合了一种新颖的增材制造工艺,可以更好地控制超高分辨率树脂的混合和沉积。这种方法称为位图打印,通过直接从医学图像进行3D打印来复制人体解剖结构,其空间保真度和空间/对比度分辨率接近15μm的高级成像技术。这使得复制形态复杂软组织中的变异所需的精确和渐进的控制成为可能,而不会丢失或改变来自诊断源图像的数据。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
注:3D切片机医疗图像计算软件4 (见 材料表)用于第1至3节中完成的工作。
1. 数据输入
- 打开医学图像计算软件,单击下拉菜单中的" 文件 "按钮和 DICOM ,然后等待 "DICOM 浏览器" 窗口打开。
- 在 "DICOM 浏览器" 窗口中,选择" 导入"。等待 "从目录导入 DICOM 文件" 弹出窗口出现。
- 导航到 DICOM 文件堆栈 ,然后单击" 导入 "按钮。
- 确保选定的 DICOM 文件堆栈已加载到 DICOM 浏览器中。确保数据已正确填充,并且与以下类别中的所需研究相匹配:患者、研究、系列和实例。
- 单击" 高级 "复选框以激活其他元数据。选择所需的 序列号, 然后单击" 检查 "按钮。确保所需的序列未显示警告。单击所需 DICOM 数据 文件旁边的复选框| 加载。
注:选择具有最薄切片采集的最高分辨率图像,因为此方法能够以15μm和27μm切片厚度进行打印。
- 单击" 高级 "复选框以激活其他元数据。选择所需的 序列号, 然后单击" 检查 "按钮。确保所需的序列未显示警告。单击所需 DICOM 数据 文件旁边的复选框| 加载。
- 对于体积渲染,将序列加载到医学图像计算软件中后,导航到 模块 ,然后从下拉菜单中选择 体积渲染模块 。
- 在 "体积渲染 "模块中,从" 音量 "下拉菜单中选择序列的名称以激活图像堆栈并将数据转换为体素化卷。确保活动模块的名称与步骤 1.1.3.1 中选择的所需序列匹配。
- 单击"音量"下拉列表旁边的"眼球"图标以 3D 形式可视化所选体积。确保 3D 显示窗口处于打开状态,并且灰度 3D 制图表达可见。
- 接下来,单击" 高级 "旁边的箭头以打开 "高级工具"。选择" 体积属性 "选项卡以打开一组用于修改体素模型的颜色通道的控件。
- 导航到" 标量不透明度映射 "菜单。在字段中单击鼠标左键可创建强度值将由不透明度定义的点。沿此刻度放置点以可视化感兴趣的解剖结构。
注: 点的左右位置与图像强度值的范围相关,上下位置表示不透明度。 - 导航到" 标量颜色映射 "菜单。在字段中单击鼠标左键可创建点并指定与强度值相关的颜色。在字段中双击以打开 "选择颜色" 窗口以修改颜色信息。
2. 操作
注意:如果解剖结构足够复杂,以至于在修改 体积属性后存在周围组织和无关数据,则需要进行掩蔽步骤。
- 导航到 模块 ,然后从下拉菜单中选择 区段编辑器 。确保显示 "区段编辑器 "工具栏。
- 导航到 "细分" 下拉列表,然后选择" 创建新细分为"。从重命名分段弹出窗口中键入分段的自定义名称 , 然后单击 确定。
- 导航到" 主卷" 下拉列表,然后选择活动卷,该卷将与 "卷渲染"同名。接下来,单击下拉列表正下方的 添加 按钮。确保在下面的字段中创建了分段容器。
- 导航到下面的 效果工具 面板,然后选择 剪刀 工具。导航到 "剪刀 "菜单,然后选择" 内部填充"、" 自由格式"和" 无限制"。接下来,将鼠标悬停在 3D窗口上,右键单击并按住,同时在要擦除的区域周围绘制。确保出现彩色条带,显示已覆盖的内容。重复此过程,直到覆盖所有要删除的区域。
注意:有 一些扩展程序(如 片段编辑器额外效果)可以下载到医学图像计算软件中,其中包含用于创建此细分的工具。 - 接下来,从"效果"菜单中选择"蒙版体积"工具。选中"选择内部"以删除区段涵盖的所有图像数据。接下来,将填充值修改为 -1000,这等于 Hounsfield 单位比例中的空气或空隙。最后,点击应用并单击"输出音量"旁边的眼球以显示新的蒙版音量。
- 导航到 "模块 ",然后从下拉菜单中选择" 体积渲染 "。单击活动音量旁边的 眼球 以关闭可视化效果。
- 接下来,从下拉菜单中选择新创建的 屏蔽卷。单击 眼球 以激活音量。
- 最后,导航到 "输入 法"菜单,然后打开 "属性" 下拉菜单。选择在步骤 1.2.5 中创建的 "卷属性" 。确保 3D 视图中 的体积已蒙版并进行了颜色编码。
3. 切片
注意:此过程绕过传统的 3D 打印方法,将切片文件直接发送到 3D 打印而不是 STL 网格文件。在以下步骤中,将从卷渲染创建切片。 位图生成器 模块是一个自定义构建的扩展。这可以从 扩展管理器下载。
- 导航到 "模块",从下拉列表中选择" Slicerfab "。确保" 打印参数" 和 "输出参数 "菜单存在。
- 在 "打印机参数" 下拉列表下,确保 X 分辨率 设置为 600 DPI , Y 分辨率 设置为 300 DPI。确保 将层厚度 设置为 27 μm。
- 接下来,打开 "输出参数 "菜单,并根据需要修改最终模型的比例。
- 最后,选择要保存的切片的文件位置,然后单击 生成。
注意:此步骤可能需要几分钟才能完成。
4. 抖动
注:Adobe Photoshop(参见 材质表)用于第 4 部分中完成的工作。
- 打开图像编辑软件,然后单击 文件 ,然后从下拉菜单中选择 打开 。导航到在上一步中创建的 PNG 文件堆栈的第一个图像,然后单击" 打开 "按钮。
- 导航到 "窗口" ,然后从下拉菜单中选择 "操作 "。在 "操作" 菜单中,单击" 新建操作",输入自定义名称,然后选择" 确定"。通过检查"录制"按钮是否处于活动状态和红色来确保正在 录制 操作。
- 加载图像后,导航到 图像|模式|索引颜色。在" 索引 "窗口中,从下拉菜单" 本地感知 "中进行选择,并将颜色数指定为 8。
- 在" 强制 "菜单中,选择" 自定义"。单击前两个方块,等待 "自定义颜色" 窗口弹出,然后选择一个自定义调色板。选择 100% 洋红色 ,并确保 C、 Y 和 K 设置为 0。
- 重复此过程,并确保有两个正方形专用于 100% C、 Y 和 K。
- 在 "选项" 菜单中,对于 "遮罩",请从下拉菜单中选择" 自定义 "。对于 抖动,选择 扩散,对于 量,选择 100%。最后,单击" 确定"。
- 导航到"操作"菜单,然后单击方形按钮以停止录制。关闭活动窗口,然后在保存更改弹出窗口中单击否。
- 导航到 "文件|自动化|批处理。在 "批处理 "弹出窗口中,导航到 "操作" 下拉列表,然后选择在上一步中创建的操作。接下来,在" 源 "菜单下,单击" 选择 "按钮,然后导航到在步骤 3.1.3 中导出的图像文件夹。在" 目标 "菜单下,单击" 选择 "按钮,为新文件选择目标文件夹位置,然后单击" 确定"。
5. 体素打印
注:Stratasys GrabCAD5 用于第5节中完成的工作。
- 打开打印软件,单击 应用程序 ,然后从下拉菜单中 启动体素打印实用程序 。
- 在 切片文件的前缀 文本框中,输入 PNG 文件堆栈的前缀。接下来,单击" 选择" 按钮并导航到 PNG 文件堆栈所在的文件夹,然后单击" 确定"。
- 在"切片范围"下,确保"第一个切片"和"切片数"与所创建文件夹中的文件数匹配。
- 在"切片参数"下,确保"切片厚度(mm)"与步骤 3.1.1.1 中指定的设置匹配,并且"切片宽度(像素)"和"切片高度"(像素)与 PNG 文件的宽度和高度匹配。
- 在" 背景颜色"下,确保背景与背景颜色匹配,设置为"不打印"。完成后,单击" 下一步 "按钮。
- 在 "工具" 页上的" 材质映射"下,从下拉菜单中选择要映射到从 PNG 文件派生的关联颜色的材质。对菜单中的每种颜色重复此过程。然后,单击" 完成|在 弹出窗口中确定 信息 Gcvf 创建成功。
- 在主机打印软件上,单击" 文件| 从下拉菜单中导入文件。导航到 Gcvf 文件 ,然后单击" 加载"。在主屏幕上,选择" 打印"。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
如图 2 和图 3 所示,一个积极的结果将是步骤 1.2.5 或 2.1.1.4 中定义的体积呈现的直接转换。最终模型应在大小、形状和颜色上与体积渲染在视觉上匹配。在此过程中,有许多步骤可能会发生错误,这些步骤将影响上面列出的一个或多个属性。
如图 4所示,与打印模型的均匀缩放相关的问题可能是成像,计算机硬件和/或默认软件设置的结果。医院使用各种技术从一系列可能的扫描仪生成和渲染图像。由于此方法直接从源图像工作,源图像可以公开通常未使用的元数据,因此熟悉映像工作流的细微差别非常重要。当"转换"烘焙到元数据中时,可能会出现比例问题,这可以人为地调整图层高度和旋转。
缩放问题也可能是计算机显示器大小的结果。Slicerfab 的某些版本已设置为对卷渲染进行切片,并将生成的 PNG 保存为活动屏幕的大小。在这些版本的 Slicerfab 中,大于监视器的图像将被截断。最后,当更新将默认值修改为图像导入分辨率时,Photoshop 中的各种更新都会导致缩放问题。当默认值设置为 600 DPI 以外的任何值时,图像将不会保持医学图像计算软件生成的相同比例的图像。它们将导致 X-Y 尺寸失真,而模型的 z 高度将保持正确。
在医疗图像计算软件中使用不透明度时,可能会导致与不规则形状和意外几何形状相关的问题。" 音量属性 "选项卡包含修改颜色和不透明度通道的功能。当不透明度通道设置为低于 50% 时,渲染算法会生成用户难以感知的可视化效果,尤其是周围的复杂结构。这可能导致在此过程中解析其他数据,并可能导致不需要的数据被3D打印。
与颜色相关的问题可能是由图像编辑软件和打印软件中的软件图形和用户错误引起的。医学图像计算软件有许多选择来调整体积渲染。尽管当前版本的 Slicerfab 具有硬编码的渲染设置,但仍然可以进行修改。激活光影设置以及 GPU 渲染设置可能会产生意外且不可重复的结果。最后,从步骤4.1.2.3开始的抖动步骤可能会影响颜色,这取决于颜色合成的选项,这取决于打印机中可用基材的数量和相对浓度。
"局部感知"抖动算法试图从"颜色选取器"中定义的可用颜色中产生源颜色的视觉近似值。修改基材的数量和颜色将修改打印模型的色相和颜色精度。此外,如果将透明用作基材,如图 5所示,则围绕表面和次表面光散射的问题通常会导致从数字渲染到打印模型的不忠实的色彩转换6。
图 1:流程图。请单击此处查看此图的大图。
图 2:体素数字到物理颜色抖动。 (A)通过将解剖结构的密度范围划分为2,4和10种颜色来显示心脏模型的横截面。(B)调用每个模型的一部分的放大,显示单个像素,这些像素将在3D打印过程中被加工成材料的液滴。(C)这里显示的是使用体素技术的横截面3D打印模型,演示了从图像到模型的转换。 请点击此处查看此图的放大版本。
图 3:体素代表性结果。 两个模型显示成功方法的代表性结果。(A)患有透明细胞癌的成人的横断面肾脏模型。右侧的肿瘤已被切除,以显示肾脏和肿瘤之间的界面。这使得外科医生能够更好地了解肿瘤的形态及其与要避免的关键元素的关系。(B)显示组织密度变化的切片心脏模型。 请点击此处查看此图的放大版本。
图 4:体素刻度问题。 同一模型的两个图像显示缩放问题的结果。(A)肾脏的横截面图像。X-Y分辨率按比例显示,但为肾脏预期产品(B)轮廓视图的50%。从源数据来看,X 分辨率保持准确,并生成一个在 X 方向上拉伸的模型。 请点击此处查看此图的放大版本。
图 5:潜在问题。 两个不同模型的两张图像演示了使用半透明材料的清晰度问题。(A) 此模型显示模型内由打印机用"支撑"材料填充的封闭空隙的结果。在这个模型中,有意创造了空隙,以产生光学特性的变化。(B)此模型显示了深入模型的开放空隙。空隙是曲折的,使得抛光表面的标准后处理技术变得不可能。由此产生的光学失真使模型无法用于临床应用。 请点击此处查看此图的放大版本。
图 6:体素处理工作流程和图像质量比较。 根据输入的 DICOM 数据,(A) 创建一个掩模以隔离感兴趣区域并将其重建为 3D 体积渲染,(B) 从中分析直方图以解析强度值的范围。激活基于体素的体积渲染的形状通道,以可视化生成的屏蔽 DICOM 的形式。通过查找表修改基于体素的体积渲染的材质通道,该查找表将颜色映射到指定的强度范围 (C)。体积渲染被切片为全彩色 PNG 文件,以达到打印机所需的约束和分辨率 (D)。每个PNG切片都抖动到制造医疗数据所需的材料描述中。(E) 生成的彩色复合 PNG 将发送到打印机。(F) 高分辨率数据集与低分辨率数据集的比较的可视化(G),使用相同的技术来证明对最高质量的源数据的需求。 请点击此处查看此图的放大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
目前大多数(如果不是全部)数字建模工具使用的当前表示框架采用 STL 文件格式8。然而,当试图表达更复杂的天然材料的粒度或层次结构时,这种范式的特殊性已被证明是不够的。随着最近的增材制造技术(如多材料3D打印)的到来,可以生产高度调整和高度优化的物体,这些物体在整个体积中显示逐渐的材料过渡。本文表明,基于体素或位图的过程更适合复杂的材料表示,并提供了一种从放射学图像中翻译辐射密度和形态复杂性的技术。该工作流程的优势包括i)对3D打印体积内多个尺度的材料分布进行精确,分级的控制,以及ii)在3D体素领域增加现有2D图像处理技术的能力,并在设计和工程对象的设计和工程中产生新的创意途径,这些对象的美学品质和材料组织经过高度调制以适应其结构性能。
这个过程中的每一步对于实现准确的最终3D打印都至关重要,而且几乎没有出错的余地。在此过程中,有许多点需要格外注意,并且应进行检查以确保准确性。首先,为这种方法选择正确的图像对最终的3D打印模型有直接影响,如图 6F,G所示。这种方法旨在保持源图像的纯度;任何为提高分辨率或平滑轮廓而进行的修改都可能引入或消除数据。此方法中的最终产品仅与输入数据一样好。该方法允许15μm的液滴分辨率和27μm的层厚度。因此,与放射科医生密切合作,以最薄的切片数获得最高分辨率的图像至关重要。
其次,协议步骤 1.1、2 和 图 6A 中描述的模型编辑步骤要求用户输入来屏蔽和修改查找表,以提取和呈现所需的结果。由于分辨率高,解剖结构的多个尺度是可编辑的。全面了解医学图像数据结构及其与生物组织的关系对于提取所需数据至关重要。在此步骤中注意可以允许高度调整的模型,以复制生物组织中的多个组织尺度。
第三,实验方案步骤4中描述的抖动步骤决定了材料如何从源颜色分级。确保源颜色与打印机中的颜色相关至关重要。如果打印机中的颜色与抖动步骤中的颜色不匹配,则最终模型中可能会出现意外的颜色变化。此外,许多抖动技术将产生各种结果。至关重要的是,应对此进行仔细检查,以确保不会丢失任何数据,并且能够连贯地显示适当的信息。
我们为代表性结果中定义的问题提供了一些故障排除解决方案。首先,与规模相关的问题通常与从放射科室接收的医学图像元数据中的转换有关。这个问题可以通过删除所有这些继承的"转换"在医学图像计算软件中纠正。第一步是打开" 转换 "菜单,然后从下拉菜单中选择" 删除活动转换 "。对所有继承的转换重复此过程;这应该立即纠正问题。
其次,与几何相关的问题通常与在协议步骤1.2.4中激活不透明度通道有关。当不透明度通道设置为低于 50% 时,渲染算法会产生用户难以感知的可视化效果,尤其是周围的复杂结构。此问题的解决方案是将不透明度通道设置为 100%,从而创建可在协议步骤 5 中定义为"透明"材料的纯色。
第三,与Slicerfab程序中的切片相关的问题通常是由于在医学图像计算软件中加载了多个"卷"和感兴趣区域工具(ROI)的结果。如果加载了多个"卷",请从"卷渲染"模块的"卷"下拉菜单中选择无关的卷,使其处于活动状态。接下来,从同一下拉菜单中,选择"删除当前卷"。重复此步骤以获得可能已创建的额外 ROI。当存在一个"卷"和一个"ROI"时,Slicerfab应该无需重新启动即可工作。
通常,此协议的所有限制都与硬件和相关材料可用性有关。目前用于此方法的3D打印机限制为15μm X-Y和25μm Z高度分辨率。当处理超高分辨率成像数据(如 Micro CT)时,此限制与此限制相关,其中图像分辨率可能接近 5 mm,并会导致此方法引入 error7。此打印机还限制为在任何时候打印7种基础材料,这可能会限制可用颜色的范围。
确实会发生液滴水平的混合,从而允许通过共沉积产生25,000,000种可能的颜色组合。然而,在UV固化之前,材料在液滴水平上混合的确切机制尚不清楚。此外,印刷材料需要大量的后处理,导致视觉伪影具有内部空隙和难以触及的特征。因此,在制造之前评估几何形状至关重要,以确保在内部空隙和复杂几何形状不允许后处理时获得所需的视觉清晰度。
三维打印目前用于制造用于手术计划、植入和手术导航的模型,从而改善外科手术过程中和整个医院环境中的患者护理9,10。然而,目前采用3D打印模型进行术前规划的速度很慢,部分原因是当前用于3D打印的STL方法可用的应用范围有限。与源数据集相比,这种方法会产生数据丢失和明显的不准确之处,与真实解剖形态学相关的复杂程度严重有限,并且原始数据的体积梯度无法重现。
虽然仅3D打印形态学数据已被证明是成功的,但这种方法的应用范围仅限于骨应用和复杂解剖学特征的简单几何表示。在此过程中,宝贵的体积数据将丢失,这会损害源数据的一致性和完整性。相反,这种方法提取3D打印模型的材料组成而不偏离医学图像,避免了这些问题。这种方法可以更准确地再现医学图像,对于形态准确性至关重要的外科手术具有已知的优势。本文中的方案描述了通过亚毫米分辨率,多材料,3D体素打印对医疗数据的触觉可视化。软树脂的掺入,其硬度范围类似于人体组织,可以预见地允许在手术准备期间与触觉计划方法一起使用放射学扫描的软组织。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
N.J.是科罗拉多大学摄政大学提交的专利申请的作者,该申请描述了与本工作中描述的方法(申请号:US16/375,132;出版物编号US20200316868A1;2019年4月4日提交;发布于2020年10月8日)。所有其他作者都声明他们没有竞争利益。
Acknowledgments
我们感谢 AB Nexus 和科罗拉多州慷慨支持我们对体素打印的科学研究,以进行术前规划。我们感谢L. Browne,N. Stence和S. Sheridan提供本研究中使用的数据集。这项研究由AB Nexus Grant和科罗拉多州先进工业资助资助。
Materials
Name | Company | Catalog Number | Comments |
3D Slicer Image Computing Platform | Slicer.org | Version 4.10.2–4.11.2 | |
GrabCAD | Stratasys | 1.35 | |
J750 Polyjet 3D Printer | Stratasys | ||
Photoshop | Adobe | 2021 |
References
- Ali, A., et al. Clinical situations for which 3D printing is considered an appropriate representation or extension of data contained in a medical imaging examination: adult cardiac conditions. 3D Printing in Medicine. 6 (1), 24 (2020).
- Ballard, D. H., et al. Radiological Society of North America (RSNA) 3D Printing Special Interest Group (SIG) clinical situations for which 3D printing is considered an appropriate representation or extension of data contained in a medical imaging examination: abdominal, hepatobiliary, and gastrointestinal conditions. 3D Printing in Medicine. 6 (1), 13 (2020).
- Corney, J. The next and last industrial revolution. Assembly Automation. 25 (4), (2005).
- Fedorov, A., et al. 3D Slicer as an image computing platform for the quantitative imaging network. Magnetic Resonance Imaging. 30 (9), 1323-1341 (2012).
- Guide to Voxel Printing. GrabCAD. , Available from: https://help.grabcad.com/article/230-guide-to-voxel-printing?locale=en (2021).
- Bader, C., et al. Making data matter: Voxel printing for the digital fabrication of data across scales and domains. Science Advances. 4 (5), (2018).
- Zhang, F., Li, C., Wang, Z., Zhang, J., Wang, Y. Multimaterial 3D printing for arbitrary distribution with nanoscale resolution. Nanomaterials. 9 (8), 1108 (2019).
- Robson, R. The STL Algorithms. Using the STL. , Springer. New York, NY. 47-54 (1998).
- Waran, V., Narayanan, V., Karuppiah, R., Owen, S. L. F., Aziz, T. Utility of multimaterial 3D printers in creating models with pathological entities to enhance the training experience of neurosurgeons. Journal of Neurosurgery. 120 (2), 489-492 (2014).
- Cumbler, E., et al. Contingency planning for healthcare worker masks in case of medical supply chain failure: Lessons learned in novel mask manufacturing from COVID-19 pandemic. American Journal of Infection Control. 49 (10), 1215-1220 (2021).