Name: 基于深度学习的医学图像分割在轨道计算机断层扫描 中的 应用 (视频) | JoVE Journal
Uploaded: 2022-11-30T13:50:00.000+00:00
Duration: 4 min 48 s
Description: 学习基于深度学习的医学图像分割方法，用于眼眶计算机断层扫描中的解剖结构自动识别与掩膜处理。本研究采用2D序列U-Net模型实现眼球、视神经及眼外肌的精准分割，为眼眶疾病的无创诊断提供高效工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本研究由韩国国家研究基金会（NRF）资助，该基金会由韩国科学技术信息通信部（MSIT）提供资金支持（编号：2020R1C1C1010079）。对于CMC-ORBIT数据集，天主教医疗中心中央机构审查委员会（IRB）已提供批准（XC19REGI0076）。&#160;本研究还获得了2022年弘益大学研究基金的支持。

本研究已获得天主教医疗中心机构审查委员会（IRB）的批准，并保护了健康信息的隐私性、保密性和安全性。眼眶CT数据来自韩国天主教大学医学院附属医院（CMC；首尔圣玛丽医院、汝矣岛圣玛丽医院、大田圣玛丽医院和圣文森特医院）的去标识化人类受试者。眼眶CT扫描数据收集时间为2016年1月至2020年12月。该数据集包含46例韩国男性和女性的眼眶CT扫描，年龄范围为20至60岁。运行环境（RTE）详见补充表1。
1. 在眼眶CT扫描中遮蔽眼球、视神经和眼外肌
<ol>
	<li>运行掩膜软件程序。 
	注意：该掩膜软件程序（MediLabel，参见材料表）是一种用于图像分割的医学影像标注软件，操作点击次数少且处理速度快。</li>
	<li>通过点击打开文件图标并选择目标CT文件来加载眼眶CT图像。随后，CT扫描图像将显示在屏幕上。</li>
	<li>使用超像素对眼球、视神经和眼外肌进行掩膜。
	<ol>
		<li>在MediLabel中点击SmartPencil向导以启动SmartPencil功能（视频1）。</li>
		<li>如有需要，调节超像素图的分辨率（例如100、500、1,000和2,000个超像素）。</li>
		<li>在超像素图上点击属于眼球、视神经和眼外肌的超像素簇，这些区域将具有相似图像强度值的像素聚类在一起。</li>
	</ol>
	</li>
	<li>使用MediLabel中的自动校正功能优化掩膜。
	<ol>
		<li>在部分切片上完成超像素掩膜后，点击SmartFill向导（视频2）。</li>
		<li>点击AutoCorrection图标，并确认已计算出校正后的掩膜标签（视频3）。</li>
	</ol>
	</li>
	<li>重复步骤1.3和步骤1.4，直至掩膜优化完成。</li>
	<li>保存已掩膜的图像。</li>
</ol>
2. 预处理：窗口裁剪与感兴趣区域的截取
<ol>
	<li>使用 preprocessing_multilabel.py 脚本提取感兴趣体积（VOI）（该文件可从 GitHub 下载）。
	<ol>
		<li>运行 preprocessing_multilabel.py。</li>
		<li>检查已裁剪并保存在 VOI 文件夹中的扫描图像和掩膜。</li>
	</ol>
	</li>
	<li>使用 builder_multilabel.py 脚本将 VOI 转换为三张连续 CT 切片的组合，作为 SEQ-UNET 的输入（该文件可从 GitHub 下载）。
	<ol>
		<li>运行 sequence_builder_multilabel.py。</li>
		<li>确保在转换过程中，切片和掩膜被调整为 64 像素 × 64 像素。</li>
		<li>在转换过程中，使用 48 HU 的截断水平和 400 HU 的窗宽进行截断处理。</li>
		<li>分别检查预处理文件夹下的 scan 文件夹和 mask 文件夹中保存的已转换 CT 扫描图像（nii 文件）和掩膜（nii 文件）。</li>
	</ol>
	</li>
</ol>
3. 眼眶分割模型的四重交叉验证
<ol>
	<li>按照以下步骤构建模型。
	<ol>
		<li>运行 main.py。</li>
		<li>运行 main.py 时，通过 &#34;-fold num x&#34; 指定四次交叉验证的折数，其中 x 为 0、1、2 或 3。</li>
		<li>运行 main.py 时，使用 epoch（即训练迭代次数）作为选项，例如 &#34;-epoch x&#34;，其中 x 为 epoch 数。默认值为 500。</li>
		<li>运行 main.py 时，设置 batch size（即单次训练中的训练样本数量）。默认值为 32。</li>
		<li>在 main.py 中，加载 CT 扫描图像和掩膜，并使用 LIDC-IDRI 数据集（可从癌症影像档案库下载）的预训练参数初始化 SEQ-UNET。</li>
		<li>在 main.py 中，训练完成后对模型进行测试。计算评估指标，包括 dice 分数和体积相似性，并将其保存至 metrics 文件夹。</li>
		<li>在 segmented 文件夹中查看结果。</li>
	</ol>
	</li>
</ol>

<ol><li>Li, Z., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-based+CT+radiomics+for+feature+representation+and+analysis+of+aging+characteristics+of+Asian+bony+orbit%5BTitle%5D)+AND+%22Journal+of+Craniofacial+Surgery%22%5BJournal%5D)">Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit.</a> Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).</li>
<li>Hamwood, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+deep+learning+method+for+automatic+segmentation+of+the+bony+orbit+in+MRI+and+CT+images%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A deep learning method for automatic segmentation of the bony orbit in MRI and CT images.</a> Scientific Reports. 11, 1-12 (2021).</li>
<li>Kim, K. S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Schwannoma+of+the+orbit%5BTitle%5D)+AND+%22Archives+of+Craniofacial+Surgery%22%5BJournal%5D)">Schwannoma of the orbit.</a> Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).</li>
<li>Baur, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Autoencoders+for+unsupervised+anomaly+segmentation+in+brain+MR+images%3A+A+comparative+study%5BTitle%5D)+AND+%22Medical+Image+Analysis%22%5BJournal%5D)">Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study.</a> Medical Image Analysis. 69, 101952(2021).</li>
<li>Trémeau, A., Colantoni, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Regions+adjacency+graph+applied+to+color+image+segmentation%5BTitle%5D)+AND+%22IEEE+Transactions+on+Image+Processing%22%5BJournal%5D)">Regions adjacency graph applied to color image segmentation.</a> IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).</li>
<li>Boykov, Y. Y., Jolly, M. -P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Interactive+graph+cuts+for+optimal+boundary+%26+region+segmentation+of+objects+in+ND+images%5BTitle%5D)+AND+%22Proceedings+of+Eighth+IEEE+International+Conference+on+Computer+Vision.+International+Conference+on+Computer+Vision%22%5BJournal%5D)">Interactive graph cuts for optimal boundary & region segmentation of objects in ND images.</a> Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).</li>
<li>Rother, C., Kolmogorov, V., Blake, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((%26%2334%3BGrabCut%26%2334%3B+interactive+foreground+extraction+using+iterated+graph+cuts%5BTitle%5D)+AND+%22ACM+Transactions+on+Graphics%22%5BJournal%5D)">&#34;GrabCut&#34; interactive foreground extraction using iterated graph cuts.</a> ACM Transactions on Graphics. 23 (3), 309-314 (2004).</li>
<li>Suh, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Supervised+segmentation+with+domain+adaptation+for+small+sampled+orbital+CT+images%5BTitle%5D)+AND+%22Journal+of+Computational+Design+and+Engineering%22%5BJournal%5D)">Supervised segmentation with domain adaptation for small sampled orbital CT images.</a> Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22International+Conference+on+Medical+Image+Computing+and+Computer-Assisted+Intervention.Medical+Image+Computing+and+Computer-Assisted+Intervention+-+MICCAI%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).</li>
<li>Qamar, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+variant+form+of+3D-UNet+for+infant+brain+segmentation%5BTitle%5D)+AND+%22Future+Generation+Computer+Systems%22%5BJournal%5D)">A variant form of 3D-UNet for infant brain segmentation.</a> Future Generation Computer Systems. 108, 613-623 (2020).</li>
<li>Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aNguyen%2C+H+%22Computational+Pathology+and+Ophthalmic+Medical+Image+Analysis%22">Computational Pathology and Ophthalmic Medical Image Analysis</a>. , Springer. Cham, Switzerland. 167-175 (2018).</li>
<li>Liu, Q., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bidirectional-convolutional+LSTM+based+spectral-spatial+feature+learning+for+hyperspectral+image+classification%5BTitle%5D)+AND+%22Remote+Sensing%22%5BJournal%5D)">Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification.</a> Remote Sensing. 9 (12), 1330(2017).</li>
<li>Yeghiazaryan, V., Voiculescu, I. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Family+of+boundary+overlap+metrics+for+the+evaluation+of+medical+image+segmentation%5BTitle%5D)+AND+%22Journal+of+Medical+Imaging%22%5BJournal%5D)">Family of boundary overlap metrics for the evaluation of medical image segmentation.</a> Journal of Medical Imaging. 5 (1), 015006(2018).</li>
<li>Zhang, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparable+performance+of+deep+learning-based+to+manual-based+tumor+segmentation+in+KRAS%2FNRAS%2FBRAF+mutation+prediction+with+MR-based+radiomics+in+rectal+cancer%5BTitle%5D)+AND+%22Frontiers+in+Oncology%22%5BJournal%5D)">Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer.</a> Frontiers in Oncology. 11, 696706(2021).</li>
<li>Christopher, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Performance+of+deep+learning+architectures+and+transfer+learning+for+detecting+glaucomatous+optic+neuropathy+in+fundus+photographs%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs.</a> Scientific Reports. 8, 16685(2018).</li>
</ol>

作者声明无利益冲突。

基于深度学习的医学图像分析已广泛应用于疾病检测。在眼科领域，检测和分割模型被用于糖尿病视网膜病变、青光眼、年龄相关性黄斑变性以及早产儿视网膜病变的研究。然而，由于难以获取大规模公开数据集用于深度学习分析，其他罕见疾病（尤其是眼科以外的疾病）尚未得到充分研究。在缺乏公开数据集的情况下应用该方法时，图像标注（掩膜）步骤不可避免，而这一过程通常耗时且劳动密集。然而，本文提出的掩膜步骤（方案部分，步骤1）可在短时间内实现高精度的掩膜生成。通过使用超像素和基于神经网络的填充方法——对低级图像特征相似的像素进行聚类——临床医生只需点击像素组即可完成标注，而无需逐个指定具体像素。此外，自动校正功能有助于进一步优化掩膜过程。该方法的高效性与有效性将有助于在医学研究中生成更多标注图像。
在预处理的多种方法中，提取感兴趣体积（VOI）和窗宽裁剪是有效的手段。本方案的第2步将介绍提取VOI和窗宽裁剪的方法。临床医生准备数据集时，从给定数据集中提取VOI是整个流程中最关键的步骤，因为大多数分割任务都集中在整幅医学图像中的小范围特定区域。关于VOI，通常根据位置对眼球、视神经和眼外肌区域进行裁剪，但更高效的VOI提取方法有望提升分割性能14。
在分割任务中，本研究采用了 SEQ-UNET 模型。三维医学图像具有较大的体积，因此深度神经网络模型需要较大的内存容量。在 SEQ-UNET 中，分割模型通过使用较少的切片数来实现，从而在不丢失三维信息特征的前提下减少所需的内存大小。
该模型使用了46个感兴趣体积（VOI）进行训练，这一数量在模型训练中并不算大。由于训练数据集数量较少，视神经和眼外肌分割的性能受到限制。迁移学习15和领域自适应8可能为提升分割性能提供解决方案。
本文介绍的完整分割流程不仅限于眼眶CT图像分割。高效的标注方法有助于为研究领域特有的应用创建新的医学图像数据集。GitHub上的Python代码涉及预处理和分割建模，通过调整裁剪区域、窗宽窗位、模型超参数（如连续切片数量、U-Net网络结构等），可将其应用于其他领域。

眼眶是一个体积约为 30.1 cm3 的狭小而复杂的腔隙，其中包含眼球、神经、眼外肌、支持组织以及与视觉和眼球运动相关的血管等重要结构1。眼眶肿瘤是指眼眶内异常的组织增生，其中部分肿瘤可能威胁患者的视力或眼球运动功能，进而导致严重的功能障碍。为了保护患者的视觉功能，临床医生必须根据肿瘤的特征决定治疗方案，通常难以避免进行手术活检。然而，由于该区域结构紧凑且组织密集，临床医生在活检过程中往往难以避免对正常结构造成损伤。基于深度学习的病理图像分析技术可用于评估眼眶病变情况，有助于在活检过程中避免对眼眶组织造成不必要的或可避免的损伤2。针对眼眶肿瘤的一种图像分析方法是肿瘤的检测与分割。但由于眼眶肿瘤发病率较低，包含眼眶肿瘤的 CT 图像的大规模数据收集仍受限3。另一种高效的计算型肿瘤诊断方法4是将肿瘤与眼眶的正常结构进行比较。相较于肿瘤样本，正常眼眶结构的 CT 图像数量相对较多。因此，对正常眼眶结构进行分割是实现该目标的第一步。
本研究展示了基于深度学习的眶部结构分割的完整流程，包括数据采集、预处理以及后续建模过程。本研究旨在为希望采用当前方法高效生成掩膜数据集的临床医生，以及需要了解眼眶CT图像预处理和建模方法的眼科医生提供参考资源。本文提出了一种新的眶部结构分割方法——序列U-Net，这是一种基于U-Net典型深度学习架构的序列二维分割模型，专用于医学图像分割。该实验方案详细描述了眶部结构分割的操作流程，包括：（1）如何使用掩膜工具标注眶部结构分割的真值；（2）眼眶图像预处理所需的步骤；（3）如何训练分割模型并评估其分割性能。
对于监督学习，由四位具有五年以上眼科专科医师认证经验的资深眼科医生，手动标注了眼球、视神经和眼外肌的掩膜。所有眼科医生均使用掩膜软件程序（MediLabel，参见材料表），该软件采用超分辨率技术，可在CT扫描图像上高效完成掩膜标注。该掩膜软件具备以下半自动功能：（1）智能铅笔（SmartPencil），可生成具有相似图像强度值的超像素图簇5；（2）智能填充（SmartFill），通过计算前景与背景的能量函数生成分割掩膜6,7；（3）自动校正（AutoCorrection），可使分割掩膜的边界清晰，并与原始图像保持一致。图1展示了上述半自动功能的示例图像。手动掩膜的具体操作步骤详见方案部分（步骤1）。
下一步是对眼眶CT扫描图像进行预处理。为了获取感兴趣的眼眶体积区域（VOI），需识别在正常情况下眼球、肌肉和神经所在的眼眶区域，并对这些区域进行裁剪。该数据集具有高分辨率，平面内体素分辨率和层厚均小于&#60;1 mm，因此跳过插值过程。取而代之的是在48 HU的裁剪水平和400 HU的窗宽下进行窗截处理。完成裁剪和窗截处理后，生成三个连续的眼眶VOI切片，作为分割模型的输入8。&#160;方案部分（步骤2）详细说明了预处理步骤。
U-Net9 是一种广泛应用于医学图像分割的模型。U-Net 架构包含一个编码器和一个解码器：编码器用于提取医学图像的特征，解码器则以语义方式呈现具有判别性的特征。在将 U-Net 应用于 CT 扫描时，卷积层采用 3D 滤波器10,11。这带来了一个挑战，因为 3D 滤波器的计算需要大量内存。为了降低 3D U-Net 的内存需求，研究者提出了 SEQ-UNET8，该方法在 U-Net 中使用一组连续的 2D 切片。为防止 3D CT 扫描中 2D 图像切片之间的时空相关性丢失，在基础 U-Net 中引入了两个双向卷积长短期记忆网络（C-LSTM）12。第一个双向 C-LSTM 在编码器末端提取切片间的相关性；第二个双向 C-LSTM 在解码器输出之后，将切片序列维度上的语义分割信息转换为单幅图像分割结果。SEQ-UNET 的架构如图 2所示。实现代码可在 github.com/SleepyChild1005/OrbitSeg 获取，代码的使用方法详见方案部分（步骤 3）。

<table><tbody><tr><td>GitHub 链接</td><td></td><td></td><td>github.com/SleepyChild1005/OrbitSeg</td></tr><tr><td>MediLabel</td><td>INGRADIENT (首尔, 韩国)</td><td></td><td>一种用于分割的医学图像标注软件，点击更少、速度更快</td></tr><tr><td>SEQ-UNET</td><td></td><td></td><td>可从 GitHub 下载</td></tr><tr><td>SmartFil</td><td></td><td></td><td>MediLabel 中的向导功能&amp;nbsp;</td></tr><tr><td>SmartPencil&amp;nbsp;</td><td></td><td></td><td>MediLabel 中的向导功能&amp;nbsp;</td></tr></tbody></table>

基于深度学习的医学图像分割应用 通过 眼眶计算机断层扫描

Application of Deep Learning-Based Medical Image Segmentation via Orbital Computed Tomography

近年来，基于深度学习的分割模型已广泛应用于眼科领域。本研究展示了基于U-Net构建眼眶计算机断层扫描（CT）分割模型的完整流程。对于监督学习而言，需要耗费大量人力和时间。本文介绍了采用超分辨率标注方法，以高效地在眼眶CT图像上标注真实标签（ground truth）。此外，在数据集预处理过程中，对感兴趣区域进行裁剪。随后，在提取眼眶结构的感兴趣区域后，利用U-Net构建用于分割眼眶CT关键结构的模型，该模型以连续的二维切片作为输入，并采用两个双向卷积长短期记忆网络来保留切片间的相关性。本研究主要聚焦于眼球、视神经和眼外肌的分割。分割结果的评估表明，深度学习方法在眼眶CT图像分割中具有潜在的应用价值。

为了进行定量评估，采用了两种在CT图像分割任务中使用的评估指标。这两种指标均为相似性度量，包括骰子系数（DICE）和体积相似性（VS）13：
DICE (%) = 2 × TP/(2 × TP + FP + FN) 
VS (%) = 1 − |FN − FP|/(2 × TP + FP + FN)
其中，TP、FP 和 FN 分别表示在给定分割结果和分割掩膜时的真阳性、假阳性和假阴性值。
通过四项交叉验证评估了 SEQ-UNET 在眼眶结构分割中的性能，结果如表1所示。使用 SEQ-UNET 进行眼球分割的 Dice 评分为 0.86，VS 评分为 0.83。眼外肌和视神经的分割得分较低（Dice 评分分别为 0.54 和 0.34）。眼球分割的 Dice 评分超过 80%，原因是其在感兴趣体积（VOIs）中占比较大，且不同 CT 扫描之间的异质性较小。眼外肌和视神经的 Dice 评分相对较低，是因为它们在 CT 容积中出现频率较低，且仅存在于相对较少的 CT 层面中。然而，眼外肌和视神经的视觉相似性评分（分别为 0.65 和 0.80）高于其 Dice 评分。该结果表明分割的特异性较低。总体而言，SEQ-UNET 对所有眼眶亚结构分割的 Dice 评分和视觉相似性评分分别为 0.79 和 0.82。眼眶结构分割的视觉结果示例如图3所示。在图3A-C中，蓝色表示预测的分割结果，红色表示真实标签掩膜。在图3D中，红色、绿色和橙色分别表示眼球、眼外肌和神经的分割结果。
<img alt="CT扫描分析序列、脑部横断面成像、诊断放射学对比图表。" class="xfigimg" src="/files/ftp_upload/64500/64500fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：半自动掩膜功能。 在眼眶CT扫描中使用（A）SmartPencil、（B）SmartFill 和（C）AutoCorrection 对眼球、眼外肌和视神经进行掩膜。眼球的掩膜由SmartPencil标记，该工具通过计算图像切片的超像素，并通过点击超像素生成掩膜。在点击部分眼球超像素后，可利用SmartFill计算出完整的眼球掩膜。在视神经掩膜过程中，通过AutoCorrection进行掩膜优化。蓝色标记的眼球显示在（A）和（B）中。<a href="https://www.jove.com/files/ftp_upload/64500/64500fig01large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="CT扫描对比，肩关节，A-D图板，颜色编码分析，医学影像研究。" class="xfigimg" src="/files/ftp_upload/64500/64500fig02.jpg" data-altupdatedat="1788304762000" data-alt="Figure 2"> 
图2：SEQ U-Net 网络架构。以序列化的二维切片作为输入和输出；在基于U-Net架构的编码和解码模块末端，分别引入两个双向C-LSTM。 <a href="https://www.jove.com/files/ftp_upload/64500/64500fig02large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="MRI分割；解剖学差异；示意图；肩关节分析；医学影像；比较研究。" class="xfigimg" src="/files/ftp_upload/64500/64500fig03.jpg" data-altupdatedat="1788304762000" data-alt="图3"> 
图3：眼眶结构的分割结果。（A）眼球（标签1），（B）眼外肌（标签2），（C）视神经（标签3），以及（D）多标签（标签1、2和3）。左侧图像为眼眶的感兴趣容积（VOI），中间图像为预测的分割结果，右侧图像为真实标注。在（A）、（B）和（C）中，蓝色表示预测的分割结果，红色表示真实标注掩膜。在（D）中，红色、绿色和橙色分别表示眼球、眼外肌和视神经的分割结果。在眼球分割中，预测结果表现出较高的性能（DICE：0.86 vs. 0.82），但在眼外肌（DICE：0.54 vs. 0.65）和视神经（DICE：0.34 vs. 0.8）的分割中性能较低。<a href="https://www.jove.com/files/ftp_upload/64500/64500fig03large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td rowspan="2"></td>
			<td colspan="2">多标签</td>
			<td colspan="2">标签 1（眼球）</td>
			<td colspan="2">标签 2（眼外肌）</td>
			<td colspan="2">标签 3（视神经）</td>
		</tr>
		<tr>
			<td>DICE</td>
			<td>VS</td>
			<td>DICE</td>
			<td>VS</td>
			<td>DICE</td>
			<td>VS</td>
			<td>DICE</td>
			<td>VS</td>
		</tr>
		<tr>
			<td>SEQ-UNET</td>
			<td>0.79</td>
			<td>0.82</td>
			<td>0.86</td>
			<td>0.83</td>
			<td>0.54</td>
			<td>0.65</td>
			<td>0.34</td>
			<td>0.8</td>
		</tr>
	</tbody>
</table>
表1：Dice分数与视觉相似性的分割结果。 眼球的切片数量相对较多，分割效果良好，DICE值达到0.8；但眼外肌和视神经由于切片数量少且呈线状，分割不完整，DICE值分别为0.54和0.34。, 分别。
视频 1：遮罩软件程序中的 SmartPencil 向导。 演示如何对多个像素进行眼球遮罩标注。通过单击聚集的超像素，即可一键完成遮罩任务。<a href="https://www.jove.com/files/ftp_upload/64500/SmartPencil_Figure1(A).mp4" target="_blank">请点击此处下载该视频。</a>
视频 2：掩膜软件程序中的 SmartFill 向导。 演示如何对多个像素进行眼球掩膜标注。在标注区域中选择部分像素后，该功能将生成与所选像素强度相似的完整分割掩膜。<a href="https://www.jove.com/files/ftp_upload/64500/SmartFill_Figure1(B).mp4" target="_blank">请点击此处下载该视频。</a>
视频 3：掩膜软件程序中的自动校正。 演示如何使用预训练的卷积神经网络算法对被掩膜的像素进行自动校正。<a href="https://www.jove.com/files/ftp_upload/64500/AutoCorrection_Figure(C).mp4" target="_blank">请点击此处下载该视频。</a>
补充表1：掩膜、预处理和分割建模的运行环境（RTE）。 <a href="https://www.jove.com/files/ftp_upload/64500/Supplemtary%20Table%201.xlsx" target="_blank">请点击此处下载该表格。</a>

本文介绍了一种用于眼眶计算机断层扫描（CT）图像的物体分割方案。文中详细说明了采用超分辨率技术标注眼眶结构真实标签、从CT图像中提取感兴趣区域体积，以及利用二维序列U-Net对眼眶CT图像进行多标签分割建模的方法，以上均适用于监督学习。

近年来，基于深度学习的分割模型已广泛应用于眼科领域。本研究展示了……的完整过程。

本研究中，我们提出了针对眼眶计算机断层扫描图像的对象分割方案。这是全球首次尝试。使用该程序，您可以轻松地对任意解剖部位进行掩膜处理。它能够实现可视化，并节省您的时间和精力。我们希望本研究能够为难以进行活检的眼眶疾病诊断奠定基础。首先运行掩膜软件程序。要加载眼眶CT，请点击打开文件图标并选择目标CT文件。若需使用超像素遮盖眼球、视神经和眼外肌，请在MediLabel中点击SmartPencil向导以运行SmartPencil。如有必要，可调整超像素图的分辨率，然后在超像素图上点击眼球、眼外肌和视神经所在的一组超像素，这些超像素将具有相似图像强度值的像素聚类在一起。为了优化掩膜，可在对切片上的部分超像素进行掩膜后，点击 SmartFill 向导，然后点击自动校正图标，并确保已计算出校正后的掩膜标签。掩膜优化完成后，保存已掩膜的图像。运行用于预处理的 Python 脚本，并检查在 VOIs 文件夹中已裁剪并保存的扫描图像和掩膜。运行序列构建器 Python 脚本，将 VOI 转换为一组三个连续的 CT 切片，作为序列 U-Net 的输入。分别检查扫描文件夹、掩码文件夹以及预处理文件夹中保存的已转换 CT 扫描图像和掩码。为构建眼眶分割模型，请运行 Python 脚本 main。py 并给出折叠编号。设置训练迭代次数（epoch）以及批量大小（batch size），后者指单次训练会话中的训练样本数量。脚本 main。py 可以在不使用解析器的情况下运行，此时将使用默认值。在训练完成后对模型进行测试，并计算评估指标，如 Dice 分数和体积相似性。最后，检查保存为图像文件的结果。采用序列U-Net进行眼眶结构分割的眼球分割实现了0.83的视觉相似性（VS）评分和0.86的高Dice评分，因其在感兴趣区域（VOIs）中占比较大，且CT扫描间异质性较小。眼外肌分割的Dice评分较低，为0.54，视神经分割的Dice评分仅为0.34，原因是它们在CT容积中出现频率较低，且仅存在于相对较少的CT切片中。然而，眼外肌和视神经的视觉相似性评分高于其Dice评分，表明分割的特异性较低。总体而言，所有眼眶亚结构的分割达到了0.79的Dice分数和0.82的视觉相似性评分。根据具体应用的不同，感兴趣体积（VOI）的大小和窗宽截断水平可以有所调整。您可以修改序列构建代码以用于其他重要目的。此外，可以修改模型训练的超参数。该模型使用了46个感兴趣体积（VOI）进行训练，这一数量在模型训练中并不算大。为了克服因训练数据集数量较少导致的性能低下问题，可采用迁移学习和领域标注方法。

application-deep-learning-based-medical-image-segmentation-via

Research

科研

JoVE Journal

Engineering

工程

基于深度学习的医学图像分割在轨道计算机断层扫描 中的 应用

本文介绍一种利用单个冷冻电子断层图的一部分作为训练输入，训练用于多类别分割冷冻电子断层图的多切片U-Net的方法。我们描述了如何将该网络推断应用于其他断层图，以及如何提取分割结果以进行后续分析，例如子断层图平均和纤维追踪。...

基于深度学习的冷冻电子断层图像分割

眼眶重建的个性化医疗正在迅速发展。由于眼眶结构精细，骨折修复后即使存在微小差异，也可能导致视觉感知功能受损。本文介绍了三种用于眼眶缺损的虚拟三维重建方法，并阐述了这些方法的适应证以及正确重建过程中可能遇到的潜在问题。...

眶骨骨折的三维重建

冷冻电子断层扫描技术（cryo-ET）能够以纳米级分辨率实现细胞超微结构的三维可视化，但手动分割仍耗时且复杂。我们提出了一种新颖的工作流程，该流程整合了先进的虚拟现实软件用于cryo-ET断层图的分割，并通过对哺乳动物细胞中线粒体的分割展示了其有效性。...

利用虚拟现实技术实现冷冻电子断层数据的沉浸式分割与分析

自动化关节间隙检测工作流程的开发实现了对野生型小鼠后肢足部骨骼的高通量分割，准确率超过&gt;98%。该方法可灵活应用于前肢足部以及患有炎性侵蚀性关节炎的足部，但在这些情况下的性能有所下降，未来研究需利用公开数据进一步优化。...

自动化关节间隙检测可提高骨分割的准确性

本文描述了一种能够获取光学不透明流体中或通过光学不透明几何结构的二维速度场的回声粒子图像测速（EPIV）系统，并报道了在管道流动中的验证性测量结果。...

回声粒子图像测速法

本文介绍了一种利用高分辨率、高速粒子图像测速技术（PIV）研究边界附近瞬态流动的方法。PIV是一种非侵入式测量技术，通过优化图像与记录特性、激光片光源特性以及分析算法等多个参数约束，可应用于任何光学可访问的流动研究。...

近表面高速粒子图像测速技术

本文概述了一种对有源光电器件进行全方位微区表征的工作流程。该方法结合了计算机断层扫描（CT）、光学显微镜（LM）和扫描电子显微镜（SEM），可同时实现结构与功能的分析。本方法以白光发光二极管（LED）为例进行了演示，该器件在表征过程中仍可正常工作。...

结合X射线计算机断层扫描（CT）与光学显微镜（LM）并关联扫描电子显微镜（SEM）对发光二极管（LED）进行深入分析

本文介绍了用于测量农业喷嘴在航空和地面施用农药过程中产生的喷雾液滴尺寸的实验方案。这些方法旨在使用激光衍射系统时，无论在实验室内部还是不同实验室之间，均能获得一致且可重复的液滴尺寸数据。...

使用激光衍射法测量农用喷嘴的喷雾液滴尺寸

一种低剂量常压等离子体处理用于葡萄糖剥夺诱导的SH-SY5Y细胞损伤的神经保护应用方案。...

一种新型常压等离子体射流在对抗SH-SY5Y细胞葡萄糖剥夺损伤中的神经保护作用应用

本文描述了一种新型的光声显微成像与光学相干断层扫描双模态系统的构建及其操作流程，可用于对兔子等较大动物的脉络膜视网膜进行无创、免标记成像。...

活体兔眼脉络膜视网膜新型光声显微与光学相干断层扫描双模态成像

学习基于深度学习的医学图像分割方法，用于眼眶计算机断层扫描中的解剖结构自动识别与掩膜处理。本研究采用2D序列U-Net模型实现眼球、视神经及眼外肌的精准分割，为眼眶疾病的无创诊断提供高效工具。

基于深度学习的医学图像分割应用通过眼眶计算机断层扫描

探索更多视频

基于深度学习的医学图像分割应用 通过 眼眶计算机断层扫描

探索更多视频

基于深度学习的医学图像分割应用通过眼眶计算机断层扫描