本方案描述了利用深度学习辅助的图像分析和可视化质量控制,对分离的人和啮齿类动物胰岛进行标准化取样、染色、图像采集以及基于网络的自动化定量分析。
本方案描述了利用深度学习辅助的图像分析和可视化质量控制,对分离的人和啮齿类动物胰岛进行标准化取样、染色、图像采集以及基于网络的自动化定量分析。
本出版物旨在提供一份书面并配有实操视频的分步操作规程,用于标准化使用IsletNet——一个基于网络的自动化平台,可对分离的胰岛图像进行定量分析,流程涵盖从样本采集、图像获取,到图像上传、视觉验证以及自动生成报告的全过程。该平台专为标准化、自动化评估分离胰岛的二维显微图像而开发,以支持临床和实验性胰岛分离工作流程。平台采用基于深度学习的图像分割技术,识别胰岛与外分泌组织,并从中提取轮廓用于图像分析。随后通过计算算法对胰岛数量、体积和纯度进行定量。视觉质量控制工具支持专家对自动图像分析结果进行验证,允许用户接受、手动修正或排除无效图像。临床胰岛分离模块支持纯度分数批次分析,并生成自动化的PDF报告,同时提供可下载的图像和表格数据文件,用于记录保存和 分析。简单比较模块可将自动化分析结果与随样本图像提交的本地参考结果进行比对 ,以评估本地标准化图像是否适用于自动化分析 。本操作规程还概述了在必要时使用本地生成的标准化图像进行重新训练的建议。来自啮齿类动物和人类胰岛分离的代表性数据(包括具有挑战性的案例) 表明,在适当训练后,自动化分析性能得到显著提升。
将分离的胰岛移植到糖尿病受体体内,可减少或消除对外源性胰岛素注射的依赖1。从尸体或活体供体中分离胰岛的过程存在生物学和操作上的异质性,表现为产量和质量的差异。总胰岛体积是确定移植剂量和临床决策(如是否适合移植)的主要依据2。胰岛大小分布直方图和胰岛指数用于反映不同大小胰岛在功能效率上的差异3。因此,除了总胰岛体积(目前作为β细胞含量的替代指标)外,还需关注单个胰岛的特征。分离的人类胰岛密度低于啮齿类动物胰岛,且常与外分泌组织分离不充分,因此在未染色的情况下较难分辨。为此,已采用一种快速简便的锌离子染色法,利用双硫腙(dithizone)使富含锌的胰岛素颗粒呈现强烈的红色反光4。由于组织不透明,仅能收集来自表面的反射光,因此可使用配备光源和相机的普通体视显微镜或倒置显微镜进行观察。
尽管已有多项尝试通过采用数字图像分析工具来减少实验室间的差异5,6,7,8,9,10,11,12,但这些方法仍存在若干局限性。在这些方法中,胰岛与外分泌组织的分割要么依赖于手动设定阈值,容易引入主观误差5,6,7,8,9,10,要么采用完全自动化的分割方法11,12。此外,通常需要在本地安装软件5,6,7,8,9,10,11,且可能受限于特定硬件10,11,从而限制了其通用可及性与标准化应用。
本出版物的总体目标是提供一种标准化的工作流程,通过基于网络的深度学习平台并在人类专家监督下,实现对图像中分离的胰岛进行自动化定量分析。IsletNet 解决了胰岛图像分析在可用性和可靠性方面的局限性。本文提出了胰岛移植物取样、生成合适的显微图像以及正确使用 IsletNet 工具的推荐指南。该方案引入了由人工对自动生成结果进行监督的概念,并为潜在用户和已有用户提供了相应的工作流程(图1)。简单比较工具允许潜在用户将 IsletNet 的分析结果与本地获得的参考方法直接进行比较(图1A)。由于不同中心本地生成的标准图像可能存在显著差异,IsletNet 在实现可靠分析前可能需要重新训练(图1B)。为促进这一过程,本文提供了关于标准化染色和图像采集的建议。对于已有用户,临床胰岛分离工具旨在支持人胰岛分离的工作流程(图1C)。表1 描述了由 IsletNet 生成的可下载报告以及附加表格和可视化结果,而关键的计算参数则在 表2 中进行了总结。

图 1:平台面向潜在用户与现有用户的使用工作流程。(A)使用“简单比较”模块的本地验证工作流程。(B)重新训练需要一组代表本地标准化图像的数据。(C)使用“临床胰岛分离”模块的常规使用工作流程。关键工作流程步骤包括图像上传、分析、视觉质量控制(vQC)和报告生成。比例尺不适用。请点击此处查看该图的放大版本。
表1:平台生成的可下载结果文件。 由临床胰岛分离工具和简易比较工具生成的可下载输出文件列表,按文件格式和输出类别分组。该表格包括报告文件、分割图像输出、可视化文件,以及胰岛计数、体积、纯度和直方图分析的电子表格导出文件。请点击此处下载此表格。
表2:可下载报告和电子表格输出中包含的关键参数。 临床胰岛分离工具和简单比较工具生成的可下载XLSX和CSV文件中所含的元数据、用户自定义设置以及定量分析参数的详细列表。参数包括会话元数据、图像采集设置,以及针对图像和单个胰岛的胰岛定量指标。 请点击此处下载此表格。
动物实验程序已获得捷克共和国卫生部批准(批准号:49/2023),符合欧洲共同体理事会指令86/609/EEC的规定。人胰岛分离与使用程序已获得国家药品控制研究所批准(批准号:sukls111286/2023)。采用标准化显微图像分析大鼠和人胰岛制备物,使用“简单比较”和“临床胰岛分离”工具比较自动分析与人工计数的结果。人工和自动胰岛当量计算均采用标准(短)换算表13。
1. 人类监督

图 2.批次结果窗口。(A)当前样本结果汇总。(B)重复样本图像的结果。(C)仅来自已接受图像的批次平均值。(D、E、F)带链接的图形化结果预览。(G)样本导航箭头。(H、I、J)已修改、已接受和被排除的图像。(K)IsletNet 顶部导航栏。(L、M)批次结果窗口的页眉和页脚。请点击此处查看此图的放大版本。

图3.vQC检查窗口及手动轮廓校正。 (A)图像缩放显示。(B)图例与导航提示。(C)检查窗口的顶部导航栏。(D–G)构建并提交相邻胰岛的手动分割线。(H)切换显示或隐藏手动分割线。(I)删除手动分割线。(J)切换将图像从统计中排除。此界面视图中未显示比例尺。请点击此处查看此图的放大版本。
表3:检测窗口中可用的视图模式、键盘快捷键和导航控制。 该表总结了在检测窗口中进行虚拟质量控制(vQC)和手动审查分割结果时可用的图像可视化模式、键盘快捷键以及导航功能。内容包括轮廓叠加、分割结果显示、直方图可视化以及在临床胰岛分离和简单比较工具中使用的图像导航控制。请点击此处下载该表格。
2. 平台导航
3. 使用本地图像进行简单比较与外部训练

图4。简易比较工具、仪表板与工作流程。(A)顶部导航栏。(B)简易比较仪表板。(C)上传提示与操作说明。(D, E)form.xlsx 模板下载及已上传参数的可视化展示。(F)用于图像和电子表格的拖放上传区域。(G)选择胰岛尺寸到体积的转换方式。请点击此处查看此图的放大版本。
4. 取样
注意:胰岛会根据大小和形状快速且差异性地沉降,这可能导致取样结果出现偏差。
注意:所有胰岛操作步骤均须在层流罩内进行,并佩戴适当个人防护装备。
5. 优化胰岛图像采集
6. 临床胰岛分离工具
注意:关键工作流程步骤总结于图1C。随着样品的获取,按纯度组分批次对图像进行分析。
纯化的大鼠胰岛
在第一次实验中,共进行了四次独立的成像实验,获取了代表12个样本的36张图像,这些样本总共包含249个纯化的鼠胰岛。图像使用体视显微镜在三种标准化但不同的照明条件下生成,照明光源包括卤素灯和发光二极管(LED),并结合了不同的相机设置。IsletNet训练专家对三张代表性图像进行了手动标注,生成了真实值(GT)分割结果。
当使用 Simple Comparison 工具的公开版本分析图像时,所有自动生成的轮廓均未通过视觉质量控制(vQC,图5F)。随后,该平台使用具有代表性的本地图像重新训练,由重新训练后的实验版本生成的所有轮廓均通过了vQC(图5C)。
重新训练后,在三种成像条件下,自动与手动胰岛体积估计值的比值表现出一致的性能,照明条件A、B和C的中位数分别为1.03、0.98和0.94(图5A)。与原始训练模型相比,这些结果代表了显著的改进(图5B)。
与真实分割结果进行逐像素比较表明,重新训练后,自动分割与手动生成的轮廓具有高度一致性(图5D),在代表性图像中表现为轮廓定位准确(图5C)。相比之下,原始训练模型显示出更高比例的假阴性像素(图5G)以及轮廓定位错误(图5F),导致相应的胰岛大小直方图向较小的胰岛类别偏移(图5E 与5H对比)。

图 5。使用三种成像设置和大鼠胰岛样本对平台重新训练的评估。 (A)使用三种成像设置重新训练后,IsletNet 与人工胰岛当量(IEQ)估算值的比较。(B)使用原始公开训练模型时,IsletNet 与人工 IEQ 估算值的比较。(C, F)分别在模型重新训练后和重新训练前,使用 vQC 工具进行的代表性轮廓标注。白色箭头指示正确的轮廓标注,品红色箭头指示错误的轮廓标注。(D, G)分别在重新训练后和使用原始训练模型时,与真实情况的逐像素比较。真阳性、假阳性、假阴性和真阴性区域在图例中注明。(E, H)分别在重新训练后和使用原始训练模型时,代表性胰岛大小直方图,并与人工计数结果进行比较。成像设置 1 = LED 照明;成像设置 2 = 卤素照明;成像设置 3 = LED 暗场照明。比例尺 = 100 µm。箱形图按 Tukey 方法绘制;须线延伸至距第一和第三四分位数 1.5 × 四分位距范围内的数据点。请点击此处查看该图的放大版本。
临床人胰岛制备
在第二次实验中,使用该平台的公开版本分析了代表一次人胰岛分离过程的17张图像,这些图像包含三组纯度分级样本。其中一份样本丢失。经过视觉质量控制(vQC)后,由于出现伪胰岛检测,所有代表中等和低纯度组分的图像均被排除(数据未显示)。随后,该平台使用具有代表性的本地图像进行了重新训练。
重新训练后,所有图像在添加三条手动分割线后均通过了vQC。与手动计数的批次比较显示,总胰岛数量和体积估计值的整体低估不超过5%。稀释2,000至4,000倍的样品中,胰岛数量根据纯度组分的不同介于80至4个之间。各纯度组分对最终制备样品的相对贡献如图6A所示。与中等纯度组分2SC1相比,高纯度组分1VC2主要含有较小的胰岛。该平台自动生成的整体胰岛大小直方图如图6B所示。

图 6.人胰岛分离样本的定量与分析。 (A)使用 IsletNet 和手动计数方法对完整移植物各纯度组分中的胰岛数量及胰岛当量体积进行估计。(B)由 IsletNet 基于批次平均值生成的最终胰岛尺寸直方图。(C)在17张独立图像上,IsletNet 与手动方法在计数和体积估计上的比较。(D)来自样本3NC1的代表性图像细节,显示原始图像及经重新训练的 IsletNet 生成的轮廓定位。(E)IsletNet 分割结果与人工计数专家(GT1)和 IsletNet 训练专家(GT2)生成的真值之间的像素级比较(GT1 vs. GT2)。图例中标明了真阳性、假阳性、假阴性和真阴性区域。(F)同一图像中 IsletNet 与手动方法结果的代表性胰岛尺寸直方图。品红色箭头指示轮廓及胰岛尺寸类别的偏移。比例尺 = 100 µm。箱形图按Tukey惯例绘制;须线延伸至距第一和第三四分位数1.5 × 四分位距范围内的数据点。请点击此处查看该图的放大版本。
随后对所有单个图像的自动与手动估算结果进行了比较(图6C)。自动与手动估算的中位数比值在胰岛数量上为1.00,在胰岛体积上为0.93,并观察到若干离群值。在一个代表性低纯度样本(3NC1)中,该平台识别出的胰岛数量与手动计数相同(5个胰岛),但估算的胰岛体积低29%。这些数据点在图6C中以箭头标示。
在此代表性图像中,最大的胰岛部分被困在外分泌组织中,如图6D所示,包括原始图像和自动生成的轮廓叠加。与两位专家独立生成的金标准分割结果进行逐像素比较的结果如图6E所示。相应的胰岛大小直方图显示了手动分割与自动分割之间在大小分布上的偏移(图6F)。
自动分析的操作性能
在标准网络条件下,以平均50 Mbps的下载速度和30 Mbps的上传速度,对简单比较工具和临床胰岛分离工具的操作性能进行了评估。使用图像大小范围从0.5 MB的JPEG文件到20 MB的TIFF文件,对五批图像(每批包含12张图像)进行了分析。测量了完整ZIP结果包的下载耗时。
两种工具的分析可视化时间和下载持续时间均随着图像尺寸的增加而逐步延长(表4)。对于相同的图像数据集,临床胰岛分离工具所需的处理时间长于简易比较工具。这些结果表明,在常规操作过程中,图像分辨率、文件格式与分析通量之间存在实际关联。
表4:临床胰岛分离工具和简单比较工具的分析可视化时间及下载持续时间。 使用不同文件大小和格式的图像批次,对结果可视化和文件下载所需的处理时间进行比较。测量数据采用包含12张图像的批次获得,报告的时间为从提交批次到结果可视化或下载完成之间的实际耗时。请点击此处下载该表格。
本文所述方案为 IsletNet 平台的新用户和现有用户提供了一个实用的操作流程,重点介绍该平台的两个关键功能:专家视觉质量控制(vQC)和神经网络重新训练。代表性结果表明,准确的自动化定量不仅依赖于图像分割的性能,还取决于用户在接受结果前对轮廓位置和图像适用性进行批判性评估的能力。另外两个高级工具——像素对像素比较(Pixel-to-Pixel Comparison)和我的分割(My Segmentations)——被用于生成部分验证结果;然而,这些工具主要用于支持神经网络训练,因此未包含在本方案的操作流程中。
IsletNet 是作为一个协作性且广泛可访问的参考工具而开发的,旨在实现不同实验室之间标准化的胰岛图像分析。该神经网络使用人工标注的原始二维显微图像中分离的人和大鼠胰岛的金标准(GT)分割数据进行训练和验证14,15,16。已分别建立了针对二苯硫腙(dithizone)染色样本的两个独立模型,以及一个用于未染色大鼠胰岛的研究模型,后者可根据请求获取使用权限。 平台版本号和训练日期将在用户界面中显示。 IsletNet 可自动分割胰岛和外分泌组织,并基于用户定义的像素尺寸和最小胰岛尺寸阈值,计算胰岛数量、体积和纯度。胰岛尺寸阈值的选择应依据图像质量及分析目的(例如与手动计数进行并行比较,或针对小胰岛的研究),而非物种差异。鉴于常规显微镜的分辨率,有意义的最小胰岛尺寸为 50 µm7,8,9,12,但对于使用适当仪器获得的图像,该阈值可降低至 10 µm10。胰岛体积估算采用标准的基于球体的换算表13,同时也支持其他替代性换算方法7,18,19,包括拟合椭圆近似法5,6,以及基于轮廓的 Spinacle 和 Sphiracle 模型17。结果以胰岛当量(islet equivalents)和纳升(nanoliters)表示,而纯度则可通过组织面积或估算的组织体积进行计算。本方案中的关键步骤是获取适用于自动分割的标准化显微图像。IsletNet 的训练所使用的图像是通过配备多种互补金属氧化物半导体(CMOS)相机和照明系统的体视显微镜和倒置显微镜采集的。低倍物镜(1–2×)具有优势,因其可在保持像素尺寸适合可靠检测小胰岛的同时,使整个样本保留在视野范围内。一致的照明、稳定的白平衡以及避免图像过曝,对于生成可靠的轮廓至关重要。代表性结果表明,在异质成像条件下,利用具有代表性的本地图像进行再训练,可显著提升分割性能。作为实用指导原则,当经验丰富的观察者能够清晰区分胰岛与外分泌组织边界时,此类图像通常适用于 IsletNet 的训练 。应尽可能避免使用包含成簇或严重重叠胰岛的图像。
该方案还强调了与自动图像分析相关的若干局限性和故障排除注意事项。尽管与完全手动计数相比,IsletNet 显著提高了通量、客观性和可重复性,但该方法仍对图像质量敏感。偶尔可能出现轮廓定位错误(虚假胰岛检测,或未能分离相邻胰岛),从而影响后续的定量分析。在接受自动分析结果之前,常规的视觉质量控制(vQC)仍然至关重要。在现场立即应用 IsletNet 具有优势,因为图像质量不理想时可调整成像参数后重新采集。在检查窗口中,除遗漏胰岛或多个虚假胰岛的情况外,自动轮廓的手动校正操作是可行的。此外,自动分离算法基于轮廓几何特征和胰岛大小分布的统计信息,因此其结果可能与个别专家的初步判断存在差异,但仍处于可接受的分析范围内。
IsletNet 的可靠性主要取决于局部图像质量与训练数据集之间的一致性,而非仅由物种决定。尽管当前的训练集包含不同纯度的人胰岛和高纯度的大鼠胰岛,但只要图像特征与训练数据保持一致,该平台便可扩展至其他物种。 例如,通过培养纯化的猪胰岛可能与训练数据集中所含的包埋人胰岛相似。相比之下,在训练过程中并未包含经长期培养且双硫腙染色较弱的胰岛,此类样本可能需要额外的训练。因此,简单比较工具为新用户或新的成像配置提供了一个重要的验证步骤。本文结果强调了专家对包埋胰岛的不同解读如何影响真实标签(GT)的生成及后续的体积估算。 为应对未来多中心研究中缺乏广泛专家共识的问题,已开发 IsletSwipe 应用程序20,以促进基于共识的图像标注。
与传统的显微镜下人工计数相比,IsletNet 提供了显著更高的通量、永久性的数字化记录以及标准化的定量输出,同时减少了操作者依赖的变异性。在边缘情况下的组织识别中,人工计数可能仍具有更高的可信度,但其受限于主观的尺寸估计、较低的可扩展性以及大量人员培训需求。IsletNet 作为一项基于网络的服务,通过集中化但匿名的分析方式,实现了实验室间的可比性。分析速度仍依赖于本地互联网带宽、图像文件大小和图像复杂度。较大的 TIFF 文件可能提高图像保真度,但与压缩的 JPEG 图像相比,需要更长的上传和下载时间。
总体而言,本文展示的结果表明,当局部图像采集保持可重复且与训练集一致时,可以实现可靠的自动化定量分析。建议用户在常规操作中引入vQC,并在局部成像条件发生显著变化时考虑重新训练模型。
作者声明,本研究是在不存在任何可能被解释为潜在利益冲突的商业或财务关系的情况下进行的。
IsletNet 的公开版本由 Filip Matzner、Jan Belohlavek 和 Adam Blazek(Iterait a.s.,捷克共和国布拉格)开发并训练。实验版本由 Jakub Monhart、Petra Curdova 和 Jan Kubant(Mild Blue s.r.o.,捷克共和国布拉格)训练。
作者感谢以下个人和机构提供了用于IsletNet网络训练的显微图像:Andrew Friberg(瑞典乌普萨拉大学免疫学、遗传学与病理学系);Hanne Scholz(挪威奥斯陆大学医院外科研究所);Valéry Gmyr(法国里尔大学、法国国家健康与医学研究院糖尿病转化研究中心);Josh Wilhelm(美国明尼苏达大学舒尔茨糖尿病研究所);Domenico Bosco(瑞士日内瓦大学及日内瓦大学医院外科系);Jason Doppenberg(荷兰莱顿大学医学中心内科学系);Karolina Golab(美国芝加哥大学生物科学移植研究所);Minna Honkanen-Scott(英国纽卡斯尔大学);Hirotake Komatsu(美国希望之城);Rebecca Spiers(英国牛津大学);以及Zuzana Berkova、Jan Kriz和Peter Girman(捷克共和国布拉格临床与实验医学研究所[IKEM])。
作者们还衷心感谢 Zuzana Berkova 和 Klara Zacharovová 在本研究中大鼠胰岛分离实验过程中提供的技术支持。
本工作由捷克共和国卫生部(资助编号 NU22-01-00141 / NW25-01-00221)、国家代谢与心血管疾病研究项目(EXCELES 计划,项目编号 LX22NPO5104,由欧盟——下一代欧盟资助)以及捷克共和国卫生部——研究机构概念性发展计划("临床与实验医学研究所——IKEM,IN 00023001")提供支持。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 35 mm 培养皿 | Sigma-Aldrich | P5481 | 非无菌 |
| 200 µL 宽口移液器吸头 | Sigma-Aldrich | AXYT205WBCRS | 用于染色前胰岛悬浮液的分装 |
| 二甲基亚砜(DMSO) | Sigma-Aldrich | D2650 | 气相色谱级或细胞培养级 |
| 二苯硫腙(DTZ) | Sigma-Aldrich | D5130 | 粉末 |
| 乙醇,70% | 本地供应商 | N/A | (v/v)溶于 H2O;用于 DTZ 配制 |
| 胎牛血清(FBS) | Gibco | 10270106 | 经热灭活,合格产品 |
| Hank’s 平衡盐溶液(HBSS) | Sigma-Aldrich | H6648 | 含或不含酚红(根据检测要求指定) |
| 人血清白蛋白 | Grifols | 61953-0001-2 | 高浓度溶液(200 g/L) |
| Infinity 1-3C | Lumenera | 3-1URC | CMOS,300 万像素 |
| Infinity Capture | Lumenera | N/A | 标准图像采集软件 |
| 倒置显微镜 CKX41 | Olympus | N/A | 1.25× 和 2× 物镜 |
| LED 高功率光源(双臂) | Photonics | 10068 | LED 光源;双可弯曲导管 |
| 光源 Highlight 2000 | Olympus | 5-HL2000 | 卤素光源(14.5 V,90 W);手动强度调节;双可弯曲导管 |
| 实验室基本用品 | 多个供应商 | N/A | 移液器、离心管、针头、注射器、实验室计时器、标准个人防护装备 |
| MicroCam 软件 | Bresser | N/A | 标准图像采集软件 |
| MikroCam 3.0M | Bresser | 86000180 | CMOS,310 万像素相机 |
| Millex-MP 滤器单元 | MilliporeSigma | SLMP025SS | 孔径 0.22 µm,PES 膜 |
| 磷酸盐缓冲液(PBS) | Gibco | 10010023 | pH 7.4 |
| Promicam Pro 3-5 CP | Promicam | E61MPR937 | CMOS,500 万像素,高动态范围相机 |
| QuickPHOTO | Promicra | N/A | 标准图像采集软件 |
| 氢氧化钠(1 M NaOH) | 本地供应商 | N/A | 用于 DTZ 配制过程中的 pH 调节和溶解 |
| 显微镜测微尺 | Thorlabs | R1L3S1P | 长度 10 mm;分度 50 µm,用于校准 |
| 体视显微镜 SZH10 | Olympus | N/A | 1× 复消色差物镜 |
