本文提供了有效使用SegElegans的详细说明。SegElegans是我们开发的一种深度学习系统,可用于对宽场显微镜图像中的单个线虫进行自动分割,进而用于ImageJ等图像分析软件。我们提供了该系统的在线和离线使用方法。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文提供了有效使用SegElegans的详细说明。SegElegans是我们开发的一种深度学习系统,可用于对宽场显微镜图像中的单个线虫进行自动分割,进而用于ImageJ等图像分析软件。我们提供了该系统的在线和离线使用方法。
显微镜技术,尤其是荧光显微镜,是秀丽隐杆线虫(C. elegans)研究中常用的工具。然而,显微镜实验数据的分析可能非常繁琐且耗时。因此,自动化分析是理想的选择。我们开发了SegElegans,这是一种基于双头U-Net的卷积神经网络系统,专门用于自动分割线虫个体,即使在图像中存在大量相互接触或重叠的个体时也能有效工作。SegElegans的第一部分包含一个编码器和两个解码器。该编码器基于SmaAt AT模型,采用双卷积层,并随后连接卷积块注意力模块(Convolutional Block Attention Module, CBAM)。两个解码器均使用卷积长短期记忆网络(convolutional LSTM):其中一个对线虫图像进行语义分割(分为身体、边缘、背景或重叠区域),另一个则沿每条线虫提取线性骨架。第二部分是一个后处理算法,用于整合两个解码器的输出,并据此生成精确的实例分割结果。这些分割结果随后可导入ImageJ或其他合适的图像分析工具中进行进一步分析。本文提供了访问和运行该系统的详细说明。我们提供了一种基于云计算的在线实现方式,同时也提供了两种可在本地计算机上离线使用SegElegans模型的方法(前提是具备相应的硬件条件)。
秀丽隐杆线虫 是一种在细胞生物学和分子生物学领域广泛应用的真核模式生物1,2,3它是一种小型土壤线虫(野生型成虫约1毫米),具有快速的生活周期(约三周)和大量后代(通常与自体受精的雌雄同体亲本基因相同)。尽管结构相对简单,该生物仍是一种复杂的多细胞生物,具有明确且分化的组织和器官,因其体型小且身体透明,这些特征可被深入研究 体内 无需固定或其他侵入性处理4. 蠕虫的这种能力 在体 通过使用荧光报告分子,显微镜研究可得到进一步增强,这些报告分子能够轻松区分单个细胞,甚至可直接可视化线粒体、脂滴或蛋白质聚集体等亚细胞器/组分,以及信号转导、基因表达、囊泡融合、自噬、神经元和肌肉动作电位等过程。5,6,7,8,9,10,11此外,该线虫还非常易于通过诱变进行遗传操作。12,通过显微注射或微粒轰击进行的转基因13,CRISPR 编辑14,以及最重要的一点,在进行简便且经济的遗传筛选时,RNAi15这种操作不仅能够对基因及其在线虫自身中的作用进行广泛研究,同时由于线虫与人类之间存在显著的遗传同源性, 秀丽隐杆线虫 与其他模式生物具有共通性,从而做出从基础到人类均具重要意义的开创性发现16,17最后,这种同源性/保守性也使得线虫成为药物和化学试剂的理想的初步测试平台,有助于阐明药物作用机制,鉴定可能影响药物活性的遗传变异,并发现潜在的不良相互作用和脱靶效应18,19,20.
上述所有优点使得 秀丽隐杆线虫 细胞和分子生物学研究的优选模型,尤其适合对以下领域感兴趣的研究人员 体内 并通过显微镜实现对过程的实时监测。此类研究通常需要借助特殊软件进行大量的图像分析,其中使用最广泛的软件是 ImageJ。21,22,23通过此类软件进行分析的一个共同特征是,用户/研究人员需要使用选择工具指定用于分析的感兴趣区域(ROIs)。通常情况下,图像中的每条单个线虫都会被选为独立的ROI,目的是获取关于其简单形态特征(如体长、体宽等)或更复杂的 "高级" 实验读出指标包括基因表达水平(通过荧光报告基因检测)、比率型报告基因的读数、脂滴的数量和大小、蛋白质聚集体的形成、单个细胞器及其网络的形态等。5,8,10,24,25,26,27这些单条线虫的选择通常需手动完成,因为基于标准图像处理算法的自动选择方法通常难以准确区分线虫的形态和特征,尤其是在暗场图像中线虫轮廓不清晰,或明场图像中存在大量相互接触和重叠的个体时。然而,手动操作过程较为缓慢(每条线虫耗时约20秒至1分钟,具体取决于所需精度和操作者的经验),费力,且容易受到操作者主观偏差和误判的影响。
一种替代且功能强大得多的方法是利用深度学习/神经网络技术,自动完成单个秀丽隐杆线虫(C. elegans)感兴趣区域(ROI)的生成(该任务在计算机视觉领域通常称为分割)。基于Mask R-CNN28和U-net架构29的卷积神经网络已在多种生物模型系统的分割任务中取得了较好的效果30,31,32,包括在C. elegans33,34,35,36,37,38,39中的应用。然而,这些方法均未能令人满意地解决在高分辨率图像中对大量相互接触甚至完全重叠的线虫进行个体区分(即实例分割)并生成完整身体分割的难题。为满足这一需求,我们开发了SegElegans——一种专为此任务设计并优化的深度学习模型40。
SegElegans 包含两个主要部分(图1)。第一部分是一种双头U-net变体的卷积神经网络,由一个编码器模块和两个解码器模块组成。编码器模块基于SmaAt AT模型41,每一层均采用双卷积模块,并连接至卷积块注意力模块(Convolutional Block Attention Module, CBAM)42。两个解码器模块基于卷积长短期记忆(convolutional long short-term memory, LSTM)网络43。其中一个解码器负责将图像中每个像素分类为线虫主身体部分、线虫边缘部分、背景部分,或线虫重叠区域部分(这通常称为语义分割)。另一个解码器负责沿每条线虫的长度方向绘制一条线性"骨架"。第二部分是一种后处理算法,用于整合两个解码器的输出,并据此生成精确的实例分割结果。该算法首先通过比较语义分割输出与骨架输出,识别出真实的重叠区域;随后,对于无重叠的线虫直接输出实例分割结果,而对于重叠的线虫则通过组合各片段生成最终分割结果40。这些分割结果以二值掩膜形式保存,同时也保存为与ImageJ兼容的感兴趣区域(ROIs)。
访问受限。请登录或开始试用以查看此内容。
以下部分包含如何有效使用 SegElegans 的详细说明(图2)。内容包括图像采集的准备工作(第1节)、在线运行模型(第2节)或离线运行模型(第3–5节),以及将感兴趣区域(ROI)导入 ImageJ 或其他工具的方法(第6节)。由于通过该模型对图像进行评估需要配备至少6 GB(理想情况下更高)显存(VRAM)的、支持 CUDA 的图形处理器(GPU)的计算机,因此大多数用户(若可访问谷歌服务)建议使用基于云计算的在线版本,该版本能够满足并超越上述硬件要求(第1节 > 第2节 > 第6节)。 alternatively,对于具备足够性能硬件且具备命令行/终端基础操作知识的用户(或无法访问上述云服务的用户),本地运行模型可能更为便捷(第1节 > 第3节 > 第4或第5节 > 第6节)。
1. 样本和引导图像的获取
2. 运行 SegElegans 的在线版本
)按钮执行代码块 1。授予运行时权限以运行代码,并在执行完成后查看输出结果(播放按钮旁会出现绿色对勾)。Colab 应自动运行正确且与 CUDA 兼容的运行时,并显示 NVIDIA-SMI 输出表格。否则,请通过 运行时 > 更改运行时类型 菜单强制使用 T4 GPU 运行时。3. 首次使用前准备 SegElegans 的离线版本
4. 使用快速脚本运行 SegElegans 的离线版本
5. 使用 Jupyter Notebook 运行 SegElegans 的离线版本
)来执行代码。代码执行完成后,代码块下方将显示确认信息。6. 将分割结果导入 ImageJ(或其他替代软件)
访问受限。请登录或开始试用以查看此内容。
通过遵循本方案,研究人员应能够提取高质量的线虫分割结果,即使在荧光图像中无法看到线虫边界的情况下也能进行分析。如方案第6节所述,这些分割结果可直接导入ImageJ,并用于快速测量相关参数,例如荧光报告分子的强度(常用于表达量的定量)或荧光标记区域的数量、大小和形态(常用于研究蛋白质聚集体或细胞器)。此外,由于SegElegans被设计为以不依赖荧光信号的方式从明场图像中获取分割结果,因此它也可辅助多通道分析,包括测量强度比值(例如用于量化特定细胞器的自噬降解)或共定位指标(例如在尝试识别细胞器之间相互作用时使用)。
SegElegans 的分割交并比(IoU,Intersection over Union)得分超过 93%(表 1),在发表时优于其他替代方法40。在实际应用中,这意味着在将所有图像运行完所述方案后,仍会有部分线虫被错误分割;根据用户的具体需求,这些样本应从分析中排除,或在认为有必要纳入时,使用手动绘制的选区重新选择。
我们的测试表...
访问受限。请登录或开始试用以查看此内容。
本文所介绍的方法可使用户在显著缩短的时间内分析 C. elegans 显微成像实验数据,且不会损失任何准确性。由于该方法从明场引导图像中提取分割结果,而无需依赖实际的荧光信号(如方案第1节所述),因此可适用于任何品系,以及任何需要对单条线虫进行表型测量的应用场景。这些应用场景包括单通道应用,例如疾病模型中异常蛋白质聚集体形成的定量分析10(如图2所示示例)、转录报告基因活性的检测26,或脂滴的大小与数量分析44;也可包括多通道检测,例如利用比率型传感器测量过氧化氢水平27、细胞器与蛋白质共定位的评估11、大分子修饰的检测45,以及多种类型自噬过程的定量分析8,46
访问受限。请登录或开始试用以查看此内容。
作者声明无利益冲突。
作者所在实验室的工作由总秘书处资助
希腊发展部的研究与创新项目,
欧盟 - 下一代欧盟(项目编号:TAEDR-0535850,简称:
BrainPrecision) 作为行动框架的一部分 "旗舰行动
具有特殊关联性的跨学科科学领域
到生产性织物," 在国家复苏与韧性框架下
方案 "希腊 2.0",欧盟委员会研究执行署
卓越中心 "改变" (GA-101087071)和希腊基金会
希腊研究与创新基金会(H.F.R.I.) "首次呼叫 H.F.R.I.
支持教职员工和研究人员的研究项目
高成本科研设备的采购" (项目编号:
HFRI-FM17C3-0869,NeuroMitophagy
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 配备互联网接入的计算机(示例:Dell Vostro 台式机) | 多家厂商(例如 Dell) | - | 这将允许通过云计算在线运行 SegElegans(推荐方式),并使用 ImageJ 等图像分析软件。 |
| 支持 CUDA 的图形处理器,至少具备 6 GB 显存(示例:MSI GeForce RTX RTX3050 Ventus 2X 6GB)(可选) | NVIDIA 及多家制造商(例如微星国际 Micro Star International) | https://developer.nvidia.com/cuda-gpus | 这将允许在本地计算机上离线运行 SegElegans。 支持 CUDA 的 GPU 芯片组信息可在此处查询: https://developer.nvidia.com/cuda-gpus 显存容量取决于制造商对芯片组的实际 GPU 实现。 警告:若要达到云计算版本的性能水平,您需要远超最低要求的昂贵且高性能的 CUDA 显卡(至少 16 GB 以上显存)。 |
| 落射荧光显微镜(Invitrogen EVOS FL Auto 2) | ThermoFisher Scientific | 例如 AMAFD2000 | 我们建议使用能够几乎同时自动获取明场和一个或多个荧光通道图像的系统。 |
| ImageJ(可选) | NIH | https://imagej.net/software/fiji/downloads | 我们推荐使用 Fiji 发行版,下载地址如下: https://imagej.net/software/fiji/downloads |
| 支持 NVIDIA GPU 的个人计算机(示例:Dell Vostro 台式机)(可选) | 多家厂商(例如 Dell) | - | 这是与 GPU 配合使用以在本地计算机上离线运行 SegElegans 所必需的。 安装 GPU 需要主板具备兼容 Windows 的硬件、适当的 PCI 插槽、足够的安装空间以及足够功率的电源供应。 |
| SegElegans | - | https://github.com/KonstantinosKounakis/SegElegansOnline/tree/v1.0 | 完整操作说明请参见论文原文。 |
访问受限。请登录或开始试用以查看此内容。