Summary
本文介绍了如何使用模拟监督的机器学习来分析固定细胞荧光显微镜图像中的线粒体形态。
Abstract
细胞荧光显微镜图像中亚细胞器（如线粒体）的定量分析是一项艰巨的任务，因为这些小而形态多样化的结构的分割存在固有的挑战。在本文中，我们演示了使用机器学习辅助分割和分析管道来量化固定细胞荧光显微镜图像中的线粒体形态。基于深度学习的分割工具在模拟图像上进行训练，无需对监督深度学习进行地面实况注释。我们证明了该工具在具有荧光线粒体标志物稳定表达的固定心肌母细胞的荧光显微镜图像上的实用性，并采用特定的细胞培养条件来诱导线粒体形态的变化。
Introduction
在本文中，我们展示了基于物理的机器学习工具在表达荧光线粒体标志物的固定心肌母细胞的荧光显微镜图像中亚细胞分割1 的实用性。
线粒体是哺乳动物细胞中产生能量的主要细胞器。具体来说，线粒体是高度动态的细胞器，通常存在于长度和分支不断变化的网络中。线粒体的形状会影响其功能，细胞可以迅速改变其线粒体形态以适应环境的变化2。为了理解这种现象，线粒体的形态分类为点、杆或网络是非常有益的3。
线粒体的分割对于分析细胞中的线粒体形态至关重要。目前分割和分析线粒体荧光显微镜图像的方法依赖于手动分割或传统的图像处理方法。基于阈值的方法（如Otsu4 ）由于显微镜图像中的高噪声水平而不太准确。通常，用于线粒体形态分析的图像具有大量线粒体，使得手动分割变得繁琐。像MorphoLibJ5 这样的数学方法和像Weka6 这样的半监督机器学习方法要求很高，需要专业知识。对线粒体7 图像分析技术的回顾表明，基于深度学习的技术可能对这项任务有用。事实上，通过使用基于深度学习的模型，用于自动驾驶等应用的日常生活图像中的图像分割已经发生了革命性的变化。
深度学习是机器学习的一个子集，它提供从大量数据中学习的算法。监督式深度学习算法从大量图像中学习关系，这些图像使用其真实 （GT） 标签进行注释。使用监督深度学习在荧光显微镜图像中分割线粒体的挑战是双重的。首先，监督深度学习需要大量的训练图像数据集，在荧光显微镜的情况下，与使用更容易获得的传统基于相机的图像相比，提供这个大型数据集将是一项广泛的任务。其次，荧光显微镜图像需要对训练图像中感兴趣的对象进行GT注释，这是一项繁琐的任务，需要专业知识。这项任务很容易花费专家数小时或数天的时间来处理具有荧光标记亚细胞结构的细胞的单个图像。此外，注释器之间的差异也带来了问题。为了消除对手动注释的需求，并能够利用深度学习技术的卓越性能，这里使用了基于深度学习的分割模型，该模型在模拟图像上进行了训练。基于物理的模拟器提供了一种在显微镜中模拟和控制图像形成过程的方法，允许创建已知形状的图像。利用基于物理的模拟器，为此目的创建了一个线粒体模拟荧光显微镜图像的大型数据集。
仿真从使用参数化曲线生成几何图形开始，以生成形状。发射器以均匀分布的方式随机放置在形状的表面上，使得密度与实验值相匹配。显微镜的3D点扩散函数（PSF）是使用吉布森-兰尼模型9的计算高效近似8计算的。为了将模拟图像与实验图像紧密匹配，对暗电流和散粒噪声进行仿真，以实现照片真实感。物理 GT 以二进制映射的形式生成。生成数据集和训练模拟模型的代码10 可用，图 1 概述了创建此模拟数据集的步骤。
我们通过分析固定心肌母细胞的共聚焦显微镜图像，展示了完全在模拟数据集上训练的基于深度学习的分割的效用。这些心肌母细胞在线粒体外膜中表达荧光标记物，允许在荧光显微镜图像中可视化线粒体。在进行这里作为示例的实验之前，细胞被剥夺葡萄糖并在培养物中适应半乳糖7天。用半乳糖代替生长培养基中的葡萄糖迫使培养中的细胞变得更加氧化，因此依赖于它们的线粒体来产生能量11，12。此外，这使得细胞对线粒体损伤更敏感。可以通过向细胞培养基13中加入线粒体解偶联剂例如羰基氰间氯苯基腙（CCCP）来实验诱导线粒体形态变化。CCCP导致线粒体膜电位（ΔΨm）的丧失，从而导致线粒体从更管状（杆状）变为球状（点状）形态14。此外，在CCCP治疗期间，线粒体往往会肿胀15。我们显示了用线粒体解偶联剂CCCP处理半乳糖适应型心肌母细胞时线粒体变化的形态分布。线粒体的深度学习分割使我们能够将它们分类为点、杆或网络。然后，我们得出了定量指标来评估不同线粒体表型的分支长度和丰度。分析步骤如图 2所示，下面详细介绍了细胞培养、成像、基于深度学习的分割数据集创建以及线粒体的定量分析。
Protocol
注意：如果使用具有已知实验条件的线粒体的现有显微镜图像，则可以省略第1-4节。
1. 细胞培养
- 在不含葡萄糖的 DMEM 中培养 H9c2 细胞，补充有 2 mM L-谷氨酰胺、1 mM 丙酮酸钠、10 mM 半乳糖、10% FBS、1% 链霉素/青霉素和 1 μg/mL 嘌呤霉素。在实验前，让细胞在培养物中适应半乳糖至少7天。
注意：这里使用的H9c2细胞已经过基因修饰以表达荧光线粒体，并且还获得了嘌呤霉素抗性基因。这种抗生素的添加确保了具有抗性基因的细胞的生长，从而确保了荧光线粒体的生长。 - 当细胞汇合度达到约80%时，接种H9c2细胞用于实验（T75培养瓶，通过明场显微镜评估）。将培养基和胰蛋白酶预热至37°C至少15分钟，然后再继续。
注意：可以在两种或多种不同的细胞培养条件下并行进行实验。H9c2细胞汇合度不应超过80%，以防止成肌细胞的损失。在100%汇合时，细胞形成肌管并开始分化。 - 通过在12孔板的孔中为每个实验条件放置#1.5玻璃盖玻片，准备在无菌层流罩中接种细胞。在12孔板上标记每个条件和实验细节。
- 将细胞培养瓶从培养箱移动到罩中的工作台面。使用吸液系统或电动移液器吸出培养基，然后用 5 mL PBS（室温）洗涤两次。
- 将预热的胰蛋白酶移动到工作台面上，并吸出最终的PBS洗涤液;然后，加入预热的胰蛋白酶以分离细胞（T75培养瓶为1mL）。将培养瓶放回培养箱中，在37°C下放置2-3分钟。
- 将预热的培养基移至培养结束时的工作台面。使用明场显微镜验证细胞是否已分离。
- 如果所有细胞都没有分离，请在烧瓶侧面小心但坚定地敲击几次以分离剩余的细胞。
- 将培养瓶放回工作台面。使用电动移液管向培养瓶中加入 4 mL 细胞培养基以停止胰蛋白酶作用。向烧瓶中加入培养基时，使用移液管将培养基反复分散在表面上，以分离细胞并将其聚集到细胞悬液中。
- 将烧瓶中的细胞悬液（5 mL）移液到15 mL管中。
- 将细胞以200× g 离心5分钟。打开罩中的管，通过抽吸除去上清液，然后将细胞沉淀轻轻重悬于5 mL细胞培养基中。
- 通过在自动细胞计数器中分析少量细胞悬液来评估细胞数量。注意每毫升培养基的活细胞数。
- 将所需体积（例如，每孔 150 μL）的细胞悬液（以大约 2 x 104 个细胞 /cm2 的接种密度计算）移动到预先标记的 15 mL 离心管中。根据孔数以预先计算的体积将预热的细胞培养基添加到 15 mL 离心管中。对于 12 孔板，每个孔的总体积为 1 mL。
- 在将适当体积的离心管中的内容物分配到每个孔中之前，通过上下移液离心管的内容物数次，确保稀释的细胞悬液正确混合。将细胞悬液分配到孔中后，以仔细控制的方式在每个方向上摇动板，以更好地将细胞分布在整个孔中。将 12 孔板放入 37°C 的培养箱中直至第二天。
- 用明场显微镜检查细胞以评估生长。如果细胞已经达到足够的生长到大约80%的汇合度，则继续进行下一步;否则，每天重复评估，直到达到足够的生长。
2. 实验程序
- 根据储备溶液浓度计算实验所需的材料量。在37°C下解冻冷冻材料（30mM CCCP储备溶液），并将细胞培养基设置为37°C预热。
- 解冻后，通过在细胞培养基中稀释储备溶液（1：3，000）来创建10μM CCCP的工作溶液。
注意：移液体积不要小于 1 μL。 - 一旦准备好并预热所有必要的材料，就开始实验处理。从12孔板的孔中吸出细胞培养基，然后将新鲜的预热培养基快速施加到对照孔中，并将带有10μM CCCP溶液的预热培养基涂于测试条件孔中。
- 将 12 孔板在 37°C 细胞培养箱中孵育 2 小时。在孵育期间，准备固定溶液。
- 为了制备固定溶液，使用预制的4%多聚甲醛（PFA）将25%戊二醛（GA）储备溶液稀释至0.2%（1：125）。将溶液设置为37°C预热。 对于 12 孔板，每孔 500 μL 就足够了。
注意：PFA和GA是有毒化学物质。在带有防护装备的化学罩中工作。有关详细信息，请参阅各自的 SDS。 - 孵育期结束后，从培养箱中取出 12 孔板，并将其放在工作台面上。
注意：工作不再需要无菌环境。 - 从孔中吸出细胞培养基，并应用预热的固定溶液。将 12 孔板返回 37°C 培养箱 20 分钟。
- 完成孵育后吸出固定溶液，并用室温PBS洗涤每个孔两次。可以在协议的此阶段暂停实验，稍后继续。
- 如果实验暂停，每孔加入 1 mL PBS，用塑料薄膜（封口膜）密封 12 孔板，并储存在 4°C。
3. 在盖玻片上染色和安装
- 解冻DAPI（核染色）原液，并在打开前在小型离心机中旋转。通过在PBS中稀释DAPI原液（1：1，000）来制备DAPI染色溶液。
- 从 12 孔板中吸出 PBS，并向每个孔中应用 1 mL DAPI 染色溶液。在室温下在黑暗中孵育5分钟。
- 吸出DAPI染色溶液。每孔用 2 mL PBS 洗涤两次。
- 准备磨砂玻璃显微镜载玻片（载玻片），用70%乙醇洗涤，然后在PBS中洗涤三次。使用不起毛的纸巾小心地擦干载玻片，并将它们朝向光线，以检查是否有灰尘或油脂的迹象。
注意：此步骤需要手套。 - 用实验细节标记载玻片。将封片剂转移到微量离心管中，然后在小型离心机中旋转。
- 通过安排工作区来准备安装盖玻片。准备好带有盖玻片、带标签的载玻片、封片剂、移液器、10 μL 移液器吸头、不起毛纸巾和镊子的 12 孔板。
- 将 10 μL 封片剂（ProLong 玻璃）涂在准备好的载玻片上以安装盖玻片。
- 使用镊子从 12 孔板中拿起盖玻片，并通过将盖玻片的边缘和背面短暂接触到准备好的不起毛纸巾上，轻拍盖玻片上的水分。轻轻地将盖玻片放到封片剂的液滴上。
- 对每个盖玻片重复上述两个步骤。放置安装介质液滴，以允许每个载玻片有一到四个盖玻片。
- 确保载玻片位于平坦表面上，以避免安装的盖玻片移动。将载玻片在室温下置于黑暗位置过夜，以使安装介质凝固。样品现已准备好进行成像。实验可以在协议的这个阶段暂停，稍后继续。
- 如果实验在此阶段暂停，则在允许样品在室温下凝固过夜后，将它们覆盖在铝箔中以保护它们免受光照，并将它们储存在 4°C。
4. 显微镜和成像
- 用铝箔覆盖样品以进行运输（如果尚未完成）。
- 到达显微镜设施后，使用带有显微镜滤纸的双蒸馏H2O清除载玻片上盖玻片上的PBS残留物。通过将载玻片朝向明亮的光线来检查盖玻片上是否有斑点。
- 完成显微镜的启动程序。选择合适的物镜（平场复消色差 63x/1.40 油 M27），并添加浸没介质。
- 将样品放入样品架中。在显微镜软件中，使用“定位”选项卡激活EGFP荧光照明，并使用目镜手动调整z水平以使样品聚焦。找到焦点后关闭荧光照明。
- 切换到显微镜软件中的“获取”选项卡。使用“智能设置”选择要用于成像的荧光通道。在本实验中，选择了 EGFP 和 DAPI 通道预设。
- 使用强度直方图作为优化信号强度的指导，从初始设置调整每个通道强度。现在可以开始成像了。
- 对于成像，使用软件的选项将成像位置放置在一个阵列中，并将阵列居中在盖玻片的中间，总共有 12 个要成像的位置。验证数组中的每个位置是否都包含单元格。如果没有单元格，请将位置调整为包含单元格的区域。
- 使用显微镜软件的自动对焦调整阵列中每个位置的焦点，然后进行手动微调，以确保尽可能多的线粒体对焦。
注意：EGFP 通道用于这些手动调整。 - 使用此方法获取每个盖玻片的图像。保存图像文件，然后继续执行形态分析步骤。
5. 生成模拟训练数据
- 下载代码10，然后解压缩内容。按照 README.md 中的说明设置所需的环境。
- 导航到名为“src”的文件夹，这是此项目的主文件夹。其中的编号文件夹包含特定于使用该工具的不同步骤的代码。
注意：使用命令“cd <>”导航到代码的任何子文件夹。要运行任何 python 文件，请使用命令“python <<文件名>>.py”。名为“教程.pptx”的演示文稿包含一组使用分段模型的完整说明。 - 复制或使用文件夹“2.线粒体模拟艾里“，并将其重命名（此处使用艾里，因为它是最接近共聚焦显微镜的PSF函数，共聚焦显微镜被用作当前的显微镜）。进入名为“模拟器”的文件夹。
注意：此文件夹包含与训练数据模拟相关的所有文件。要为模拟设置三组参数。 - 首先，对于批处理配置文件“simulator/batch/bxx.csv”中的模拟器，设置有关样品的参数，包括线粒体的数量、结构的直径范围和长度、结构表现出的 z 轴范围以及荧光团的密度。
- 接下来，设置与光学系统相关的参数。
- 该套装包括显微镜类型（决定选择哪种PSF型号），数值孔径（N.A.），放大倍率（M），像素尺寸（μm），荧光团的发射波长和背景噪声参数等。
- 在文件“模拟器/microscPSFmod.py”中设置N.A.的光学参数，放大倍率和数据集的最小波长。
- 设置像素大小的所需值，并将数据集的发射波长设置为文件“模拟器/generate_batch_parallel.py”中的“process_matrix_all_z”函数的参数。
- 在文件“模拟器/generate_batch_parallel.py”中设置函数“save_physics_gt”的最后三个参数。参数包括像素大小（以 nm 为单位）、输出图像的大小和max_xy。
- 在文件“simulator/generate_batch_parallel.py”中设置有关输出数据集的第三组参数，例如输出图像的大小、每个图像中的图块数以及总图像数。
- 运行文件“模拟器/generate_batch_parallel.py”以启动模拟。
- 若要获取最终大小的图像，请创建名为“5.主文件夹中的数据准备和训练/数据准备“，然后导航到该文件夹。
注意：合成数据集的每个图像都是通过创建四个 128 像素 x 128 像素的模拟图像的蒙太奇形成的，最终图像大小为 256 像素 x 256 像素。这首先为显微镜图像（在“输出”文件夹中）和地面实况分割（在“输出/physics_gt”文件夹中）生成许多单独的图块（大约 12，000 个）。- 以“data_generator.py”为单位设置批号参数、每批图像数和噪点范围。
- 运行文件“data_generator.py”以创建蒙太奇图像。
- 将名为“图像”和“段”的文件夹复制到“5.数据准备和训练/数据训练/训练“文件夹中的文件夹”5.数据准备和培训/数据准备/数据”。
6. 基于深度学习的细分
- 在模拟图像上训练分割模型，如下所示：
- 要训练新显微镜的分割模型，请导航到“5.数据准备和训练/训练“文件夹，并在文件”train_UNet.py“中设置批量大小、分割的主干模型、周期数和训练学习率的参数。
- 运行“train_UNet.py”以开始训练。训练过程显示模拟验证集上分段性能的指标。
注意：训练完成后，模型best_model在“5.数据准备和训练/训练“文件夹。
- 通过以下步骤在真实的显微镜图像上测试模型，这些图像被分割成训练模型所需的大小。
- 导航到“6.准备测试数据“，并复制”.PNG“格式的数据文件放入文件夹”PNG”。
- 运行文件“split_1024_256.py”，将图像拆分为训练模型所需的大小。这将在“data”文件夹中创建 256 像素 x 256 像素大小的图像裁剪。
- 将创建的“数据”文件夹复制到“7.测试分段“文件夹。
- 导航到文件夹“7.测试分段“，并设置要使用的已保存模型的名称。
- 要分割作物，请运行文件“segment.py”。分割后的图像将保存到“输出”文件夹中。
7. 形态学分析：分析“葡萄糖”和“CCCP”两个数据组的线粒体形态
- 排列要分析的数据（每个图像一个文件夹，每个文件夹包含一个图像的分割输出裁剪）。
- 下载名为“make_montage.py”的补充文件并将其放在名为“7”的文件夹中。测试分段”。
- 运行文件“make_montage.py”将分割输出拼接回图像的原始大小。
- 创建一个名为 “9.形态分析 “在”src“ 文件夹中。
- 使用命令“pip install seaborn[stats] skan”将 Skan16 和 Seaborn Python 软件包安装到环境中。
注意：分割掩码使用名为Skan的库进行骨架化，以便能够分析每个线粒体的拓扑。 - 将补充文件 “analyze_mitochondria.py” 放入文件夹 “9.形态学分析”。
- 将实验不同组的图像排列到文件夹“7.测试分段”。
- 在文件“ analyze_mitochondria.py”中设置“像素大小”和“输入路径”的参数。
- 运行文件 “analyze_mitochondria.py” 以运行代码以骨架化并创建分析图。
Representative Results
在表达荧光线粒体标志物的固定心肌母细胞的共聚焦图像中对线粒体进行深度学习分割的结果展示了该方法的实用性。该方法与其他细胞类型和显微镜系统兼容，只需要重新训练。
用或不联合CCCP治疗荧光线粒体的半乳糖适应H9c2心肌母细胞2小时。然后将细胞固定，用核染料染色，并安装在载玻片上进行荧光显微镜分析。共聚焦显微镜用于获取对照和CCCP处理的细胞的图像。我们对12张共聚焦图像进行了分析，每种情况约有60个细胞。然后确定并量化每个图像中线粒体的形态状态。从训练模型获得的分割掩码进行了骨架化，以便能够分析本实验中每个单独线粒体的拓扑结构。单个线粒体的分支长度用作分类参数。根据以下规则将单个线粒体分类为形态学类。具体来说，任何长度小于1，500nm的线粒体骨架都被认为是一个点，较长的线粒体进一步分为网络或杆状。如果至少有一个交汇点，其中两个或多个分支相交，则将其定义为网络;否则，线粒体被归类为杆。图3显示了用形态学类别标记的线粒体骨骼的示例图像。
图4A中的线粒体形态分类表明，当应用CCCP2小时时，可以检测到显着变化;CCCP处理的细胞的点增加最清楚地证明了这一点。
图4B中的平均分支长度是说明形态中可检测和显着变化的另一种途径。正如预期的那样，当用CCCP处理细胞时，杆和网络相对于对照显着减少。考虑到线粒体在暴露于CCCP时所经历的肿胀，点的平均分支长度也有望显着增加。
图 1：用于模拟荧光显微镜图像的管道。 该管道包括 （i） 3D 几何生成，（ii） 发射器和光动力学仿真，（iii） 3D PSF 卷积，（iv） 噪声添加和 （v） 二值化。 请点击此处查看此图的大图。
图 2：基于机器学习的线粒体形态分析步骤 。 （1） 首先将要分割的图像裁剪为分割模型可接受的大小。（2）将基于深度学习的分割应用于图像裁剪。（3）将分割的产量作物缝合回其原始大小。（4）蒙太奇分割被骨架化。（6）基于骨架化的拓扑进行形态分析。 请点击此处查看此图的大图。
图 3：覆盖在显微镜图像分割输出上的线粒体骨架 。 （A） 分割输出。（B） 直线骨架（分支起点和终点之间的欧氏距离）叠加在分割输出的顶部。骨骼的颜色编码描绘了线粒体的类别。网络为红色，杆为绿色，点为紫色。 请点击此处查看此图的大图。
图4：线粒体形态分析。 （A）基于线粒体总长度的不同形态类别的相对百分比概述。（B）实验条件之间和形态学类别之间的平均线粒体分支长度比较。x 轴显示形态分类，y 轴显示线粒体平均分支长度（以纳米 （nm） 为单位）。p 值形式的统计显著性显示为 * p < 0.05、** p < 0.01、*** p < 0.001 和 **** p < 0.0001。 请点击此处查看此图的大图。
图 5：分段失败案例。 高密度线粒体对于分割模型来说是一个具有挑战性的场景。彩色骨架显示了图像中检测到的最长的单个线粒体。通过长度测量，可以检测这些场景，并使用形态学运算符侵蚀（瘦化检测到的骨架）来改善分割结果。 请点击此处查看此图的大图。
Discussion
我们在“几何生成”和“模拟器参数”段落中讨论了与协议中关键步骤相关的预防措施。标题为“迁移学习”的段落讨论了在适应多台显微镜时为提高通量而进行的修改。关于“粒子分析”和“产生其他亚细胞结构”的段落是指该方法的未来应用。关于“与生物学真理的差异”的段落讨论了模拟可能与真实数据不同的不同原因，以及这些原因是否会影响我们的应用程序。最后，我们在“密集结构”段落中讨论了我们的方法具有挑战性的场景。
几何图形生成
要生成线粒体的 3D 几何形状，从 b 样条曲线作为骨架创建的简单 2D 结构非常适合创建合成数据集。这些合成形状与2D细胞培养物中观察到的线粒体形状非常相似。然而，在心脏组织等3D组织的情况下，线粒体的形状和排列是完全不同的。在这种情况下，通过在模拟图像中添加方向性，分割模型的性能可能会提高。
模拟器参数
设置模拟器的参数时应谨慎行事，以确保它们与要运行推理的数据的参数匹配，因为如果不这样做，可能会导致分段性能降低。其中一个参数是信噪比（SNR）范围。待测数据的信噪比范围应与模拟数据集的值匹配。此外，使用的 PSF 应与目标测试数据的 PSF 匹配。例如，来自共聚焦PSF的模型训练图像不应用于测试来自落射荧光显微镜的图像。另一个需要注意的参数是在测试数据中使用额外的放大倍率。如果在测试数据中使用了额外的放大倍率，则还应适当设置模拟器。
迁移学习
迁移学习是利用在一个任务上训练的学习模型用于另一个任务的现象。这种现象也适用于我们关于不同类型显微镜数据的问题。在一种类型的显微镜数据上训练的分割模型（随源代码一起提供）的权重可用于初始化分割模型以用于另一种光学显微镜数据。这使我们能够在训练数据集的更小子集上进行训练（3，000 张图像与 10，000 张图像相比），从而降低模拟的计算成本。
颗粒分析
也可以在分段掩模上进行颗粒分析。这可以提供有关单个线粒体的面积和曲率等的信息。此信息还可以作为线粒体定量比较的指标（不用于本实验）。例如，目前，我们使用基于线粒体长度的阈值来定义点形态。在某些情况下，结合椭圆度以更好地将小棒状线粒体与点状或点状线粒体分开可能是有用的。或者，如果某些生物学条件导致线粒体卷曲，那么曲率定量可能是分析线粒体种群的兴趣。
产生其他亚细胞结构
基于物理的亚细胞结构分割已经用于线粒体和囊泡1。虽然囊泡表现出不同的形状，但它们的大小较小，并且当通过荧光显微镜观察时，它们看起来像简单的球体。因此，囊泡的几何形状是使用适当直径范围的球形结构来模拟的。这意味着函数的变化生成结构的几何形状（线粒体情况下的圆柱体和囊泡情况下的球体）和相应的参数（协议部分中的步骤5.4）。在几何上，内质网和微管也被模拟为管状结构17。对直径为 150 nm 的内质网和平均外径为 25 nm 的微管和直径为 15 nm 的内空心管进行建模，提供了这些结构形状的近似值。每个亚细胞结构会有所不同的另一个参数是荧光团密度。这是根据荧光团结合的生物分子的分布和结合的概率计算的。
与生物学基本事实的区别
用于深度学习模型的模拟监督训练的模拟数据在许多方面与真实数据不同。（i） 模拟数据中没有非特异性标记与实际数据不同，因为真实数据中经常存在自由漂浮的荧光团。这会导致真实图像中的平均背景值更高。通过匹配SNR并设置背景值使其与观察到的实际值匹配，可以缓解这种差异。（ii）亚细胞结构的运动和光动力是系统中动力学的两个来源。活细胞中的移动结构（在几毫秒的范围内移动）会导致运动模糊。在实际数据采集过程中减少了曝光时间，以避免模糊效应。另一方面，我们不模拟延时摄影并假设静止的结构;当真实数据中的曝光时间较小时，此假设是有效的。但是，如果真实数据的曝光时间大到足以引入运动模糊，则此假设可能会在输出中产生误差。另一方面，光动力学的量级为纳秒到微秒，可以在模拟中省略，因为实验的通常曝光时间足够长（以毫秒为单位）以平均光动力学的影响。（iii）显微镜图像中的噪声有不同的来源，这些来源具有不同的概率密度函数。我们没有对这些单独的噪声源进行建模，而是将其近似为恒定背景上的高斯噪声。在低信噪比条件下（在2-4范围内）和处理荧光团的宏观密度时，这种差异不会显着改变数据分布1。（iv） 成像中的伪影可能来自像差、漂移和系统模糊。我们假设显微镜对齐良好，并且在真实数据中选择用于分析的区域没有这些伪影。还可以在PSF18，19，20中对其中一些工件进行建模。
密集的结构
无法区分重叠杆与网络的困难是2D显微镜数据分割中一个持续存在的问题。 图 5 展示了一个极具挑战性的场景，其中线粒体密集堆积，这导致分割模型和以下分析的结果欠佳。尽管存在这一挑战，但在这种情况下使用形态算子来缩小骨架化可以帮助打破这些过度连接的网络，同时允许仍然检测到所有线粒体形态类别的重大变化。此外，使用共聚焦而不是宽场显微镜进行成像是通过消除离焦光来部分缓解此问题的一种方法。此外，在未来，执行3D分割以区分相交（即物理形成网络）的线粒体和杆状线粒体（在单个平面中的投影彼此重叠）将是有用的。
深度学习分割是一种很有前途的工具，它提供了扩展显微镜用户的分析能力，从而开启了自动分析复杂数据和大型定量数据集的可能性，这在以前是无法管理的。
Disclosures
作者声明与本文不存在利益冲突。
Acknowledgments
作者承认与Arif Ahmed Sekh的讨论。Zambarlal Bhujabal因帮助构建稳定的H9c2细胞而受到认可。我们确认以下资金：ERC起始资助号804233（给K.A.），科学更新研究员项目拨款第325741号（给D.K.P.），挪威北部地区卫生局拨款号HNF1449-19（Å.B.B.），以及UiT的主题资助项目VirtualStain with Cristin Project ID 2061348（D.K.P.，Å.B.B.，K.A.和A.H.）。
Materials
| Name | Company | Catalog Number | Comments |
| 12-well plate | FALCON | 353043 | |
| Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
| Axio Vert.A1 | Zeiss | Brightfield microscope | |
| CCCP | Sigma-Aldrich | C2759 | |
| Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
| Coverslips | VWR | 631-0150 | |
| DAPI (stain) | Sigma-Aldrich | D9542 | |
| DMEM | gibco | 11966-025 | |
| Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
| Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
| H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
| Incubator | Thermo Fisher Scientific | 51033557 | |
| LSM 800 | Zeiss | Confocal Microscope | |
| Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
| Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
| Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
| Sterile laminar flow hood | Labogene | SCANLAF MARS | |
| Trypsin | Sigma-Aldrich | T4049 | |
| Vacusafe aspiration system | VACUUBRAND | 20727400 | |
| ZEN 2.6 | Zeiss |
References
- Sekh, A. A., et al. Physics-based machine learning for subcellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Pernas, L., Scorrano, L. Mito-morphosis: Mitochondrial fusion, fission, and cristae remodeling as key mediators of cellular function. Annual Review of Physiology. 78, 505-531 (2016).
- Li, Y., et al. Imaging of macrophage mitochondria dynamics in vivo reveals cellular activation phenotype for diagnosis. Theranostics. 10 (7), 2897-2917 (2020).
- Xu, X., Xu, S., Jin, L., Song, E. Characteristic analysis of Otsu threshold and its applications. Pattern Recognition Letters. 32 (7), 956-961 (2011).
- Legland, D., Arganda-Carreras, I., Schindelin, J. MorphoLibJ: MorphoLibJ v1.2.0. Zenodo. , Available from: https://zenodo.org/record/50694#.Y8qfo3bP23A (2016).
- Arganda-Carreras, I., et al. Trainable_Segmentation: Release v3.1.2. Zenodo. , Available from: https://zenodo.org/record/59290#.Y8qf13bP23A (2016).
- Chu, C. H., Tseng, W. W., Hsu, C. M., Wei, A. C. Image analysis of the mitochondrial network morphology with applications in cancer research. Frontiers in Physics. 10, 289 (2022).
- Xue, F., Li, J., Blu, T. Fast and accurate three-dimensional point spread function computation for fluorescence microscopy. Journal of the Optical Society of America A. 34 (6), 1029-1034 (2017).
- Lanni, F., Gibson, S. F. Diffraction by a circular aperture as a model for three-dimensional optical microscopy. Journal of the Optical Society of America A. 6 (9), 1357-1367 (1989).
- Sekh, A. A., et al. Physics based machine learning for sub-cellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Liu, Y., Song, X. D., Liu, W., Zhang, T. Y., Zuo, J. Glucose deprivation induces mitochondrial dysfunction and oxidative stress in PC12 cell line. Journal of Cellular and Molecular Medicine. 7 (1), 49-56 (2003).
- Dott, W., Mistry, P., Wright, J., Cain, K., Herbert, K. E. Modulation of mitochondrial bioenergetics in a skeletal muscle cell line model of mitochondrial toxicity. Redox Biology. 2, 224-233 (2014).
- Ishihara, N., Jofuku, A., Eura, Y., Mihara, K. Regulation of mitochondrial morphology by membrane potential, and DRP1-dependent division and FZO1-dependent fusion reaction in mammalian cells. Biochemical and Biophysical Research Communications. 301 (4), 891-898 (2003).
- Miyazono, Y., et al. Uncoupled mitochondria quickly shorten along their long axis to form indented spheroids, instead of rings, in a fission-independent manner. Scientific Reports. 8, 350 (2018).
- Ganote, C. E., Armstrong, S. C. Effects of CCCP-induced mitochondrial uncoupling and cyclosporin A on cell volume, cell injury and preconditioning protection of isolated rabbit cardiomyocytes. Journal of Molecular and Cellular Cardiology. 35 (7), 749-759 (2003).
- Nunez-Iglesias, J., Blanch, A. J., Looker, O., Dixon, M. W., Tilley, L. A new Python library to analyse skeleton images confirms malaria parasite remodelling of the red blood cell membrane skeleton. PeerJ. 2018, 4312 (2018).
- Sage, D., et al. Super-resolution fight club: Assessment of 2D and 3D single-molecule localization microscopy software. Nature Methods. 16, 387-395 (2019).
- Yin, Z., Kanade, T., Chen, M. Understanding the phase contrast optics to restore artifact-free microscopy images for segmentation. Medical Image Analysis. 16 (5), 1047-1062 (2012).
- Malm, P., Brun, A., Bengtsson, E. Simulation of bright-field microscopy images depicting pap-smear specimen. Cytometry. Part A. 87 (3), 212-226 (2015).
- Bifano, T., Ünlü, S., Lu, Y., Goldberg, B. Aberration compensation in aplanatic solid immersion lens microscopy. Optical Express. 21 (23), 28189-28197 (2013).
