Summary
В этой статье объясняется, как использовать машинное обучение под наблюдением моделирования для анализа морфологии митохондрий во флуоресцентных микроскопических изображениях фиксированных клеток.
Abstract
Количественный анализ субклеточных органелл, таких как митохондрии в изображениях клеточной флуоресцентной микроскопии, является сложной задачей из-за присущих проблем в сегментации этих небольших и морфологически разнообразных структур. В этой статье мы демонстрируем использование конвейера сегментации и анализа с помощью машинного обучения для количественной оценки морфологии митохондрий в флуоресцентных микроскопических изображениях фиксированных клеток. Инструмент сегментации на основе глубокого обучения обучается на смоделированных изображениях и устраняет необходимость в аннотациях наземной истины для контролируемого глубокого обучения. Мы демонстрируем полезность этого инструмента на флуоресцентных микроскопических изображениях фиксированных кардиомиобластов со стабильной экспрессией флуоресцентных маркеров митохондрий и используем специфические условия клеточной культуры для индуцирования изменений в морфологии митохондрий.
Introduction
В этой статье мы демонстрируем полезность физического инструмента машинного обучения для субклеточной сегментации1 в флуоресцентных микроскопических изображениях фиксированных кардиомиобластов, экспрессирующих флуоресцентные маркеры митохондрий.
Митохондрии являются основными энергопроизводящими органеллами в клетках млекопитающих. В частности, митохондрии являются высокодинамичными органеллами и часто встречаются в сетях, которые постоянно меняются по длине и ветвятся. Форма митохондрий влияет на их функцию, и клетки могут быстро изменять свою митохондриальную морфологию, чтобы адаптироваться к изменениям в окружающей среде2. Чтобы понять это явление, морфологическая классификация митохондрий как точек, стержней или сетей очень информативна3.
Сегментация митохондрий имеет решающее значение для анализа морфологии митохондрий в клетках. Современные методы сегментирования и анализа флуоресцентных микроскопических изображений митохондрий основаны на ручной сегментации или традиционных подходах к обработке изображений. Подходы, основанные на порогах, такие как Otsu4, менее точны из-за высокого уровня шума в микроскопических изображениях. Как правило, изображения для морфологического анализа митохондрий имеют большое количество митохондрий, что делает ручную сегментацию утомительной. Математические подходы, такие как MorphoLibJ5 и полуконтролируемые подходы машинного обучения, такие как Weka6 , очень требовательны и требуют экспертных знаний. Обзор методов анализа изображений для митохондрий7 показал, что методы, основанные на глубоком обучении, могут быть полезны для этой задачи. Действительно, сегментация изображений в изображениях повседневной жизни для таких приложений, как самостоятельное вождение, была революционизирована с использованием моделей, основанных на глубоком обучении.
Глубокое обучение — это подмножество машинного обучения, которое предоставляет алгоритмы, которые учатся на больших объемах данных. Контролируемые алгоритмы глубокого обучения изучают отношения из больших наборов изображений, которые аннотированы их метками истинности (GT). Проблемы использования контролируемого глубокого обучения для сегментации митохондрий в изображениях флуоресцентной микроскопии двояки. Во-первых, контролируемое глубокое обучение требует большого набора данных обучающих изображений, и, в случае флуоресцентной микроскопии, предоставление этого большого набора данных будет обширной задачей по сравнению с использованием более легкодоступных традиционных изображений на основе камеры. Во-вторых, флуоресцентная микроскопия изображений требует ГТ аннотаций объектов, представляющих интерес в обучающих изображениях, что является утомительной задачей, требующей экспертных знаний. Эта задача может легко занять часы или дни времени эксперта для получения одного изображения клеток с флуоресцентно мечеными субклеточными структурами. Более того, различия между аннотаторами создают проблему. Чтобы устранить необходимость в ручной аннотации и иметь возможность использовать превосходную производительность методов глубокого обучения, здесь была использована модель сегментации на основе глубокого обучения, которая была обучена на смоделированных изображениях. Физические симуляторы обеспечивают способ имитировать и контролировать процесс формирования изображений в микроскопе, позволяя создавать изображения известных форм. Используя физический симулятор, для этой цели был создан большой набор данных смоделированных флуоресцентных микроскопических изображений митохондрий.
Моделирование начинается с генерации геометрии с использованием параметрических кривых для генерации фигур. Излучатели случайным образом размещаются на поверхности формы равномерно распределенным образом, так что плотность соответствует экспериментальным значениям. Функция 3D-разброса точек (PSF) микроскопа вычисляется с использованием вычислительно эффективного приближения8 модели Гибсона-Ланни9. Чтобы точно сопоставить смоделированные изображения с экспериментальными изображениями, эмулируются как темный ток, так и шум снимка для достижения фотореализма. Физический GT генерируется в виде двоичной карты. Код для генерации набора данных и обучения имитационной модели доступен10, а шаг создания этого моделируемого набора данных описан на рисунке 1.
Мы демонстрируем полезность сегментации на основе глубокого обучения, обученной полностью на моделируемом наборе данных путем анализа изображений конфокальной микроскопии фиксированных кардиомиобластов. Эти кардиомиобласты экспрессировали флуоресцентный маркер в митохондриальной наружной мембране, что позволило визуализировать митохондрии на изображениях флуоресцентной микроскопии. До проведения эксперимента, приведенного здесь в качестве примера, клетки были лишены глюкозы и адаптированы к галактозе в течение 7 дней в культуре. Замена глюкозы в среде роста галактозой заставляет клетки в культуре становиться более окислительными и, таким образом, зависеть от своих митохондрий для производства энергии11,12. Кроме того, это делает клетки более чувствительными к повреждению митохондрий. Изменения морфологии митохондрий могут быть экспериментально индуцированы путем добавления митохондриального разъединяющего агента, такого как карбонилцианид м-хлорфенилгидразон (CCCP), к среде13 клеточной культуры. CCCP приводит к потере митохондриального мембранного потенциала (ΔΨm) и, таким образом, приводит к изменениям в митохондриях от более трубчатой (палочковидной) к более шаробулярной (точечной) морфологии14. Кроме того, митохондрии, как правило, набухают во время лечения CCCP15. Мы показываем морфологическое распределение изменений митохондрий, когда адаптированные к галактозе кардиомиобласты лечились митохондриальным разъединителем CCCP. Сегментация митохондрий глубокого обучения позволила нам классифицировать их как точки, стержни или сети. Затем мы вывели количественные метрики для оценки длины ветвей и обилия различных митохондриальных фенотипов. Этапы анализа описаны на рисунке 2, а детали клеточной культуры, визуализации, создания набора данных для сегментации на основе глубокого обучения, а также количественного анализа митохондрий приведены ниже.
Protocol
ПРИМЕЧАНИЕ: Разделы 1-4 могут быть опущены при работе с существующими микроскопическими изображениями митохондрий с известными экспериментальными условиями.
1. Клеточная культура
- Выращивайте клетки H9c2 в DMEM без глюкозы, дополненной 2 мМ L-глутамина, 1 мМ пирувата натрия, 10 мМ галактозы, 10% FBS, 1% стрептомицина / пенициллина и 1 мкг / мл пуромицина. Дайте клеткам адаптироваться к галактозе в течение не менее 7 дней в культуре перед экспериментами.
Примечание: Клетки H9c2, используемые здесь, были генетически модифицированы для экспрессии флуоресцентных митохондрий, а также приобрели ген устойчивости к пуромицину. Добавление этого антибиотика обеспечивает рост клеток с геном резистентности и, таким образом, флуоресцентных митохондрий. - Посейте клетки H9c2 для эксперимента, когда слияние клеток достигнет примерно 80% (колба культуры T75, оцененная с помощью микроскопии Яркого поля). Предварительно нагрейте среду и трипсин до 37°C в течение не менее 15 мин, прежде чем продолжить.
ПРИМЕЧАНИЕ: Эксперимент можно проводить параллельно с двумя или более различными условиями клеточной культуры. Слияние клеток H9c2 не должно быть выше 80%, чтобы предотвратить потерю миобластичных клеток. При 100% слиянии клетки образуют миотрубы и начинают дифференцироваться. - Подготовьтесь к посеву клеток, работающих в стерильной ламинарной проточной вытяжке, поместив стеклянную крышку No 1,5 для каждого экспериментального состояния в колодец из 12-луночной пластины. Обозначьте каждое условие и экспериментальные детали на 12-луночной пластине.
- Переместите колбу клеточной культуры из инкубатора на рабочую поверхность вытяжки. Аспирировать среду с помощью аспирационной системы или электронной пипетки, а затем дважды промыть 5 мл PBS (комнатной температуры).
- Переместите предварительно нагретый трипсин на рабочую поверхность и аспирируйте окончательную промывку PBS; затем добавьте предварительно нагретый трипсин для отделения клеток (1 мл для колбы для культуры T75). Поместите колбу для культивирования обратно в инкубатор на 2-3 мин при 37°C.
- Переместите предварительно нагретую среду на рабочую поверхность ближе к концу инкубации. Убедитесь, что клетки отсоединились, используя микроскоп Brightfield.
- Если все ячейки не отсоединились, нанесите несколько осторожных, но твердых постукиваний в сторону колбы, чтобы отсоединить оставшиеся ячейки.
- Верните колбу культуры на рабочую поверхность. Добавьте 4 мл клеточной культуральной среды в колбу для культивирования с помощью электронной пипетки, чтобы остановить действие трипсина. При добавлении культуральной среды в колбу используйте пипетку, чтобы многократно диспергировать среду по поверхности, чтобы отсоединить и собрать клетки в клеточную суспензию.
- Пипетка клеточной суспензии (5 мл) из колбы в трубку объемом 15 мл.
- Центрифугирование ячеек при 200 х г в течение 5 мин. Откройте трубку в вытяжке, удалите супернатант путем аспирации и осторожно повторно суспендируйте клеточную гранулу в 5 мл клеточной культуральной среды.
- Оцените количество клеток, проанализировав небольшой объем клеточной суспензии в автоматизированном счетчике клеток. Обратите внимание на количество живых клеток на миллилитр культуральной среды.
- Переместите желаемый объем (например, 150 мкл на лунку) клеточной суспензии, рассчитанный на плотность посева приблизительно 2 х 104 ячейки/см2, в предварительно маркированную центрифужную трубку объемом 15 мл. Добавьте предварительно нагретую культуральную среду клеток в 15 мл центрифужной трубки в заранее рассчитанном объеме, основанном на количестве лунок. Для плит с 12 скважинами используйте общий объем 1 мл для каждой скважины.
- Убедитесь, что разбавленная клеточная суспензия правильно перемешана, испешивая содержимое трубки центрифуги вверх и вниз несколько раз, прежде чем дозировать соответствующий объем в каждую скважину. После того, как клеточная суспензия будет дозирована в колодце, встряхните пластину тщательно контролируемым образом в каждом направлении, чтобы лучше распределить ячейки по всей скважине. Поместите 12-луночную пластину в инкубатор при 37°C до следующего дня.
- Проверьте клетки с помощью микроскопа Brightfield, чтобы оценить рост. Если клетки достигли достаточного роста примерно до 80% конфлюентности, приступают к следующим шагам; в противном случае повторяйте оценку ежедневно до тех пор, пока не будет достигнут достаточный рост.
2. Экспериментальная процедура
- Рассчитайте количество материалов, необходимых для эксперимента, в соответствии с концентрациями запасного раствора. Разморозьте замороженные материалы (30 мМ раствора CCCP) при 37 °C и установите питательную среду для клеток для предварительного нагрева при 37 °C.
- После размораживания создают рабочий раствор 10 мкМ CCCP путем разбавления исходного раствора (1:3000) в клеточной культуральной среде.
ПРИМЕЧАНИЕ: Не делайте пипетки объемом менее 1 мкл. - Начните экспериментальные процедуры после того, как все необходимые материалы будут подготовлены и предварительно нагреты. Аспирировать питательную среду клеток из скважин 12-луночной плиты, а затем быстро прикладывать свежую предварительно нагретую среду к контрольным скважинам и предварительно нагретую среду с раствором CCCP 10 мкМ в испытательные скважины.
- Инкубируйте 12-луночную пластину в клеточном инкубаторе 37°C в течение 2 ч. В течение инкубационного периода приготовьте закрепляющий раствор.
- Для приготовления фиксирующего раствора используют предварительно изготовленный 4% параформальдегид (PFA) для разбавления 25% раствора глутаральдегида (GA) до 0,2% (1:125). Установите раствор на предварительный нагрев при 37°C. Для плиты с 12 скважинами достаточно 500 мкл на скважину.
ВНИМАНИЕ: PFA и GA являются токсичными химическими веществами. Работа в химическом капоте с защитным снаряжением. Смотрите их соответствующие SDS для получения подробной информации. - Когда инкубационный период завершится, снимите из инкубатора 12-луночную пластину и поместите ее на рабочую поверхность.
ПРИМЕЧАНИЕ: Работа больше не требует стерильной среды. - Аспирировать клеточную культуральную среду из лунок и применять предварительно нагретый фиксирующий раствор. Верните 12-луночную пластину в инкубатор при температуре 37°C в течение 20 минут.
- Аспирировать раствор для фиксации после завершения инкубации и дважды промыть каждую лунку комнатной температурой PBS. На этом этапе протокола можно приостановить эксперимент и продолжить его позже.
- Если эксперимент приостановлен, добавьте 1 мл PBS на скважину, запечатайте 12-луночную пластину пластиковой пленкой (парапленкой) и храните при 4°C.
3. Окрашивание и крепление ячеек на крышках
- Разморозьте запас DAPI (ядерное пятно) и открутите его в мини-центрифуге перед открытием. Приготовьте окрашивающий раствор DAPI путем разбавления запаса DAPI в PBS (1:1000).
- Аспирируйте PBS из 12-луночной пластины и нанесите 1 мл окрашивающего раствора DAPI на каждую лунку. Инкубировать в темноте при комнатной температуре в течение 5 мин.
- Аспирируйте раствор для окрашивания DAPI. Дважды промыть 2 мл PBS на лунку.
- Подготовьте предметные стекла микроскопа (стеклянные слайды), промыв их в 70% этаноле, с последующей тремя промывками в PBS. Тщательно высушите слайды с помощью бумажных полотенец без ворса и направьте их к свету, чтобы проверить наличие признаков пыли или жира.
ПРИМЕЧАНИЕ: Для этого шага требуются перчатки. - Пометьте стеклянные слайды экспериментальными деталями. Перенесите монтажную среду в микроцентрифужную трубку и открутите вниз в мини-центрифуге.
- Подготовьтесь к монтажу обшивки, организовав рабочее пространство. Держите наготове 12-луночную пластину с крышками, стеклянными слайдами с маркировкой, монтажной средой, пипеткой, наконечниками пипеток объемом 10 мкл, бумажными полотенцами без ворса и пинцетом.
- Нанесите 10 мкл монтажной среды (proLong Glass) на подготовленный стеклянный слайд для крепления крышки.
- Возьмите крышку с 12-луночной пластины с помощью пинцета и смажьте влагу с крышки, ненадолго коснувшись края и задней части крышки к подготовленному безворсовому бумажному полотенцу. Осторожно опустите крышку вниз на каплю монтажной среды.
- Повторите два вышеуказанных шага для каждого обложек. Поместите капли монтажной среды, чтобы обеспечить от одного до четырех крышек на стеклянный слайд.
- Убедитесь, что стеклянные горки находятся на плоской поверхности, чтобы избежать перемещения установленных крышек. Поместите стеклянные слайды в темное место при комнатной температуре на ночь, чтобы монтажная среда затвердела. Теперь образцы готовы к визуализации. Эксперимент может быть приостановлен на этом этапе протокола и продолжен позже.
- Если эксперимент приостановлен на этом этапе, то, позволив образцам установить ночь при комнатной температуре, накройте их алюминиевой фольгой, чтобы защитить их от света, и храните их при 4°C.
4. Микроскопия и визуализация
- Накройте образцы алюминиевой фольгой для транспортировки (если это еще не сделано).
- По прибытии в центр микроскопии используйте двойной дистиллированный H2O с фильтровальной бумагой микроскопа, чтобы очистить остатки PBS от обложек на стеклянных слайдах. Убедитесь, что на крышках нет пятен, удерживая стекла в направлении яркого света.
- Пройдите процедуру запуска микроскопа. Выберите подходящую цель (Plan-Apochromat 63x/1.40 Oil M27) и добавьте погружную среду.
- Поместите образец в держатель образца. В программном обеспечении микроскопа используйте вкладку «Найти», чтобы активировать флуоресцентную подсветку EGFP, и, используя окуляры, вручную отрегулируйте z-уровень, чтобы образец был в фокусе. Выключите флуоресцентное освещение при нахождении фокуса.
- Перейдите на вкладку «Приобретение» в программном обеспечении микроскопа. Используйте «Интеллектуальную настройку» для выбора каналов флуоресценции, которые будут использоваться для визуализации. Для этого эксперимента были выбраны пресеты каналов EGFP и DAPI.
- Отрегулируйте интенсивность каждого канала от начальных настроек, используя гистограмму интенсивности в качестве ориентира для оптимизации уровня сигнала. Теперь можно приступать к визуализации.
- Для получения изображений используйте опцию программного обеспечения, чтобы позиции изображения были размещены в массиве, и центрируйте массив в середине крышки с 12 общими позициями для изображения. Убедитесь, что каждая позиция в массиве содержит ячейки. Если ячеек нет, измените положение на область с ячейками.
- Отрегулируйте фокус каждого положения в массиве с помощью автофокуса программного обеспечения микроскопа, и следуйте за этим с ручной тонкой настройкой, чтобы убедиться, что как можно больше митохондрий находятся в фокусе.
ПРИМЕЧАНИЕ: Для этих ручных настроек используется канал EGFP. - Получение изображений с помощью этого метода для каждого обложек. Сохраните файлы изображений и перейдите к шагам морфологического анализа.
5. Генерация смоделированных обучающих данных
- Загрузите код10 и распакуйте содержимое. Следуйте инструкциям в README.md, чтобы настроить необходимую среду.
- Перейдите в папку с именем "src", которая является домашней папкой для этого проекта. Пронумерованные папки внутри содержат коды, специфичные для различных этапов использования инструмента.
ПРИМЕЧАНИЕ: Используйте команду "cd <>" для перехода к любым вложенным папкам кода. Чтобы запустить любой файл python, используйте команду "python << имя файла>>.py". Презентация под названием «Tutorial.pptx» содержит полный набор инструкций по использованию модели сегментации. - Сделайте копию или воспользуйтесь папкой «2. Mitochondria Simulation Airy», и переименовать его (здесь используется Airy, поскольку это функция PSF, ближайшая к конфокальному микроскопу, который использовался в качестве текущего микроскопа). Зайдите в папку с именем "simulator".
ПРИМЕЧАНИЕ: Эта папка содержит все файлы, связанные с моделированием обучающих данных. Для моделирования необходимо задать три набора параметров. - Во-первых, для симулятора в пакетном конфигурационном файле "simulator/batch/bxx.csv" задают параметры примерно для образца, включая количество митохондрий, диапазон диаметров и длин структур, диапазон оси z, которую демонстрирует структура, и плотность флуорофоров.
- Далее задайте параметры, связанные с оптической системой.
- Этот набор включает в себя тип микроскопа (который определяет, какая модель PSF выбрана), числовую апертуру (N.A.), увеличение (M), размер пикселя (в мкм), длину волны излучения флуорофоров и параметр фонового шума и т. Д.
- Задайте оптические параметры N.A., увеличение и минимальную длину волны набора данных в файле "simulator/microscPSFmod.py".
- Задайте нужное значение для размера пикселя и задайте длину волны излучения набора данных в качестве параметра функции «process_matrix_all_z» в файле «simulator/generate_batch_parallel.py».
- Задайте последние три параметра функции "save_physics_gt" в файле "simulator/generate_batch_parallel.py". Параметрами являются размер пикселя (в нм), размер выходного изображения и max_xy.
- Задайте третий набор параметров, касающихся выходного набора данных, таких как размер выходных изображений, количество плиток в каждом изображении и общее количество изображений, в файле "simulator/generate_batch_parallel.py".
- Запустите файл "simulator/generate_batch_parallel.py", чтобы начать моделирование.
- Чтобы получить изображение окончательного размера, сделайте копию папки с именем «5. Подготовка данных и обучение/подготовка данных» в домашней папке и перейдите в нее.
ПРИМЕЧАНИЕ: Каждое изображение синтетического набора данных формируется путем создания монтажа из четырех смоделированных изображений размером 128 x 128 пикселей, что дает окончательный размер изображения 256 пикселей x 256 пикселей. Сначала генерируется много отдельных плиток (около 12 000) как для изображений микроскопа (в папке «output»), так и для сегментации истинности земли (в папке «output/physics_gt»).- Задайте параметры номера пакета, количество изображений в пакете и диапазон шума в поле «data_generator.py».
- Запустите файл "data_generator.py" для создания монтажных изображений.
- Скопируйте папки с именами «image» и «segment» в «5. Подготовка данных и обучение/обучение данных/обучение" из папки "5. Подготовка данных и обучение/подготовка данных/данные".
6. Сегментация на основе глубокого обучения
- Обучите модель сегментации на моделируемых изображениях следующим образом:
- Для обучения модели сегментации для нового микроскопа перейдите к пункту «5. Подготовка данных и обучение/обучение», а также задать параметры размера пакета, системообразующую модель сегментации, количество эпох и скорость обучения для обучения в файле «train_UNet.py».
- Запустите «train_UNet.py», чтобы начать обучение. В процессе обучения отображается метрика производительности сегментации на моделируемом наборе проверки.
ПРИМЕЧАНИЕ: После завершения обучения модель сохраняется как "best_model.h5" в "5. Подготовка данных и обучение/обучение".
- Протестируйте модель на реальных изображениях микроскопа, которые разделены до размера, желательного для обученной модели, выполнив следующие шаги.
- Перейдите к разделу "6. Подготовьте тестовые данные" и скопируйте ". png" в формате файлов данных в папку "png".
- Запустите файл "split_1024_256.py", чтобы разделить изображения на размер, желательный для обученной модели. При этом создаются обрезки изображений размером 256 x 256 пикселей в папке «data».
- Скопируйте созданную папку "data" в папку "7. Тестовая сегментация".
- Перейдите в папку «7. Тестовая сегментация" и задайте имя сохраненной модели, которая будет использоваться.
- Чтобы сегментировать посевы, запустите файл "segment.py". Сегментированные изображения сохраняются в папку «output».
7. Морфологический анализ: Анализ митохондриальной морфологии двух групп данных, «Глюкоза» и «КЦХП»
- Организуйте анализируемые данные (одна папка для каждого изображения, причем каждая папка содержит сегментированные выходные обрезки одного изображения).
- Загрузите и поместите дополнительный файл с именем «make_montage.py» в папку с именем «7. Тестовая сегментация».
- Запустите файл «make_montage.py», чтобы сшить сегментированные выходные данные обратно к исходному размеру изображения.
- Создайте новую папку с именем "9. Морфологический анализ» внутри папки "src" .
- Установите пакеты Skan16 и Seaborn Python в среду с помощью команды "pip install seaborn[stats] skan".
ПРИМЕЧАНИЕ: Маски сегментации скелетонизируются с использованием библиотеки Skan для анализа топологии каждой отдельной митохондрии. - Поместите дополнительный файл "analyze_mitochondria.py" в папку "9. Морфологический анализ».
- Расположите изображения разных групп эксперимента в разные папки внутри папки «7. Тестовая сегментация».
- Задайте параметры «размер пикселя» и «входной путь» в файле «analyze_mitochondria.py».
- Запустите файл "analyze_mitochondria.py", чтобы запустить код для скелетизации и создания графиков анализа.
Representative Results
Результаты сегментации митохондрий глубокого обучения на конфокальных изображениях фиксированных кардиомиобластов, экспрессирующих флуоресцентные маркеры митохондрий, демонстрируют полезность этого метода. Этот метод совместим с другими типами клеток и системами микроскопии, требующими только переподготовки.
Адаптированные к галактозе кардиомиобласты H9c2 с флуоресцентными митохондриями лечили с КЦКП или без него в течение 2 ч. Затем клетки были зафиксированы, окрашены ядерным красителем и установлены на стеклянных слайдах для анализа флуоресцентной микроскопии. Конфокальный микроскоп использовался для получения изображений как контрольных, так и обработанных CCCP клеток. Мы провели наш анализ на 12 конфокальных изображениях, с примерно 60 клетками на состояние. Затем было определено и количественно определено морфологическое состояние митохондрий на каждом изображении. Маски сегментации, полученные из обученной модели, были скелетонизированы, чтобы обеспечить анализ топологии каждой отдельной митохондрии для этого эксперимента. В качестве параметра для классификации использовалась длина ветвей отдельных митохондрий. Отдельные митохондрии были классифицированы на морфологические классы по следующему правилу. В частности, любой митохондриальный скелет длиной менее 1 500 нм считался точкой, а более длинные митохондрии далее классифицировались на сеть или стержень. Если имеется по крайней мере один перекресток, на котором пересекаются две или более ветвей, это определяется как сеть; в противном случае митохондрии были классифицированы как стержень. Пример изображения с митохондриальными скелетами, помеченными классами морфологии, показан на рисунке 3.
Категоризация митохондриальной морфологии на рисунке 4А показывает, что можно обнаружить значительные изменения при применении CCCP в течение 2 ч; это наиболее ярко демонстрируется увеличением точек для клеток, обработанных CCCP.
Средняя длина ветви на рисунке 4B является еще одним способом иллюстрации обнаруживаемых и значительных изменений в морфологии. Как палочки, так и сети были, как и ожидалось, значительно уменьшены по сравнению с контролем, когда клетки обрабатывались CCCP. Значительное увеличение средней длины ветвей точек также ожидалось, учитывая набухание, которому подвергаются митохондрии при воздействии CCCP.
Рисунок 1: Конвейер для моделирования изображений флуоресцентной микроскопии. Конвейер включает в себя (i) генерацию 3D-геометрии, (ii) эмуляцию излучателей и фотокинетики, (iii) свертку 3D PSF, (iv) добавление шума и (v) бинаризацию. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 2: Этапы анализа морфологии митохондрий на основе машинного обучения. (1) Изображения, подлежащие сегментации, сначала обрезаются в размеры, приемлемые для модели сегментации. (2) Сегментация на основе глубокого обучения применяется к обрезкам изображений. (3) Сегментированные выходные культуры сшиваются обратно к их первоначальному размеру. (4) Монтажные сегментации скелетонизируются. (6) Морфологический анализ проводится на основе топологии скелетонизации. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 3: Митохондриальный скелет, наложенный на сегментационный выход микроскопических изображений. (A) Выход сегментации. (B) Прямолинейный скелет (евклидово расстояние между начальной и конечной точками ветви) накладывается поверх выходного сигнала сегментации. Цветовое кодирование скелета изображает класс митохондрий. Сети красные, стержни зеленые, а точки фиолетового цвета. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 4: Анализ морфологии митохондрий. (A) Обзор относительного процента различных морфологических категорий на основе общей длины митохондрий. (B) Сравнение средней длины митохондриальной ветви между экспериментальными условиями и между морфологическими категориями. Ось X отображает морфологические категории, а ось Y отображает среднюю длину ветви митохондрий в нанометрах (нм). Статистическая значимость в виде p-значений показана как * p < 0,05, ** p < 0,01, *** p < 0,001 и **** p < 0,0001. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Рисунок 5: Случай сбоя сегментации. Высокая плотность митохондрий является сложным сценарием для модели сегментации. Цветной скелет показывает самые длинные одиночные митохондрии, обнаруженные на изображении. Проходя измерения длины, эти сценарии могут быть обнаружены и проработаны для улучшения результатов сегментации с использованием морфологического оператора erode (сужает обнаруженный скелет). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Discussion
Мы обсуждаем меры предосторожности, связанные с критическими шагами в протоколе, в пунктах «генерация геометрии» и «параметры симулятора». В параграфе под названием «трансферное обучение» обсуждаются модификации для повышения пропускной способности при адаптации к нескольким микроскопам. Параграфы об «анализе частиц» и «создании других субклеточных структур» относятся к будущим применениям этого метода. В параграфе об «отличии от биологической истины» обсуждаются различные причины, по которым моделирование может отличаться от реальных данных, и влияют ли эти причины на наше приложение. Наконец, мы обсуждаем сложный сценарий для нашего метода в пункте «плотно упакованные структуры».
Генерация геометрии
Для генерации 3D-геометрии митохондрий простая 2D-структура, созданная из кривых b-сплайна в виде скелетов, хорошо подходит для создания синтетического набора данных. Эти синтетические формы тесно имитируют формы митохондрий, наблюдаемых в 2D-культурах клеток. Однако в случае 3D-ткани, такой как сердечная ткань, форма и расположение митохондрий совершенно иные. В таких случаях производительность модели сегментации может улучшиться с добавлением направленности в моделируемые изображения.
Параметры симулятора
Следует проявлять осторожность при настройке параметров симулятора, чтобы убедиться, что они соответствуют параметрам данных для выполнения вывода, так как неспособность сделать это может привести к снижению производительности сегментации. Одним из таких параметров является диапазон отношения сигнал/шум (SNR). Диапазон SNR тестируемых данных должен совпадать со значениями моделируемого набора данных. Кроме того, используемый PSF должен совпадать с целевыми тестовыми данными. Например, обученные модели изображения из конфокального PSF не должны использоваться для тестирования изображений с эпифлуоресцентного микроскопа. Еще одним параметром, на который следует обратить внимание, является использование дополнительного увеличения в тестовых данных. Если в тестовых данных использовалось дополнительное увеличение, имитатор также должен быть установлен соответствующим образом.
Трансфер обучения
Трансферное обучение — это феномен использования изученной модели, обученной на одной задаче, для использования в другой задаче. Это явление также применимо к нашей проблеме в отношении различных типов данных микроскопа. Веса модели сегментации (поставляемой с исходным кодом), которая обучается на одном типе данных микроскопии, могут быть использованы для инициализации модели сегментации, которая будет использоваться на другом типе данных оптического микроскопа. Это позволяет нам обучаться на значительно меньшем подмножестве обучающего набора данных (3000 изображений по сравнению с 10 000), тем самым снижая вычислительные затраты на моделирование.
Анализ частиц
Анализ частиц также может быть выполнен на сегментированных масках. Это может предоставить информацию о площади и искривлении и т. Д. Отдельных митохондрий. Эта информация также может служить метрикой для количественного сравнения митохондрий (не используется для этого эксперимента). Например, в настоящее время мы определяем морфологию точек, используя порог, основанный на длине митохондрий. В некоторых случаях может быть полезно включить эллиптичность, чтобы лучше отделить небольшие палочкоподобные митохондрии от пунктов или точечных митохондрий. В качестве альтернативы, если определенные биологические условия заставляют митохондрии сворачиваться, то количественная оценка кривизны может представлять интерес для анализа популяции митохондрий.
Генерация других субклеточных структур
Сегментация субклеточных структур на основе физики была продемонстрирована для митохондрий и везикул1. Хотя везикулы имеют различные формы, их размеры меньше, и они выглядят как простые сферы при наблюдении через флуоресцентный микроскоп. Следовательно, геометрия везикул моделируется с использованием сферических структур соответствующего диапазона диаметров. Это подразумевает изменение функции, порождающей геометрию (цилиндры в случае митохондрий и сферы в случае везикул) структур и соответствующих параметров (шаг 5.4 в разделе протокола). Геометрически эндоплазматический ретикулум и микротрубочки также были смоделированы как трубчатые структуры17. Моделирование эндоплазматического ретикулума диаметром 150 нм и микротрубочек со средним наружным диаметром 25 нм и внутренней полой трубки диаметром 15 нм обеспечивает приближения форм этих структур. Другим параметром, который будет варьироваться для каждой из этих субклеточных структур, является плотность флуорофора. Это рассчитывается исходя из распределения биомолекулы, с которой связываются флуорофоры, и вероятности связывания.
Отличие от биологической базовой истины
Смоделированные данные, используемые для имитационного обучения модели глубокого обучения, во многом отличаются от реальных данных. i) отсутствие неспецифической маркировки в моделируемых данных отличается от реальных данных, поскольку в реальных данных часто присутствуют свободно плавающие флуорофоры. Это приводит к более высокому среднему фоновому значению в реальном изображении. Эта разница смягчается путем сопоставления SNR и установки фонового значения таким образом, чтобы оно соответствовало наблюдаемым реальным значениям. ii) Движение субклеточных структур и фотокинетика являются двумя источниками динамики в системе. Движущиеся структуры в живых клетках (которые движутся в диапазоне нескольких миллисекунд) вызывают размытие движения. Время экспозиции сокращается во время сбора реальных данных, чтобы избежать эффекта размытия. С другой стороны, мы не моделируем таймлапс и не предполагаем неподвижные структуры; это предположение справедливо, когда время экспозиции в реальных данных невелико. Однако это предположение может привести к ошибке в выходных данных, если время экспозиции реальных данных достаточно велико, чтобы привести к размытию движения. Фотокинетика, с другой стороны, находится в порядке от наносекунд до микросекунд и может быть опущена при моделировании, поскольку обычное время экспозиции экспериментов достаточно велико (порядка миллисекунд), чтобы усреднить эффекты фотокинетики. iii) Шум в микроскопических изображениях имеет разные источники, и эти источники имеют различные функции плотности вероятности. Вместо того, чтобы моделировать эти отдельные источники шума, мы аппроксимируем его как гауссовский шум на постоянном фоне. Эта разница существенно не изменяет распределение данных для условий низкого отношения сигнал/фон (в диапазоне 2-4) и при работе с макроплотностью флуорофоров1. (iv) Артефакты в изображениях могут возникать в результате аберраций, дрейфа и систематического размытия. Мы предполагаем, что микроскоп хорошо выровнен и что области, выбранные для анализа в реальных данных, лишены этих артефактов. Существует также возможность моделирования некоторых из этих артефактов в PSF 18,19,20.
Плотно упакованные конструкции
Трудности с невозможностью дифференцировать перекрывающиеся стержни от сетей являются постоянной проблемой при сегментации данных 2D-микроскопии. Чрезвычайно сложный сценарий представлен на рисунке 5, где митохондрии плотно упакованы, что приводит к неоптимальным результатам в модели сегментации и последующем анализе. Несмотря на эту проблему, использование морфологических операторов в таких ситуациях для уменьшения скелетонизации может помочь сломать эти чрезмерно связанные сети, позволяя при этом обнаружить значительные изменения во всех категориях морфологии митохондрий. Кроме того, использование конфокального, а не широкоугольного микроскопа для визуализации является одним из методов частичного смягчения этой проблемы путем устранения нефокусированного света. Кроме того, в будущем было бы полезно выполнить 3D-сегментацию для дифференциации митохондрий, которые пересекаются (т.е. физически образуют сеть) от стержнеобразных митохондрий, проекции которых в одной плоскости пересекаются друг с другом.
Сегментация глубокого обучения является перспективным инструментом, который предлагает расширить возможности анализа пользователей микроскопии, тем самым открывая возможность автоматизированного анализа сложных данных и больших количественных наборов данных, которые ранее были бы неуправляемыми.
Disclosures
Авторы заявляют об отсутствии конфликта интересов, связанного с данной статьей.
Acknowledgments
Авторы признают дискуссию с Арифом Ахмедом Сехом. Замбарлал Бхуджабал признан за помощь в создании стабильных клеток H9c2. Мы признаем следующее финансирование: стартовый грант ERC No 804233 (K.A.), Исследовательский проект по научному обновлению грант No 325741 (D.K.P.), грант Регионального управления здравоохранения Северной Норвегии No HNF1449-19 (Å.B.B.) и тематический проект финансирования UiT VirtualStain с Cristin Project ID 2061348 (D.K.P., Å.B.B., K.A. и A.H.).
Materials
| Name | Company | Catalog Number | Comments |
| 12-well plate | FALCON | 353043 | |
| Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
| Axio Vert.A1 | Zeiss | Brightfield microscope | |
| CCCP | Sigma-Aldrich | C2759 | |
| Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
| Coverslips | VWR | 631-0150 | |
| DAPI (stain) | Sigma-Aldrich | D9542 | |
| DMEM | gibco | 11966-025 | |
| Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
| Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
| H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
| Incubator | Thermo Fisher Scientific | 51033557 | |
| LSM 800 | Zeiss | Confocal Microscope | |
| Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
| Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
| Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
| Sterile laminar flow hood | Labogene | SCANLAF MARS | |
| Trypsin | Sigma-Aldrich | T4049 | |
| Vacusafe aspiration system | VACUUBRAND | 20727400 | |
| ZEN 2.6 | Zeiss |
References
- Sekh, A. A., et al. Physics-based machine learning for subcellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Pernas, L., Scorrano, L. Mito-morphosis: Mitochondrial fusion, fission, and cristae remodeling as key mediators of cellular function. Annual Review of Physiology. 78, 505-531 (2016).
- Li, Y., et al. Imaging of macrophage mitochondria dynamics in vivo reveals cellular activation phenotype for diagnosis. Theranostics. 10 (7), 2897-2917 (2020).
- Xu, X., Xu, S., Jin, L., Song, E. Characteristic analysis of Otsu threshold and its applications. Pattern Recognition Letters. 32 (7), 956-961 (2011).
- Legland, D., Arganda-Carreras, I., Schindelin, J. MorphoLibJ: MorphoLibJ v1.2.0. Zenodo. , Available from: https://zenodo.org/record/50694#.Y8qfo3bP23A (2016).
- Arganda-Carreras, I., et al. Trainable_Segmentation: Release v3.1.2. Zenodo. , Available from: https://zenodo.org/record/59290#.Y8qf13bP23A (2016).
- Chu, C. H., Tseng, W. W., Hsu, C. M., Wei, A. C. Image analysis of the mitochondrial network morphology with applications in cancer research. Frontiers in Physics. 10, 289 (2022).
- Xue, F., Li, J., Blu, T. Fast and accurate three-dimensional point spread function computation for fluorescence microscopy. Journal of the Optical Society of America A. 34 (6), 1029-1034 (2017).
- Lanni, F., Gibson, S. F. Diffraction by a circular aperture as a model for three-dimensional optical microscopy. Journal of the Optical Society of America A. 6 (9), 1357-1367 (1989).
- Sekh, A. A., et al. Physics based machine learning for sub-cellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Liu, Y., Song, X. D., Liu, W., Zhang, T. Y., Zuo, J. Glucose deprivation induces mitochondrial dysfunction and oxidative stress in PC12 cell line. Journal of Cellular and Molecular Medicine. 7 (1), 49-56 (2003).
- Dott, W., Mistry, P., Wright, J., Cain, K., Herbert, K. E. Modulation of mitochondrial bioenergetics in a skeletal muscle cell line model of mitochondrial toxicity. Redox Biology. 2, 224-233 (2014).
- Ishihara, N., Jofuku, A., Eura, Y., Mihara, K. Regulation of mitochondrial morphology by membrane potential, and DRP1-dependent division and FZO1-dependent fusion reaction in mammalian cells. Biochemical and Biophysical Research Communications. 301 (4), 891-898 (2003).
- Miyazono, Y., et al. Uncoupled mitochondria quickly shorten along their long axis to form indented spheroids, instead of rings, in a fission-independent manner. Scientific Reports. 8, 350 (2018).
- Ganote, C. E., Armstrong, S. C. Effects of CCCP-induced mitochondrial uncoupling and cyclosporin A on cell volume, cell injury and preconditioning protection of isolated rabbit cardiomyocytes. Journal of Molecular and Cellular Cardiology. 35 (7), 749-759 (2003).
- Nunez-Iglesias, J., Blanch, A. J., Looker, O., Dixon, M. W., Tilley, L. A new Python library to analyse skeleton images confirms malaria parasite remodelling of the red blood cell membrane skeleton. PeerJ. 2018, 4312 (2018).
- Sage, D., et al. Super-resolution fight club: Assessment of 2D and 3D single-molecule localization microscopy software. Nature Methods. 16, 387-395 (2019).
- Yin, Z., Kanade, T., Chen, M. Understanding the phase contrast optics to restore artifact-free microscopy images for segmentation. Medical Image Analysis. 16 (5), 1047-1062 (2012).
- Malm, P., Brun, A., Bengtsson, E. Simulation of bright-field microscopy images depicting pap-smear specimen. Cytometry. Part A. 87 (3), 212-226 (2015).
- Bifano, T., Ünlü, S., Lu, Y., Goldberg, B. Aberration compensation in aplanatic solid immersion lens microscopy. Optical Express. 21 (23), 28189-28197 (2013).
