Протокол с открытым исходным кодом для сегментации трубчатых структур в изображениях 3D-флуоресцентной микроскопии на основе глубокого обучения

Summary

Этот протокол представляет собой набор инструментов с открытым исходным кодом, предлагающий полный конвейер для сегментации трубчатых структур в трехмерных (3D) изображениях флуоресцентной микроскопии. Используя глубокое обучение с дополнением данных на основе моделирования, он обучает модели U-Net и Attention U-Net, предоставляет качественные и количественные оценки и включает в себя удобные блокноты для обучения, вывода и визуализации.

Abstract

Сегментация трубчатых структур в плотных биологических тканях по изображениям, полученным с помощью 3D-флуоресцентной микроскопии, имеет решающее значение для изучения сложных тканей, но остается сложной задачей из-за сложности, вариабельности и качества изображений. В этой статье мы представляем удобный набор инструментов с открытым исходным кодом для сквозной сегментации трубчатых структур на 3D-изображениях, доступный для исследователей без формального обучения программированию. Набор инструментов включает в себя интерактивные блокноты Jupyter, реализующие две простые, но эффективные архитектуры глубокого обучения — 3D U-Net и 3D U-Net с механизмами внимания — для точной 3D-сегментации трубчатых сетей. Ключевым нововведением является наша стратегия дополнения данных на основе моделирования, которая повышает производительность модели даже при минимальном объеме обучающих данных (всего одно 3D-изображение). Используя предоставленные пользователем маски, протокол генерирует изображения искусственной микроскопии с различным отношением сигнал/шум и моделирует реалистичные артефакты изображения, включая неравномерное окрашивание, свертку функции рассеяния точки, вариации осевой интенсивности, а также шум Пуассона и Гаусса. Протокол систематически направляет пользователей через дополнение данных, обучение модели, качественную и количественную оценку на тестовых наборах и вывод на основе новых изображений. Мы проверяем набор инструментов, анализируя две морфологически различные трубчатые сети в ткани печени мыши — желчные каналы и синусоидальные сети — демонстрируя, что обе архитектуры работают хорошо, при этом внимание U-Net немного превосходит стандартную U-Net при обучении с помощью дополненных данных. Наш комплексный набор инструментов, исполняемый на локальных графических процессорах (GPU), высокопроизводительных вычислительных кластерах или облачных платформах, способствует демократизации расширенного анализа изображений для широкого круга исследователей.

Introduction

Количественный анализ канальцевых структур в биологических тканях, таких как кровеносные сосуды, нейронные сети и желчные протоки в печени, имеет основополагающее значение для понимания физиологических и патологических процессов, включая ангиогенез, метастазирование опухоли и развитие органов ^1,2,3. Трехмерная (3D) флуоресцентная микроскопия стала ключевым инструментом для визуализации этих сложных сетей, обеспечивая высокое пространственное разрешение и позволяя визуализировать сложные архитектуры тканей в их естественном контексте 4,5,6,7. Тем не менее, точная сегментация трубчатых структур от плотных биологических тканей остается сложной задачей из-за артефактов визуализации, изменчивости сигнала и гетерогенной морфологии, присущей биологическим образцам. Традиционные методы сегментации, такие как пороговое значение, увеличение области и алгоритмы на основе моделей, часто требуют обширного ручного вмешательства и тщательной настройки параметров, что может быть как трудоемким, так и субъективным, особенно для сложных 3D-тканей, таких как печень 8,9,10,11,12 . Эти подходы часто не устойчивы к изменчивости, присущей биологическим образцам и условиям визуализации, что ограничивает их обобщение в различных наборах данных и экспериментальных установках. Программные инструменты, такие как ImageJ¹³ и TiQuant⁸, были разработаны для помощи в анализе и количественной оценке тканей; однако им может не хватать гибкости или масштабируемости, необходимых для комплексной 3D-реконструкции сложных трубчатых сетей в полностью автоматическом режиме.

Глубокое обучение произвело революцию в биомедицинском анализе изображений, автоматизировав задачи сегментации с высокой ^{точностью} и эффективностью 14,15,16. Сверточные нейронные сети (СНС), в частности архитектуры кодеров-декодеров, такие как U-Net, продемонстрировали исключительную производительность в различных приложениях биомедицинской визуализации 17,18,19. Кроме того, расширение U-Net до 3D данных (3D U-Net) позволяет эффективно обрабатывать объемные изображения, захватывая пространственный контекст во всех трех измерениях и повышая точность сегментации для сложных^{структур20}. Включение механизмов внимания в эти архитектуры (Attention U-Net) еще больше повышает производительность, позволяя сети сосредоточиться на характерных особенностях при одновременном подавлении нерелевантного фонового шума 18,21,22. Несмотря на их потенциал, реализация моделей глубокого обучения для 3D-сегментации сопряжена со значительными трудностями. Обучение этих моделей обычно требует значительных знаний в программировании, доступа к мощным вычислительным ресурсам и большим аннотированным наборам данных, которые могут быть доступны не всем исследователям. Аннотирование 3D-изображений является особенно трудоемким процессом, часто включающим ручную маркировку сложных структур на многочисленных срезах, что может быть непомерно сложно для больших наборов данных. В то время как методы аугментации данных могут уменьшить потребность в обширных обучающих данных за счет искусственного увеличения разнообразия наборов данных с помощью таких преобразований, как вращение, масштабирование и переворот, традиционные методы аугментации могут не полностью отражать изменчивость и сложность биологических изображений, особенно тех, которые включают сложные 3D-структуры.

Чтобы устранить эти ограничения, мы представляем удобный для пользователя набор инструментов с открытым исходным кодом для сквозной сегментации трубчатых структур на изображениях 3D-микроскопии. Этот набор инструментов использует интерактивные блокноты Jupyter и реализует два надежных метода глубокого обучения - 3D U-Net^17,20 и 3D U-Net с механизмами внимания^18,21 - для точной сегментации 3D трубчатых структур без необходимости обширных знаний программирования. Ключевым новшеством нашего протокола является стратегия дополнения данных на основе моделирования, которая повышает производительность модели даже при минимальных обучающих данных — всего одном 3D-изображении. Используя предоставленные пользователем маски, протокол генерирует изображения искусственной микроскопии с различным отношением сигнал/шум и моделирует реалистичные артефакты изображения, включая неравномерное окрашивание, свертку с функцией рассеяния точки (PSF) конфокальных микроскопов, изменения осевой интенсивности из-за проникновения или рассеяния антител, а также наличие шума Пуассона и Гаусса. Это дополнение на основе моделирования не только увеличивает количество обучающих данных, но и обогащает набор данных реалистичными вариациями, улучшая возможность обобщения модели на невидимые данные. Протокол систематически направляет пользователей через дополнение данных, обучение модели, качественную и количественную оценку прогнозов модели на тестовых наборах и вывод на основе новых изображений (рис. 1). Мы подтверждаем полезность нашего инструментария, анализируя две морфологически различные канальцевые сети в ткани печени мыши: желчные каналы и синусоидальные сети. Эти сети имеют различные структурные характеристики и проблемы визуализации, обеспечивая надежный испытательный стенд для наших методов.

В то время как большинство существующих исследований сосредоточены на анализе 2D-изображений, ограничивая понимание сложных 3D-архитектур, наш подход делает акцент на 3D-сегментации, чтобы охватить всю сложность тканевых структур. Интегрируя хорошо зарекомендовавшие себя и мощные архитектуры глубокого обучения с удобным интерфейсом, наш набор инструментов способствует демократизации доступа к современным инструментам анализа изображений. Наш конвейер может быть выполнен на локальных графических процессорах, высокопроизводительных вычислительных кластерах или облачных платформах, таких как Google Colab, что делает расширенный анализ изображений доступным для более широкого круга исследователей независимо от вычислительных ресурсов. Эта работа вносит свой вклад в эту область, предоставляя доступное и всеобъемлющее решение для 3D-сегментации трубчатых структур, облегчая количественный анализ, который необходим для улучшения нашего понимания функции тканей и механизмов заболеваний.

Protocol

1. Установка и настройка ящика с инструментами

1. Скачивание инструментария с GitHub
   1. Откройте веб-браузер и перейдите в репозиторий GitHub набора инструментов: https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation 
   2. Скачайте его с помощью Git clone (вариант A). Убедитесь, что Git установлен в системе; Если нет, скачайте его с https://git-scm.com/downloads и установите. Откройте терминал (Unix/Linux/macOS) или командную строку (Windows) и перейдите в каталог, где будет храниться набор инструментов. Клонируйте репозиторий, введя:
      git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. Скачайте его в формате ZIP (вариант Б). На странице GitHub нажмите зеленую кнопку «Код » и выберите «Скачать ZIP». Сохраните ZIP-файл в нужном каталоге и извлеките его содержимое.
2. Настройка среды Conda
   1. Установите Anaconda или Miniconda. Если приложение Anaconda еще не установлено, загрузите его с:
      https://www.anaconda.com/download или Миниконда от https://docs.anaconda.com/miniconda/. Следуйте инструкциям по установке используемой операционной системы.
   2. Откройте терминал или командную строку. Создайте новую среду Conda с именем img_seg_env в Python 3.10, введя:
      conda create -n img_seg_env python=3.10
   3. Активируйте среду Conda, введя:
      Conda активирует img_seg_env
      или активируйте img_seg_env для Windows
3. Установите необходимые зависимости с помощью requirements.txt. Убедитесь, что вы находитесь в корневом каталоге набора инструментов. Установите необходимые пакеты Python с помощью pip , введя:
   pip install -r requirements.txt
   ПРИМЕЧАНИЕ: Эта команда считывает файл requirements.txt и устанавливает все необходимые пакеты
   1. Убедитесь, что установлены такие пакеты, как numpy, scipy, matplotlib, tensorflow и jupyter . Проверьте успешную установку и выведите список установленных пакетов, введя:
      Список пипсов
4. Запуск Jupyter Notebook
   1. Находясь в активированной среде Conda, запустите Jupyter Notebook , введя:
      Jupyter Notebook
   2. Если предпочтительнее JupyterLab , который предлагает улучшенный интерфейс, выполните:
      Лаборатория Jupyter
   3. Доступ к интерфейсу Jupyter : Подождите, пока веб-браузер автоматически откроется и отобразит интерфейс Jupyter . Если он не открывается автоматически, возьмите URL-адрес, указанный в терминале (например, http://localhost:8888/tree), и откройте его вручную в веб-браузере.
   4. В интерфейсе Jupyter перейдите в каталог, содержащий записные книжки Jupyter, поставляемые с набором инструментов (например, /path/to/3DMicroscopyImageSegmentation-main/).

2. Подготовка данных (Рисунок 1A)

1. Генерация данных изображений трубчатых конструкций
   1. Получение изображений 3D-микроскопии
      1. Загрузите общедоступные 3D-изображения ткани печени мыши с: https://zenodo.org/records/14029574 Набор данных включает 3D-конфокальные изображения желчных каналов (РМЖ) и синусоидальных сетей, обрезанные из исходных изображений из⁹. В качестве альтернативы можно использовать набор сгенерированных изображений.
   2. Получение 3D PSF
      1. Загрузите изображение функции реального рассеяния точки (PSF) из https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif В качестве альтернативы сгенерируйте теоретическое изображение PSF с помощью DeconvolutionLab2²³ с параметрами микроскопа.
   3. Используйте следующий метод сегментации для создания бинарных масок трубчатых структур:
      1. Полуавтоматическая сегментация с помощью MorpholibJ на Фиджи
         1. Откройте Фиджи. Загрузите микроскопическое изображение.
         2. Перейти в меню Процесс | Двоичный | MakeBinary, выберите Otsu в качестве метода и нажмите OK.
         3. Откройте плагин MorpholibJ и перейдите в раздел Плагины | МорфолибДж | Фильтрация | Морфологические фильтры (3D).
         4. Выберите операцию Замыкание, установите форму элемента на Шар (лучше всего подходит для трубчатых конструкций) и выберите подходящий радиус в вокселях. Нажмите кнопку Показать элемент, чтобы визуализировать структурирующий элемент. Для трубчатых структур попробуйте значения от 3 до 8 пикселей.
            ПРИМЕЧАНИЕ: Больший радиус может привести к появлению артефактов.
         5. Сохраните результат как 'image_closing.tif', нажав на Файл | Сохранить как... | Размолвка....
            ПРИМЕЧАНИЕ: Убедитесь, что каждая сгенерированная маска соответствует правильному исходному файлу изображения с соответствующими именами файлов. Примеры предварительно рассчитанных масок можно скачать по адресу: https://doi.org/10.5281/zenodo.14029574
   4. Вручную подберите маски.
      1. Загрузите и установите Labkit²⁴, следуя инструкциям по ссылке: https://github.com/juglab/labkit-ui. Откройте каждую предварительную маску и используйте инструменты рисования и стирания для ручного исправления ошибок сегментации, добавляя или удаляя области для точного очерчивания трубчатых структур. Сохраните тщательно подобранную маску, сохранив то же имя файла, что и у исходного изображения.
      2. Использование Napari²⁵
         1. Откройте командную строку и активируйте среду Napari (если она еще не активна):
            Conda активирует napari_env
         2. Запустите напари:
            Напари
         3. Перетащите изображение микроскопии и соответствующую двоичную маску в напари.
         4. Преобразуйте двоичную маску в слой надписей, щелкнув правой кнопкой мыши имя слоя маски, и выберите «Преобразовать в метки».
         5. Установите ширину контура на 1 и начните курирование. Чтобы заполнить отверстия, используйте инструмент «Указатель », чтобы выбрать значение маски. Активируйте инструмент «Заполнить ведро » и щелкните внутри отверстия.
            ПРИМЕЧАНИЕ: Если все изображение заполнено, в структуре, скорее всего, есть зазор. Используйте кисть , чтобы закрыть границу, прежде чем снова попробовать инструмент «Заполнить ведро ».
         6. После завершения курирования сохраните исправленную маску, перейдя в раздел Файл | Сохранение выделенных слоев | TIFF. Откройте исправленную маску на Фиджи и конвертируйте ее в 8-битный формат, нажав на Изображение | Тип | 8-битный. Сохраните итоговое 8-битное изображение.
2. Организация набора данных
   1. Создайте структуру каталогов набора данных.
      1. Выберите директорию, в которой будет храниться набор данных (например, /path/to/your/dataset). Создайте следующую структуру папок:
         набор данных/
         ├── training_data/
         │ ├── изображения/
         │ │ ├── img1.tif
         │ ├── img2.tif
         │   │   └── ...
         │ └── маски/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── изображения/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         «маски/
         «imgtest1.tif
         «imgtest2.tif
         └── ...
   2. Организуйте изображения и маски.
      1. Обучающие данные
         1. Поместите изображения 3D-микроскопии, предназначенные для обучения, в dataset/training_data/images/. Убедитесь, что имена файлов согласованы (например, img1.tif, img2.tif).
         2. Поместите соответствующие проверенные двоичные маски в dataset/training_data/masks/, убедившись, что имена файлов совпадают с именами в папке изображений (например, img1.tif, img2.tif).
      2. Тестовые данные
         1. Поместите изображения 3D-микроскопии, предназначенные для тестирования, в набор данных /test_data/images/. Используйте согласованные имена файлов, которые не перекрываются с обучающими данными.
         2. Поместите соответствующие курируемые двоичные маски в dataset/test_data/masks/. Убедитесь, что имена файлов совпадают с именами в папке с тестовыми изображениями.

3. Запуск всего конвейера (рис. 1B-E)

1. Откройте записную книжку Jupyter.
   1. Активируйте img_seg_env среды Conda, введя:
      Conda активирует img_seg_env
   2. Перейдите в корневую папку проекта:
      cd /путь/к/ImageSegmentationcode/
   3. Чтобы запустить интерфейс Jupyter, введите jupyter lab или jupyter notebook.
   4. В веб-браузере откройте записную книжку с именем process_images.ipynb.
2. Настройка среды
   1. Импортируйте библиотеки и настройте доступ к графическому процессору.
      ПРИМЕЧАНИЕ: В первой и второй ячейках записной книжки импортируются библиотеки, и TensorFlow настроен на использование графического процессора с включенным увеличением памяти. Это гарантирует, что TensorFlow не выделяет всю память графического процессора одновременно и совместим с несколькими задачами. Не изменяйте содержимое ячейки. Выполняйте ячейки, нажимая кнопку воспроизведения .
3. Настройка входных параметров
   1. Найдите ячейку входной конфигурации и измените ее в соответствии с набором данных:
      source_dir = '/путь/к/данным/BC/'
      psf_path = '/путь/к/PSF.tif'
      code_dir = '/путь/к/коду/'
      out_dir = '/путь/к/выходу/'
      out_name = 'BC'
   2. Выполните ячейку 3 нажатием кнопки воспроизведения .
   3. Не изменяйте содержимое ячейки. Выполните ячейку, нажав кнопку воспроизведения в ячейке 4.
4. Генерация патчей
   1. Выполните ячейку Создать наборы данных, чтобы создать обучающие и тестовые исправления. Не изменяйте содержимое в ячейках. Выполняйте ячейки, нажимая кнопку воспроизведения .
5. Обучение модели
   1. Выполните ячейку Обучение моделей для обучения UNet3D с тремя настройками дополнения: НЕТ, СТАНДАРТ и На основе моделирования.
   2. Замените 'UNet3D' на 'UNet3D', 'AttentionUNet3D', чтобы обучить UNet3D вниманию. При необходимости измените настройки тренировки в config.py (см. шаг 3.9).
6. Создание прогнозов
   1. Запустите ячейку Generate Predictions , чтобы создать маски сегментации на тестовых данных. Не меняйте содержимое в трех ячейках. Выполняйте ячейки, нажимая кнопку воспроизведения .
7. Оценка и построение графиков
   1. Выполните ячейку Создать графики для создания ящичковых диаграмм метрик оценки.
8. Просмотр и интерпретация результатов
   1. Проверьте выходные данные в путях, определенных out_images_path и out_plots_path.
   2. Изучайте блочные диаграммы, сравнивая модели и стратегии дополнения по метрикам на уровне патчей и полного образа.
9. Кастомизация через config.py
   1. Измените следующие ключевые параметры в config.py для настройки конвейера:
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1э-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0,2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "AttentionUNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. Устранение неполадок
    1. При ошибках нехватки памяти уменьшите BATCH_SIZE или PATCH_SIZE в config.py.
    2. При возникновении проблем с графическим процессором убедитесь, что доступно достаточно памяти, или уменьшите размер пакета.
11. Окончательное подтверждение
    1. Когда конвейер завершится, найдите следующее напечатанное сообщение:
       Все расчеты успешно завершены
    2. Мы настоятельно рекомендуем запускать TensorFlow на системе Linux или Windows, оснащенной графическим процессором NVIDIA с поддержкой CUDA. Если у вас возникли проблемы с установкой tensorflow с помощью CUDA, следуйте официальному процессу установки: https://www.tensorflow.org/install/pip

Results

Сбор данных
Чтобы проверить наш инструментарий, мы проанализировали две отдельные канальцевые сети в ткани печени взрослых мышей: желчные каналы (БК) и синусоидальные сети. Для каждой структуры для обучения использовалось одно изображение 3D-микроскопии от одного животного, в то время как два независимых изображения от разных животных использовались исключительно для тестирования. Все изображения печени были получены с изотропным воксельным разрешением 0,3 мкм/воксель, что обеспечивает согласованную выборку в трех пространственных измерениях. Набор данных, первоначально опубликованный в Morales-Navarrete et ^al.9, был подобран с использованием Labkit²⁵, предоставляя высококачественные бинарные маски трубчатых структур, используемые в качестве основы для контролируемого обучения. Для синусоидальной сети мы создали два типа бинарных масок: одну, очерчивающую границы трубки (полое представление), и другую, захватывающую заполненный объем трубки, что позволяет использовать различные стратегии обучения в зависимости от приложения.

Кроме того, мы оценили наш инструментарий на внешнем наборе данных кровеносных сосудов всего мозга взрослого Mus musculus, предоставленном в рамках конкурса SELMA3D 2024 года. Этот набор данных состоит из 3D-изображений световой микроскопии, полученных в стандартных условиях содержания (12 часов светового цикла/12 часов темного цикла в течение 3 месяцев) и доступен через BioStudies (S-BIAD1197) images²⁶. Пять изображений мозга были использованы для обучения и девятнадцать для тестирования. Исходные анизотропные стеки были пересчитаны до размеров изотропных вокселей с использованием линейной интерполяции на Фиджи для обеспечения совместимости с нашим конвейером анализа.

Предварительная обработка
Чтобы справиться с ограниченным числом исходных 3D-изображений, мы применили методы дополнения данных, которые вносили реалистичные артефакты изображения и моделировали различное соотношение сигнал/шум в диапазоне от 15 до 1. Этот подход имел решающее значение для повышения обобщаемости и надежности моделей.

Тестовое изображение было разделено на неперекрывающиеся участки размером 64 x 64 x 64 вокселя для оценки производительности модели на региональном уровне и оценки надежности в различных пространственных контекстах в рамках одного и того же 3D-объема.

Архитектура модели
Мы реализовали и сравнили две архитектуры сверточных нейронных сетей, заточенные под 3D-сегментацию:

Стандартный 3D U-Net¹⁷, состоящий из симметричных блоков энкодера-декодера с максимальным объединением 2×2×2, сверточных слоев с активациями ReLU и окончательной свертки 1 x 1 с последующей сигмоидальной функцией для двоичной классификации.

Система Attention U-Net²⁷, которая включает в себя механизм внимания, который динамически выделяет характерные особенности и подавляет нерелевантный фон, улучшая сегментацию сложных и вариабельных структур, таких как сети печеночных канальцев.

Протокол тренировки
Обе архитектуры были обучены с использованием библиотек TensorFlow и Keras на высокопроизводительном вычислительном кластере, оснащенном 32 ядрами CPU, 128 ГБ ОЗУ и двумя графическими процессорами NVIDIA A100 SXM4 40 ГБ. Attention U-Net требовал больше времени на обучение из-за сложности архитектуры, особенно при использовании дополненных наборов данных (см. таблицу 1).

Метрики оценки
Производительность модели количественно оценивалась на тестовых изображениях с использованием стандартных метрик сегментации: коэффициент Dice, Intersection over Union (IoU), оценка F1, сходство объема, а также чувствительность и специфичность.

Результаты для РМЖ, синусоидальных структур и сосудов обобщены на рисунках 2, 3, 4 и 5. Кроме того, в таблице 2 представлено сравнение производительности с установленными классическими методами трубчатой сегментации, включая метод Оцу и адаптивное пороговое значение. Наши модели, в частности Attention U-Net, обученный на дополненных данных, неизменно превосходили эти традиционные методы по всем показателям.

Статистический анализ и надежность
Анализ целых изображений, а также воксельных участков размером 64 x 64 x 64 x 64 (Таблица 3) в тестовом наборе позволил нам также количественно оценить пространственную изменчивость прогнозов модели по регионам. Все модели продемонстрировали высокую точность, при этом Attention U-Net показал стабильно более высокую производительность, особенно в рейтинге F1 и коэффициенте Dice. Качественные результаты, представленные на рисунках 2A, B, 3A, B, 4A, B, 5A, B, а также на видео 1, видео 2, видео 3 и видео 4, подтверждают эти выводы, иллюстрируя точное очерчивание трубчатых структур в большинстве областей тестовых данных.

Объяснение аномалий в метриках производительности
Более низкие значения ящичковых диаграмм для анализа патчей (дополнительный рисунок S1, дополнительный рисунок S2, дополнительный рисунок S3, дополнительный рисунок S4 и дополнительный рисунок S5) указывают на наличие выбросов производительности в подмножестве тестовых патчей. Аналогичным образом, неоптимальная сегментация в финальных кадрах видео может быть связана с двумя ключевыми факторами:

Граничные эффекты: производительность сегментации часто ухудшается на границах изображения, где частичные структуры недостаточно представлены или не полностью охвачены, что приводит к большей неопределенности и потенциальной неправильной классификации.

Ухудшение качества изображения в более глубоких z-плоскостях: несмотря на размер изотропных воксолей, биологические и технические факторы, такие как затухание сигнала, рассеяние света и снижение контрастности в z-направлении, приводят к снижению качества изображения в нижней части объема. Такое ухудшение затрудняет точное определение границ и приводит к несоответствиям сегментации.

Эти факторы являются неотъемлемыми проблемами при 3D-биологической визуализации и особенно важны в регионах, удаленных от плоскости изображения или содержащих неоднозначные структурные границы.

Таким образом, наши результаты демонстрируют, что модели сегментации на основе глубокого обучения, в частности Attention U-Net, обученный с помощью дополненных данных, обеспечивают надежное и точное очерчивание сложных трубчатых структур на 3D-изображениях микроскопии печени. Используя тщательно отобранные наборы данных, реалистичные стратегии дополнения и механизмы внимания, модели достигли превосходной производительности по сравнению с классическими методами, такими как пороговое значение. Региональная оценка с использованием 64³ воксельных патчей подтвердила согласованность и обобщаемость подхода для различных областей изображения и структурных сложностей. Несмотря на то, что некоторые ограничения сохраняются, в основном из-за граничных эффектов и ухудшения качества изображения в z-плоскости, наше исследование подчеркивает эффективность архитектур, основанных на внимании, и предоставляет проверенное решение с открытым исходным кодом для высокоточной 3D-сегментации труб в биомедицинской визуализации.

Рисунок 1: Рабочий процесс 3D-сегментации трубчатых структур на изображениях флуоресцентной микроскопии с использованием моделей U-Net и Attention U-Net. (A) Подготовка данных: Схематические 2D-срезы 3D-изображений ткани печени мыши, полученных методом флуоресцентной микроскопии, с отображением исходных изображений и соответствующих бинарных масок. (B) Дополнение данных: Дополнение подготовленных данных на основе моделирования, создание изображений с различным отношением сигнал/шум (например, SNR = 15 и SNR = 1). (C) Обучение моделей: Обучение моделей U-Net и Attention U-Net на основе патчей с использованием как исходных, так и дополненных данных. Для тренировки генерируются патчи изображения и маски размером 64 х 64 х 64. (D) Оценка модели: для каждой модели рассчитываются количественные показатели эффективности, включая Recall и F1 Score, чтобы оценить точность сегментации на тестовых наборах данных. (E) Вывод модели: Применение обученной модели на невидимых изображениях для создания прогнозируемых масок сегментации. Сокращение: SNR = отношение сигнал/шум. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 2: Оценка моделей U-Net и Attention U-Net для сегментации сети Bile Canaliculi на основе изображений ткани печени мыши, полученных с помощью флуоресцентной микроскопии. (A) Репрезентативные 2D-срезы (средний срез) изображений 3D-флуоресцентной микроскопии, отображающие исходное изображение и соответствующую наземную маску для РМЖ в ткани печени мыши. Изображения в правом верхнем углу обеспечивают увеличенное изображение вставок, выделенных в каждом разделе. (B) Предсказанные маски сегментации, генерируемые U-Net, Attention U-Net и их дополненными версиями. В верхней строке выделены истинно положительные (правильно сегментированные структуры), в нижней — ложноположительные (неправильно идентифицированные структуры) и ложноотрицательные (пропущенные структуры) для каждой модели. (C) Количественные метрики оценки для каждой модели, включая точность, оценку F1, точность, полноту, сходство объема и коэффициент кубиков. Оценка проводилась в патчах, выдавленных из 3D-изображения. Полосы погрешностей обозначают стандартные отклонения на тестовых изображениях. Масштабная линейка: 60 μм; Врезная масштабная линейка: 30 мкм. Сокращение: BC = желчные каналы. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 3: Оценка моделей U-Net и Attention U-Net для сегментации синусоидальной сети на основе изображений ткани печени мыши, полученных с помощью 3D-флуоресцентной микроскопии. (A) Репрезентативные 2D-срезы (средний срез) изображений 3D флуоресцентной микроскопии, отображающие исходное изображение и соответствующую наземную маску для синусоид в ткани печени мыши. Изображения в правом верхнем углу обеспечивают увеличенное изображение вставок, выделенных в каждом разделе. (B) Предсказанные маски сегментации, генерируемые U-Net, Attention U-Net и их дополненными версиями. В верхней строке выделены истинно положительные (правильно сегментированные структуры), в нижней — ложноположительные (неправильно идентифицированные структуры) и ложноотрицательные (пропущенные структуры) для каждой модели. (C) Количественные метрики оценки для каждой модели, включая точность, оценку F1, точность, полноту, сходство объема и коэффициент кубиков. Оценка проводилась в патчах, выдавленных из 3D-изображения. Полосы погрешностей обозначают стандартные отклонения на тестовых изображениях. Масштабная линейка: 60 μм; Масштабная линейка-врезка: 30 мкм. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 4: Оценка моделей U-Net и Attention U-Net для сегментации синусоидальной сети по изображениям ткани печени мыши, полученных с помощью 3D-флуоресцентной микроскопии, рассматривая маску в виде заполненных пробирок. (A) Репрезентативные 2D средние срезы изображений 3D флуоресцентной микроскопии, отображающие исходное изображение и соответствующую наземную маску для синусоид в ткани печени мыши. Изображения в правом верхнем углу обеспечивают увеличенное изображение вставок, выделенных в каждом разделе. (B) Предсказанные маски сегментации, генерируемые U-Net, Attention U-Net и их дополненными версиями. В то время как верхняя строка выделяет истинно положительные (правильно сегментированные структуры), нижняя показывает ложные срабатывания (неправильно идентифицированные структуры) и ложноотрицательные (пропущенные структуры) для каждой модели. (C) Количественные метрики оценки для каждой модели, включая точность, оценку F1, точность, полноту, сходство объема и коэффициент кубиков. Оценка проводилась в патчах, выдавленных из 3D-изображения. Полосы погрешностей обозначают стандартные отклонения на тестовых изображениях. Масштабная линейка: 60 μм; Масштабная линейка-врезка: 30 мкм. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Рисунок 5: Оценка моделей U-Net и Attention U-Net для сегментации сосудистой сети в мозге мыши по изображениям 3D-световой микроскопии с использованием масок с заполненными трубками. (A) Репрезентативные 2D-средние срезы, извлеченные из 3D-изображений мозга мыши, полученных в световой микроскопии, показывающие исходное изображение и соответствующую наземную маску для кровеносных сосудов. Увеличенные виды выбранных вставок отображаются в правом верхнем углу каждой панели. Предсказанные маски сегментации, сгенерированные U-Net, Attention U-Net и их дополненными версиями. В верхнем ряду выделены истинно положительные результаты (правильно сегментированные структуры сосудов), а в нижней строке — ложноположительные (неправильно сегментированные области) и ложноотрицательные результаты (пропущенные структуры сосудов) для каждой модели. (C) Количественная оценка производительности модели с использованием таких показателей, как точность, оценка F1, точность, полнота, сходство объема и коэффициент кубиков. Оценка проводилась на 3D-патчах, извлеченных из тестовых томов. Полосы погрешностей представляют собой стандартные отклонения по 19 тестовым изображениям. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Видео 1: Z-Stack анимация предсказанных масок для сети BC. В видео показана анимированная последовательность через z-стек предсказанных сегментационных масок для желчных каналов в ткани печени мыши, сгенерированных U-Net, Attention U-Net и их дополненными версиями. В каждом 2D-разделе выделены истинно положительные результаты (белый), ложные срабатывания (зеленый) и ложноотрицательные результаты (пурпурный) для каждой модели, перемещаясь по всему стеку. Сокращение: BC = желчные каналы. Пожалуйста, нажмите здесь, чтобы скачать это видео.

Видео 2: Z-Stack анимация предсказанных масок для синусоидальной сети. В видео показана анимированная последовательность через z-стек предсказанных сегментационных масок для синусоид в ткани печени мыши, сгенерированных U-Net, Attention U-Net и их дополненными версиями. В каждом 2D-разделе выделены истинно положительные результаты (белый), ложные срабатывания (зеленый) и ложноотрицательные результаты (пурпурный) для каждой модели, перемещаясь по всему стеку. Пожалуйста, нажмите здесь, чтобы скачать это видео.

Видео 3: Z-Stack анимация предсказанных масок для синусоидальной сети в виде заполненных трубок. В видео показана анимированная последовательность через z-стек предсказанных сегментационных масок для синусоидальной сети в виде заполненных трубок в ткани печени мыши, сгенерированных U-Net, Attention U-Net и их дополненными версиями. В каждом 2D-разделе выделены истинно положительные результаты (белый), ложные срабатывания (зеленый) и ложноотрицательные результаты (пурпурный) для каждой модели, перемещаясь по всему стеку. Пожалуйста, нажмите здесь, чтобы скачать это видео.

Видео 4: Z-Stack анимация предсказанных масок для сосудов головного мозга. В видео показана анимированная последовательность через z-стек предсказанных масок сегментации для судов, сгенерированных U-Net, Attention U-Net и их дополненными версиями. В каждом 2D-разделе выделены истинно положительные результаты (белый), ложные срабатывания (зеленый) и ложноотрицательные результаты (пурпурный) для каждой модели, перемещаясь по всему стеку. Пожалуйста, нажмите здесь, чтобы скачать это видео.

Таблица 1: Время обучения для 3D-моделей U-Net и Attention U-Net 3D на наборах данных Bile Canaliculi и Sinusoid с аугментацией данных и без нее. Время обучения моделей U-Net 3D и Attention U-Net 3D на наборах данных желчных каналов и синусоид с аугментацией данных и без нее. В таблице указано количество патчей для каждого набора данных и соответствующее время обучения в минутах. Аугментация данных увеличивает количество патчей с 1353 до 10824, что приводит к значительному увеличению времени обучения. Модель Attention U-Net неизменно требует больше времени на обучение, чем модель U-Net, особенно с дополненными наборами данных, из-за дополнительной сложности концентрации внимания на релевантных признаках данных. Сокращение: BC = желчные каналы. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Таблица 2: Количественная оценка моделей U-Net 3D и Attention U-Net 3D по четырем наборам данных с использованием сегментации всего изображения. В этой таблице представлена производительность каждой модели, а также классических методов, таких как Оцу и адаптивный порог, на четырех различных наборах данных: желчные каналы, синусоидальные сети (полые и заполненные представления) и сосудистая сеть всего мозга с использованием цельных 3D-изображений для оценки. Для каждой комбинации модели и набора данных указано количество тестовых изображений, а также метрики производительности: точность, точность, полнота (чувствительность), специфичность, оценка F1, коэффициент Dice, IoU и сходство объема. Эти метрики обеспечивают всестороннюю оценку качества сегментации с точки зрения как воксельной корректности, так и объемного согласия между прогнозами и наземной достоверностью. Сокращения: BC = желчные каналы; IoU = Пересечение через Юнион. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Таблица 3: Количественная оценка моделей U-Net 3D и Attention U-Net 3D на четырех наборах данных с использованием патчей размером 64 x 64 x 64 . В этой таблице обобщена производительность моделей U-Net 3D и Attention U-Net 3D на четырех наборах данных — желчных каналах, синусоидальных сетях (полых и заполненных масках) и сосудистых сетях всего мозга — на основе оценки в 3D-изображениях участков размером 64×64×64 вокселя. Для каждой комбинации модели и набора данных количество тестовых патчей указано вместе с ключевыми метриками производительности: точностью, точностью, полнотой (чувствительностью), специфичностью, оценкой F1, коэффициентом Dice, пересечением через объединение и объемным сходством. Эти метрики на уровне патчей позволяют получить локализованное представление о производительности модели и особенно полезны для определения пространственно неоднородной точности сегментации по объемам. Сокращения: BC = желчные каналы; IoU = Пересечение через Юнион. Пожалуйста, нажмите здесь, чтобы скачать эту таблицу.

Дополнительный рисунок S1: Производительность сегментации на уровне патчей моделей 3D U-Net и Attention U-Net для сегментации желчных каналов. Графики иллюстрируют количественную производительность моделей 3D U-Net и Attention U-Net на наборах данных желчных каналов, оцененных с использованием участков 3D-изображений размером 64 x 64 x 64 вокселей. Отображаемые метрики включают точность, прецизионность, полноту (чувствительность), специфичность, оценку F1, коэффициент кубиков, пересечение через объединение и сходство объема. Результаты отражают вариабельность между участками, обеспечивая локализованное понимание производительности модели и выделяя пространственную неоднородность в объемах 3D-ткани печени. Сокращения: BC = желчные каналы; IoU = Пересечение через Юнион. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок S2: Производительность сегментации на уровне патчей моделей 3D U-Net и Attention U-Net для сегментации синусоид. Графики иллюстрируют количественную производительность моделей 3D U-Net и Attention U-Net на синусоидальных наборах данных, оцененных с помощью участков 3D-изображений размером 64 x 64 x 64 вокселей. Отображаемые метрики включают точность, прецизионность, полноту (чувствительность), специфичность, оценку F1, коэффициент кубиков, пересечение через объединение и сходство объема. Результаты отражают вариабельность между участками, обеспечивая локализованное понимание производительности модели и выделяя пространственную неоднородность в объемах 3D-ткани печени. Аббревиатура: IoU = Пересечение через Союз. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок S3: Производительность сегментации на уровне патчей моделей 3D U-Net и Attention U-Net для сегментации синусоид в виде заполненных трубок. Графики иллюстрируют количественную производительность моделей 3D U-Net и Attention U-Net на синусоидах в виде наборов данных заполненных трубок, оцененных с помощью участков 3D-изображений размером 64 x 64 x 64 вокселей. Отображаемые метрики включают точность, прецизионность, полноту (чувствительность), специфичность, оценку F1, коэффициент кубиков, пересечение через объединение и сходство объема. Результаты отражают вариабельность между участками, обеспечивая локализованное понимание производительности модели и выделяя пространственную неоднородность в объемах 3D-ткани печени. Аббревиатура: IoU = Пересечение через Союз. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок S4: Производительность сегментации на уровне патчей моделей 3D U-Net и Attention U-Net для сосудистой сети головного мозга на основе изображений световой микроскопии. Графики иллюстрируют количественную производительность моделей 3D U-Net и Attention U-Net на наборах данных сосудистой сети всего мозга, оцененных с использованием участков 3D-изображений размером 64 x 64 x 64 вокселей. Отображаемые метрики включают точность, прецизионность, полноту (чувствительность), специфичность, оценку F1, коэффициент кубиков, пересечение через объединение и сходство объема. Результаты отражают вариабельность между участками, обеспечивая локализованное понимание производительности модели и выделяя пространственную неоднородность в объемах 3D-ткани печени. Аббревиатура: IoU = Пересечение через Союз. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Дополнительный рисунок S5: Наложение результатов сегментации на исходные изображения желчных каналов, полученные методом флуоресцентной 3D-флуоресцентной микроскопии. Репрезентативные срезы изображений из наборов данных 3D-флуоресцентной микроскопии желчных каналов в печени мышей показаны с сегментационными масками, наложенными красным цветом. Предсказанные маски из моделей 3D U-Net и Attention U-Net накладываются на исходные изображения микроскопии в оттенках серого для визуальной оценки точности сегментации. Десять примеров изображений представлены для иллюстрации способности моделей улавливать различные морфологические особенности и обрабатывать изменчивость сигнала в различных областях тканей. Пожалуйста, нажмите здесь, чтобы загрузить этот файл.

Discussion

Этот протокол предлагает простой, но мощный и доступный подход к сегментации трубчатых структур на основе глубокого обучения на изображениях 3D-флуоресцентной микроскопии, преодолевая разрыв между технической сложностью и удобством использования в анализе биоизображений. Интегрируя аугментацию данных на основе моделирования, интерактивные блокноты Jupyter и эффективные архитектуры U-Net, мы предоставляем инструмент с открытым исходным кодом, способный выполнять высокоточную сегментацию сложных тканевых структур, таких как желчные каналы и синусоидальные сети. Этот набор инструментов решает ключевые задачи 3D-сегментации, особенно при обработке дефицита данных и изменчивости условий визуализации, что делает его универсальным дополнением к ландшафту анализа биоизображений.

Важнейшим компонентом нашего протокола является аугментация данных на основе моделирования, которая повышает производительность модели даже при ограниченном количестве аннотированных изображений, что является распространенным ограничением в биологических исследованиях. Генерируя дополненные данные, которые имитируют реалистичные артефакты изображения, такие как свертка функции рассеяния точки, затухание интенсивности оси, а также шум Пуассона и Гаусса, набор инструментов создает модели, которые надежны в различных условиях визуализации. Такой подход эффективно увеличивает разнообразие данных, улучшая обобщаемость моделей и обеспечивая ключевое преимущество по сравнению с традиционными методами дополнения данных, которые могут не полностью отражать гетерогенность, присутствующую в биологических образцах. Однако это ограничение ограничено морфологическими особенностями, закодированными в изначально предоставленной маске. Использование предварительно сегментированных масок для первоначальной генерации обучающих данных приводит к потенциальным системам смещения, если маски не полностью репрезентативны для рассматриваемых биологических структур. Таким образом, до сих пор остается открытым вопрос о том, как создать реалистичную аугментацию данных в морфологическом пространстве, которая может быть потенциально важна для изучения тканей с такими изменениями, как прогрессирование заболевания.

В нашем методе используются две модели кодера-декодера, 3D U-Net и Attention U-Net, выбранные за их высокую производительность в задачах биомедицинской визуализации. В то время как 3D U-Net обеспечивает простую, но мощную архитектуру сегментации, Attention U-Net повышает точность, выборочно фокусируясь на соответствующих функциях и подавляя шум. Обе модели включены в набор инструментов, что позволяет пользователям выбирать в зависимости от их конкретных требований к набору данных. Наши результаты показывают, что модель Attention U-Net обеспечивает более высокие показатели производительности во всех наборах данных, особенно для сложных структур, таких как синусоидальная сеть, где дополнительная сложность механизмов внимания помогает смягчить эффекты низкого отношения сигнал/шум и структурной изменчивости. Тем не менее, важно отметить, что вычислительные требования Attention U-Net выше, что может повлиять на его доступность для пользователей с ограниченными ресурсами графического процессора. Более того, учитывая открытый исходный код конвейера, при необходимости можно легко добавить другие, более сложные архитектуры для будущих исследований.

Наш протокол предлагает универсальный и удобный конвейер, который объединяет основные этапы 3D-сегментации в одной конфигурации. Такой оптимизированный дизайн является ключевым преимуществом, поскольку он упрощает доступ к расширенным инструментам сегментации без необходимости в программировании или настройке параметров. Кроме того, наша стратегия дополнения данных на основе моделирования повышает надежность модели, снижая зависимость от обширных ручных аннотаций и улучшая обобщенность модели в различных условиях визуализации. В отличие от классических методов сегментации, которые часто полагаются на пороговые значения или алгоритмы роста региона, требующие тщательной тонкой настройки^28,29, наш подход к глубокому обучению требует минимального ручного вмешательства. Это способствует демократизации высококачественной, воспроизводимой сегментации сложных 3D-структур, делая ее доступной для более широкого круга исследователей, в том числе не имеющих большого вычислительного опыта.

Помимо трубчатых сетей, гибкость протокола позволяет легко адаптироваться для сегментации других биологических структур. Будущие усовершенствования могут включать интеграцию самоконтролируемого обучения³⁰ или трансферного обучения³¹, что еще больше снижает потребность в аннотированных данных при сохранении высокой точности сегментации. Эти стратегии также могут расширить применимость к различным методам визуализации, таким как многофотонная или световая листовая микроскопия.

Несмотря на свои сильные стороны, протокол имеет ряд ограничений, которые следует признать. Во-первых, размер набора данных остается относительно небольшим, составляя всего несколько аннотированных томов на структуру. Несмотря на то, что аугментация данных частично устраняет эту проблему, риск переобучения все еще присутствует, особенно при применении тонко настроенных моделей к наборам данных с невидимыми изменениями в подготовке образцов или условиях визуализации. Во-вторых, хотя наши результаты указывают на хорошую генерализацию по различным участкам и животным, мы еще не тестировали набор данных из других органов или методов микроскопии, которые могут демонстрировать различные структурные и шумовые характеристики. Это ограничивает возможность непосредственного обобщения нашего подхода. Наконец, наша стратегия оценки, хотя и надежна на уровне патчей, могла бы выиграть от дополнительных метрик топологической согласованности, которые актуальны для сетевых структур. Будущая работа будет направлена на устранение этих ограничений путем расширения набора данных, включения методов адаптации предметной области³² и оценки конвейера в более широком биологическом контексте.

Подводя итог, можно сказать, что данный протокол представляет собой доступное и комплексное решение для качественной 3D-сегментации трубчатых структур в биовизуализации. Сочетая в себе эффективные архитектуры моделей, стратегии дополнения данных и интерактивный, удобный для пользователя интерфейс, наш набор инструментов имеет потенциал для расширения охвата и влияния глубокого обучения в анализе биоизображений, позволяя исследователям по всему миру использовать эти методы для более глубокого понимания биологической структуры и функций.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Фиджи			https://imagej.net/software/fiji/downloads
Репозиторий GitHub			https://github.com/hernanmorales-navarrete/3DMicroscopyImage Сегментация/дерево/главная
Labkit			https://imagej.net/plugins/labkit/
Репозиторий Zenodo			10.5281/zenodo.14029574