3D 형광 현미경 이미지에서 관형 구조의 딥 러닝 기반 분할을 위한 오픈 소스 프로토콜

Summary

이 프로토콜은 3차원(3D) 형광 현미경 이미지에서 관형 구조를 분할하기 위한 완전한 파이프라인을 제공하는 오픈 소스 도구 상자를 도입합니다. 시뮬레이션 기반 데이터 증강과 함께 딥 러닝을 사용하여 U-Net 및 Attention U-Net 모델을 훈련하고 정성적 및 정량적 평가를 제공하며 전체적으로 훈련, 추론 및 시각화를 위한 사용자 친화적인 노트북을 포함합니다.

Abstract

3D 형광 현미경 이미지에서 조밀한 생물학적 조직의 관형 구조를 분할하는 것은 복잡한 조직을 연구하는 데 중요하지만 이미지 복잡성, 가변성 및 품질 문제로 인해 여전히 어렵습니다. 여기에서는 공식적인 프로그래밍 교육 없이도 연구자가 액세스할 수 있는 3D 이미지의 관형 구조를 종단 간 분할하기 위한 오픈 소스의 사용자 친화적인 도구 상자를 소개합니다. 이 도구 상자에는 관형 네트워크의 정확한 3D 분할을 위해 단순하면서도 효율적인 두 가지 딥 러닝 아키텍처(3D U-Net 및 주의 메커니즘이 있는 3D U-Net)를 구현하는 대화형 Jupyter 노트북이 포함되어 있습니다. 주요 혁신은 최소한의 훈련 데이터(3D 이미지 하나만)로도 모델 성능을 향상시키는 시뮬레이션 기반 데이터 증강 전략입니다. 사용자가 제공한 마스크를 사용하는 이 프로토콜은 다양한 신호 대 잡음비를 가진 인공 현미경 이미지를 생성하고 고르지 않은 염색, 점 확산 함수 컨볼루션, 축 강도 변화, 푸아송 및 가우스 노이즈를 포함한 사실적인 이미징 아티팩트를 시뮬레이션합니다. 이 프로토콜은 데이터 증강, 모델 훈련, 테스트 세트에 대한 정성적 및 정량적 평가, 새로운 이미지에 대한 추론을 통해 사용자를 체계적으로 안내합니다. 우리는 마우스 간 조직에서 형태학적으로 구별되는 두 개의 관형 네트워크(담즙 소관 및 정현파 네트워크)를 분석하여 도구 상자를 검증하여 두 아키텍처 모두 잘 수행되며 증강 데이터로 훈련할 때 주의력 U-Net이 표준 U-Net보다 약간 능가합니다. 로컬 그래픽 처리 장치(GPU), 고성능 컴퓨팅 클러스터 또는 클라우드 플랫폼에서 실행할 수 있는 당사의 포괄적인 도구 상자는 광범위한 연구자를 위한 고급 이미지 분석의 민주화에 기여합니다.

Introduction

간의 혈관, 신경 네트워크 및 담관과 같은 생물학적 조직의 세뇨관 구조에 대한 정량적 분석은 혈관신생, 종양 전이 및 장기 발달을 포함한 생리학적 및 병리학적 과정을 이해하는 데 기본입니다 ^1,2,3. 3차원(3D) 형광 현미경은 이러한 복잡한 네트워크를 이미징하기 위한 중추적인 도구로 등장하여 높은 공간 해상도를 제공하고 기본 컨텍스트에서 복잡한 조직 구조를 시각화할 수 있습니다 ^4,5,6,7. 그러나 조밀한 생물학적 조직에서 관형 구조를 정확하게 분할하는 것은 이미징 아티팩트, 신호 가변성 및 생물학적 표본에 내재된 이질적인 형태로 인해 여전히 어려운 과제로 남아 있습니다. 임계값, 영역 성장 및 모델 기반 알고리즘과 같은 전통적인 분할 방법은 광범위한 수동 개입과 세심한 매개변수 조정이 필요한 경우가 많으며, 이는 특히 간과 같은 복잡한 3D 조직의 경우 시간이 많이 걸리고 주관적일 수 있습니다 8,9,10,11,12 . 이러한 접근 방식은 생물학적 샘플 및 이미징 조건에 내재된 가변성에 강력하지 않은 경우가 많아 다양한 데이터 세트 및 실험 설정에 걸쳐 일반화 가능성을 제한합니다. ImageJ¹³ 및 TiQuant⁸과 같은 소프트웨어 도구는 조직 분석 및 정량화를 지원하기 위해 개발되었습니다. 그러나 완전 자동 방식으로 복잡한 관형 네트워크를 포괄적으로 3D 재구성하는 데 필요한 유연성이나 확장성이 부족할 수 있습니다.

딥 러닝은 높은 정확도와 효율성으로 분할 작업을 자동화함으로써 생체 의학 이미지 분석에 혁명을 일으켰습니다14,15,16. 컨볼루션 신경망(CNN), 특히 U-Net과 같은 인코더-디코더 아키텍처는 다양한 생체의학 이미징 응용 분야에서 탁월한 성능을 입증했습니다17,18,19. 또한, U-Net을 3D 데이터(3D U-Net)로 확장하면 체적 이미지를 효과적으로 처리하고 3차원 모두에서 공간적 맥락을 캡처하며 복잡한 구조에 대한 분할 정확도를 향상시킬 수 있습니다²⁰. 이러한 아키텍처(Attention U-Net)에 주의 메커니즘을 통합하면 네트워크가 관련 없는 배경 소음을 억제하면서 두드러진 기능에 집중할 수 있도록 하여 성능이 더욱 향상됩니다18,21,22. 잠재력에도 불구하고 3D 분할을 위한 딥 러닝 모델을 구현하는 것은 상당한 과제를 안겨줍니다. 이러한 모델을 훈련하려면 일반적으로 상당한 프로그래밍 전문 지식, 강력한 계산 리소스에 대한 액세스, 주석이 달린 대규모 데이터 세트가 필요하며 이는 모든 연구자가 쉽게 사용할 수 없을 수 있습니다. 3D 이미지에 주석을 달기는 것은 특히 노동 집약적이며, 종종 수많은 슬라이스에 걸쳐 복잡한 구조에 수동으로 레이블을 지정해야 하므로 대규모 데이터 세트에서는 금지될 수 있습니다. 데이터 증강 기술은 회전, 크기 조정, 대칭 이동과 같은 변환을 통해 데이터 세트 다양성을 인위적으로 증가시켜 광범위한 훈련 데이터의 필요성을 완화할 수 있지만, 기존 증강 방법은 생물학적 이미지, 특히 복잡한 3D 구조와 관련된 이미지의 가변성과 복잡성을 완전히 포착하지 못할 수 있습니다.

이러한 한계를 해결하기 위해 3D 현미경 이미지에서 관형 구조의 종단 간 분할을 위한 오픈 소스의 사용자 친화적인 도구 상자를 도입합니다. 이 도구 상자는 대화형 Jupyter 노트북을 사용하고 광범위한 프로그래밍 지식 없이도 3D 관형 구조의 정확한 분할을 위해 3D U-Net ^17,20 및 주의 메커니즘이 있는 3D U-Net^18,21의 두 가지 강력한 딥 러닝 방법을 구현합니다. 우리 프로토콜의 주요 혁신은 최소한의 훈련 데이터(단 하나의 3D 이미지)로도 모델 성능을 향상시키는 시뮬레이션 기반 데이터 증강 전략입니다. 이 프로토콜은 사용자가 제공한 마스크를 활용하여 다양한 신호 대 잡음비를 가진 인공 현미경 이미지를 생성하고 고르지 않은 염색, 공초점 현미경의 점 확산 함수(PSF)를 사용한 컨볼루션, 항체 침투 또는 산란으로 인한 축 강도 변화, 푸아송 및 가우스 노이즈의 존재를 포함한 사실적인 이미징 아티팩트를 시뮬레이션합니다. 이 시뮬레이션 기반 증강은 훈련 데이터의 양을 증가시킬 뿐만 아니라 현실적인 변형으로 데이터 세트를 풍부하게 하여 보이지 않는 데이터에 대한 모델의 일반화 가능성을 향상시킵니다. 이 프로토콜은 데이터 증강, 모델 훈련, 테스트 세트에 대한 모델 예측의 정성적 및 정량적 평가, 새 이미지에 대한 추론을 통해 사용자를 체계적으로 안내합니다(그림 1). 우리는 마우스 간 조직에서 형태학적으로 구별되는 두 개의 관형 네트워크인 담즙 세관과 정현파 네트워크를 분석하여 도구 상자의 유용성을 검증합니다. 이러한 네트워크는 다양한 구조적 특성과 이미징 문제를 제시하여 우리 방법에 대한 강력한 테스트베드를 제공합니다.

대부분의 기존 연구는 2D 이미지 분석에 중점을 두어 복잡한 3D 구조에 대한 이해를 제한하는 반면, 우리의 접근 방식은 조직 구조의 전체 복잡성을 포착하기 위해 3D 분할을 강조합니다. 잘 확립되고 강력한 딥 러닝 아키텍처를 사용자 친화적인 인터페이스와 통합함으로써 당사의 도구 상자는 최첨단 이미지 분석 도구에 대한 액세스의 민주화에 기여합니다. 당사의 파이프라인은 로컬 GPU, 고성능 컴퓨팅 클러스터 또는 Google Colab과 같은 클라우드 플랫폼에서 실행할 수 있으므로 컴퓨팅 리소스에 관계없이 더 광범위한 연구자가 고급 이미지 분석에 액세스할 수 있습니다. 이 작업은 관형 구조의 3D 분할을 위한 접근 가능하고 포괄적인 솔루션을 제공하고 조직 기능 및 질병 메커니즘에 대한 이해를 높이는 데 필수적인 정량적 분석을 촉진함으로써 현장에 기여합니다.

Protocol

1. 도구 상자 설치 및 설정

1. GitHub에서 도구 상자 다운로드
   1. 웹 브라우저를 열고 도구 상자의 GitHub 리포지토리(https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation)로 이동합니다. 
   2. Git 복제(옵션 A)를 사용하여 다운로드합니다. Git이 시스템에 설치되어 있는지 확인합니다. 그렇지 않은 경우 https://git-scm.com/downloads 에서 다운로드하여 설치하십시오. 터미널(Unix/Linux/macOS) 또는 명령 프롬프트(Windows)를 열고 도구 상자를 저장할 디렉토리로 이동합니다. 다음을 입력하여 저장소를 복제합니다.
      git clone https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation.git
   3. ZIP 파일을 다운로드합니다(옵션 B). GitHub 페이지에서 녹색 코드 단추를 클릭하고 ZIP 다운로드를 선택합니다. ZIP 파일을 원하는 디렉토리에 저장하고 ZIP 파일의 내용을 추출합니다.
2. Conda 환경 설정
   1. Anaconda 또는 Miniconda를 설치합니다. 아직 설치하지 않은 경우 다음에서 Anaconda를 다운로드합니다.
      https://docs.anaconda.com/miniconda/ 의 https://www.anaconda.com/download 또는 Miniconda. 사용 중인 운영 체제에 대한 설치 지침을 따르십시오.
   2. 터미널 또는 명령 프롬프트를 엽니다. 다음을 입력하여 Python 3.10을 사용하여 img_seg_env 라는 새 Conda 환경을 만듭니다.
      conda create -n img_seg_env python=3.10
   3. 다음을 입력하여 Conda 환경을 활성화합니다.
      conda 활성화 img_seg_env
      또는 Windows용 img_seg_env 활성화
3. requirements.txt 사용하여 필요한 종속성을 설치합니다. 도구 상자의 루트 디렉토리에 있어야 합니다. 다음을 입력하여 pip 를 사용하여 필요한 Python 패키지를 설치합니다.
   pip 설치 -r requirements.txt
   참고: 이 명령은 requirements.txt 파일을 읽고 필요한 모든 패키지를 설치합니다
   1. numpy, scipy, matplotlib, tensorflow 및 jupyter와 같은 패키지가 설치되어 있는지 확인합니다. 성공적인 설치를 확인하고 다음을 입력하여 설치된 패키지를 나열합니다.
      핍 목록
4. Jupyter Notebook 시작
   1. 활성화된 Conda 환경에 있는 동안 다음을 입력하여 Jupyter Notebook 을 시작합니다.
      Jupyter Notebook
   2. 향상된 인터페이스를 제공하는 JupyterLab 이 선호되는 경우 다음을 실행합니다.
      Jupyter 연구소
   3. Jupyter 인터페이스에 액세스: 웹 브라우저가 자동으로 열리고 Jupyter 인터페이스가 표시될 때까지 기다립니다. 자동으로 열리지 않으면 터미널에 제공된 URL(예: http://localhost:8888/tree)을 가져와 웹 브라우저에서 수동으로 엽니다.
   4. Jupyter 인터페이스에서 도구 상자와 함께 제공되는 Jupyter 노트북이 포함된 디렉터리(예: /path/to/3DMicroscopyImageSegmentation-main/)로 이동합니다.

2. 데이터 준비(그림 1A)

1. 관형 구조의 이미지 데이터 생성
   1. 3D 현미경 이미지 획득
      1. 다음에서 공개적으로 사용 가능한 마우스 간 조직의 3D 이미지를 다운로드합니다. https://zenodo.org/records/14029574 데이터 세트에는 담즙 소관(BC) 및⁹의 원본 이미지에서 잘린 정현파 네트워크의 3D 공초점 이미지가 포함되어 있습니다. 또는 생성된 이미지 세트를 사용합니다.
   2. 3D PSF 가져오기
      1. https://github.com/hernanmorales-navarrete/3DMicroscopyImageSegmentation/blob/main/data/raw/PSF.tif 에서 실제 점 확산 함수(PSF) 이미지 다운로드 또는 현미경의 매개변수와 함께 DeconvolutionLab2²³을 사용하여 이론적 PSF를 생성합니다.
   3. 다음 분할 방법을 사용하여 관형 구조의 이진 마스크를 생성합니다.
      1. 피지에서 MorpholibJ를 사용한 반자동 분할
         1. 피지를 엽니다. 현미경 이미지를 로드합니다.
         2. 메뉴로 이동 프로세스 | 바이너리 | MakeBinary를 선택하고 메서드로 Otsu를 선택한 다음 확인을 누릅니다.
         3. 플러그인 MorpholibJ를 열고 플러그인 | 모르폴립J | 필터링 | 형태학적 필터(3D).
         4. 닫힘 작업을 선택하고 요소 모양을 볼(관형 구조에 가장 적합)으로 설정한 다음 복셀 단위의 적절한 반경을 선택합니다. 요소 표시를 클릭하여 구조화 요소를 시각화합니다. 관형 구조의 경우 3픽셀에서 8픽셀 사이의 값을 시도하십시오.
            참고: 반경이 클수록 아티팩트가 발생할 수 있습니다.
         5. image_closing.tif 파일 | 다른 이름으로 저장... | 티프....
            참고: 생성된 각 마스크가 파일 이름이 일치하는 올바른 원본 이미지 파일에 해당하는지 확인합니다. 미리 계산된 마스크의 예는 다음에서 다운로드할 수 있습니다 https://doi.org/10.5281/zenodo.14029574
   4. 마스크를 수동으로 큐레이팅합니다.
      1. https://github.com/juglab/labkit-ui 의 지침에 따라 Labkit²⁴를 다운로드하고 설치합니다. 각 예비 마스크를 열고 그리기 및 지우기 도구를 사용하여 영역을 추가하거나 제거하여 분할 오류를 수동으로 수정하여 관형 구조를 정확하게 묘사합니다. 큐레이팅된 마스크를 원본 이미지와 동일한 파일 이름을 유지하여 저장합니다.
      2. Napari²⁵ 사용
         1. 명령 프롬프트를 열고 Napari 환경을 활성화합니다(아직 활성화되지 않은 경우).
            conda 활성화 napari_env
         2. napari 실행:
            나파리
         3. 현미경 이미지와 해당 바이너리 마스크를 모두 napari로 끌어다 놓습니다.
         4. 마스크 레이어 이름을 마우스 오른쪽 버튼으로 클릭하고 레이블로 변환을 선택하여 바이너리 마스크를 레이블 레이어로 변환합니다.
         5. 윤곽선 너비를 1로 설정하고 큐레이션을 시작합니다. 구멍을 채우려면 [선택] 도구를 사용하여 마스크 값을 선택합니다. 버킷 채우기 도구를 활성화하고 구멍 내부를 클릭합니다.
            참고: 전체 이미지가 채워지면 구조에 간격이 있을 수 있습니다. 페인트 브러시 를 사용하여 경계를 닫은 후 버킷 채우 기 도구를 다시 시도합니다.
         6. 큐레이션이 완료되면 File | 선택한 레이어 저장 | 티프. 피지에서 수정된 마스크를 열고 이미지 | 유형 | 8비트. 최종 8비트 이미지를 저장합니다.
2. 데이터 세트 구성
   1. 데이터 세트 디렉터리 구조를 만듭니다.
      1. 데이터 세트가 저장될 디렉터리를 선택합니다(예: /path/to/your/dataset). 다음 폴더 구조를 만듭니다.
         데이터 세트/
         ├── training_data/
         │ ├── 이미지/
         │ │ ├── img1.tif
         │ │ ├── img2.tif
         │   │   └── ...
         │ └── 마스크/
         │ ├── img1.tif
         │ ├── img2.tif
         │       └── ...
         └── test_data/
         ├── 이미지/
         │ ├── imgtest1.tif
         │ ├── imgtest2.tif
         │   └── ...
         └── 마스크/
         ├── imgtest1.tif
         ├── imgtest2.tif
         └── ...
   2. 이미지와 마스크를 구성합니다.
      1. 학습 데이터
         1. 훈련용 3D 현미경 이미지를 dataset/training_data/images/에 배치합니다. 파일 이름이 일관성이 있는지 확인하십시오(예: img1.tif, img2.tif).
         2. 해당 선별된 바이너리 마스크를 dataset/training_data/masks/에 배치하여 파일 이름이 images 폴더의 파일 이름과 일치하는지 확인합니다(예: img1.tif, img2.tif).
      2. 테스트 데이터
         1. 테스트용 3D 현미경 이미지를 dataset/test_data/images/에 배치합니다. 학습 데이터와 겹치지 않는 일관된 파일 이름을 사용합니다.
         2. 해당 선별된 바이너리 마스크를 dataset/test_data/masks/에 배치합니다. 파일 이름이 테스트 이미지 폴더의 파일 이름과 일치하는지 확인합니다.

3. 전체 파이프라인 실행(그림 1B-E)

1. Jupyter Notebook을 엽니다.
   1. 다음을 입력하여 Conda 환경 img_seg_env 활성화합니다.
      conda 활성화 img_seg_env
   2. 프로젝트의 루트 폴더로 이동합니다.
      cd /경로/to/ImageSegmentationcode/
   3. jupyter lab 또는 jupyter notebook을 입력하여 Jupyter 인터페이스를 시작합니다.
   4. 웹 브라우저에서 process_images.ipynb라는 Notebook을 엽니다.
2. 환경 설정
   1. 라이브러리를 가져오고 GPU 액세스를 구성합니다.
      참고: 첫 번째 및 두 번째 노트북 셀에서 라이브러리를 가져오고 TensorFlow는 메모리 증가가 활성화된 GPU를 사용하도록 구성됩니다. 이렇게 하면 TensorFlow가 모든 GPU 메모리를 한 번에 할당하지 않고 여러 작업과 호환됩니다. 셀의 내용을 변경하지 마십시오. 재생 버튼을 눌러 셀을 실행합니다.
3. 입력 매개변수 구성
   1. 입력 구성 셀을 찾아 데이터 세트에 따라 수정합니다.
      source_dir = '/경로/대상/데이터/BC/'
      psf_path = '/경로/대상/PSF.tif'
      code_dir = '/경로/대상/코드/'
      out_dir = '/경로/대상/출력/'
      out_name = 'BC'
   2. 재생 버튼을 눌러 셀 3을 실행합니다.
   3. 셀의 내용을 변경하지 마십시오. 셀 4의 재생 버튼을 눌러 셀을 실행합니다.
4. 패치 생성
   1. 데이터 세트 만들기 셀을 실행하여 훈련 및 테스트 패치를 생성합니다. 셀의 내용을 변경하지 마십시오. 재생 버튼을 눌러 셀을 실행합니다.
5. 모델 학습
   1. 모델 학습 셀을 실행하여 세 가지 증강 설정(NONE, STANDARD 및 시뮬레이션 기반)을 사용하여 UNet3D를 학습합니다.
   2. 'UNet3D'를 'UNet3D', 'AttentionUNet3D'로 바꾸어 UNet3D를 주의를 기울여 학습시킵니다. 필요한 경우 config.py 에서 훈련 설정을 수정합니다(3.9단계 참조).
6. 예측 생성
   1. 예측 생성 셀을 실행하여 테스트 데이터에 대한 세분화 마스크를 생성합니다. 셀의 내용을 변경하지 마십시오. 재생 버튼을 눌러 셀을 실행합니다.
7. 평가 및 플롯 생성
   1. 플롯 생성 셀을 실행하여 평가 메트릭의 상자 그림을 생성합니다.
8. 결과 검토 및 해석
   1. out_images_path 및 out_plots_path에서 정의한 경로의 출력을 확인합니다.
   2. 패치 수준 및 전체 이미지 메트릭에서 모델과 증강 전략을 비교하는 상자 그림을 검사합니다.
9. config.py 를 통한 사용자 정의
   1. config.py 에서 다음 주요 매개 변수를 수정하여 파이프라인을 사용자 지정합니다.
      PATCH_SIZE = (64, 64, 64)
      PATCH_STEP = 64
      LEARNING_RATE = 1e-4
      BATCH_SIZE = 1
      NUM_EPOCHS = 50
      VALIDATION_SPLIT = 0.2
      EARLY_STOPPING_PATIENCE = 10
      AVAILABLE_MODELS = ["UNet3D", "주의UNet3D"]
      INTENSITY_PARAMS = { "background_level": 0.1, "local_variation_scale": 5, "z_decay_rate": 0.999, "noise_std": 0.1, "poisson_scale": 1.0, "intensity_scale": 1000.0, "snr_targets": [15, 10, 5, 4, 3, 2, 1]}
10. 문제 해결
    1. 메모리 부족 오류의 경우 config.py 에서 BATCH_SIZE 또는 PATCH_SIZE 줄이십시오.
    2. GPU 문제의 경우 충분한 메모리를 사용할 수 있는지 확인하거나 배치 크기를 줄입니다.
11. 최종 확인
    1. 파이프라인이 완료되면 다음과 같은 인쇄된 메시지를 찾습니다.
       모든 계산이 성공적으로 완료되었습니다.
    2. CUDA를 지원하는 NVIDIA GPU가 장착된 Linux 또는 Windows 시스템에서 TensorFlow를 실행하는 것이 좋습니다. CUDA를 사용하여 tensorflow를 설치하는 데 문제가 있는 경우 공식 설치 프로세스를 따르십시오. https://www.tensorflow.org/install/pip

Results

데이터 수집
도구 상자를 검증하기 위해 성체 마우스 간 조직에서 두 개의 별개의 관형 네트워크인 담즙관(BC)과 정현파 네트워크를 분석했습니다. 각 구조에 대해 단일 동물의 3D 현미경 이미지 1개를 훈련에 사용했고, 서로 다른 동물의 독립적인 이미지 2개는 테스트에만 사용되었습니다. 모든 간 이미지는 0.3μm/복셀의 등방성 복셀 해상도로 획득되어 3개의 공간 차원에서 일관된 샘플링을 보장했습니다. 원래 Morales-Navarrete et ^al.9에 발표된 이 데이터 세트는 Labkit²⁵를 사용하여 선별되었으며, 지도 학습을 위한 실측 실측으로 사용되는 관형 구조의 고품질 바이너리 마스크를 제공합니다. 정현파 네트워크의 경우 두 가지 유형의 바이너리 마스크를 생성했는데, 하나는 튜브 경계(중공 표현)의 윤곽을 그리는 마스크이고 다른 하나는 채워진 관형 부피를 캡처하여 응용 프로그램에 따라 다양한 훈련 전략을 가능하게 합니다.

또한 2024년 SELMA3D 챌린지의 일환으로 제공된 성인 Mus musculus의 전뇌 혈관 외부 데이터 세트에서 도구 상자를 평가했습니다. 이 데이터 세트는 표준 하우징 조건(3개월 동안 12시간 빛/12시간 암주기)에서 획득한 3D 라이트 시트 현미경 이미지로 구성되며 BioStudies(S-BIAD1197) 이미지²⁶을 통해 사용할 수 있습니다. 5개의 뇌 이미지는 훈련에 사용되었고 19개는 테스트에 사용되었습니다. 원래의 이방성 스택은 분석 파이프라인과의 호환성을 보장하기 위해 피지에서 선형 보간을 사용하여 등방성 복셀 차원으로 리샘플링되었습니다.

전처리
제한된 수의 원본 3D 이미지를 해결하기 위해 사실적인 이미징 아티팩트를 도입하고 15:1 범위의 다양한 신호 대 잡음비를 시뮬레이션하는 데이터 증강 기술을 적용했습니다. 이 접근 방식은 모델의 일반화 가능성과 견고성을 향상시키는 데 매우 중요했습니다.

테스트 이미지는 지역 수준에서 모델 성능을 평가하고 동일한 3D 볼륨 내의 다양한 공간 컨텍스트에서 견고성을 평가하기 위해 64 x 64 x 64 복셀의 겹치지 않는 패치로 세분화되었습니다.

모델 아키텍처
우리는 3D 세분화에 맞게 조정된 두 가지 컨볼루션 신경망 아키텍처를 구현하고 비교했습니다.

표준 3D U-Net¹⁷은 최대 2×2×2 풀링이 있는 대칭 인코더-디코더 블록, ReLU 활성화가 있는 컨볼루션 레이어, 최종 1 x 1 x 1 컨볼루션과 이진 분류를 위한 시그모이드 함수로 구성됩니다.

두드러진 특징을 동적으로 강조하고 관련 없는 배경을 억제하는 주의 메커니즘을 통합하여 간 세뇨관 네트워크와 같은 복잡하고 가변적인 구조의 분할을 개선하는 Attention U-Net²⁷.

교육 프로토콜
두 아키텍처 모두 32개의 CPU 코어, 128GB RAM 및 2개의 NVIDIA A100 SXM4 40GB GPU가 장착된 고성능 컴퓨팅 클러스터에서 TensorFlow 및 Keras 라이브러리를 사용하여 훈련되었습니다. Attention U-Net은 특히 증강된 데이터 세트를 사용할 때 아키텍처의 복잡성으로 인해 더 많은 훈련 시간이 필요했습니다( 표 1 참조).

평가 메트릭
모델 성능은 표준 분할 지표(주사위 계수, IoU(Intersection over Union), F1 점수, 부피 유사성, 민감도 및 특이도)를 사용하여 보류된 테스트 이미지에서 정량적으로 평가되었습니다.

BC, 정현파 구조 및 혈관에 대한 결과는 그림 2, 그림 3, 그림 4 및 그림 5에 요약되어 있습니다. 또한 표 2는 Otsu 및 적응 임계값을 포함하여 관형 분할을 위해 확립된 고전적인 방법과의 성능 비교를 제공합니다. 우리 모델, 특히 증강 데이터로 훈련된 Attention U-Net은 모든 지표에서 이러한 기존 방법을 지속적으로 능가했습니다.

통계 분석 및 견고성
테스트 세트의 전체 이미지와 64 x 64 x 64 복셀 패치(표 3)를 분석하여 지역 간 모델 예측의 공간적 변동성을 정량화할 수 있었습니다. 모든 모델은 높은 정확도를 보여주었으며 Attention U-Net은 특히 F1 점수와 주사위 계수에서 지속적으로 더 높은 성능을 보여주었습니다. 그림 2A,B, 그림 3A,B, 그림 4A,B, 그림 5A,B, 비디오 1, 비디오 2, 비디오 3 및 비디오 4에 표시된 정성적 결과는 이러한 결과를 뒷받침하며 테스트 데이터의 대부분의 영역에서 관형 구조의 정확한 묘사를 보여줍니다.

성능 메트릭의 이상 징후에 대한 설명
패치 분석을 위한 상자 그림의 낮은 값(보충 그림 S1, 보충 그림 S2, 보충 그림 S3, 보충 그림 S4 및 보충 그림 S5)은 테스트 패치의 하위 집합에 성능 이상값이 있음을 나타냅니다. 마찬가지로, 비디오의 최종 프레임에서 차선의 세분화는 두 가지 주요 요인에 기인할 수 있습니다.

경계 효과: 분할 성능은 부분 구조가 과소 표현되거나 불완전하게 캡처되는 이미지 경계에서 저하되는 경우가 많아 불확실성이 커지고 잠재적인 오분류가 발생합니다.

더 깊은 z-평면의 이미지 품질 저하: 등방성 복셀 크기에도 불구하고 신호 감쇠, 광 산란 및 z 방향의 대비 감소와 같은 생물학적 및 기술적 요인으로 인해 볼륨 하단으로 갈수록 이미지 품질이 저하됩니다. 이러한 성능 저하로 인해 정확한 경계 묘사가 복잡해지고 분할 불일치가 발생합니다.

이러한 요소는 3D 생물학적 이미징에 내재된 과제이며 이미징 평면에서 멀리 떨어져 있거나 모호한 구조 경계를 포함하는 영역에 특히 영향을 미칩니다.

요약하면, 우리의 결과는 딥 러닝 기반 분할 모델, 특히 증강 데이터로 훈련된 Attention U-Net이 3D 간 현미경 이미지에서 복잡한 관형 구조를 강력하고 정확하게 묘사한다는 것을 보여줍니다. 선별된 데이터 세트, 현실적인 증강 전략 및 주의 메커니즘을 활용하여 모델은 임계값과 같은 기존 방법에 비해 우수한 성능을 달성했습니다. 64³ 복셀 패치를 사용한 지역 평가는 다양한 이미지 영역과 구조적 복잡성에 걸쳐 접근 방식의 일관성과 일반화 가능성을 확인했습니다. 주로 경계 효과 및 z-평면 이미지 저하로 인해 몇 가지 제한 사항이 지속되지만 본 연구는 주의 기반 아키텍처의 효과를 강조하고 생의학 이미징에서 고정밀 3D 관형 분할을 위한 검증된 오픈 소스 솔루션을 제공합니다.

그림 1: U-Net 및 Attention U-Net 모델을 사용한 형광 현미경 이미지에서 관형 구조의 3D 분할을 위한 워크플로우. (A) 데이터 준비: 마우스 간 조직의 3D 형광 현미경 이미지의 개략적인 2D 섹션으로, 원본 이미지와 해당 바이너리 마스크를 보여줍니다. (B) 데이터 증강: 준비된 데이터의 시뮬레이션 기반 증강으로 다양한 신호 대 잡음비(예: SNR = 15 및 SNR = 1)를 가진 이미지를 생성합니다. (C) 모델 훈련: 원본 데이터와 증강 데이터를 모두 사용하여 U-Net 및 Attention U-Net 모델의 패치 기반 훈련. 훈련을 위해 64 x 64 x 64 크기의 이미지 및 마스크 패치가 생성됩니다. (D) 모델 평가: 테스트 데이터 세트의 세분화 정확도를 평가하기 위해 각 모델에 대해 재현율 및 F1 점수를 포함한 정량적 성능 지표를 계산합니다. (E) 모델 추론: 예측된 분할 마스크를 생성하기 위해 보이지 않는 이미지에 훈련된 모델을 적용합니다. 약어: SNR = 신호 대 잡음비. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 마우스 간 조직의 3D 형광 현미경 이미지에서 담즙 Canaliculi 네트워크의 분할을 위한 U-Net 및 Attention U-Net 모델의 평가. (A) 3D 형광 현미경 이미지의 대표적인 2D 섹션(중간 섹션), 마우스 간 조직에서 BC에 대한 원본 이미지 및 해당 실측 마스크를 표시합니다. 오른쪽 상단 이미지는 각 섹션에서 강조 표시된 삽입의 확대 보기를 제공합니다. (B) U-Net, Attention U-Net 및 그 증강 버전에 의해 생성된 예측 분할 마스크. 위쪽 행은 참 긍정(올바르게 분할된 구조)을 강조 표시하고, 아래쪽 행은 각 모델에 대한 거짓 긍정(잘못 식별된 구조) 및 거짓 부정(누락된 구조)을 표시합니다. (C) 정확도, F1 점수, 정밀도, 재현율, 볼륨 유사성 및 주사위 계수를 포함한 각 모델에 대한 정량적 평가 지표. 평가는 3D 이미지에서 돌출된 패치에서 수행되었습니다. 오차 막대는 테스트 이미지 전체의 표준 편차를 나타냅니다. 스케일 바: 60μm; 삽입 스케일 바: 30μm. 약어: BC = 담즙 소관. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: 마우스 간 조직의 3D 형광 현미경 이미지에서 정현파 네트워크 분할을 위한 U-Net 및 Attention U-Net 모델의 평가. (A) 3D 형광 현미경 이미지의 대표적인 2D 섹션(중간 섹션)으로, 마우스 간 조직의 정현파에 대한 원본 이미지와 해당 실측 마스크를 표시합니다. 오른쪽 상단 이미지는 각 섹션에서 강조 표시된 삽입의 확대 보기를 제공합니다. (B) U-Net, Attention U-Net 및 그 증강 버전에 의해 생성된 예측 분할 마스크. 위쪽 행은 참 긍정(올바르게 분할된 구조)을 강조 표시하고, 아래쪽 행은 각 모델에 대한 거짓 긍정(잘못 식별된 구조) 및 거짓 부정(누락된 구조)을 표시합니다. (C) 정확도, F1 점수, 정밀도, 재현율, 볼륨 유사성 및 주사위 계수를 포함한 각 모델에 대한 정량적 평가 지표. 평가는 3D 이미지에서 돌출된 패치에서 수행되었습니다. 오차 막대는 테스트 이미지 전체의 표준 편차를 나타냅니다. 스케일 바: 60μm; 삽입 스케일 바: 30μm. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: 마스크를 채워진 튜브로 간주하여 마우스 간 조직의 3D 형광 현미경 이미지에서 정현파 네트워크 분할을 위한 U-Net 및 Attention U-Net 모델의 평가. (A) 마우스 간 조직의 정현파에 대한 원본 이미지와 해당 실측 마스크를 표시하는 3D 형광 현미경 이미지의 대표적인 2D 중간 섹션. 오른쪽 상단 이미지는 각 섹션에서 강조 표시된 삽입의 확대 보기를 제공합니다. (B) U-Net, Attention U-Net 및 그 증강 버전에 의해 생성된 예측 분할 마스크. 위쪽 행은 참 긍정(올바르게 분할된 구조)을 강조 표시하는 반면, 아래쪽 행은 각 모델에 대한 거짓 긍정(잘못 식별된 구조) 및 거짓 부정(누락된 구조)을 보여줍니다. (C) 정확도, F1 점수, 정밀도, 재현율, 볼륨 유사성 및 주사위 계수를 포함한 각 모델에 대한 정량적 평가 지표. 평가는 3D 이미지에서 돌출된 패치에서 수행되었습니다. 오차 막대는 테스트 이미지 전체의 표준 편차를 나타냅니다. 스케일 바: 60μm; 삽입 스케일 바: 30μm. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 채워진 튜브 마스크를 사용하여 3D 라이트 시트 현미경 이미지에서 마우스 뇌의 혈관 네트워크 분할을 위한 U-Net 및 Attention U-Net 모델의 평가. (A) 마우스 뇌의 3D 라이트시트 현미경 이미지에서 추출한 대표적인 2D 중간 섹션으로, 원본 이미지와 혈관에 대한 해당 실측 마스크를 보여줍니다. 선택한 삽입의 확대 보기는 각 패널의 오른쪽 상단 모서리에 표시됩니다. U-Net, Attention U-Net 및 해당 증강 버전에서 생성된 예측 세분화 마스크입니다. 맨 위 행은 참 긍정(올바르게 분할된 혈관 구조)을 강조 표시하고, 맨 아래 행은 각 모델에 대한 거짓 긍정(잘못 분할된 영역) 및 거짓 부정(누락된 혈관 구조)을 보여줍니다. (C) 정확도, F1 점수, 정밀도, 재현율, 볼륨 유사성 및 주사위 계수를 포함한 메트릭을 사용하여 모델 성능을 정량적으로 평가합니다. 평가는 테스트 볼륨에서 추출한 3D 패치에 대해 수행되었습니다. 오차 막대는 19개의 테스트 이미지에 대한 표준 편차를 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

비디오 1: BC 네트워크에 대한 예측 마스크의 Z-Stack 애니메이션. 이 비디오는 U-Net, Attention U-Net 및 증강 버전에 의해 생성된 마우스 간 조직에서 담즙 관에 대한 예측된 분할 마스크의 z-스택을 통한 애니메이션 시퀀스를 보여줍니다. 각 2D 섹션은 각 모델에 대한 참 긍정(흰색), 거짓 긍정(녹색) 및 거짓 부정(자홍색)을 강조 표시하여 전체 스택을 이동합니다. 약어: BC = 담즙 소관. 이 비디오를 다운로드하려면 여기를 클릭하십시오.

비디오 2: 정현파 네트워크에 대한 예측 마스크의 Z-스택 애니메이션. 이 비디오는 U-Net, Attention U-Net 및 증강 버전에 의해 생성된 마우스 간 조직의 정현파에 대한 예측된 분할 마스크의 z-스택을 통한 애니메이션 시퀀스를 보여줍니다. 각 2D 섹션은 각 모델에 대한 참 긍정(흰색), 거짓 긍정(녹색) 및 거짓 부정(자홍색)을 강조 표시하여 전체 스택을 이동합니다. 이 비디오를 다운로드하려면 여기를 클릭하십시오.

비디오 3: 채워진 튜브로 정현파 네트워크에 대한 예측 마스크의 Z-Stack 애니메이션. 이 비디오는 U-Net, Attention U-Net 및 증강 버전에 의해 생성된 마우스 간 조직의 채워진 튜브로서 정현파 네트워크에 대한 예측된 분할 마스크의 z-스택을 통한 애니메이션 시퀀스를 보여줍니다. 각 2D 섹션은 각 모델에 대한 참 긍정(흰색), 거짓 긍정(녹색) 및 거짓 부정(자홍색)을 강조 표시하여 전체 스택을 이동합니다. 이 비디오를 다운로드하려면 여기를 클릭하십시오.

비디오 4: 뇌 혈관에 대한 예측 마스크의 Z-Stack 애니메이션. 이 비디오는 U-Net, Attention U-Net 및 증강 버전에서 생성된 선박에 대한 예측 분할 마스크의 z-스택을 통한 애니메이션 시퀀스를 보여줍니다. 각 2D 섹션은 각 모델에 대한 참 긍정(흰색), 거짓 긍정(녹색) 및 거짓 부정(자홍색)을 강조 표시하여 전체 스택을 이동합니다. 이 비디오를 다운로드하려면 여기를 클릭하십시오.

표 1: 데이터 증강 유무에 관계없이 담즙 Canaliculi 및 정현파 데이터 세트에서 U-Net 3D 및 Attention U-Net 3D 모델에 대한 훈련 시간. 데이터 증강 유무에 관계없이 담관 및 정현파 데이터 세트에 대한 U-Net 3D 및 Attention U-Net 3D 모델의 훈련 시간. 이 표에는 각 데이터 세트의 패치 수와 해당 훈련 시간(분)이 나열되어 있습니다. 데이터 증강은 패치 수를 1353개에서 10824개로 늘려 훈련 시간을 크게 늘립니다. Attention U-Net 모델은 데이터 내의 관련 기능에 초점을 맞추는 데 추가적인 복잡성으로 인해 특히 증강 데이터 세트의 경우 U-Net 모델보다 지속적으로 더 많은 훈련 시간이 필요합니다. 약어: BC = 담즙 소관. 이 표를 다운로드하려면 여기를 클릭하십시오.

표 2: 전체 이미지 분할을 사용하여 4개의 데이터 세트에서 U-Net 3D 및 Attention U-Net 3D 모델의 정량적 평가. 이 표는 평가를 위해 전체 3D 이미지를 사용하여 담즙 세관, 정현파 네트워크(속이 빈 및 채워진 표현) 및 전뇌 맥관 구조의 4가지 데이터 세트에서 각 모델의 성능과 Otsu 및 적응형 임계값과 같은 고전적인 방법을 보고합니다. 모델 및 데이터 세트의 각 조합에 대해 테스트 이미지의 수가 성능 메트릭(정확도, 정밀도, 재현율(민감도), 특이도, F1 점수, 주사위 계수, IoU 및 볼륨 유사성)과 함께 나열됩니다. 이러한 지표는 복셀 단위의 정확성과 예측과 실측 간의 체적 일치 측면에서 세분화 품질에 대한 포괄적인 평가를 제공합니다. 약어: BC = 담즙관; IoU = 유니온을 통한 교차점. 이 표를 다운로드하려면 여기를 클릭하십시오.

표 3: 64 x 64 x 64 패치를 사용하여 4개의 데이터 세트에 걸쳐 U-Net 3D 및 Attention U-Net 3D 모델의 정량적 평가. 이 표는 64×64×64 복셀 크기의 3D 이미지 패치에 대한 평가를 기반으로 담즙 소관, 정현파 네트워크(중공 및 채워진 마스크) 및 전뇌 맥관 구조의 4가지 데이터 세트에서 U-Net 3D 및 Attention U-Net 3D 모델의 성능을 요약한 것입니다. 각 모델-데이터 세트 조합에 대해 테스트 패치 수가 주요 성능 지표(정확도, 정밀도, 재현율(민감도), 특이도, F1 점수, 주사위 계수, 합집합에 대한 교차 및 볼륨 유사성과 같은 주요 성능 지표와 함께 나열됩니다. 이러한 패치 수준 메트릭은 모델 성능에 대한 현지화된 통찰력을 제공하며 볼륨 전반에 걸쳐 공간적으로 이기종적인 세그멘테이션 정확도를 식별하는 데 특히 유용합니다. 약어: BC = 담즙관; IoU = 유니온을 통한 교차점. 이 표를 다운로드하려면 여기를 클릭하십시오.

보충 그림 S1: 담즙 세분관 분할을 위한 3D U-Net 및 Attention U-Net 모델의 패치 수준 분할 성능. 그래프는 64 x 64 x 64 복셀 크기의 3D 이미지 패치를 사용하여 평가된 담즙 관 데이터 세트에서 3D U-Net 및 Attention U-Net 모델의 정량적 성능을 보여줍니다. 표시된 지표에는 정확도, 정밀도, 재현율(민감도), 특이도, F1 점수, 주사위 계수, 결합에 대한 교차 및 볼륨 유사성이 포함됩니다. 결과는 패치 간의 가변성을 반영하여 모델 성능에 대한 국부적인 통찰력을 제공하고 3D 간 조직 부피 내의 공간적 이질성을 강조합니다. 약어: BC = 담즙관; IoU = 유니온을 통한 교차점. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 그림 S2: 정현파 분할을 위한 3D U-Net 및 Attention U-Net 모델의 패치 수준 분할 성능. 그래프는 64 x 64 x 64 복셀 크기의 3D 이미지 패치를 사용하여 평가된 정현파 데이터 세트에서 3D U-Net 및 Attention U-Net 모델의 정량적 성능을 보여줍니다. 표시된 지표에는 정확도, 정밀도, 재현율(민감도), 특이도, F1 점수, 주사위 계수, 결합에 대한 교차 및 볼륨 유사성이 포함됩니다. 결과는 패치 간의 가변성을 반영하여 모델 성능에 대한 국부적인 통찰력을 제공하고 3D 간 조직 부피 내의 공간적 이질성을 강조합니다. 약어: IoU = Union을 통한 교차점. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 그림 S3: 채워진 튜브 분할로서의 정현파에 대한 3D U-Net 및 Attention U-Net 모델의 패치 수준 분할 성능. 그래프는 64 x 64 x 64 복셀 크기의 3D 이미지 패치를 사용하여 평가된 채워진 튜브 데이터 세트로서의 정현파에 대한 3D U-Net 및 Attention U-Net 모델의 정량적 성능을 보여줍니다. 표시된 지표에는 정확도, 정밀도, 재현율(민감도), 특이도, F1 점수, 주사위 계수, 결합에 대한 교차 및 볼륨 유사성이 포함됩니다. 결과는 패치 간의 가변성을 반영하여 모델 성능에 대한 국부적인 통찰력을 제공하고 3D 간 조직 부피 내의 공간적 이질성을 강조합니다. 약어: IoU = Union을 통한 교차점. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 그림 S4: 라이트 시트 현미경 이미지에서 뇌 맥관 구조에 대한 3D U-Net 및 Attention U-Net 모델의 패치 수준 분할 성능. 그래프는 64 x 64 x 64 복셀 크기의 3D 이미지 패치를 사용하여 평가된 전뇌 맥관 구조 데이터 세트에 대한 3D U-Net 및 Attention U-Net 모델의 정량적 성능을 보여줍니다. 표시된 지표에는 정확도, 정밀도, 재현율(민감도), 특이도, F1 점수, 주사위 계수, 결합에 대한 교차 및 볼륨 유사성이 포함됩니다. 결과는 패치 간의 가변성을 반영하여 모델 성능에 대한 국부적인 통찰력을 제공하고 3D 간 조직 부피 내의 공간적 이질성을 강조합니다. 약어: IoU = Union을 통한 교차점. 이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 그림 S5: 담즙 소관의 원본 3D 형광 현미경 이미지에 대한 분할 결과의 오버레이. 마우스 간에서 담즙 소관의 3D 형광 현미경 데이터 세트의 대표적인 이미지 슬라이스는 빨간색으로 오버레이된 분할 마스크와 함께 표시됩니다. 3D U-Net 및 Attention U-Net 모델에서 예측된 마스크를 원본 그레이스케일 현미경 이미지에 중첩하여 분할 정확도를 시각적으로 평가합니다. 다양한 형태학적 특징을 포착하고 다양한 조직 영역에 걸쳐 신호 변동성을 처리하는 모델의 능력을 설명하기 위해 10개의 예제 이미지가 제시됩니다. 이 파일을 다운로드하려면 여기를 클릭하십시오.

Discussion

이 프로토콜은 3D 형광 현미경 이미지에서 관형 구조의 딥 러닝 기반 분할을 위한 간단하면서도 강력하고 접근 가능한 접근 방식을 제공하여 생체 이미지 분석에서 기술적 복잡성과 유용성 사이의 격차를 해소합니다. 시뮬레이션 기반 데이터 증강, 대화형 Jupyter 노트북 및 효율적인 U-Net 아키텍처를 통합하여 담즙 소관 및 정현파 네트워크와 같은 복잡한 조직 구조에 대해 고정밀 분할을 수행할 수 있는 오픈 소스 도구를 제공합니다. 이 도구 상자는 3D 분할 작업, 특히 이미징 조건의 데이터 부족 및 변동성을 처리하는 데 있어 주요 과제를 해결하여 생체 이미지 분석 환경에 다용도로 추가할 수 있습니다.

우리 프로토콜의 중요한 구성 요소는 시뮬레이션 기반 데이터 증강으로, 생물학적 연구에서 일반적인 제한 사항인 제한된 수의 주석이 달린 이미지로도 모델 성능을 향상시킵니다. 이 도구 상자는 점 확산 함수 컨볼루션, 축 강도 감쇠, 푸아송 및 가우스 노이즈와 같은 사실적인 이미징 아티팩트를 모방하는 증강 데이터를 생성함으로써 다양한 이미징 조건에서 강력한 모델을 생성합니다. 이 접근 방식은 데이터 다양성을 효과적으로 증가시켜 모델의 일반화 가능성을 향상시키며 생물학적 표본에 존재하는 이질성을 완전히 포착하지 못할 수 있는 기존 데이터 증강 기술에 비해 주요 이점을 제공합니다. 그러나 이것은 초기에 제공된 마스크에 본질적으로 인코딩된 형태학적 특징에 의해 제한됩니다. 초기 훈련 데이터 생성을 위해 사전 분할된 마스크에 의존하면 마스크가 문제의 생물학적 구조를 완전히 대표하지 않는 경우 잠재적인 편향이 발생합니다. 따라서 형태학적 공간에서 현실적인 데이터 증강을 생성하는 방법에 대한 미해결 질문이 여전히 존재하며, 이는 질병 진행과 같은 변화가 있는 조직을 연구하는 데 잠재적으로 중요할 수 있습니다.

우리의 방법은 생체의학 이미징 작업에서 고성능을 위해 선택된 3D U-Net과 Attention U-Net이라는 두 가지 인코더-디코더 모델을 사용합니다. 3D U-Net은 간단하면서도 강력한 분할 아키텍처를 제공하는 반면, Attention U-Net은 관련 기능에 선택적으로 초점을 맞추고 노이즈를 억제하여 정밀도를 향상시킵니다. 두 모델 모두 도구 상자에 포함되어 있어 사용자가 특정 데이터 세트 요구 사항에 따라 선택할 수 있습니다. 우리의 결과는 Attention U-Net 모델이 데이터 세트 전반에 걸쳐 더 높은 성능 지표를 달성한다는 것을 보여주며, 특히 주의 메커니즘의 복잡성이 추가되어 낮은 신호 대 잡음비 및 구조적 변동성의 영향을 완화하는 데 도움이 되는 정현파 네트워크와 같은 까다로운 구조의 경우 더욱 그렇습니다. 그럼에도 불구하고 Attention U-Net의 계산 요구량이 더 높기 때문에 GPU 리소스가 제한된 사용자의 접근성에 영향을 미칠 수 있다는 점에 유의하는 것이 중요합니다. 또한 파이프라인의 오픈 소스 특성을 고려할 때 필요한 경우 향후 연구를 위해 더 복잡한 다른 아키텍처를 쉽게 추가할 수 있습니다.

당사의 프로토콜은 단일 설정에 3D 분할을 위한 필수 단계를 통합하는 올인원 사용자 친화적인 파이프라인을 제공합니다. 이 간소화된 디자인은 프로그래밍이나 매개변수 조정에 대한 전문 지식을 요구하지 않고도 고급 세분화 도구에 대한 액세스를 단순화하므로 주요 이점입니다. 또한 당사의 시뮬레이션 기반 데이터 증강 전략은 모델의 견고성을 향상시켜 광범위한 수동 주석에 대한 의존도를 줄이고 다양한 이미징 조건에서 모델 일반화 가능성을 향상시킵니다. 신중한 미세 조정이 필요한 임계값 또는 영역 성장 알고리즘에 의존하는 고전적인 분할 방법과 달리^28,29 우리의 딥 러닝 접근 방식은 최소한의 수동 개입이 필요합니다. 이는 복잡한 3D 구조의 고품질의 재현 가능한 분할을 민주화하는 데 기여하여 광범위한 계산 경험이 없는 사람들을 포함하여 더 넓은 범위의 연구자가 접근할 수 있도록 합니다.

관형 네트워크를 넘어 프로토콜의 유연성으로 인해 다른 생물학적 구조를 분할하기 위해 쉽게 적응할 수 있습니다. 미래의 개선에는 높은 세분화 정확도를 유지하면서 주석이 달린 데이터의 필요성을 더욱 줄이는 자기 지도 학습⁽³⁰) 또는 전이 학습⁽³¹)의 통합이 포함될 수 있다. 이러한 전략은 또한 다광자 또는 광 시트 현미경과 같은 다양한 이미징 기법으로 적용 가능성을 확장할 수 있습니다.

강점에도 불구하고 프로토콜에는 인정해야 할 몇 가지 제한 사항이 있습니다. 첫째, 데이터 세트 크기는 구조당 몇 개의 주석이 달린 볼륨으로만 구성되어 상대적으로 작습니다. 데이터 증강은 이 문제를 부분적으로 완화하지만, 특히 샘플 준비 또는 이미징 조건에서 보이지 않는 변화가 있는 데이터 세트에 미세 조정된 모델을 적용할 때 과적합 위험이 여전히 존재합니다. 둘째, 우리의 결과는 다양한 패치와 동물에 걸쳐 좋은 일반화를 나타내지만, 뚜렷한 구조 및 소음 특성을 나타낼 수 있는 다른 기관 또는 현미경 양식의 데이터 세트에 대해 도구 상자를 아직 테스트하지 않았습니다. 이것은 우리 접근 방식의 즉각적인 일반화 가능성을 제한합니다. 마지막으로, 우리의 평가 전략은 패치 수준에서 강력하지만 네트워크와 유사한 구조와 관련된 토폴로지 일관성에 대한 추가 메트릭의 이점을 누릴 수 있습니다. 향후 작업은 데이터 세트를 확장하고, 도메인 적응 기술³²을 통합하고, 더 넓은 생물학적 맥락에서 파이프라인을 평가함으로써 이러한 한계를 해결할 것입니다.

요약하자면, 이 프로토콜은 바이오 이미징에서 관형 구조의 고품질 3D 분할을 위한 접근 가능하고 포괄적인 솔루션을 나타냅니다. 효과적인 모델 아키텍처, 데이터 증강 전략 및 대화형 사용자 친화적인 인터페이스를 결합함으로써 당사의 도구 상자는 생체 이미지 분석에서 딥 러닝의 범위와 영향력을 확장하여 전 세계 연구자들이 생물학적 구조와 기능에 대한 더 깊은 이해를 추구하기 위해 이러한 기술을 활용할 수 있는 잠재력을 가지고 있습니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
피지			https://imagej.net/software/fiji/downloads
GitHub 저장소			https://github.com/hernanmorales-navarrete/3DMicroscopyImage<브레르/> 세분화/트리/메인
랩킷			https://imagej.net/plugins/labkit/
Zenodo 저장소			10.5281/zenodo.14029574