여기에서는 ImageJ와 같은 이미지 분석 소프트웨어에서 후속 사용을 위해 광시야 현미경 이미지에서 개별 웜의 자동 분할을 위해 개발한 딥 러닝 시스템인 SegElegans를 효과적으로 활용하는 방법에 대한 지침을 제공합니다. 온라인과 오프라인 모두에서 시스템을 사용할 수 있는 방법을 제공합니다.
이 콘텐츠를 보려면 JoVE 구독이 필요합니다. 로그인하거나 오늘 무료 평가판을 시작하세요.
여기에서는 ImageJ와 같은 이미지 분석 소프트웨어에서 후속 사용을 위해 광시야 현미경 이미지에서 개별 웜의 자동 분할을 위해 개발한 딥 러닝 시스템인 SegElegans를 효과적으로 활용하는 방법에 대한 지침을 제공합니다. 온라인과 오프라인 모두에서 시스템을 사용할 수 있는 방법을 제공합니다.
현미경, 특히 형광 종류의 현미경은 C. elegans 연구에서 자주 사용되는 도구입니다. 그러나 현미경 실험의 데이터 분석은 매우 지루하고 시간이 많이 소요될 수 있습니다. 따라서 자동화가 바람직합니다. 우리는 많은 수의 개체가 접촉하거나 겹치는 이미지에서도 웜의 자동 분할을 위해 특별히 설계된 양두 U-net 기반 컨볼루션 신경망 시스템인 SegElegans를 개발했습니다. SegElegans의 첫 번째 부분은 하나의 인코더와 두 개의 디코더로 구성됩니다. SmaAt AT 모델을 기반으로 하는 인코더는 이중 컨볼루션 레이어와 CBAM(Convolutional Block Attention Module)을 적용합니다. 두 디코더 모두 컨볼루션 LSTM을 사용하며, 하나는 웜 이미지(몸체, 가장자리, 배경 또는 겹침)의 의미론적 분할을 수행하고 다른 하나는 각 웜을 따라 선형 골격을 추출합니다. 두 번째 부분은 두 디코더의 출력을 결합하고 이를 사용하여 정확한 인스턴스 분할을 생성하는 후처리 알고리즘입니다. 그런 다음 이러한 분할을 ImageJ 또는 기타 적절한 이미지 분석 도구에 공급할 수 있습니다. 여기에서는 이 시스템에 액세스하고 실행하는 방법에 대한 지침을 제시합니다. 우리는 온라인 클라우드 컴퓨팅 기반 구현과 필요한 하드웨어를 사용할 수 있는 경우 로컬 시스템에서 SegElegans 모델을 오프라인으로 사용하는 두 가지 방법을 제공합니다.
Caenorhabditis elegans는 세포 및 분자 생물학 분야에서 널리 사용되는 진핵 모델 유기체입니다 1,2,3. 그것은 빠른 수명 주기(~3주)와 많은 수의 자손(일반적으로 자가 수정 자웅동체 부모와 유전적으로 동일함)을 가진 작은(야생형 성체의 경우 ~1mm) 토양 생활 선충류 벌레입니다. 상대적인 단순함에도 불구하고 동물은 여전히 정의되고 뚜렷한 조직과 기관을 가진 복잡한 다세포 유기체이며, 작은 크기와 투명성 덕분에 고정이나 기타 침습적 치료 없이 생체 내에서 연구할 수 있습니다4. 현미경을 통한 생체 내 연구를 위한 웜의 능력은 개별 세포의 쉽게 구별하거나 미토콘드리아, 지질 방울 또는 단백질 응집체와 같은 세포하 소기관/구성 요소의 직접 시각화를 허용하는 형광 리포터의 사용을 통해 더욱 증폭될 수 있으며, 신호 전달, 유전자 발현, 소포 융합과 같은 과정, 자가포식, 신경 및 근육 활동 전위 등5,6,7,8,9,10,11. 또한, 선충은 돌연변이 유발12, 미세 주입 또는 미세입자 폭격을 통한 형질전환13, CRISPR 편집14, 그리고 가장 중요한 것은 쉽고 비용 효율적인 유전자 스크리닝과 관련하여 RNAi15를 통한 유전자 조작에 매우 적합합니다. 이 조작은 선충 자체에서 유전자와 그 역할에 대한 광범위한 연구를 가능하게 하는 동시에 C. elegans가 다른 모델 유기체에 나타내는 중요한 유전적 상동성 덕분에 인간과 관련된 기초적인 발견을 합니다16,17. 마지막으로, 이러한 상동성/보존은 또한 웜을 약물 및 화학 작용제에 대한 이상적인 초기 테스트 장소로 만들어 약물 활성의 메커니즘을 밝히고, 잠재적인 활성 수정 유전적 변이를 식별하고, 잠재적인 원치 않는 상호 작용 및 표적 이탈 효과의 발견을 가능하게 합니다 18,19,20.
위에서 언급한 모든 장점으로 인해 C. elegans는 세포 및 분자 생물학 연구, 특히 현미경을 통한 생체 내 및 종종 실시간 모니터링에 관심이 있는 과학자들에게 매력적인 모델이 되었습니다. 이러한 연구에는 일반적으로 특수 소프트웨어를 통한 상당한 양의 이미지 분석이 포함되며 가장 널리 사용되는 옵션은 ImageJ 21,22,23입니다. 이러한 소프트웨어를 통한 분석의 공통된 특징은 사용자/연구원이 선택 도구를 사용하여 분석을 위해 관심 영역(ROI)을 지정해야 한다는 것입니다. 매우 자주, 이미지의 각 개별 웜은 단순한 형태학적 특징(예: 신체 치수) 또는 유전자의 발현 수준(형광 리포터로 측정), 비율 리포터의 판독값, 지질 방울의 수 및 크기, 단백질 응집체의 형성, 개별 소기관 및 네트워크 등의 형태 5,8,10,24,25,26,27. 표준 이미지 처리 알고리즘을 기반으로 하는 자동 선택 방법은 일반적으로 웜의 모양과 특징을 구별할 수 충분하지 않기 때문에, 특히 웜의 윤곽이 명확하게 보이지 않는 암시야 이미지 또는 접촉하고 겹치는 상당한 수의 동물이 있는 명시야 이미지에서 이러한 웜별 선택은 일반적으로 수동으로 이루어집니다. 그러나 수동 프로세스는 느리고(필요한 정밀도와 사용자 경험에 따라 웜당 20초에서 1분) 힘들며 사용자 편향 및 오류가 발생할 수 있습니다.
개별 C. elegans ROI 생성을 위한 대안적이고 훨씬 더 강력한 접근 방식(일반적으로 컴퓨터 비전 분야에서 세분화라고 하는 작업)은 딥 러닝/신경망 기술의 도움으로 이를 자동화하는 것입니다. 주로 마스크 R-CNN(28) 및 U-net 아키텍처(29)를 기반으로 하는 컨볼루션 신경망은 C. elegans 33,34,35,36,37,38,39를 포함하여 다양한 생물학적 모델 시스템(30,31,32)에 대한 분할 작업에서 적절한 결과를 생성했습니다 그러나 많은 수의 접촉 또는 완전히 겹치는 벌레가 있는 고해상도 이미지에서 개별 동물을 올바르게 구별하는 전신 분할(인스턴스 분할)을 생성하는 문제에 대한 만족스러운 솔루션을 제공한 것은 없습니다. 이러한 요구를 충족시키기 위해 우리는 이 작업을 위해 특별히 설계되고 최적화된 딥 러닝 모델인 SegElegans를 개발했습니다40.
SegElegans는 두 가지 주요 부분으로 구성됩니다(그림 1). 첫 번째 부분은 두 개의 머리 U-net 변형 컨볼루션 신경망입니다. 하나의 인코더 블록과 두 개의 디코더 블록으로 구성됩니다. 인코더 블록은 SmaAt AT 모델(41 )을 기반으로 하며 컨볼루션 블록 어텐션 모듈(CBAM)42에 공급되는 각 레이어에 대해 이중 컨볼루션 블록을 사용합니다. 두 디코더 블록은 컨볼루션 장단기 기억(LSTM) 네트워크(43)를 기반으로 한다. 하나의 디코더는 이미지의 각 픽셀을 웜 본체의 일부, 웜 가장자리의 일부, 배경의 일부 또는 웜이 겹치는 영역의 일부로 분류하는 역할을 합니다(일반적으로 의미론적 분할이라고 함). 다른 디코더는 각 웜의 길이를 따라 선형 "골격"을 그리는 역할을 합니다. 두 번째 부분은 두 디코더의 출력을 결합하고 이를 사용하여 정확한 인스턴스 분할을 생성하는 후처리 알고리즘입니다. 처음에는 의미론적 분할 출력을 스켈레톤 출력과 비교하여 실제 중첩 세그먼트를 식별합니다. 그런 다음 겹치지 않는 웜에 대해 직접 또는 겹치는 웜에 대한 세그먼트로부터 조립하여 인스턴스 분할을 출력합니다(40). 이러한 세분화는 바이너리 마스크와 ImageJ 호환 ROI로 저장됩니다.
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
다음 섹션에는 SegElegans를 효과적으로 사용하는 방법에 대한 자세한 지침이 포함되어 있습니다(그림 2). 여기에는 준비 이미지 획득(섹션 1), 모델을 온라인으로 실행하는 방법(섹션 2) 또는 오프라인(섹션 3-5), ROI를 ImageJ 또는 기타 도구로 가져오기(섹션 6)에 대한 지침이 포함됩니다. 모델을 통해 이미지를 평가하려면 최소 6GB(이상적으로는 그 이상)의 비디오 랜덤 액세스 메모리(VRAM)가 있는 CUDA 호환 그래픽 처리 장치(GPU)가 장착된 PC가 필요하므로 대부분의 사용자(Google 서비스에 액세스할 수 있는 경우)는 클라우드 컴퓨팅을 통해 이러한 하드웨어 요구 사항을 충족하고 능가하는 모델의 온라인 버전을 활용하는 것이 좋습니다(섹션 1 > 섹션 2 > 섹션 6). 또는 적절하게 강력한 하드웨어에 액세스할 수 있고 명령줄/터미널 사용에 대한 기본적인 이해가 있는 사용자(또는 앞서 언급한 클라우드 컴퓨팅 옵션에 액세스할 수 없는 사용자)는 모델을 로컬에서 실행하는 것이 더 편리할 수 있습니다(섹션 1 > 섹션 3 > 섹션 4 또는 5 > 섹션 6).
1. 샘플 및 가이드 이미지 획득
2. SegElegans 온라인 버전 실행
) 버튼을 눌러 코드 블록 1을 실행합니다. 실행이 끝난 후 코드를 실행하고 출력을 관찰할 수 있는 런타임 권한을 부여합니다(재생 단추 옆에 녹색 확인 표시가 표시됨). Colab은 올바른 CUDA 호환 런타임을 자동으로 실행하고 NVIDIA-SMI 출력 테이블을 표시해야 합니다. 그렇지 않으면 런타임 > 런타임 유형 변경 메뉴를 통해 T4 GPU 런타임을 강제로 사용합니다.3. 처음 사용하기 전에 SegElegans의 오프라인 버전 준비
4. 빠른 스크립트로 SegElegans의 오프라인 버전 실행
5. Jupyter 노트북으로 SegElegans의 오프라인 버전 실행
) 버튼을 눌러 코드를 실행합니다. 실행이 완료되면 코드 블록 아래에 확인 메시지가 나타납니다.6. 세분화를 ImageJ(또는 대안)로 가져오기
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
이 프로토콜을 따르면 연구자는 눈에 보이는 웜 경계가 없는 형광 이미지 분석을 위해서도 고품질 웜 분할을 추출할 수 있어야 합니다. 프로토콜의 섹션 6에서 논의된 바와 같이, 이러한 분할은 ImageJ로 직접 가져올 수 있으며 형광 리포터의 강도(일반적으로 발현 정량화에 사용됨) 또는 형광 태그가 지정된 영역의 수, 크기 및 형태(단백질 응집체 또는 소기관을 연구하는 데 자주 사용됨)와 같은 관련 특성을 빠르게 측정하는 데 사용할 수 있습니다. 또한, SegElegans는 형광에 구애받지 않는 방식으로 명시야 이미지에서 분할을 획득하도록 설계되었기 때문에 강도 비율 측정(예: 특정 소기관의 자가포식 분해를 정량화하기 위해) 또는 공동 국소화 지표(예: 소기관 간의 상호 작용을 식별하려고 할 때)를 포함한 다중 채널 분석에도 도움이 될 수 있습니다.
SegElegans는 93% 이상의 세분화 IoU(Intersection...
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
여기에 제시된 방법론을 통해 사용자는 정확도 손실 없이 훨씬 더 빠른 시간 내에 C. elegans 현미경 실험을 분석할 수 있어야 합니다. 실제 형광과 독립적으로 명시야 가이드 이미지에서 분할을 추출하기 때문에(프로토콜 섹션 1에서 논의된 대로) 모든 균주 및 웜별로 표현형을 측정해야 하는 모든 응용 분야에 사용할 수 있습니다. 이들은 질병 모델(10)에서 비정상적인 단백질 봉입체의 형성의 정량화(그림 2에 도시된 예에서와 같이), 전사 리포터(26)의 활성, 또는 지질 방울(44)의 크기 및 수와 같은 단일 채널 응용을 포함할 수 있다. 그들은 또한 비율 측정 센서(27)를 이용한 과산화수소 수준의 측정, 소기관 및 단백질 공동...
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
저자는 선언할 이해 상충이 없습니다.
저자 연구실에서의 작업은 사무국에서 자금을 지원합니다.
그리스 개발부의 연구 및 혁신,
유럽 연합 - NextGenerationEU(프로젝트 코드: TAEDR-0535850, 약어:
BrainPrecision) "플래그십 액션"의 틀
연결에 특별한 관심을 가진 학제 간 과학 분야
생산적인 구조로", 국가 회복 및 회복력
"그리스 2.0" 계획, 유럽연합 집행위원회 연구 집행 기관
Excellence Hub "CHAngeing"(GA-101087071) 및 그리스 재단
연구 및 혁신(HFRI)을 위해 "1차 HFRI.
교수진과 연구원을 지원하기 위한 연구 프로젝트
고비용 연구 장비 조달"(프로젝트 번호:
HFRI-FM17C3-0869, NeuroMitophagy).
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.
| 이름 | 회사 | 카탈로그 번호 | 댓글 |
|---|---|---|---|
| 인터넷 접속이 가능한 컴퓨터 (예: Dell Vostro 데스크탑) | 여러 곳(예: Dell) | - | 이를 통해 권장대로 클라우드 컴퓨팅을 통해 온라인 시겔레간스를 실행할 수 있고, ImageJ와 같은 이미지 분석 소프트웨어를 사용할 수 있습니다. |
| 최소 6GB VRAM을 갖춘 CUDA 호환 그래픽 처리 장치(예: MSI Geforce RTX RTX3050 벤투스 2X 6GB) (선택 사양) | NVIDIA + 여러 제조사(예: Micro Star International) | https://developer.nvidia.com/cuda-gpus | 이렇게 하면 로컬 머신에서 SegElegans를 오프라인으로 실행할 수 있습니다. CUDA 호환 GPU 칩셋은 여기에서 찾을 수 있습니다: https://developer.nvidia.com/cuda-gpus VRAM은 제조사가 칩셋을 GPU에 실제로 구현하는 방식에 따라 달라집니다. 경고: 클라우드 컴퓨팅 버전이 달성하는 성능을 맞추려면 최소 요구사항(16+ GB VRAM)을 훨씬 초과하는 비싸고 강력한 CUDA 카드가 필요합니다. |
| 에피형광 현미경 (Invitrogen EVOS FL Auto 2) | 서모피셔 사이언티픽 | 예를 들어 AMAFD2000 | 밝은 영역과 하나 이상의 형광 채널에서 거의 동시에 이미지를 자동으로 획득할 수 있는 시스템 사용을 권장합니다. |
| ImageJ (선택 사항) | NIH | https://imagej.net/software/fiji/downloads | 피지 배포판을 추천합니다. 여기에서 https://imagej.net/software/fiji/downloads |
| NVIDIA GPU 호환 PC (예: Dell Vostro Desktop) (선택 사항) | 여러 곳(예: Dell) | - | 이는 로컬 컴퓨터에서 오프라인 구동을 위해 GPU와 함께 필요합니다. GPU는 윈도우 호환 하드웨어와 메인보드에 적절한 PCI 슬롯, 카드를 장착할 공간, 충분히 강력한 전원 공급 장치가 필요합니다. |
| 세겔레건스 | - | https://github.com/KonstantinosKounakis/SegElegansOnline/tree/v1.0 | 전체 지침은 원고를 참조하세요.nbsp; |
액세스가 제한되었습니다. 이 콘텐츠를 보려면 로그인하거나 체험판을 시작하세요.