Summary
이 문서에서는 고정된 세포의 형광 현미경 이미지에서 미토콘드리아 형태를 분석하기 위해 시뮬레이션 지도 기계 학습을 사용하는 방법을 설명합니다.
Abstract
세포 형광 현미경 이미지에서 미토콘드리아와 같은 세포하 소기관의 정량 분석은 이러한 작고 형태학적으로 다양한 구조의 분할에 내재된 문제 때문에 까다로운 작업입니다. 이 기사에서는 고정된 세포의 형광 현미경 이미지에서 미토콘드리아 형태를 정량화하기 위해 기계 학습 지원 분할 및 분석 파이프라인을 사용하는 방법을 보여줍니다. 딥러닝 기반 분할 도구는 시뮬레이션된 이미지에 대해 학습되며 지도 딥 러닝을 위한 실측 실측 주석에 대한 요구 사항을 제거합니다. 우리는 형광 미토콘드리아 마커의 안정적인 발현으로 고정 된 심근 세포의 형광 현미경 이미지에서이 도구의 유용성을 입증하고 특정 세포 배양 조건을 사용하여 미토콘드리아 형태의 변화를 유도합니다.
Introduction
이 논문에서는 형광 미토콘드리아 마커를 발현하는 고정 심근세포의 형광 현미경이미지에서 세포 내 분할1을 위한 물리학 기반 기계 학습 도구의 유용성을 보여줍니다.
미토콘드리아는 포유류 세포의 주요 에너지 생성 소기관입니다. 특히, 미토콘드리아는 매우 역동적 인 세포 기관이며 길이와 분기가 끊임없이 변화하는 네트워크에서 종종 발견됩니다. 미토콘드리아의 모양은 기능에 영향을 미치며 세포는 환경 변화에 적응하기 위해 미토콘드리아 형태를 빠르게 변경할 수 있습니다2. 이 현상을 이해하기 위해 미토콘드리아를 점, 막대 또는 네트워크로 형태 학적 분류하는 것은 매우 유익합니다3.
미토콘드리아의 분할은 세포의 미토콘드리아 형태 분석에 중요합니다. 미토콘드리아의 형광 현미경 이미지를 분할하고 분석하는 현재의 방법은 수동 분할 또는 기존 이미지 처리 접근 방식에 의존합니다. Otsu4 와 같은 임계값 기반 접근 방식은 현미경 이미지의 노이즈 수준이 높기 때문에 정확도가 떨어집니다. 일반적으로 미토콘드리아의 형태학적 분석을 위한 이미지에는 많은 수의 미토콘드리아가 포함되어 있어 수동 분할이 지루합니다. MorphoLibJ5 와 같은 수학적 접근 방식과 Weka6 과 같은 준지도 기계 학습 접근 방식은 매우 까다롭고 전문 지식이 필요합니다. 미토콘드리아7 에 대한 이미지 분석 기술을 검토한 결과, 딥러닝 기반 기술이 작업에 유용할 수 있음을 보여주었습니다. 실제로 자율 주행과 같은 애플리케이션을 위한 일상 생활 이미지의 이미지 분할은 딥 러닝 기반 모델을 사용하여 혁명을 일으켰습니다.
딥 러닝은 대량의 데이터에서 학습하는 알고리즘을 제공하는 기계 학습의 하위 집합입니다. 지도 딥 러닝 알고리즘은 실측 자료(GT) 레이블로 주석이 달린 대규모 이미지 세트에서 관계를 학습합니다. 형광 현미경 이미지에서 미토콘드리아를 분할하기 위해 지도 딥 러닝을 사용할 때의 과제는 두 가지입니다. 첫째, 지도 딥 러닝에는 대규모 훈련 이미지 데이터 세트가 필요하며, 형광 현미경의 경우 이 큰 데이터 세트를 제공하는 것은 보다 쉽게 사용할 수 있는 기존 카메라 기반 이미지를 사용할 때와 비교할 때 광범위한 작업이 될 것입니다. 둘째, 형광 현미경 이미지에는 훈련 이미지에서 관심 대상에 대한 GT 주석이 필요하며, 이는 전문 지식이 필요한 지루한 작업입니다. 이 작업은 형광 표지된 세포하 구조를 가진 세포의 단일 이미지를 만드는 데 전문가의 시간이 몇 시간 또는 며칠이 걸릴 수 있습니다. 또한 주석자 간의 변형이 문제를 제기합니다. 수동 주석의 필요성을 제거하고 딥 러닝 기술의 우수한 성능을 활용할 수 있도록 시뮬레이션된 이미지에 대해 훈련된 딥러닝 기반 분할 모델이 여기에 사용되었습니다. 물리학 기반 시뮬레이터는 현미경에서 이미지 형성 과정을 모방하고 제어하는 방법을 제공하여 알려진 모양의 이미지를 만들 수 있습니다. 물리학 기반 시뮬레이터를 활용하여 이를 위해 미토콘드리아의 시뮬레이션된 형광 현미경 이미지의 대규모 데이터 세트가 생성되었습니다.
시뮬레이션은 형상 생성을 위해 파라메트릭 곡선을 사용하는 형상 생성으로 시작됩니다. 이미 터는 밀도가 실험 값과 일치하도록 균일하게 분포 된 방식으로 모양의 표면에 무작위로 배치됩니다. 현미경의 3D 점 확산 함수(PSF)는 Gibson-Lanni 모델(9)의 계산적으로 효율적인 근사치8를 사용하여 계산됩니다. 시뮬레이션된 이미지를 실험 이미지와 밀접하게 일치시키기 위해 암전류와 샷 노이즈를 모두 에뮬레이션하여 사실적인 사진을 구현합니다. 물리적 GT는 바이너리 맵 형태로 생성됩니다. 데이터 세트를 생성하고 시뮬레이션 모델을 훈련하기 위한 코드는도 10에서 사용할 수 있으며, 이 시뮬레이션된 데이터 세트를 생성하는 단계는 그림 1에 요약되어 있습니다.
우리는 고정된 심근모세포의 컨포칼 현미경 이미지를 분석하여 시뮬레이션된 데이터 세트에서 완전히 훈련된 딥러닝 기반 분할의 유용성을 보여줍니다. 이러한 심근세포는 미토콘드리아 외막에서 형광 마커를 발현하여 형광 현미경 이미지에서 미토콘드리아를 시각화할 수 있습니다. 여기에 예로서 주어진 실험을 수행하기 전에, 세포를 포도당을 박탈하고 배양에서 7 일 동안 갈락토오스에 적응시켰다. 성장 배지의 포도당을 갈락토오스로 대체하면 배양 된 세포가 더 산화되어 에너지 생산을 위해 미토콘드리아에 의존하게됩니다11,12. 또한 이것은 세포를 미토콘드리아 손상에 더 민감하게 만듭니다. 미토콘드리아 형태 변화는 카르보닐 시안화물 m-클로로페닐 히드라존(CCCP)과 같은 미토콘드리아 비커플링제를 세포 배양 배지(13)에 첨가함으로써 실험적으로 유도될 수 있다. CCCP는 미토콘드리아 막 전위 (ΔΨm)의 손실을 초래하고, 따라서 미토콘드리아가 더 관형 (막대 모양)에서 더 구형 (점 모양) 형태로 변화합니다14. 또한, 미토콘드리아는 CCCP 치료 동안 팽창하는 경향이 있습니다15. 우리는 갈락토스 적응 심근 세포가 미토콘드리아 언 커플러 CCCP로 처리되었을 때 미토콘드리아 변화의 형태 학적 분포를 표시합니다. 미토콘드리아의 딥 러닝 분할을 통해 우리는 그것들을 점, 막대 또는 네트워크로 분류 할 수있었습니다. 그런 다음 다양한 미토콘드리아 표현형의 가지 길이와 풍부도를 평가하기 위해 정량적 메트릭을 도출했습니다. 분석 단계는 그림 2에 요약되어 있으며 세포 배양, 이미징, 딥러닝 기반 분할을 위한 데이터 세트 생성 및 미토콘드리아의 정량 분석에 대한 세부 정보가 아래에 나와 있습니다.
Protocol
참고: 섹션 1-4는 알려진 실험 조건으로 미토콘드리아의 기존 현미경 이미지로 작업하는 경우 생략할 수 있습니다.
1. 세포 배양
- 2mM L- 글루타민, 1mM 나트륨 피루 베이트, 10mM 갈락토스, 10 % FBS, 1 % 스트렙토 마이신 / 페니실린 및 1μg / mL 퓨로 마이신이 보충 된 포도당없이 DMEM에서 H9c2 세포를 성장시킵니다. 실험 전에 배양에서 최소 7일 동안 세포가 갈락토오스에 적응하도록 합니다.
참고 : 여기에 사용 된 H9c2 세포는 형광 미토콘드리아를 발현하도록 유전자 변형되었으며 퓨로 마이신 내성 유전자도 획득했습니다. 이 항생제의 첨가는 저항 유전자를 가진 세포의 성장을 보장하고, 따라서 형광 미토콘드리아를 보장합니다. - 세포 컨플루언시가 약 80%에 도달하면 실험을 위해 H9c2 세포를 시드합니다(T75 배양 플라스크, 명시야 현미경으로 평가). 계속하기 전에 배지와 트립신을 37°C로 최소 15분 동안 예열하십시오.
참고: 둘 이상의 서로 다른 세포 배양 조건과 병행하여 실험을 수행할 수 있습니다. H9c2 세포 밀도는 근모세포 세포의 손실을 방지하기 위해 80%를 초과해서는 안 됩니다. 100 % 컨플루언시에서 세포는 근관을 형성하고 분화를 시작합니다. - 멸균 층류 후드에서 작동하는 세포 파종을 준비하려면 12웰 플레이트의 웰에 각 실험 조건에 대한 #1.5 유리 커버슬립을 배치합니다. 각 조건과 실험 세부 사항을 12웰 플레이트에 라벨링합니다.
- 세포 배양 플라스크를 인큐베이터에서 후드의 작업 표면으로 옮깁니다. 흡인 시스템 또는 전자 피펫을 사용하여 배지를 흡인 한 다음 5mL의 PBS (실온)로 두 번 세척하십시오.
- 예열 된 트립신을 작업 표면으로 옮기고 최종 PBS 세척을 흡인합니다. 그런 다음 예열된 트립신을 추가하여 세포를 분리합니다(T75 배양 플라스크의 경우 1mL). 배양 플라스크를 37°C에서 2-3분 동안 인큐베이터에 다시 넣습니다.
- 예열 된 배지를 배양이 끝날 때까지 작업 표면으로 옮깁니다. 명시야 현미경을 사용하여 세포가 분리되었는지 확인합니다.
- 모든 세포가 분리되지 않은 경우 플라스크 측면에 조심스럽지만 단단한 탭을 여러 번 적용하여 나머지 세포를 분리합니다.
- 배양 플라스크를 작업 표면으로 되돌립니다. 전자 피펫을 사용하여 배양 플라스크에 세포 배양 배지 4mL를 추가하여 트립신 작용을 중지합니다. 플라스크에 배양 배지를 추가할 때 피펫을 사용하여 표면 전체에 배지를 반복적으로 분산시켜 세포를 분리하고 세포 현탁액으로 모읍니다.
- 플라스크에서 세포 현탁액(5mL)을 15mL 튜브로 피펫팅합니다.
- 셀을 200 x g 에서 5분 동안 원심분리합니다. 후드의 튜브를 열고 흡인하여 상청액을 제거하고 세포 배양 배지 5mL에 세포 펠릿을 부드럽게 재현탁합니다.
- 자동화된 세포 카운터에서 소량의 세포 현탁액을 분석하여 세포 수를 평가합니다. 배양 배지의 밀리리터당 살아있는 세포의 수를 기록하십시오.
- 약 2 x 104 cells/cm2의 파종 밀도에 대해 계산된 세포 현탁액의 원하는 부피(예: 웰당 150μL)를 사전 라벨링된 15mL 원심분리 튜브로 옮깁니다. 예열된 세포 배양 배지를 웰 수를 기준으로 미리 계산된 부피로 15mL 원심분리 튜브에 추가합니다. 12웰 플레이트의 경우 각 웰에 대해 총 부피 1mL를 사용합니다.
- 각 웰에 적절한 부피를 분주하기 전에 원심분리 튜브의 내용물을 위아래로 여러 번 피펫팅하여 희석된 세포 현탁액이 적절하게 혼합되었는지 확인합니다. 세포 현탁액이 웰에 분배되면 각 방향으로 조심스럽게 제어된 방식으로 플레이트를 흔들어 웰 전체에 세포를 더 잘 분배합니다. 12웰 플레이트를 다음날까지 37°C의 인큐베이터에 넣습니다.
- 명시야 현미경으로 세포를 확인하여 성장을 평가합니다. 세포가 약 80 % 컨플루언스까지 충분한 성장을 달성하면 다음 단계로 진행하십시오. 그렇지 않으면 충분한 성장에 도달 할 때까지 매일 평가를 반복하십시오.
2. 실험 절차
- 원액 농도에 따라 실험에 필요한 재료의 양을 계산하십시오. 동결된 물질(30 mM CCCP 원액)을 37°C에서 해동하고, 세포 배양 배지를 37°C에서 예열하도록 설정하였다.
- 일단 해동되면, 세포 배양 배지에서 스톡 용액(1:3,000)을 희석하여 10μM CCCP의 작업 용액을 생성한다.
알림: 부피가 1μL 미만인 피펫을 사용하지 마십시오. - 필요한 모든 재료가 준비되고 예열되면 실험 처리를 시작하십시오. 12웰 플레이트의 웰에서 세포 배양 배지를 흡인한 다음 새로운 예열된 배지를 대조 웰에 빠르게 적용하고 10μM CCCP 용액으로 예열된 배지를 테스트 조건 웰에 적용합니다.
- 12웰 플레이트를 37°C 세포 인큐베이터에서 2시간 동안 배양합니다. 잠복기 동안 고정 용액을 준비하십시오.
- 고정 용액의 준비를 위해 미리 만들어진 4% 파라포름알데히드(PFA)를 사용하여 25% 글루타르알데히드(GA) 스톡 용액을 0.2%(1:125)로 희석합니다. 용액을 37°C에서 예열하도록 설정합니다. 12웰 플레이트의 경우 웰당 500μL이면 충분합니다.
주의 : PFA와 GA는 독성 화학 물질입니다. 보호 장비가있는 화학 후드에서 작업하십시오. 자세한 내용은 해당 SDS를 참조하십시오. - 잠복기가 완료되면 인큐베이터에서 12 웰 플레이트를 꺼내 작업 표면에 놓습니다.
알림: 작업에는 더 이상 멸균 환경이 필요하지 않습니다. - 웰에서 세포 배양 배지를 흡입하고 예열 된 고정 용액을 적용하십시오. 12웰 플레이트를 37°C 인큐베이터에 20분 동안 다시 넣습니다.
- 배양이 완료되면 고정 용액을 흡인하고, 실온 PBS로 각 웰을 2회 세척한다. 프로토콜의 이 단계에서 실험을 일시 중지하고 나중에 계속할 수 있습니다.
- 실험이 일시 중지되면 웰당 1mL의 PBS를 추가하고 12웰 플레이트를 플라스틱 필름(파라필름)으로 밀봉한 다음 4°C에서 보관합니다.
3. 커버 슬립에 세포의 염색 및 장착
- DAPI(핵 얼룩) 스톡을 해동하고 개봉하기 전에 미니 원심분리기에서 스핀다운합니다. DAPI 스톡을 PBS(1:1,000)로 희석하여 DAPI 염색 용액을 준비합니다.
- 12웰 플레이트에서 PBS를 흡인하고 각 웰에 DAPI 염색액 1mL를 적용합니다. 실온에서 5 분 동안 어둠 속에서 배양하십시오.
- DAPI 염색 용액을 흡인합니다. 웰당 2mL의 PBS로 두 번 세척합니다.
- 젖빛 유리 현미경 슬라이드 (유리 슬라이드)를 70 % 에탄올로 세척 한 다음 PBS로 3 회 세척하여 준비하십시오. 보푸라기가 없는 종이 타월을 사용하여 슬라이드를 조심스럽게 말리고 빛 쪽으로 향하게 하여 먼지나 기름기가 있는지 확인합니다.
알림: 이 단계에서는 장갑이 필요합니다. - 유리 슬라이드에 실험 세부 사항을 표시합니다. 장착 매체를 마이크로 원심분리기 튜브로 옮기고 미니 원심분리기에서 스핀다운합니다.
- 작업 공간을 배치하여 커버 슬립 장착을 준비하십시오. 커버슬립, 라벨이 부착된 유리 슬라이드, 장착 매체, 피펫, 10μL 피펫 팁, 보풀이 없는 종이 타월 및 핀셋이 있는 12웰 플레이트를 준비하십시오.
- 준비된 유리 슬라이드에 10μL의 장착 매체(ProLong Glass)를 적용하여 커버슬립을 장착합니다.
- 핀셋을 사용하여 12웰 플레이트에서 커버슬립을 집어 들고 커버슬립의 가장자리와 뒷면을 준비된 보풀이 없는 종이 타월에 짧게 터치하여 커버슬립의 물기를 두드립니다. 커버 슬립을 장착 매체의 물방울 위로 부드럽게 내립니다.
- 각 커버슬립에 대해 위의 두 단계를 반복합니다. 유리 슬라이드당 1개에서 4개의 커버슬립이 들어갈 수 있도록 장착 매체 방울을 놓습니다.
- 장착된 커버슬립이 움직이지 않도록 유리 슬라이드가 평평한 표면에 있는지 확인하십시오. 유리 슬라이드를 실온의 어두운 곳에 밤새 두어 장착 매체가 굳을 수 있도록 합니다. 이제 샘플을 이미징할 준비가 되었습니다. 실험은 프로토콜의 이 단계에서 일시 중지하고 나중에 계속할 수 있습니다.
- 이 단계에서 실험이 일시 중지되면 샘플을 실온에서 밤새 방치 한 후 알루미늄 호일로 덮어 빛으로부터 보호하고 4 ° C에서 보관하십시오.
4. 현미경 및 이미징
- 운송을 위해 샘플을 알루미늄 호일로 덮으십시오 (아직 완료되지 않은 경우).
- 현미경 검사 시설에 도착하면 현미경 여과지와 함께 이중 증류된 H2O를 사용하여 유리 슬라이드의 커버슬립에서 PBS 잔류물을 청소합니다. 유리 슬라이드를 밝은 빛쪽으로 잡고 커버 슬립에 얼룩이 없는지 확인하십시오.
- 현미경의 시작 절차를 진행합니다. 적절한 대물렌즈(Plan-Apochromat 63x/1.40 Oil M27)를 선택하고 액침 유체를 추가합니다.
- 샘플을 샘플 홀더에 놓습니다. 현미경 소프트웨어 내에서 "찾기" 탭을 사용하여 EGFP 형광 조명을 활성화하고 접안렌즈를 사용하여 z 레벨을 수동으로 조정하여 샘플에 초점을 맞춥니다. 초점을 찾으면 형광 조명을 끕니다.
- 현미경 소프트웨어 내에서 "획득" 탭으로 전환합니다. "스마트 설정"을 사용하여 이미징에 사용할 형광 채널을 선택합니다. 이 실험을 위해 EGFP 및 DAPI 채널 사전 설정을 선택했습니다.
- 최적화된 신호 강도를 위한 가이드로 강도 히스토그램을 사용하여 초기 설정에서 각 채널 강도를 조정합니다. 이제 이미징을 시작할 수 있습니다.
- 이미징의 경우 소프트웨어의 옵션을 사용하여 이미징 위치를 어레이에 배치하고 어레이를 커버슬립 중앙에 배치하여 총 12개의 이미지를 배치합니다. 배열의 각 위치에 셀이 포함되어 있는지 확인합니다. 셀이 없으면 셀을 있는 영역으로 위치를 조정합니다.
- 현미경 소프트웨어의 자동 초점을 사용하여 어레이의 각 위치에 대한 초점을 조정하고 가능한 한 많은 미토콘드리아에 초점이 맞춰지도록 수동 미세 조정으로 이를 따릅니다.
알림: EGFP 채널은 이러한 수동 조정에 사용됩니다. - 각 커버슬립에 대해 이 방법을 사용하여 이미지를 가져옵니다. 이미지 파일을 저장하고 형태소 분석 단계로 진행합니다.
5. 시뮬레이션된 학습 데이터 생성
- 코드10을 다운로드하고 내용의 압축을 풉니다. README.md 의 지침에 따라 필요한 환경을 설정합니다.
- 이 프로젝트의 홈 폴더인 "src"라는 폴더로 이동합니다. 내부의 번호가 매겨진 폴더에는 도구 사용의 여러 단계와 관련된 코드가 포함되어 있습니다.
참고: "cd <>" 명령을 사용하여 코드의 하위 폴더로 이동합니다. 파이썬 파일을 실행하려면 "파이썬 <<파일 이름>>.py"명령을 사용하십시오. "자습서.pptx"라는 프레젠테이션에는 분할 모델 사용에 대한 전체 지침이 포함되어 있습니다. - 사본을 만들거나 폴더 사용 "2. 미토콘드리아 시뮬레이션 Airy"라고 이름을 바꿉니다 (Airy는 현재 현미경으로 사용 된 컨 포칼 현미경에 가장 가까운 PSF 기능이므로 여기에서 사용됩니다). "시뮬레이터"라는 폴더로 이동하십시오.
참고: 이 폴더에는 학습 데이터의 시뮬레이션과 관련된 모든 파일이 들어 있습니다. 시뮬레이션을 위해 설정할 세 가지 매개변수 세트가 있습니다. - 먼저 배치 구성 파일 "simulator/batch/bxx.csv"의 시뮬레이터에 대해 미토콘드리아 수, 직경 범위 및 구조 길이, 구조가 나타내는 z축 범위 및 형광단의 밀도를 포함하여 샘플에 대한 매개 변수를 설정합니다.
- 다음으로 광학 시스템과 관련된 매개 변수를 설정하십시오.
- 이 세트에는 현미경 유형(선택된 PSF 모델 결정), 개구수(N.A.), 배율(M), 픽셀 크기(μm), 형광단의 방출 파장 및 배경 노이즈 매개변수 등이 포함됩니다.
- N.A.의 광학 매개 변수, 배율 및 데이터 세트의 최소 파장을 "simulator / microscPSFmod.py"파일로 설정합니다.
- 픽셀 크기에 대해 원하는 값을 설정하고 데이터 세트의 방출 파장을 "simulator/generate_batch_parallel.py" 파일의 "process_matrix_all_z" 함수에 대한 매개변수로 설정합니다.
- "simulator / generate_batch_parallel.py"파일에서 "save_physics_gt"함수의 마지막 세 매개 변수를 설정하십시오. 매개 변수는 픽셀 크기 (nm), 출력 이미지의 크기 및 max_xy입니다.
- 출력 데이터 세트와 관련된 세 번째 매개 변수 집합(예: 출력 이미지의 크기, 각 이미지의 타일 수, 총 이미지 수)을 "simulator/generate_batch_parallel.py" 파일에 설정합니다.
- "simulator/generate_batch_parallel.py" 파일을 실행하여 시뮬레이션을 시작합니다.
- 최종 크기 이미지를 얻으려면 "5. 데이터 준비 및 교육/데이터 준비"를 클릭하고 해당 폴더로 이동합니다.
참고: 합성 데이터 세트의 각 이미지는 128픽셀 x 128픽셀의 시뮬레이션된 이미지 4개의 몽타주를 생성하여 구성되며, 최종 이미지 크기는 256픽셀 x 256픽셀입니다. 이것은 먼저 현미경 이미지("output" 폴더)와 지상 실측 분할("output/physics_gt" 폴더) 모두에 대해 많은 개별 타일(약 12,000개)을 생성합니다.- 배치 번호의 매개 변수, 배치 당 이미지 수 및 노이즈 범위를 "data_generator.py"로 설정합니다.
- "data_generator.py" 파일을 실행하여 몽타주 이미지를 만듭니다.
- "이미지"와 "세그먼트"라는 폴더를 "5. 데이터 준비 및 교육/데이터트레인/기차" 폴더에서 "5. 데이터 준비 및 교육 / 데이터 준비 / 데이터".
6. 딥러닝 기반 세분화
- 다음과 같이 시뮬레이션된 이미지에서 분할 모델을 학습시킵니다.
- 새 현미경에 대한 분할 모델을 훈련하려면 "5. 데이터 준비 및 교육/훈련" 폴더를 열고 배치 크기의 파라미터, 세분화를 위한 백본 모델, 에포크 횟수 및 훈련을 위한 학습률을 "train_UNet.py" 파일로 설정합니다.
- "train_UNet.py"을 실행하여 훈련을 시작합니다. 학습 프로세스에는 시뮬레이션된 검증 세트의 세분화 성능에 대한 메트릭이 표시됩니다.
참고: 학습이 완료되면 모델은 "best_model 5. 데이터 준비 및 교육/교육" 폴더.
- 다음 단계를 통해 학습된 모델에 적합한 크기로 분할된 실제 현미경 이미지에서 모델을 테스트합니다.
- "6. 테스트 데이터 준비"를 선택하고 ". png"형식 파일을 "png"폴더에 넣습니다.
- "split_1024_256.py" 파일을 실행하여 학습된 모델에 적합한 크기로 이미지를 분할합니다. 이렇게 하면 "data" 폴더에 이미지의 256픽셀 x 256픽셀 크기 자르기가 생성됩니다.
- 생성 된 "data"폴더를 "7. 테스트 세그멘테이션" 폴더.
- 폴더로 이동 "7. 테스트 세그멘테이션"을 선택하고 사용할 저장된 모델의 이름을 설정합니다.
- 작물을 분류하려면 "segment.py"파일을 실행하십시오. 분할된 이미지는 "출력" 폴더에 저장됩니다.
7. 형태학적 분석: 두 데이터 그룹 "포도당"과 "CCCP"의 미토콘드리아 형태 분석
- 분석할 데이터를 정렬합니다(모든 이미지에 대해 하나의 폴더, 각 폴더에는 한 이미지의 분할된 출력 자르기가 포함됨).
- "make_montage.py"라는 보조 파일을 다운로드하여 "7. 테스트 세분화".
- "make_montage.py" 파일을 실행하여 분할된 출력을 이미지의 원래 크기로 다시 연결합니다.
- "9. 형태소 분석"을 "src"폴더 안에 넣습니다.
- Skan16 및 Seaborn Python 패키지를 "pip install seaborn[stats] skan" 명령을 사용하여 환경에 설치합니다.
참고: 분할 마스크는 각 개별 미토콘드리아의 토폴로지를 분석할 수 있도록 Skan이라는 라이브러리를 사용하여 스켈레톤화됩니다. - 보조 파일 " analyze_mitochondria.py "을 폴더 "9. 형태 학적 분석".
- 실험의 다른 그룹의 이미지를 폴더 "7. 테스트 세분화".
- "analyze_mitochondria.py"파일에서 "픽셀 크기"및 "입력 경로"매개 변수를 설정하십시오.
- "analyze_mitochondria.py" 파일을 실행하여 코드를 실행하여 분석 플롯을 스켈레톤화하고 생성합니다.
Representative Results
형광 미토콘드리아 마커를 발현하는 고정 심근 세포의 컨포칼 이미지에서 미토콘드리아의 딥 러닝 분할 결과는 이 방법의 유용성을 보여줍니다. 이 방법은 다른 세포 유형 및 현미경 시스템과 호환되며 재교육 만 필요합니다.
형광성 미토콘드리아를 갖는 갈락토스-적응된 H9c2 심근세포를 2시간 동안 CCCP의 유무에 관계없이 처리하였다. 그런 다음 세포를 고정하고 핵 염료로 염색하고 형광 현미경 분석을 위해 유리 슬라이드에 장착했습니다. 컨포칼 현미경을 사용하여 대조군 세포와 CCCP 처리된 세포 모두의 이미지를 획득했습니다. 조건당 약 60개의 세포가 있는 12개의 컨포칼 이미지에 대한 분석을 수행했습니다. 그런 다음 각 이미지에서 미토콘드리아의 형태학적 상태를 결정하고 정량화했습니다. 훈련된 모델에서 얻은 분할 마스크는 이 실험을 위해 각 개별 미토콘드리아의 토폴로지를 분석할 수 있도록 골격화되었습니다. 개별 미토콘드리아의 가지 길이를 분류를 위한 파라미터로 사용하였다. 개별 미토콘드리아는 다음과 같은 규칙에 의해 형태학적 부류로 분류되었다. 구체적으로, 길이가 1,500nm 미만인 미토콘드리아 골격은 점으로 간주되었고, 더 긴 미토콘드리아는 네트워크 또는 막대로 더 분류되었습니다. 두 개 이상의 분기가 교차하는 교차점이 하나 이상 있는 경우 이를 네트워크로 정의했습니다. 그렇지 않으면 미토콘드리아가 막대로 분류되었습니다. 형태학 클래스로 레이블이 지정된 미토콘드리아 골격이 있는 예제 이미지가 그림 3에 나와 있습니다.
그림 4A의 미토콘드리아 형태 분류는 CCCP가 2 시간 동안 적용될 때 중요한 변화를 감지 할 수 있음을 보여줍니다. 이것은 CCCP 처리 된 세포에 대한 점의 증가에 의해 가장 분명하게 입증됩니다.
도 4B의 평균 가지 길이는 형태학의 검출 가능하고 중요한 변화를 설명하기 위한 또 다른 방법이다. 예상대로 막대와 네트워크 모두 세포가 CCCP로 처리되었을 때 대조군에 비해 현저히 감소했습니다. 점의 평균 가지 길이의 현저한 증가는 CCCP에 노출되었을 때 미토콘드리아가 겪는 팽창을 감안할 때 예상되었습니다.
그림 1: 형광 현미경 이미지 시뮬레이션을 위한 파이프라인. 파이프라인에는 (i) 3D 지오메트리 생성, (ii) 이미터 및 광동역학 에뮬레이션, (iii) 3D PSF 컨볼루션, (iv) 노이즈 추가 및 (v) 이진화가 포함됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 미토콘드리아 형태학의 기계 학습 기반 분석 단계 . (1) 분할할 이미지는 먼저 분할 모델에 적합한 크기로 잘립니다. (2) 딥러닝 기반 세분화를 이미지 자르기에 적용합니다. (3) 분할 된 출력 작물을 원래 크기로 다시 꿰매십시오. (4) 몽타주 분할은 골격화됩니다. (6) 형태학적 분석은 골격화의 토폴로지를 기반으로 수행됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 현미경 이미지의 분할 출력에 오버레이된 미토콘드리아 골격 . (A) 분할 출력. (B) 직선 골격 (분기의 시작점과 끝점 사이의 유클리드 거리)이 분할 출력 위에 오버레이됩니다. 골격의 색상 코딩은 미토콘드리아의 클래스를 나타냅니다. 네트워크는 빨간색, 막대는 녹색, 점은 자주색입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 미토콘드리아 형태 분석. (A) 전체 미토콘드리아 길이에 기초한 다양한 형태학적 범주의 상대적 비율에 대한 개요. (b) 실험 조건 간 및 형태학적 범주 간의 평균 미토콘드리아 가지 길이의 비교. x축은 형태학적 분류를 표시하고 y축은 미토콘드리아 평균 분기 길이를 나노미터(nm) 단위로 표시합니다. p-값의 형태의 통계적 유의성은 *p < 0.05, **p < 0.01, ***p < 0.001, 및 **** p < 0.0001로 나타내었다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5: 세그멘테이션의 실패 사례. 고밀도 미토콘드리아는 분할 모델에 대한 어려운 시나리오입니다. 컬러 골격은 이미지에서 검출 된 가장 긴 단일 미토콘드리아를 보여줍니다. 길이 측정을 통해 이러한 시나리오를 감지하고 작업하여 형태학적 연산자 erode(감지된 골격을 슬림화)를 사용하여 분할 결과를 개선할 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Discussion
"지오메트리 생성" 및 "시뮬레이터 매개변수"에 대한 단락에서 프로토콜의 중요한 단계와 관련된 예방 조치에 대해 논의합니다. "전이 학습"이라는 제목의 단락에서는 여러 현미경에 적용할 때 처리량을 높이기 위한 수정 사항에 대해 설명합니다. "입자 분석"및 "다른 세포 구조 생성"에 관한 단락은이 방법의 향후 적용을 나타냅니다. "생물학적 진실과의 차이"에 대한 단락에서는 시뮬레이션이 실제 데이터와 다를 수 있는 다양한 이유와 이러한 이유가 응용 프로그램에 영향을 미치는지 여부에 대해 설명합니다. 마지막으로, 우리는 "조밀하게 포장 된 구조"단락에서 우리의 방법에 대한 도전적인 시나리오에 대해 논의합니다.
지오메트리 생성
미토콘드리아의 3D 지오메트리를 생성하려면 b-스플라인 곡선을 골격으로 만든 간단한 2D 구조가 합성 데이터 세트 생성에 적합합니다. 이러한 합성 모양은 2D 세포 배양에서 관찰되는 미토콘드리아의 모양과 밀접하게 유사합니다. 그러나 심장 조직과 같은 3D 조직의 경우 미토콘드리아의 모양과 배열이 상당히 다릅니다. 이러한 경우 분할 모델의 성능은 시뮬레이션된 이미지에 방향성을 추가하여 향상될 수 있습니다.
시뮬레이터 매개 변수
시뮬레이터의 매개 변수를 설정할 때 추론을 실행할 데이터의 매개 변수와 일치하는지 확인하기 위해 주의해야 하는데, 이렇게 하지 않으면 세그멘테이션 성능이 저하될 수 있습니다. 이러한 파라미터 중 하나는 신호 대 잡음비(SNR) 범위입니다. 테스트할 데이터의 SNR 범위는 시뮬레이션된 데이터 세트의 값과 일치해야 합니다. 또한 사용되는 PSF는 대상 테스트 데이터의 PSF와 일치해야 합니다. 예를 들어, 컨포칼 PSF의 모델 훈련 이미지는 에피 형광 현미경의 이미지를 테스트하는 데 사용해서는 안 됩니다. 주의해야 할 또 다른 매개 변수는 테스트 데이터에서 추가 배율을 사용하는 것입니다. 테스트 데이터에 추가 배율을 사용한 경우 시뮬레이터도 적절하게 설정해야 합니다.
전이 학습
전이 학습은 한 작업에서 학습된 모델을 다른 작업에 사용하기 위해 활용하는 현상입니다. 이 현상은 다양한 유형의 현미경 데이터와 관련된 문제에도 적용됩니다. 한 유형의 현미경 데이터에 대해 훈련된 분할 모델(소스 코드와 함께 제공됨)의 가중치를 사용하여 다른 종류의 광학 현미경 데이터에 사용할 분할 모델을 초기화할 수 있습니다. 이를 통해 훈련 데이터 세트의 훨씬 더 작은 하위 집합(10,000개 대비 3,000개 이미지)에서 훈련할 수 있으므로 시뮬레이션의 계산 비용을 줄일 수 있습니다.
입자 분석
분할된 마스크에서도 입자 분석을 수행할 수 있습니다. 이것은 개별 미토콘드리아의 면적과 곡률 등에 대한 정보를 제공할 수 있습니다. 이 정보는 또한 미토콘드리아의 정량적 비교를위한 메트릭으로 사용될 수 있습니다 (이 실험에는 사용되지 않음). 예를 들어, 현재 우리는 미토콘드리아의 길이에 기반한 임계 값을 사용하여 점 형태를 정의합니다. 어떤 경우에는 작은 막대 모양의 미토콘드리아를 반점 또는 점 모양의 미토콘드리아에서 더 잘 분리하기 위해 타원도를 통합하는 것이 유용할 수 있습니다. 대안적으로, 특정 생물학적 조건이 미토콘드리아를 말리는 경우, 곡률 정량화가 미토콘드리아 집단을 분석하는 데 관심이있을 수 있습니다.
다른 하위 세포 구조 생성
세포 하 구조의 물리학 기반 분할은 미토콘드리아와 소포1에 대해 입증되었습니다. 소포는 다양한 모양을 나타내지 만 크기는 더 작으며 형광 현미경으로 관찰하면 단순한 구체로 보입니다. 따라서 소포의 기하학은 적절한 직경 범위의 구형 구조를 사용하여 시뮬레이션됩니다. 이것은 구조의 기하학적 구조 (미토콘드리아의 경우 실린더, 소포의 경우 구체)와 각각의 매개 변수를 생성하는 기능의 변화를 의미합니다 (프로토콜 섹션의 5.4 단계). 기하학적으로, 소포체 및 미세소관은 또한 관형 구조(17)로서 시뮬레이션되었다. 직경 150nm의 소포체와 평균 외경 25nm의 미세소관 및 직경 15nm의 내부 중공 튜브를 모델링하면 이러한 구조의 모양을 근사화할 수 있습니다. 이들 서브-세포 구조 각각에 대해 변할 또 다른 파라미터는 형광단 밀도이다. 이것은 형광단이 결합하는 생체 분자의 분포와 결합 확률에 기초하여 계산됩니다.
생물학적 근거 진실과의 차이점
딥러닝 모델의 시뮬레이션 지도 훈련에 사용되는 시뮬레이션된 데이터는 여러 면에서 실제 데이터와 다릅니다. (i) 시뮬레이션된 데이터에 비특이적 라벨링이 없는 것은 실제 데이터에 자유 부동 형광단이 있는 경우가 많기 때문에 실제 데이터와 다릅니다. 이로 인해 실제 이미지에서 평균 배경 값이 높아집니다. 이 차이는 SNR을 일치시키고 관찰된 실제 값과 일치하도록 배경 값을 설정하여 완화됩니다. (ii) 세포 하 구조의 운동과 광 동력학은 시스템에서 역학의 두 가지 원천입니다. 라이브 셀에서 구조를 이동하면(몇 밀리초 범위 내에서 이동) 모션 블러가 발생합니다. 흐림 효과를 피하기 위해 실제 데이터 수집 중에 노출 시간이 단축됩니다. 반면에 우리는 타임랩스를 시뮬레이션하지 않고 움직이지 않는 구조를 가정합니다. 이 가정은 실제 데이터의 노출 시간이 작을 때 유효합니다. 그러나 이 가정은 실제 데이터의 노출 시간이 모션 블러를 도입할 만큼 충분히 큰 경우 출력에 오류를 생성할 수 있습니다. 반면에 광동역학은 나노초에서 마이크로초 정도이며 실험의 일반적인 노출 시간이 광동역학의 효과를 평균화하기에 충분히 길기 때문에(밀리초 정도) 시뮬레이션에서 생략할 수 있습니다. (iii) 현미경 이미지의 노이즈는 서로 다른 소스를 가지며 이러한 소스는 서로 다른 확률 밀도 함수를 갖습니다. 이러한 개별 노이즈 소스를 모델링하는 대신 일정한 배경에 대한 가우스 노이즈로 근사합니다. 이 차이는 낮은 신호 대 배경 비율 (2-4 범위) 조건과 형광단1의 매크로 밀도를 처리 할 때 데이터 분포를 크게 변경하지 않습니다. (iv) 이미징의 아티팩트는 수차, 드리프트 및 체계적인 흐림으로 인해 발생할 수 있습니다. 우리는 현미경이 잘 정렬되어 있고 실제 데이터에서 분석을 위해 선택한 영역에 이러한 인공물이 없다고 가정합니다. PSF18,19,20에서 이러한 아티팩트 중 일부를 모델링 할 가능성도 있습니다.
조밀하게 포장 된 구조물
겹치는 막대와 네트워크를 구별할 수 없는 어려움은 2D 현미경 데이터의 분할에서 지속적인 문제입니다. 그림 5에는 미토콘드리아가 조밀하게 포장되어 세분화 모델과 다음 분석에서 차선책의 결과가 나오는 매우 어려운 시나리오가 나와 있습니다. 이러한 어려움에도 불구하고 이러한 상황에서 형태학적 연산자를 사용하여 골격화를 슬림화하는 동시에 모든 미토콘드리아 형태 범주의 중요한 변화를 계속 감지할 수 있도록 하는 동시에 과도하게 연결된 네트워크를 끊는 데 도움이 될 수 있습니다. 또한 이미징을 위해 광시야 현미경이 아닌 컨포칼을 사용하는 것은 초점이 맞지 않는 빛을 제거하여 이 문제를 부분적으로 완화하는 한 가지 방법입니다. 또한, 미래에는 단일 평면의 돌출부가 서로 겹치는 막대형 미토콘드리아와 교차하는(즉, 물리적으로 네트워크를 형성하는) 미토콘드리아를 구별하기 위해 3D 분할을 수행하는 것이 유용할 것입니다.
딥 러닝 세분화는 현미경 사용자의 분석 기능을 확장하여 이전에는 관리할 수 없었던 복잡한 데이터 및 대규모 정량적 데이터 세트의 자동화된 분석 가능성을 열어주는 유망한 도구입니다.
Disclosures
저자는이 기사와 관련된 이해 상충이 없음을 선언합니다.
Acknowledgments
저자는 Arif Ahmed Sekh와의 토론을 인정합니다. Zambarlal Bhujabal은 안정적인 H9c2 세포를 구성하는 데 도움을 준 것으로 인정 받고 있습니다. ERC 시작 보조금 번호 804233 (KA), 과학 갱신을위한 연구원 프로젝트 보조금 번호 325741 (DKP), 북부 노르웨이 지역 보건 당국 보조금 번호 HNF1449-19 (Å.B.B.) 및 UiT의 주제별 자금 지원 프로젝트 VirtualStain with Cristin Project ID 2061348 (D.K.P., Å.B.B., K.A. 및 AH).
Materials
| Name | Company | Catalog Number | Comments |
| 12-well plate | FALCON | 353043 | |
| Aqueous Glutaraldehyde EM Grade 25% | Electron Microscopy Sciences | 16200 | |
| Axio Vert.A1 | Zeiss | Brightfield microscope | |
| CCCP | Sigma-Aldrich | C2759 | |
| Computer | n/a | n/a | Must be running Linux/Windows Operating System having an NVIDIA GPU with at least 4GB of memory |
| Coverslips | VWR | 631-0150 | |
| DAPI (stain) | Sigma-Aldrich | D9542 | |
| DMEM | gibco | 11966-025 | |
| Fetal Bovine Serum | Sigma-Aldrich | F7524 | |
| Glass Slides (frosted edge) | epredia | AA00000112E01MNZ10 | |
| H9c2 mCherry-EGFP-OMP25 | In-house stable cell line derived from purchased cell line | ||
| Incubator | Thermo Fisher Scientific | 51033557 | |
| LSM 800 | Zeiss | Confocal Microscope | |
| Mounting Media (Glass) | Thermo Fisher Scientific | P36980 | |
| Paraformaldehyde Solution, 4% in PBS | Thermo Fisher Scientific | J19943-K2 | |
| Plan-Apochromat 63x oil (M27) objective with an NA of 1.4 | Zeiss | 420782-9900-000 | |
| Sterile laminar flow hood | Labogene | SCANLAF MARS | |
| Trypsin | Sigma-Aldrich | T4049 | |
| Vacusafe aspiration system | VACUUBRAND | 20727400 | |
| ZEN 2.6 | Zeiss |
References
- Sekh, A. A., et al. Physics-based machine learning for subcellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Pernas, L., Scorrano, L. Mito-morphosis: Mitochondrial fusion, fission, and cristae remodeling as key mediators of cellular function. Annual Review of Physiology. 78, 505-531 (2016).
- Li, Y., et al. Imaging of macrophage mitochondria dynamics in vivo reveals cellular activation phenotype for diagnosis. Theranostics. 10 (7), 2897-2917 (2020).
- Xu, X., Xu, S., Jin, L., Song, E. Characteristic analysis of Otsu threshold and its applications. Pattern Recognition Letters. 32 (7), 956-961 (2011).
- Legland, D., Arganda-Carreras, I., Schindelin, J. MorphoLibJ: MorphoLibJ v1.2.0. Zenodo. , Available from: https://zenodo.org/record/50694#.Y8qfo3bP23A (2016).
- Arganda-Carreras, I., et al. Trainable_Segmentation: Release v3.1.2. Zenodo. , Available from: https://zenodo.org/record/59290#.Y8qf13bP23A (2016).
- Chu, C. H., Tseng, W. W., Hsu, C. M., Wei, A. C. Image analysis of the mitochondrial network morphology with applications in cancer research. Frontiers in Physics. 10, 289 (2022).
- Xue, F., Li, J., Blu, T. Fast and accurate three-dimensional point spread function computation for fluorescence microscopy. Journal of the Optical Society of America A. 34 (6), 1029-1034 (2017).
- Lanni, F., Gibson, S. F. Diffraction by a circular aperture as a model for three-dimensional optical microscopy. Journal of the Optical Society of America A. 6 (9), 1357-1367 (1989).
- Sekh, A. A., et al. Physics based machine learning for sub-cellular segmentation in living cells. Nature Machine Intelligence. 3, 1071-1080 (2021).
- Liu, Y., Song, X. D., Liu, W., Zhang, T. Y., Zuo, J. Glucose deprivation induces mitochondrial dysfunction and oxidative stress in PC12 cell line. Journal of Cellular and Molecular Medicine. 7 (1), 49-56 (2003).
- Dott, W., Mistry, P., Wright, J., Cain, K., Herbert, K. E. Modulation of mitochondrial bioenergetics in a skeletal muscle cell line model of mitochondrial toxicity. Redox Biology. 2, 224-233 (2014).
- Ishihara, N., Jofuku, A., Eura, Y., Mihara, K. Regulation of mitochondrial morphology by membrane potential, and DRP1-dependent division and FZO1-dependent fusion reaction in mammalian cells. Biochemical and Biophysical Research Communications. 301 (4), 891-898 (2003).
- Miyazono, Y., et al. Uncoupled mitochondria quickly shorten along their long axis to form indented spheroids, instead of rings, in a fission-independent manner. Scientific Reports. 8, 350 (2018).
- Ganote, C. E., Armstrong, S. C. Effects of CCCP-induced mitochondrial uncoupling and cyclosporin A on cell volume, cell injury and preconditioning protection of isolated rabbit cardiomyocytes. Journal of Molecular and Cellular Cardiology. 35 (7), 749-759 (2003).
- Nunez-Iglesias, J., Blanch, A. J., Looker, O., Dixon, M. W., Tilley, L. A new Python library to analyse skeleton images confirms malaria parasite remodelling of the red blood cell membrane skeleton. PeerJ. 2018, 4312 (2018).
- Sage, D., et al. Super-resolution fight club: Assessment of 2D and 3D single-molecule localization microscopy software. Nature Methods. 16, 387-395 (2019).
- Yin, Z., Kanade, T., Chen, M. Understanding the phase contrast optics to restore artifact-free microscopy images for segmentation. Medical Image Analysis. 16 (5), 1047-1062 (2012).
- Malm, P., Brun, A., Bengtsson, E. Simulation of bright-field microscopy images depicting pap-smear specimen. Cytometry. Part A. 87 (3), 212-226 (2015).
- Bifano, T., Ünlü, S., Lu, Y., Goldberg, B. Aberration compensation in aplanatic solid immersion lens microscopy. Optical Express. 21 (23), 28189-28197 (2013).
