Summary
이것은 하나의 단층 촬영의 일부를 훈련 입력으로 사용하여 극저온 전자 단층 촬영의 다중 클래스 분할을 위해 다중 슬라이스 U-Net을 훈련하는 방법입니다. 이 신경망을 다른 단층그램과 유추하는 방법과 서브토모그램 평균화 및 필라멘트 추적과 같은 추가 분석을 위해 분할을 추출하는 방법을 설명합니다.
Abstract
극저온 전자 단층 촬영(Cryo-ET)을 통해 연구자들은 현재 가능한 가장 높은 해상도로 원래의 수화 상태의 세포를 이미지화할 수 있습니다. 그러나 이 기술에는 생성되는 데이터를 분석하는 데 시간이 많이 걸리고 어렵게 만드는 몇 가지 제한 사항이 있습니다. 단일 단층 촬영을 손으로 분할하는 데는 몇 시간에서 며칠이 걸릴 수 있지만 현미경은 하루에 50개 이상의 단층 촬영을 쉽게 생성할 수 있습니다. Cryo-ET를 위한 현재 딥러닝 분할 프로그램이 존재하지만 한 번에 하나의 구조를 분할하는 것으로 제한됩니다. 여기에서 다중 슬라이스 U-Net 컨볼루션 신경망은 극저온 단층 촬영 내에서 여러 구조를 동시에 자동으로 분할하도록 훈련되고 적용됩니다. 적절한 전처리를 통해 이러한 신경망은 각 단층 촬영에 대해 개별 신경망을 훈련시킬 필요 없이 많은 단층 촬영술에 대해 강력하게 추론할 수 있습니다. 이 워크플로우는 대부분의 경우 분할 시간을 30분 미만으로 단축하여 초저온 전자 단층 촬영을 분석할 수 있는 속도를 획기적으로 향상시킵니다. 또한, 분할은 세포 컨텍스트 내에서 필라멘트 추적의 정확도를 개선하고 서브토모그램 평균화를 위한 좌표를 신속하게 추출하는 데 사용할 수 있습니다.
Introduction
지난 10년 동안 하드웨어 및 소프트웨어 개발로 인해 초저온 전자 현미경(Cryo-EM)의 "분해능 혁명"이 일어났습니다1,2. 더 빠르고 더 나은 검출기3, 데이터 수집을 자동화하는 소프트웨어4,5 및 위상판6과 같은 신호 부스팅 기술을 통해 대량의 고분해능 Cryo-EM 데이터를 수집하는 것은 비교적 간단합니다.
Cryo-ET는 천연의 수화 상태 7,8,9,10에서 세포 미세구조에 대한 전례 없는 통찰력을 제공합니다. 주요 한계는 시료 두께이지만, 단층 촬영을 위해 두꺼운 세포 및 조직 시료를 얇게 만드는 집속 이온 빔(FIB) 밀링과 같은 방법을 채택함에 따라 cryo-ET로 이미지화할 수 있는 것의 지평이 지속적으로 확장되고 있습니다. 최신 현미경은 하루에 50개 이상의 단층 사진을 생산할 수 있으며, 이 속도는 신속한 데이터 수집 계획의 개발로 인해 증가할 것으로 예상됩니다12,13. cryo-ET에 의해 생성된 방대한 양의 데이터를 분석하는 것은 이 이미징 방식에서 여전히 병목 현상으로 남아 있습니다.
단층 촬영 정보의 정량적 분석에는 먼저 주석을 달아야 합니다. 전통적으로 이를 위해서는 전문가의 손 세분화가 필요하며 이는 시간이 많이 걸립니다. 극저온 단층 촬영에 포함된 분자 복잡성에 따라 몇 시간에서 며칠까지 주의를 기울여야 할 수 있습니다. 인공 신경망은 짧은 시간 내에 대부분의 분할 작업을 수행하도록 훈련될 수 있기 때문에 이 문제에 대한 매력적인 솔루션입니다. 컨볼루션 신경망(CNN)은 특히 컴퓨터 비전 작업(computer vision task)14에 적합하며, 최근에는 초저온 전자 단층 촬영(15,16,17)의 분석에 적합하다.
기존 CNN에는 수천 개의 주석이 달린 훈련 샘플이 필요하며, 이는 생물학적 이미지 분석 작업에서는 종종 불가능합니다. 따라서, U-Net 아키텍처는 네트워크를 성공적으로 훈련시키기 위해 데이터 증강에 의존하고, 대규모 훈련 세트에 대한 의존성을 최소화하기 때문에 이 공간(18 )에서 탁월하다. 예를 들어, U-Net 아키텍처는 단일 단층 촬영(4개 또는 5개 조각)의 몇 조각만으로 학습할 수 있으며 재학습 없이 다른 단층 촬영에 강력하게 추론할 수 있습니다. 이 프로토콜은 Dragonfly 2022.119 내에서 전자 극저온 단층촬영을 분할하기 위해 U-Net 신경망 아키텍처를 훈련하기 위한 단계별 가이드를 제공합니다.
Dragonfly는 딥 러닝 모델에 의한 3D 이미지 분할 및 분석에 사용되는 상업적으로 개발 된 소프트웨어이며 학술용으로 자유롭게 사용할 수 있습니다 (일부 지리적 제한 적용). 비전문가도 의미론적 분할과 이미지 노이즈 제거를 위한 딥 러닝의 힘을 최대한 활용할 수 있도록 하는 고급 그래픽 인터페이스가 있습니다. 이 프로토콜은 인공 신경망을 훈련하기 위해 Dragonfly 내에서 초저온 전자 단층 촬영을 전처리하고 주석을 추가하는 방법을 보여주며, 이를 추론하여 대규모 데이터 세트를 빠르게 분할할 수 있습니다. 또한 필라멘트 추적 및 하위 단층 구조 평균화를 위한 좌표 추출과 같은 추가 분석을 위해 분할된 데이터를 사용하는 방법을 설명하고 간략하게 보여줍니다.
Protocol
참고: Dragonfly 2022.1에는 고성능 워크스테이션이 필요합니다. 시스템 권장 사항은 이 프로토콜에 사용되는 워크스테이션의 하드웨어와 함께 재료 표 에 포함되어 있습니다. 이 프로토콜에 사용되는 모든 단층 촬영은 3.3에서 13.2 ang/pix의 픽셀 크기로 4배 비닝됩니다. 대표 결과에 사용된 샘플은 이 기관의 윤리 기준에 부합하는 동물 관리 지침을 따르는 회사( 재료 표 참조)에서 얻은 것입니다. 이 프로토콜에 사용된 단층 촬영과 훈련 입력으로 생성된 다중 ROI는 보충 파일 1 (https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 에서 찾을 수 있음)에 번들 데이터 세트로 포함되어 사용자가 원하는 경우 동일한 데이터를 따를 수 있습니다. Dragonfly는 또한 사용자가 훈련된 네트워크를 공유할 수 있는 Infinite Toolbox라는 오픈 액세스 데이터베이스를 호스팅합니다.
1. 설정
- 기본 작업 공간 변경:
- 이 프로토콜에 사용된 작업 공간을 미러링하도록 작업 공간을 변경하려면 메인 패널의 왼쪽에서 씬의 뷰 프로퍼티 섹션까지 아래로 스크롤하고 범례 표시를 선택 해제합니다. 레이아웃(Layout) 섹션까지 아래로 스크롤하고 단일 장면(Single scene) 및 4개의 동일한 뷰(Four Equal Views) 보기를 선택합니다.
- 기본 단위를 업데이트하려면 파일 | 기본 설정. 열리는 창에서 기본 단위 를 밀리미터에서 나노미터로 변경합니다.
- 유용한 기본 키 바인딩 :
- Esc를 눌러 2D 뷰에 십자선을 표시하고 3D 뷰에서 3D 볼륨 회전을 허용합니다. X를 눌러 2D 뷰에서 십자선을 숨기고 3D 뷰에서 2D 평행 이동 및 3D 볼륨 평행 이동을 허용합니다.
- 십자선 위로 마우스를 가져가면 다른 2D 뷰에서 보기 평면의 각도를 변경하기 위해 클릭하고 끌 수 있는 작은 화살표가 표시됩니다.
- Z를 눌러 두 보기에서 확대/축소 상태를 입력하면 사용자가 아무 곳이나 클릭하고 끌어서 확대 및 축소 할 수 있습니다.
- Four View 장면에서 뷰를 두 번 클릭하여 해당 뷰에만 초점을 맞춥니다. 다시 두 번 클릭하여 4개의 보기로 돌아갑니다.
- 쉽게 가져올 수 있도록 속성 탭의 모든 항목을 ORS 개체로 내보내 진행 상황을 주기적으로 저장합니다. 목록의 모든 개체를 선택하고 내보내기 | ORS 객체로. 파일 이름을 지정하고 저장합니다. 또는 파일 | 세션을 저장합니다. 소프트웨어에서 자동 저장 기능을 사용하려면 파일 | 기본 설정 | 자동 저장.
2. 이미지 가져오기
- 이미지 가져오기의 경우 파일 | 이미지 파일을 가져옵니다. Add(추가)를 클릭하고 이미지 파일로 이동한 다음 Open(열기) | 다음 | 마침.
참고 : 소프트웨어는 .rec 파일을 인식하지 못합니다. 모든 단층 촬영에는 .mrc 접미사가 있어야 합니다. 제공된 데이터를 사용하는 경우 대신 파일 | 개체 가져오기. Training.ORSObject 파일로 이동하여 열기를 클릭한 다음 확인을 클릭합니다.
3. 전처리 (그림 1.1)
- 사용자 지정 강도 척도(데이터 세트에서 이미지 강도를 보정하는 데 사용됨)를 만듭니다. 유틸리티로 이동 | 차원 단위 관리자. 왼쪽 아래에서 + 를 클릭하여 새 차원 단위를 만듭니다.
- 관심 있는 모든 단층 촬영에 있는 고강도(밝음) 및 저강도(어두운) 기능을 선택하십시오. 단위에 이름과 약어를 지정합니다(예: 이 척도의 경우 기준 비드를 0.0 표준 강도로 설정하고 배경을 100.0으로 설정). 사용자 정의 차원 단위를 저장합니다.
참고: 사용자 지정 강도 척도는 다른 시간 또는 다른 장비에서 수집되더라도 모든 데이터가 동일한 강도 척도에 있는지 확인하기 위해 데이터에 생성 및 적용되는 임의의 척도입니다. 신호가 속하는 범위를 가장 잘 나타내는 밝은 특징과 어두운 특징을 선택하십시오. 데이터에 기준점이 없는 경우 분할할 가장 어두운 특징(예: 단백질의 가장 어두운 영역)을 선택하기만 하면 됩니다. - 이미지를 사용자 지정 강도 스케일로 보정하려면 화면 오른쪽의 Properties 열에서 데이터 세트를 마우스 오른쪽 버튼으로 클릭하고 Calibrate Intensity Scale을 선택합니다. 화면 왼쪽의 Main 탭에서 Probe 섹션까지 아래로 스크롤합니다. 적절한 직경의 원형 프로브 도구를 사용하여 단층 촬영의 배경 영역에서 몇 군데를 클릭하고 Raw Intensity 열에 평균 수치를 기록합니다. 기준 마커에 대해 반복한 다음 Calibrate(보정)를 클릭합니다. 필요한 경우 대비를 조정하여 Main 탭의 Window Leveling 섹션에 있는 Area 도구를 사용하여 구조를 다시 볼 수 있도록 합니다.
- 이미지 필터링:
알림: 이미지 필터링은 노이즈를 줄이고 신호를 증폭할 수 있습니다. 이 프로토콜은 이 데이터에 가장 적합하므로 소프트웨어에 내장된 세 가지 필터를 사용하지만 사용할 수 있는 필터가 많이 있습니다. 관심 데이터에 대한 이미지 필터링 프로토콜이 결정되면 분할하기 전에 모든 단층 촬영에 정확히 동일한 프로토콜을 적용해야 합니다.- 왼쪽의 기본 탭에서 Image Processing Panel까지 아래로 스크롤합니다. 고급 을 클릭하고 새 창이 열릴 때까지 기다립니다. 속성 패널에서 필터링할 데이터 세트를 선택하고 데이터 세트 왼쪽에 있는 눈 모양 아이콘을 클릭하여 표시합니다.
- Operations( 작업 ) 패널에서 드롭다운 메뉴를 사용하여 첫 번째 작업에 대해 Histogram Equalization(히스토그램 이퀄라이제이션 )( Contrast(대비 ) 섹션 아래)을 선택합니다. 작업 추가 | 가우시안 ( 스무딩 섹션 아래). 커널 차원 을 3D로 변경합니다.
- 세 번째 작업을 추가합니다. 그런 다음 Unsharp ( 선명하게 하기 섹션 아래)를 선택합니다. 이에 대한 출력을 남겨 둡니다. 모든 슬라이스에 적용하고 필터링을 실행한 다음 이미지 처리 창을 닫고 기본 인터페이스로 돌아갑니다.
4. 학습 데이터 만들기(그림 1.2)4.
- 먼저 데이터 속성 패널에서 왼쪽에 있는 눈 모양 아이콘을 클릭하여 필터링되지 않은 데이터 세트를 숨겨 학습 영역을 식별합니다. 그런 다음 새로 필터링된 데이터 집합(자동으로 DataSet-HistEq-Gauss-Unsharp로 명명됨)을 표시합니다. 필터링된 데이터셋을 사용하여 관심 있는 모든 특징이 포함된 단층 촬영의 하위 영역을 식별합니다.
- 관심 영역 주위에 상자를 만들려면 왼쪽의 기본 탭에서 모양 범주까지 아래로 스크롤하고 상자 만들기를 선택합니다. [네 개의 보기 ] 패널에서 다른 2D 평면 을 사용하여 상자의 가장자리를 안내/드래그하여 모든 차원에서 관심 영역만 둘러쌉니다. 데이터 목록에서 상자 영역을 선택하고 눈 기호 옆에 있는 회색 사각형 을 클릭하여 더 쉽게 볼 수 있도록 테두리 색상을 변경합니다.
참고: 2D U-Net의 가장 작은 패치 크기는 32 x 32픽셀입니다. 400 x 400 x 50 픽셀은 시작하기에 적합한 상자 크기입니다. - 다중 ROI를 생성하려면 왼쪽에서 세그멘테이션 탭 | 새로 만들기 및 다중 ROI로 만들기를 선택합니다. 클래스 수가 관심 있는 기능의 수 + 백그라운드 클래스와 일치하는지 확인합니다. 다중 ROI 학습 데이터의 이름을 지정하고 지오메트리가 데이터 세트와 일치하는지 확인한 후 확인을 클릭합니다.
- 학습 데이터 분할
- boxed 영역의 경계 내에 있을 때까지 데이터를 스크롤합니다. 오른쪽의 속성 메뉴에서 Multi-ROI를 선택합니다. 다중 ROI에서 첫 번째 빈 클래스 이름을 두 번 클릭하여 이름을 지정합니다.
- 2D 브러시로 페인팅합니다. 왼쪽의 세그멘테이션 탭에서 아래로 스크롤하여 2D 도구 까지 이동한 다음 원형 브러시를 선택합니다. 그런 다음 드롭다운 메뉴에서 적응형 가우스 또는 로컬 OTSU 를 선택합니다. 페인팅하려면 왼쪽 Ctrl 키를 누른 상태에서 클릭합니다. 지우려면 왼쪽 Shift 키를 누른 상태에서 클릭합니다.
참고: 브러시는 현재 선택된 클래스의 색상을 반영합니다. - 다중 ROI의 각 객체 클래스에 대해 이전 단계를 반복합니다. 박스형 영역 내의 모든 구조가 완전히 분할되었는지 또는 네트워크에서 배경으로 간주되는지 확인합니다.
- 모든 구조에 레이블이 지정되면 Multi-ROI에서 Background 클래스를 마우스 오른쪽 단추로 클릭하고 레이블이 지정되지 않은 모든 복셀을 클래스에 추가를 선택합니다.
- Mask라는 새 단일 클래스 ROI를 만듭니다. 지오메트리가 필터링된 데이터셋으로 설정되어 있는지 확인한 다음 적용을 클릭합니다. 오른쪽의 속성 탭에서 Box를 마우스 오른쪽 단추로 클릭하고 ROI에 추가를 선택합니다. 마스크 ROI에 추가합니다.
- 마스크를 사용하여 학습 데이터를 트리밍하려면 속성 탭에서 Ctrl 키를 누른 채 각각을 클릭하여 학습 데이터 다중 ROI와 마스크 ROI를 모두 선택합니다. 그런 다음 Boolean 연산 섹션의 데이터 속성 목록 아래에 있는 교차를 클릭합니다. 새 데이터셋의 이름을 Trimmed Training Input으로 지정하고, 확인을 클릭하기 전에 지오메트리가 필터링된 데이터셋에 해당하는지 확인합니다.
5. 반복 학습을 위해 세그멘테이션 마법사 사용(그림 1.3)
- 먼저 Properties 탭에서 필터링된 데이터 세트를 마우스 오른쪽 단추로 클릭한 다음 Segmentation Wizard 옵션을 선택하여 학습 데이터를 세그멘테이션 마법사로 가져옵니다. 새 창이 열리면 오른쪽에서 입력 탭을 찾습니다. Import Frames from a Multi-ROI를 클릭하고 Trimmed Training Input을 선택합니다.
- (선택 사항) 시각적 피드백 프레임을 만들어 교육 진행 상황을 실시간으로 모니터링합니다.
- 데이터에서 분할되지 않은 프레임을 선택하고 + 를 클릭하여 새 프레임으로 추가합니다. 프레임 오른쪽에 있는 혼합 레이블을 두 번 클릭하고 모니터링으로 변경합니다.
- 새 신경망 모델을 생성하려면 모델 탭의 오른쪽에서 + 버튼을 클릭하여 새 모델을 생성합니다. 목록에서 U-Net 을 선택한 다음 입력 차원에서 2.5D 및 5 슬라이스를 선택한 다음 생성을 클릭합니다.
- 신경망을 훈련시키려면 SegWiz 창의 오른쪽 하단에 있는 훈련을 클릭합니다.
참고: 학습은 진행 상황을 잃지 않고 조기에 중지할 수 있습니다. - 훈련된 신경망을 사용하여 새 프레임을 분할하려면 U-Net 훈련이 완료되면 새 프레임을 만들고 예측(오른쪽 하단)을 클릭합니다. 그런 다음 예측된 프레임의 오른쪽 상단에 있는 위쪽 화살표를 클릭하여 분할을 실제 프레임으로 전송합니다.
- 예측을 수정하려면 Ctrl 키를 누른 상태에서 두 클래스를 클릭하여 한 클래스의 분할된 픽셀을 다른 클래스로 변경합니다. 두 클래스를 모두 선택하고 브러시 로 페인팅하여 두 클래스 중 하나에 속하는 픽셀만 페인팅합니다. 5개 이상의 새 프레임에서 분할을 수정합니다.
참고: 두 클래스를 모두 선택한 상태에서 브러시 도구로 페인팅하면 일반적으로 Shift 키를 누른 상태에서 지우기를 클릭하는 대신 첫 번째 클래스의 픽셀이 두 번째 클래스로 변환됩니다. Ctrl 키를 누른 상태에서 클릭하면 그 반대입니다. - 반복 훈련의 경우, 훈련 버튼을 다시 클릭하고 신경망이 Epoch를 30-40회 더 훈련시킬 수 있도록 한 다음, 이 시점에서 훈련을 중지하고 4.5단계와 4.6단계를 반복하여 또 다른 훈련 라운드를 진행하십시오.
참고: 이러한 방식으로 단일 데이터 세트를 사용하여 모델을 반복적으로 학습하고 개선할 수 있습니다. - 네트워크를 게시하려면 성능이 만족스러우면 세그멘테이션 마법사를 종료합니다. 게시(저장)할 모델을 묻는 대화 상자가 자동으로 팝업되는 대화 상자에서 성공한 네트워크를 선택하고 이름을 지정한 다음 게시하여 세그멘테이션 마법사 외부에서 네트워크를 사용할 수 있도록 합니다.
6. 네트워크를 적용합니다(그림 1.4).
- 학습 단층 촬영에 먼저 적용하려면 속성 패널에서 필터링된 데이터셋을 선택합니다. 왼쪽의 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션까지 아래로 스크롤합니다. 올바른 데이터 세트가 선택되었는지 확인하고 드롭다운 메뉴에서 방금 게시한 모델을 선택한 다음 세그먼트 | 모든 슬라이스. 또는 [미리 보기 ]를 선택하여 세그멘테이션의 한 슬라이스 미리 보기를 봅니다.
- 추론 데이터 세트에 적용하려면 새 단층 사진을 가져옵니다. 3 단계에 따른 전처리(그림 1.1). 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션으로 이동합니다. 새로 필터링된 단층 촬영이 선택한 데이터셋인지 확인하고, 이전에 학습된 모델을 선택하고 세그먼트 | 모든 슬라이스.
7. 세분화 조작 및 정리
- 먼저 분할된 노이즈와 관심 있는 기능이 있는 클래스 중 하나를 선택하여 노이즈를 빠르게 정리합니다. 마우스 오른쪽 버튼 클릭 | 프로세스 제도 | 복셀 카운트로 제거 | 복셀 크기를 선택합니다. 작게(~200) 시작하여 점차적으로 카운트를 늘려 대부분의 노이즈를 제거합니다.
- 세그멘테이션 수정의 경우 Ctrl 키를 누른 채 두 클래스를 클릭하여 해당 클래스에 속하는 픽셀만 페인팅합니다. Ctrl + 드래그 분할 도구를 사용하여 두 번째 클래스의 픽셀을 첫 번째 클래스로 변경하고 Shift + 드래그를 클릭하여 반대 방향으로 변경합니다. 이 작업을 계속하면 레이블이 잘못 지정된 픽셀을 빠르게 수정할 수 있습니다.
- 연결된 구성 요소를 분리합니다.
- 수업을 선택합니다. Multi-ROI에서 클래스를 마우스 오른쪽 버튼으로 클릭 | 연결된 구성 요소를 분리 하여 동일한 클래스의 다른 구성 요소에 연결되지 않은 각 구성 요소에 대해 새 클래스를 만듭니다. Multi-ROI 아래의 버튼을 사용하여 클래스를 쉽게 병합할 수 있습니다.
- ROI를 Binary/TIFF로 내보냅니다.
- 다중 ROI에서 클래스를 선택한 다음 마우스 오른쪽 버튼을 클릭하고 클래스를 ROI로 추출합니다. 위의 속성 패널에서 새 ROI를 선택하고 마우스 오른쪽 버튼을 클릭합니다. 수출 | ROI를 이진으로(모든 이미지를 하나의 파일로 내보내는 옵션이 선택되어 있는지 확인).
참고 : 사용자는 IMOD 프로그램 tif2mrc20을 사용하여 tiff에서 mrc 형식으로 쉽게 변환 할 수 있습니다. 이는 필라멘트 추적에 유용합니다.
- 다중 ROI에서 클래스를 선택한 다음 마우스 오른쪽 버튼을 클릭하고 클래스를 ROI로 추출합니다. 위의 속성 패널에서 새 ROI를 선택하고 마우스 오른쪽 버튼을 클릭합니다. 수출 | ROI를 이진으로(모든 이미지를 하나의 파일로 내보내는 옵션이 선택되어 있는지 확인).
8. ROI에서 서브 단층 촬영 평균을 위한 좌표 생성
- 클래스를 추출합니다.
- 평균화에 사용할 클래스를 마우스 오른쪽 버튼으로 클릭 | 클래스를 ROI로 추출합니다. 마우스 오른쪽 버튼 클릭 클래스 ROI | 연결된 구성 요소 | 새로운 다중 ROI(26개 연결됨).
- 좌표를 생성합니다.
- 새로운 Multi-ROI | 스칼라 생성기. 데이터셋을 사용한 기본 측정(Basic Measurements with Dataset) | 가중 질량 중심 X, Y, Z를 선택합니다. 데이터 집합 및 계산을 선택합니다. 마우스 오른쪽 버튼 클릭 Multi-ROI | 스칼라 값을 내보냅니다. 모든 스칼라 슬롯 선택을 선택한 다음, 확인을 선택하여 다중 ROI의 각 클래스에 대한 중심 세계 좌표를 CSV 파일로 생성합니다.
참고: 입자가 서로 가깝고 분할이 접촉하는 경우 유역 변환을 수행하여 구성 요소를 다중 ROI로 분리해야 할 수 있습니다.
- 새로운 Multi-ROI | 스칼라 생성기. 데이터셋을 사용한 기본 측정(Basic Measurements with Dataset) | 가중 질량 중심 X, Y, Z를 선택합니다. 데이터 집합 및 계산을 선택합니다. 마우스 오른쪽 버튼 클릭 Multi-ROI | 스칼라 값을 내보냅니다. 모든 스칼라 슬롯 선택을 선택한 다음, 확인을 선택하여 다중 ROI의 각 클래스에 대한 중심 세계 좌표를 CSV 파일로 생성합니다.
9. 유역 변환
- 평균화에 사용할 Multi-ROI의 클래스를 마우스 오른쪽 버튼으로 클릭하여 클래스 추출 | 클래스를 ROI로 추출합니다. 이 ROI Watershed Mask의 이름을 지정합니다.
- (선택 사항) 구멍을 막으십시오.
- 분할된 입자에 구멍이나 구멍이 있는 경우 유역을 위해 이를 닫습니다. 데이터 속성에서 ROI를 클릭합니다. 세그멘테이션(Segmentation) 탭(왼쪽)에서 형태학적 연산(Morphological Operations)으로 이동하여 구멍이 없는 솔리드 세그멘테이션을 달성하는 데 필요한 Dilate, Erode 및 Close의 조합을 사용합니다.
- ROI를 클릭하여 ROI 반전 | 선택한 개체 복사(데이터 속성 아래) 복사된 ROI를 선택하고 왼쪽의 세그멘테이션 탭에서 반전을 클릭합니다.
- 반전된 ROI를 마우스 오른쪽 버튼으로 클릭하여 거리 지도 만들기 | 매핑 만들기 | 거리 지도. 나중에 사용할 수 있도록 거리 지도의 복사본을 만들고 반전합니다(오른쪽 클릭 | 수정 및 변환 | 값 반전 | 적용). 이 거꾸로 된 지도의 이름을 Landscape로 지정합니다.
- 시드 포인트를 만듭니다.
- ROI를 숨기고 거리 지도를 표시합니다. 세그멘테이션 탭에서 범위 정의를 클릭하고 각 점의 중심에 있는 몇 개의 픽셀만 강조 표시되고 다른 점에 연결되지 않을 때까지 범위를 줄입니다. Range(범위 ) 섹션 하단에서 Add to New(새로 추가)를 클릭합니다. 이 새로운 ROI 시드포인트의 이름을 지정합니다.
- 유역 변환을 수행합니다.
- 시드포인트 ROI를 마우스 오른쪽 버튼으로 클릭 | 연결된 구성 요소 | 새로운 다중 ROI(26개 연결됨). 새로 생성된 Multi-ROI | 유역 변환. 랜드스케이프(Landscape)라는 거리 맵을 선택하고 확인(OK)을 클릭합니다. Watershed Mask라는 이름의 ROI를 선택하고 OK를 클릭하여 각 시드 포인트에서 Watershed 변환을 계산하고 개별 파티클을 다중 ROI에서 별도의 클래스로 분리합니다. 8.2단계와 같이 좌표를 생성합니다.
그림 1: 워크플로. 1) 강도 척도를 보정하고 데이터 세트를 필터링하여 훈련 단층 촬영을 전처리합니다. 2) 사용자가 식별하고자 하는 모든 적절한 레이블이 있는 단층 촬영의 작은 부분을 손으로 분할하여 훈련 데이터를 만듭니다. 3) 필터링된 단층 촬영을 입력으로 사용하고 손 분할을 훈련 출력으로 사용하여 분할 마법사에서 5계층 다중 슬라이스 U-Net을 학습합니다. 4) 훈련된 신경망을 전체 단층 촬영에 적용하여 주석을 달 수 있으며, 분할된 각 클래스에서 3D 렌더링을 생성할 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Representative Results
프로토콜에 따라 단일 단층 촬영(그림 2A)에서 5슬라이스 U-Net을 훈련하여 멤브레인, 미세소관, 액틴, 기준 마커 및 배경의 5가지 클래스를 식별했습니다. 신경망을 총 3회 반복적으로 훈련시킨 다음, 단층 촬영에 적용하여 완전히 분할하고 주석을 달았습니다(그림 2B, C). 7.1 및 7.2 단계를 사용하여 최소 정리가 수행되었습니다. 다음 3개의 관심 단층 촬영(그림 2D,G,J)은 전처리를 위해 소프트웨어에 로드되었습니다. 이미지를 가져오기 전에 단층 촬영 중 하나(그림 2J)는 약간 다른 배율로 다른 현미경에서 수집되었기 때문에 픽셀 크기를 17.22Å/px에서 13.3Å/px로 조정해야 했습니다. IMOD 프로그램 squeezevol은 다음 명령으로 크기를 조정하는 데 사용되었습니다.
'squeezevol -f 0.772 입력 파일.mrc 출력 파일.mrc'
이 명령에서 -f 는 픽셀 크기를 변경하는 요소(이 경우 13.3/17.22)를 나타냅니다. 임포트 후 3개의 추론 타겟을 모두 3.2 및 3.3 단계에 따라 전처리한 후 5슬라이스 U-Net을 적용했습니다. 최소한의 정리가 다시 수행되었습니다. 최종 세그먼트는 그림 2에 나와 있습니다.
각 단층 촬영의 미세소관 분할을 바이너리(단계 7.4) TIF 파일로 내보내고 MRC(IMOD tif2mrc 프로그램)로 변환한 다음 실린더 상관 관계 및 필라멘트 추적에 사용했습니다. 필라멘트의 이진 분할은 단층 촬영을 통한 추적보다 훨씬 더 강력한 필라멘트 추적을 생성합니다. 필라멘트 추적의 좌표 맵(그림 3)은 미세소관 방향을 결정하기 위해 단일 필라멘트를 따라 가장 가까운 이웃 측정(필라멘트 패킹) 및 나선형 서브 단층 촬영 평균화와 같은 추가 분석에 사용됩니다.
성공하지 못하거나 부적절하게 훈련된 네트워크는 쉽게 확인할 수 있습니다. 실패한 신경망은 어떤 구조도 전혀 분할할 수 없는 반면, 부적절하게 훈련된 신경망은 일반적으로 일부 구조를 올바르게 분할하고 상당한 수의 거짓 긍정(false positive)과 거짓 음성(false negative)을 갖습니다. 이러한 신경망은 성능을 향상시키기 위해 수정하고 반복적으로 훈련시킬 수 있습니다. 세그멘테이션 마법사는 모델이 학습된 후 모델의 주사위 유사성 계수 (SegWiz에서는 score 라고 함)를 자동으로 계산합니다. 이 통계량은 훈련 데이터와 U-Net 세분화 간의 유사성에 대한 추정치를 제공합니다. Dragonfly 2022.1에는 인터페이스 상단의 인공 지능 탭에서 액세스할 수 있는 모델의 성능을 평가하는 도구도 내장되어 있습니다(사용법은 설명서 참조).
그림 2: 추론. (A-C) 2019년 Titan Krios에서 수집한 DIV 5 해마 쥐 뉴런의 원본 훈련 단층 촬영. 이것은 IMOD에서 CTF 보정을 사용한 백투영 재구성입니다. (A) 노란색 상자는 학습 입력을 위해 손 분할이 수행된 영역을 나타냅니다. (B) 학습이 완료된 후 U-Net에서 2D 분할. (C) 막(파란색), 미세소관(녹색) 및 액틴(빨간색)을 보여주는 분할된 영역의 3D 렌더링. (D-F) 훈련 단층 촬영과 동일한 세션의 DIV 5 해마 쥐 뉴런. (E) 추가 교육 및 빠른 정리 없이 U-Net에서 2D 분할. 멤브레인 (파란색), 미세 소관 (녹색), 액틴 (빨간색), 기준점 (분홍색). (f) 분할된 영역의 3D 렌더링. (지-아이) 2019년 세션의 DIV 5 해마 쥐 뉴런. (H) 빠른 정리 및 (I) 3D 렌더링을 통한 U-Net의 2D 분할. (J-L) DIV 5 해마 쥐 뉴런, 2021년 다른 Titan Krios에서 다른 배율로 수집되었습니다. IMOD 프로그램 squeezevol에서 훈련 단층 촬영과 일치하도록 픽셀 크기가 변경되었습니다. (K) 빠른 정리를 통한 U-Net의 2D 분할, 적절한 전처리 및 (L) 분할의 3D 렌더링을 통해 데이터 세트 전반에 걸쳐 강력한 추론을 보여줍니다. 스케일 바 = 100nm. 약어: DIV = 시험관 내 일수; CTF = 대비 전달 함수. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 필라멘트 추적 개선 . (A) Titan Krios에서 수집된 DIV 4 쥐 해마 뉴런의 단층 촬영. (B) 액틴 필라멘트에 대한 실린더 상관 관계에서 생성된 상관 관계 맵. (C) 매개변수를 정의하기 위해 상관 맵에서 액틴 필라멘트의 강도를 사용하는 액틴의 필라멘트 추적. 추적은 막과 미세소관, 소음을 포착하는 동시에 액틴만 추적하려고 합니다. (D) 단층 촬영의 U-Net 분할. 막은 파란색으로, 미세소관은 빨간색으로, 리보솜은 주황색으로, triC는 보라색으로, 액틴은 녹색으로 강조 표시됩니다. (E) 필라멘트 추적을 위한 이진 마스크로 추출된 액틴 분할. (F) (B)의 동일한 매개변수를 가진 실린더 상관관계에서 생성된 상관관계 맵. (G) 단층 촬영에서 액틴 필라멘트의 필라멘트 추적이 크게 개선되었습니다. 약어: DIV = 시험관 내 일수. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
보충 파일 1: 이 프로토콜에 사용된 단층 촬영과 훈련 입력으로 생성된 다중 ROI는 번들 데이터 세트(Training.ORSObject)로 포함됩니다. https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 참조하십시오.
Discussion
이 프로토콜은 Dragonfly 2022.1 소프트웨어를 사용하여 단일 단층 촬영에서 다중 클래스 U-Net을 훈련시키는 절차와 해당 네트워크를 동일한 데이터 세트에서 가져올 필요가 없는 다른 단층 촬영으로 추론하는 방법을 설명합니다. 훈련은 비교적 빠르며(훈련 중인 신경망과 사용되는 하드웨어에 따라 Epoch당 3-5분 정도 빠르거나 몇 시간 정도 느릴 수 있음) 신경망을 재훈련시켜 학습을 개선하는 것은 직관적입니다. 모든 단층 촬영에 대해 전처리 단계가 수행되는 한, 추론은 일반적으로 강력합니다.
일관된 전처리는 딥 러닝 추론을 위한 가장 중요한 단계입니다. 소프트웨어에는 많은 이미징 필터가 있으며 사용자는 특정 데이터 세트에 가장 적합한 필터를 결정하기 위해 실험할 수 있습니다. 학습 단층 촬영에 사용되는 필터링은 추론 단층 촬영과 동일한 방식으로 적용되어야 합니다. 또한 네트워크에 정확하고 충분한 훈련 정보를 제공하기 위해 주의를 기울여야 합니다. 학습 슬라이스 내에서 분할된 모든 기능은 가능한 한 신중하고 정확하게 분할되어야 합니다.
이미지 분할은 정교한 상용 등급 사용자 인터페이스를 통해 촉진됩니다. 손 분할에 필요한 모든 도구를 제공하며 교육 및 재교육 전에 한 클래스에서 다른 클래스로 복셀을 간단하게 재할당할 수 있습니다. 사용자는 단층 촬영의 전체 컨텍스트 내에서 복셀을 손으로 분할할 수 있으며 여러 보기와 볼륨을 자유롭게 회전할 수 있는 기능이 제공됩니다. 또한 이 소프트웨어는 다중 클래스 네트워크를 사용할 수 있는 기능을 제공하는데, 이는16 더 나은 성능을 발휘하는 경향이 있으며 여러 개의 단일 클래스 네트워크로 분할하는 것보다 빠릅니다.
물론 신경망의 기능에는 한계가 있습니다. Cryo-ET 데이터는 본질적으로 매우 잡음이 많고 각도 샘플링이 제한되어 동일한 물체(21)에서 방향별 왜곡을 초래합니다. 훈련은 구조를 정확하게 손으로 분할하기 위해 전문가에 의존하며, 성공적인 네트워크는 주어진 훈련 데이터만큼(또는 나쁜) 것입니다. 신호를 증폭하기 위한 이미지 필터링은 트레이너에게 도움이 되지만 주어진 구조의 모든 픽셀을 정확하게 식별하기 어려운 경우가 여전히 많습니다. 따라서 신경망이 훈련 중에 학습할 수 있는 최상의 정보를 가질 수 있도록 훈련 분할을 생성할 때 세심한 주의를 기울이는 것이 중요합니다.
이 워크플로는 각 사용자의 기본 설정에 맞게 쉽게 수정할 수 있습니다. 모든 단층 촬영이 정확히 동일한 방식으로 전처리되는 것이 필수적이지만 프로토콜에 사용된 정확한 필터를 사용할 필요는 없습니다. 이 소프트웨어에는 다양한 이미지 필터링 옵션이 있으며 많은 단층 촬영에 걸친 대규모 분할 프로젝트를 시작하기 전에 사용자의 특정 데이터에 맞게 최적화하는 것이 좋습니다. 또한 사용할 수 있는 네트워크 아키텍처도 꽤 있습니다: 다중 슬라이스 U-Net이 이 실습의 데이터에 가장 적합한 것으로 밝혀졌지만, 다른 사용자는 다른 아키텍처(예: 3D U-Net 또는 Sensor 3D)가 더 잘 작동한다는 것을 알게 될 수 있습니다. 분할 마법사는 동일한 훈련 데이터를 사용하여 여러 신경망의 성능을 비교할 수 있는 편리한 인터페이스를 제공합니다.
여기에 제시된 것과 같은 도구는 전체 단층 촬영의 수동 분할을 과거의 작업으로 만들 것입니다. 강력하게 추론할 수 있는 잘 훈련된 신경망을 사용하면 현미경이 수집할 수 있는 한 빨리 단층 촬영 데이터를 재구성, 처리 및 완전히 분할하는 워크플로를 만드는 것이 완전히 가능합니다.
Disclosures
이 프로토콜에 대한 오픈 액세스 라이선스는 Object Research Systems에서 지불했습니다.
Acknowledgments
이 연구는 Penn State College of Medicine과 생화학 및 분자 생물학과, 담배 정착 기금(TSF) 보조금 4100079742-EXT의 지원을 받았습니다. 이 프로젝트에 사용된 CryoEM 및 CryoET Core(RRID:SCR_021178) 서비스 및 기기는 펜실베니아 주립대학교 의과대학이 연구 및 대학원생 부학장실과 펜실베니아 보건부에서 담배 정착 기금(CURE)을 사용하여 부분적으로 자금을 지원했습니다. 내용은 전적으로 저자의 책임이며 반드시 대학 또는 의과 대학의 공식 견해를 나타내는 것은 아닙니다. 펜실베니아 보건부는 특히 분석, 해석 또는 결론에 대한 책임을 부인합니다.
Materials
| Name | Company | Catalog Number | Comments |
| Dragonfly 2022.1 | Object Research Systems | https://www.theobjects.com/dragonfly/index.html | |
| E18 Rat Dissociated Hippocampus | Transnetyx Tissue | KTSDEDHP | https://tissue.transnetyx.com/faqs |
| IMOD | University of Colorado | https://bio3d.colorado.edu/imod/ | |
| Intel® Xeon® Gold 6124 CPU 3.2GHz | Intel | https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html | |
| NVIDIA Quadro P4000 | NVIDIA | https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf | |
| Windows 10 Enterprise 2016 | Microsoft | https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise | |
| Workstation Minimum Requirements | https://theobjects.com/dragonfly/system-requirements.html |
References
- Bai, X. -C., Mcmullan, G., Scheres, S. H. W. How cryo-EM is revolutionizing structural biology. Trends in Biochemical Sciences. 40 (1), 49-57 (2015).
- de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. Cryo-EM: The resolution revolution and drug discovery. SLAS Discovery. 26 (1), 17-31 (2021).
- Danev, R., Yanagisawa, H., Kikkawa, M. Cryo-EM performance testing of hardware and data acquisition strategies. Microscopy. 70 (6), 487-497 (2021).
- Mastronarde, D. N. Automated electron microscope tomography using robust prediction of specimen movements. Journal of Structural Biology. 152 (1), 36-51 (2005).
- Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf (2022).
- Danev, R., Baumeister, W. Expanding the boundaries of cryo-EM with phase plates. Current Opinion in Structural Biology. 46, 87-94 (2017).
- Hylton, R. K., Swulius, M. T. Challenges and triumphs in cryo-electron tomography. iScience. 24 (9), (2021).
- Turk, M., Baumeister, W. The promise and the challenges of cryo-electron tomography. FEBS Letters. 594 (20), 3243-3261 (2020).
- Oikonomou, C. M., Jensen, G. J. Cellular electron cryotomography: Toward structural biology in situ. Annual Review of Biochemistry. 86, 873-896 (2017).
- Wagner, J., Schaffer, M., Fernández-Busnadiego, R. Cryo-electron tomography-the cell biology that came in from the cold. FEBS Letters. 591 (17), 2520-2533 (2017).
- Lam, V., Villa, E. Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography. Methods in Molecular Biology. 2215, 49-82 (2021).
- Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. Rapid tilt-series acquisition for electron cryotomography. Journal of Structural Biology. 205 (2), 163-169 (2019).
- Eisenstein, F., Danev, R., Pilhofer, M. Improved applicability and robustness of fast cryo-electron tomography data acquisition. Journal of Structural Biology. 208 (2), 107-114 (2019).
- Esteva, A., et al. Deep learning-enabled medical computer vision. npj Digital Medicine. 4 (1), (2021).
- Liu, Y. -T., et al. Isotropic reconstruction of electron tomograms with deep learning. bioRxiv. , (2021).
- Moebel, E., et al. Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms. Nature Methods. 18 (11), 1386-1394 (2021).
- Chen, M., et al. Convolutional neural networks for automated annotation of cellular cryo-electron tomograms. Nature Methods. 14 (10), 983-985 (2017).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).
- Dragonfly 2021.3 (Computer Software). , Available from: http://www.theobjects.com/dragonfly (2021).
- Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. Computer visualization of three-dimensional image data using IMOD. Journal of Structural Biology. 116 (1), 71-76 (1996).
- Iancu, C. V., et al. A "flip-flop" rotation stage for routine dual-axis electron cryotomography. Journal of Structural Biology. 151 (3), 288-297 (2005).
