Deep Learning-based segmentation of Cryo-Electron Tomograms(극저온 전자 단층 촬영의 딥러닝 기반 분할)

당사 프로토콜의 가장 흥미로운 점은 모든 실험실에서 이러한 딥 러닝 프로토콜을 사용하여 대량의 Cryo-ET 데이터를 분할할 수 있다는 것입니다. 워크플로의 가장 큰 장점은 Dragonfly가 세그멘테이션을 위해 멀티클래스 신경망을 훈련할 수 있는 전문가 수준의 컴퓨팅 환경을 제공한다는 것이며, 이를 통해 세그멘테이션 프로세스의 속도를 크게 높일 수 있습니다. 이미지 분할은 배우는 데 시간이 걸리므로 도구를 테스트하고 시간이 지남에 따라 워크플로를 간소화하는 데 실제로 도움이 되는 키 바인딩을 배워야 합니다.

소프트웨어를 설정한 후 파일로 이동하고 이미지 파일 가져오기를 선택하여 이미지 가져오기를 진행합니다. 그런 다음 추가를 클릭하고, 이미지 파일로 이동하고, 열기를 클릭하고, 다음을 선택한 다음, 마침을 차례로 선택합니다. Utilities(유틸리티)로 이동하고 Dimension Unit Manager(차원 단위 관리자)를 선택하여 사용자 지정 강도 척도를 만듭니다.

왼쪽 하단의 더하기 버튼을 클릭하여 새 치수 단위를 작성합니다. 관심 있는 모든 단층 촬영에서 고강도 및 저강도 기능을 선택하십시오. 단위에 이름과 약어를 지정하고 사용자 지정 차원 단위를 저장합니다.

이미지를 사용자 지정 강도 스케일로 보정하려면 화면 오른쪽의 Properties 열에서 데이터 세트를 마우스 오른쪽 버튼으로 클릭하고 Calibrate Intensity Scale을 선택합니다. 그런 다음 화면 왼쪽의 기본 탭으로 이동하여 프로브 섹션까지 아래로 스크롤합니다. 적절한 직경의 원형 프로브 도구를 사용하여 단층 촬영의 배경 영역에서 몇 군데를 클릭하고 원시 강도 열에 평균 수치를 기록합니다.

기준 마커에 대해 반복하고 보정(Calibrate)을 클릭합니다. 필요한 경우 대비를 조정하여 기본 탭의 창 수평 조정 섹션에 있는 영역 도구를 사용하여 구조를 다시 볼 수 있도록 합니다. 기본 탭의 왼쪽에서 이미지 처리 패널까지 아래로 스크롤합니다.

고급을 클릭하고 새 창이 열릴 때까지 기다립니다. 속성 패널에서 필터링할 데이터 집합을 선택하고 데이터 집합 왼쪽에 있는 눈 모양 아이콘을 클릭하여 표시합니다. 그런 다음 작업 패널의 드롭다운 메뉴를 사용하여 첫 번째 작업에 대한 히스토그램 이퀄라이제이션을 선택합니다.

작업 추가를 선택하고 가우시안을 클릭한 다음 커널 차원을 3D로 변경합니다. 세 번째 작업을 추가한 다음, Unsharp를 선택하고 이 작업에 대한 출력을 그대로 둡니다. 모든 슬라이스에 이퀄라이제이션을 적용하고 필터링을 실행한 다음 이미지 처리 창을 닫고 기본 인터페이스로 돌아갑니다.

학습 영역을 식별하려면 먼저 왼쪽에 있는 눈 모양 아이콘을 클릭하여 필터링되지 않은 데이터 세트를 숨겨 데이터 속성 패널로 이동합니다. 그런 다음 새로 필터링된 데이터 세트를 표시합니다. 필터링된 데이터셋을 사용하여 관심 있는 모든 특징이 포함된 단층 촬영의 하위 영역을 식별합니다.

이제 셰이프 범주까지 아래로 스크롤하고 기본 탭의 왼쪽에 있는 상자 만들기를 선택하여 관심 영역 주위에 상자를 만듭니다. 4뷰 패널에 있는 동안 다른 2D 평면을 사용하여 상자의 가장자리를 안내하거나 드래그하여 모든 치수에서 관심 영역만 둘러쌉니다. 데이터 목록에서 상자 영역을 선택하고 눈 기호 옆에 있는 회색 사각형을 클릭하여 더 쉽게 볼 수 있도록 테두리 색상을 변경합니다.

다중 ROI를 생성하려면 세그멘테이션 탭을 선택하고 왼쪽에서 새로 만들기를 클릭한 다음 다중 ROI로 만들기를 선택합니다. 클래스 수가 관심 있는 기능의 수와 백그라운드 클래스의 수와 일치하는지 확인합니다. 확인을 클릭하기 전에 다중 ROI 학습 데이터의 이름을 지정하고 지오메트리가 데이터 세트와 일치하는지 확인합니다. 그런 다음 boxed 영역의 경계 내에 있을 때까지 데이터를 스크롤합니다.

오른쪽의 속성 메뉴에서 다중 ROI를 선택합니다. 다중 ROI에서 첫 번째 빈 클래스 이름을 두 번 클릭하여 이름을 지정합니다. 2D 브러시로 페인팅하려면 왼쪽의 분할 탭에서 2D 도구까지 아래로 스크롤하고 원형 브러시를 선택합니다.

그런 다음 드롭다운 메뉴에서 적응형 가우스 또는 로컬 OTSU를 선택하고, 왼쪽 컨트롤 더하기 클릭을 길게 눌러 페인팅하고, 왼쪽 시프트 더하기 클릭을 눌러 지웁니다. 모든 구조에 레이블이 지정되면 다중 ROI에서 배경 클래스를 마우스 오른쪽 버튼으로 클릭하고 레이블이 지정되지 않은 모든 복셀을 클래스에 추가를 선택합니다. 다음으로, Mask라는 새 단일 클래스 ROI를 만듭니다.

지오메트리가 필터링된 데이터 세트로 설정되어 있는지 확인한 다음 적용을 클릭합니다. 오른쪽의 속성 탭에서 상자를 마우스 오른쪽 단추로 클릭하고 ROI에 추가를 선택한 다음 마스크 ROI에 추가합니다. 마스크를 사용하여 학습 데이터를 트리밍하려면 속성 탭으로 이동하고 control을 누른 상태에서 각각을 클릭하여 학습 데이터, 다중 ROI 및 마스크 ROI를 모두 선택합니다.

그런 다음 Boolean Operations 섹션의 데이터 속성 목록 아래에 있는 Intersect를 클릭합니다. 새 데이터 세트의 이름을 트리밍된 학습 입력으로 지정하고 지오메트리가 필터링된 데이터 세트에 해당하는지 확인한 후 확인을 클릭합니다. Properties 탭에서 필터링된 데이터 세트를 마우스 오른쪽 단추로 클릭하고 Segmentation Wizard 옵션을 선택하여 학습 데이터를 Segmentation Wizard로 가져옵니다. 새 창이 열리면 오른쪽에서 입력 탭을 찾습니다.

Import Frames From a Multi-ROI를 클릭하고 Trimmed Training 입력을 선택합니다. 새 신경망 모델을 생성하려면 모델 탭의 오른쪽에 있는 더하기 버튼을 클릭합니다. 목록에서 U Net을 선택하고 입력 차원으로 2.5D 및 5개의 슬라이스를 선택한 다음 생성을 클릭합니다.

신경망을 훈련시키려면 Seg Wiz 창의 오른쪽 하단에 있는 훈련을 클릭합니다. 단위 훈련이 완료되면 훈련된 신경망을 사용하여 새 프레임을 분할하고, 새 프레임을 만든 다음, 예측(Predict)을 클릭합니다. 그런 다음 예측된 프레임의 오른쪽 위에 있는 위쪽 화살표를 클릭하여 분할을 실제 프레임으로 전송합니다.

예측을 수정하려면 두 클래스를 Control 키를 누른 채 클릭하여 한 클래스의 분할된 픽셀을 다른 클래스로 변경합니다. 두 클래스를 모두 선택하고 브러시로 페인팅하여 두 클래스 중 하나에 속하는 픽셀만 페인팅합니다. 5개 이상의 새 프레임에서 분할을 수정합니다.

반복 훈련의 경우, 훈련 버튼을 다시 클릭하고 신경망이 30-40개의 에픽을 더 훈련시킬 수 있도록 하십시오. 이 시점에서 훈련을 중지하고 다른 훈련을 시작하십시오. 네트워크 성능이 만족스러우면 세그멘테이션 마법사를 종료하여 네트워크를 게시합니다.

게시할 모델을 묻는 대화 상자가 나타납니다. 성공한 네트워크를 선택하고 이름을 지정한 다음 게시하여 세그멘테이션 마법사 외부에서 네트워크를 사용할 수 있도록 합니다. 먼저 속성 패널에서 필터링된 데이터 세트를 선택하여 학습 단층 촬영에 적용합니다.

왼쪽의 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션까지 아래로 스크롤합니다. 올바른 데이터 집합이 선택되었는지 확인합니다. 드롭다운 메뉴에서 최근에 게시된 모델을 선택한 다음 세그먼트(Segment)를 클릭한 다음 모든 슬라이스(All Slices)를 클릭합니다.

추론 데이터 세트에 적용하려면 새 단층 촬영을 가져와서 앞에서 설명한 대로 전처리합니다. 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션으로 이동합니다. 새로 필터링된 단층 촬영이 선택한 데이터 세트인지 확인하고, 이전에 학습된 모델을 선택하고, 세그먼트를 클릭하고, 모든 슬라이스를 선택합니다.

먼저 노이즈와 관심 있는 기능을 분할한 클래스 중 하나를 선택하여 노이즈를 빠르게 정리합니다. 그런 다음 Process Islands를 마우스 오른쪽 단추로 클릭하고 Removed by Voxel Count를 선택한 다음 Select a Voxel Size를 클릭합니다. 작은 카운트로 시작하여 점차적으로 카운트를 늘려 대부분의 노이즈를 제거합니다.

분할 교정의 경우, 두 개의 클래스를 Control 키를 누른 상태에서 클릭하여 해당 클래스에만 속하는 픽셀을 그립니다. 분할 도구를 사용하여 Control-클릭하고 드래그하여 두 번째 클래스의 픽셀을 첫 번째 클래스로 변경하고 Shift 키를 누른 상태에서 드래그를 클릭하여 반대 작업을 수행합니다. 단일 단층 촬영에 대해 5 슬라이스 단위를 훈련하고 훈련 입력을 위해 손 분할을 수행했습니다.

전체 교육 후 유닛의 2D 분할이 표시됩니다. 분할된 영역의 3D 렌더링은 멤브레인, 미세소관 및 액틴 필라멘트를 보여줍니다. 훈련 단층 촬영과 동일한 세션의 DIV 5 해마 쥐 뉴런이 표시됩니다.

빠른 클린업에 대한 추가 교육 없이 장치에서 2D 분할을 통해 멤브레인, 미세소관, 액틴 및 기준점을 표시했습니다. 분할된 영역의 3D 렌더링도 시각화되었습니다. 이전 세션에서 DIV 5 해마 쥐 뉴런도 관찰되었습니다.

빠른 정리 및 3D 렌더링을 통한 장치의 2D 분할도 수행되었습니다. DIV 5 해마 쥐 뉴런은 또한 다른 배율에서 다른 Titan Krios에서 관찰되었습니다. IMOD 프로그램 스퀴즈 볼트로 픽셀 크기가 훈련 단층 촬영과 일치하도록 변경되었습니다.

빠른 정리를 통한 장치의 2D 분할은 적절한 전처리를 통해 데이터 세트 전반에 걸쳐 강력한 추론을 보여주며 분할의 3D 렌더링이 수행되었습니다. 데이터를 동일하게 사전 처리하고 히스토그램을 보정하는 것은 적절한 네트워크 추론을 위한 가장 중요한 단계입니다. 단층 촬영 내에서 분자의 위치를 알게 되면 Dragonfly 내에서 정량적 측정값을 계산하거나 좌표를 계산하여 하위 단층 촬영 평균 파이프라인에 공급하는 것은 매우 간단합니다.

우리는 Cryo-ET 이미지 분석에 대한 딥 러닝의 효과를 이제서야 보기 시작했지만, 이것은 정말 엄청난 가능성을 보여주는 또 하나의 영역일 뿐입니다.