Summary
설명된 파이프라인은 기가바이트보다 큰 전자 현미경 데이터 세트를 세분화하여 전체 세포 형태를 추출하도록 설계되었습니다. 셀을 3D로 재구성하면 개별 요구를 중심으로 설계된 맞춤형 소프트웨어를 사용하여 3D로 직접 정성적 및 정량적 분석을 수행할 수 있으며 가상 현실을 사용하여 뷰 오클루전을 극복할 수도 있습니다.
Abstract
전자 현미경 검사법 (EM)을 사용하여 생물학적 조직의 직렬 단면 및 후속 고해상도 이미징은 2D를 사용하여 해결할 수없는 초구조 패턴을 드러내는 고해상도 이미지 스택의 세분화 및 재구성을 허용합니다. 이미지. 실제로, 후자는 미토콘드리아의 경우와 같이 형태학의 오해로 이어질 수 있습니다. 따라서 3D 모델의 사용은 점점 더 일반적이며 형태 기반 의 기능적 가설의 제형에 적용된다. 현재까지 빛 또는 전자 이미지 스택에서 생성된 3D 모델을 사용하면 정성적, 시각적 평가뿐만 아니라 정량화로 3D로 직접 수행하기가 더 편리합니다. 이러한 모델은 매우 복잡하기 때문에 오클루전을 극복하고 3D 구조를 최대한 활용하기 위해 가상 현실 환경을 설정하는 것도 중요합니다. 여기서는 이미지 세분화에서 재구성 및 분석에 이르는 단계별 가이드를 자세히 설명합니다.
Introduction
자동 직렬 섹션 및 화상 진찰 날짜를 허용하는 전자 현미경 설치를 위한 첫번째 제안된 모형은1981111년 1로거슬러 올라갑니다; EM을 사용하여 큰 샘플을 이미지화하는 자동화되고 개선된 설정의 확산은 지난 10년 동안2,3,인상적인 조밀한 재구성 또는 전체 형태를 보여주는 작품이 바로4, 5,6,7,8,9,10.
대규모 데이터 집합의 생산에는 이미지 세분화를 위한 파이프라인이 개선될 필요성이 있었습니다. RECONSTRUCT 및 TrakEM211,12와같은 직렬 섹션의 수동 세분화를 위한 소프트웨어 도구는 전송 전자 현미경 검사법(TEM)을 위해 설계되었습니다. 전체 프로세스가 매우 시간이 많이 소요될 수 있기 때문에 이러한 도구는 다음과 같은 최첨단 자동화 된 EM 직렬 섹션 기술 (3DEM)으로 자동으로 생성 될 수있는 수천 개의 직렬 현미경 을 다룰 때 적절하지 않습니다. 블록 얼굴 스캐닝 전자 현미경 검사법 (SBEM)3 또는 집중 된 이온 빔 스캐닝 전자 현미경 검사법 (FIB-SEM)2. 이러한 이유로 과학자들은 세분화 효율성을 개선하기 위해 반자동 도구와 완전 자동화 된 도구를 개발하는 데 노력을 기울입니다. 기계 학습13 또는 최첨단, 훈련되지 않은 픽셀 분류 알고리즘14를기반으로 완전히 자동화 된 도구는 더 큰 커뮤니티에서 사용할 수 있도록 개선되고 있습니다. 그럼에도 불구하고, 세분화는 여전히 완전히 신뢰할 수 없으며, 많은 작품은 여전히 수동 노동을 기반으로하며, 이는 세분화 시간 면에서 비효율적이지만 여전히 완전한 신뢰성을 제공합니다. ilastik15와같은 반자동 도구는 실제 교정 프레임워크를 제공하지 는 않지만 어느 정도 수정할 수 있는 세분화에 대한 즉각적인 판독값을 제공하기 때문에 더 나은 절충안을 나타냅니다. 병렬16에서TrakEM2를 사용하여 .
대규모 세분화는 현재까지 대부분 커넥토믹스에 국한되어 있다. 따라서 컴퓨터 과학자들은 시냅스 연락처17,18의존재에 의해 유추된 대규모, 추가 된 데이터 세트및 연결 패턴을 분석하기 위한 통합 시각화를 위한 프레임워크를 제공하는 데 가장 관심이 있습니다. 그럼에도 불구하고 정확한 3D 재구성은 3D 구조의 정성적 평가보다는 정량적 형태 측정 분석에 사용될 수 있습니다. NeuroMorph19,20 및 글리코겐 분석10과 같은 도구는 길이, 표면적 및 부피를 위한 3D 재구성및 구름 점의 분포에 대한 측정을 완전히 수행하도록 개발되었습니다. 원래 EM 스택8,10을폐기합니다. 시각적 단서 또는 반복적 인 구조 패턴의 부족은 조사자에게 개별 구조 단위의 기능에 대한 힌트를 제공하고 성상 세포 과정의 적절한 온톨로지의 결과적 부족에 대한 힌트를 제공하기 때문에 성상 세포는 흥미로운 사례 연구를 나타냅니다 21,분석 도구를 설계하는 것이 어려워요. 최근 한 시도는 점성술 과정의 시각적 탐구와 성상 세포 과정과 신경 질사이의 질적 관계의 추론을 할 수 추상화22이었다.
그럼에도 불구하고, EM의 밑에 화상 진찰 단면도 조직의 편의는 손상되지 않은 두뇌 견본에 숨겨진 정보의 양이 거대하고 단 하나 단면도 심상을 해석하는 것이 이 문제점을 극복할 수 있다는 사실에서 옵니다. 뇌의 구조 밀도가 너무 높아서 한 번에 보이는 몇 개의 물체조차도 3D 재구성하면 시각적으로 구별할 수 없습니다. 이러한 이유로 최근 가상현실(VR)을 복잡한 구조를 관찰할 수 있는 개선된 방법으로 사용할 것을 제안했습니다. 우리는 폐색 (3D 공간에서 두 번째 로 관심 대상의 가시성 차단)을 극복하고 교정 및 정량화를 포함한 재건의 질적 평가를 용이하게하기 위해 성상 세포23에 중점을 둡니다. 공간에서 포인트 수를 사용하여 피처의 수를 계산합니다. 최근 VR 영상 탐사를 GLAM(글리코겐 유래 젖산 흡수 모델)과 결합하여, 글리코겐 과립을발광체(23)로고려하여 신경이산의 젖산 셔틀 확률의 맵을 시각화하는 기술; 특히, 우리는 GLAM에 의해 생성 된 빛 피크를 정량화하기 위해 VR을 사용했다.
Protocol
1. 피지를 이용한 이미지 처리
- 스택이 포함된 현미경에서 네이티브 파일을 드래그 앤 드롭하거나 전체 이미지 스택이 포함된 폴더를 소프트웨어 창으로 드래그 앤 드롭하여 이미지 스택을 엽니다.
참고: 피지는 현미경 공급자의 독점 파일 형식뿐만 아니라 .jpg, .tif 및 .png와 같은 모든 표준 이미지 형식을 자동으로 인식 할 수 있습니다. 다음 프로토콜은 3DEM의 이미지 스택에 최적화되었지만 이러한 단계는 가벼운 현미경 데이터 집합에도 사용될 수 있습니다. - 스택이 열리면 이미지 > 속성으로 이동하여 메타데이터에서 복셀 크기를 읽었는지 확인합니다. 그렇지 않은 경우 수동으로 입력할 수 있습니다.
- 이미지를 8비트로 변환해야 합니다. 이미지 > 입력하고 8 비트를 선택합니다.
- 원래 스택이 다른 순차적 파일/폴더에 있는 경우 연결하여 이미지 > 스택 > 도구 > 연결.을선택하여 단일 스택에 병합합니다.
- 파일 > 로 저장을선택하여 스택을 저장합니다. 단일 .tif 파일로 저장되며 백업 및 추가 처리를 위해 사용할 수 있습니다.
- 원래 스택이 다른 타일로 획득된 경우 TrakEM2 내에서 스티치를 적용합니다.
- 새 > TrakEM2 (공백)를사용하여 새 TrakEM2 프로젝트를 만듭니다.
- 뷰포트 그래픽 사용자 인터페이스(GUI) 내에서 오른쪽 마우스 단추 > 가져오기 > 가져오기 스택을클릭하여 스택을 가져오고 피지 주 GUI에서 열린 모든 타일을 가져옵니다. 마우스 오른쪽 단추로 클릭하여 전체 스택에 맞게 캔버스 크기를 조정하고 캔버스/레이어 세트 크기 조정을마우스 오른쪽 단추로 클릭하고 몽타주 최종 크기에 따라 y/x픽셀 크기를 선택합니다.
참고: 예를 들어 4,096 x 4,096 픽셀의 4개의 타일을 사용하여 몽타주를 완성해야 하는 경우 캔버스 크기는 8,192 x 8,192픽셀 이상이어야 합니다. 약간 더 크게 만들고 나중에 자르십시오. - 레이어 세트에 해당 타일을 드래그하여 놓아 개별 타일의 공통 부분을 중첩합니다. 왼쪽 위 슬라이더를 사용하여 투명도를 수정하여 중첩에 도움이 됩니다.
- 몽타주와 오른쪽 마우스 버튼 > 정렬을클릭하여 스택을 다시 정렬한 다음 옵션 중 하나를 선택합니다(아래 참고 참조).
참고: SBEM 또는 FIB-SEM은 일반적으로 이미 잘 정렬되어 있지만 사소한 정렬 불량이 발생할 수 있습니다. 레이어 정렬은 z 정렬에 대한 자동화된 파이프라인입니다. 몽타주 다중 층은 전체 볼륨에 대해 각 z 스택에 타일을 정렬하기위한 자동화 된 파이프 라인입니다; 다층 모자이크 정렬은 두 가지 이전 옵션을 결합합니다. 이 작업은 시간이 많이 소요되며 컴퓨터의 임의 액세스 메모리(RAM)가 적용됩니다. 고급 컴퓨터를 사용하는 것이 좋습니다 및 스택의 크기에 따라 시간 / 일 동안 실행하자. - 마지막으로, 이미지 스택을 내보내고 마우스 오른쪽 버튼으로 클릭하여 저장 > 평면 이미지 확인,다음 드롭 다운 메뉴에서 마지막 이미지에 첫 번째를 선택해야합니다 시작 및 종료.
- TrakEM2 임베디드 기능을 사용하여 필요한 경우 관심 있는 구조를 분할합니다.
- TrakEM2의 GUI에서 템플릿 창 아래의 아무 것도 마우스 오른쪽 버튼으로 클릭하고 새 자식 > Area_list 추가를선택합니다.
- 프로젝트 오브젝트아래의 폴더 위에 있는 아무 것도 드래그 앤 드롭하면 하나 만 있으면 됩니다.
- 템플릿에서 프로젝트 객체아래에 있는 모든 영역으로 영역 목록을 드래그 앤 드롭합니다.
- 이미지 스택 뷰포트에서 커서가 있는 Z 공간을 선택합니다. 영역 목록이 고유 ID 번호와 함께 표시됩니다. 상단(오른쪽 아래)의 브러시 도구를 선택하고 마우스를 사용하여 전체 z 스택에 시토솔을 채우어 구조를 분할합니다.
- Ilastik에서 사용할 세그먼트 마스크를 Z 공간 목록의 영역 목록 개체 또는 뷰포트의 마스크에서 마우스 오른쪽 단추를 클릭하여 조각을 위한 시드로 내보내고 지역 목록을 레이블(tif)으로선택합니다.
- 추가 재구성에 필요한 해상도에 따라 가능하면 세분화 및 재구성에 사용될 소프트웨어의 메모리 요구 사항을 고려하여 다운샘플링을 통해 이미지 스택의 픽셀 크기를 줄입니다. 이미지 > 조정 > 크기사용 .
참고: ilastik은 xy에서 최대 500픽셀의 스택을 잘 처리합니다. 또한 다운샘플링은 스택의 해상도를 줄입니다. 따라서 개체가 여전히 인식 할 수있는 최소 크기를 고려하여 분할 할 수 있습니다. - 대비를 강화하고 세분화를 돕기 위해 언샤프 마스크 필터를 적용하여 멤브레인을 더욱 선명하게 만들 수 있습니다. 프로세스 > 필터 > 선명하지 않은 마스크를사용합니다.
- 파일 > 저장을 사용하여 세분화 소프트웨어(예: ilastik)에서 추가 처리를 위해 이미지 스택을 단일 이미지로 내보냅니다. > 이미지 시퀀스를 선택하고 .tif 형식을 선택합니다.
2. 세분화(반자동) 및 ilastik을 이용한 재건 1.3.2
- 메인 ilastik GUI에서 조각 모듈을 선택합니다.
- 새 > 시퀀스에서 단일 3D/4D 볼륨을 추가하여이미지 스택을 로드합니다.
- 전체 디렉터리를 선택하고 단일 파일로 저장된 이미지 스택이 포함된 폴더를 선택합니다. 이미지 로드 옵션이 있는 새 창의 맨 아래에는 Z를 선택된 상태로 유지해야 합니다.
- 다음 단계의 경우 모든 작업 및 단추는 기본 소프트웨어 GUI의 왼쪽에 있습니다. 전처리 탭에서 이미 확인된 표준 옵션을 사용합니다. 밝은 선(리지 필터)을 사용하고 필터 배율을 1.600으로 유지합니다. 이 매개 변수는 나중에 수정할 수 있습니다.
- 전처리가 완료되면 레이블 모듈의 드롭다운 메뉴에서 다음 페이지를 선택합니다. 기본적으로 하나의 오브젝트와 하나의 배경이 존재합니다.
-
오브젝트 시드를 클릭하여 선택하고 관심 있는 구조 위에 선을 그립니다. 그런 다음 배경 시드를 선택하고 재구성할 오브젝트 외부에 하나 또는 여러 선을 그립니다. 그런 다음 세그먼트를 클릭하고 기다립니다.
참고: 컴퓨터의 전원과 스택 크기에 따라 세분화는 몇 초에서 몇 시간까지 걸릴 수 있습니다. 작업이 완료되면 분할을 강조하는 반투명 마스크가 분할된 구조 위에 나타납니다.- 스택을 스크롤하여 세분화를 확인합니다. 세분화가 정확하지 않을 수 있으며 관심 구조를 정확하게 따르거나 유출되지 않을 수 있습니다. 유출된 세그먼트에 배경 시드를 배치하여 유출을 수정하고 관심 있는 개체의 재구성되지 않은 세그먼트 위에 오브젝트 시드를 추가합니다.
- 분할이 여전히 올바르지 않은 경우 편향 매개변수를 사용하여 수정하여 허용되는 불확실한 분류 픽셀의 양을 늘리거나 줄입니다. 해당 값은 기본적으로 0.95입니다. 세분화가 너무 보수적(최대 1)인 경우 유출을 제한하거나(일반적으로 0.9 이상으로) 줄입니다.
- 또 다른 가능성은 2.4 단계로 돌아가서 (전처리를클릭하여) 필터의 크기를 수정하는 것입니다. 값을 (예: 2로) 증가하면 소금과 후추 노이즈와 같은 효과를 최소화할 뿐만 아니라 멤브레인이 더 흐릿해지고 세부 사항이 작아 감지가 어려워집니다. 이로 하면 유출이 제한될 수 있습니다.
- 원하는 모든 객체가 분할된 경우 필요한 만큼 반복합니다. 객체가 완료되면 세그먼트아래의 현재 개체 저장을클릭합니다. 새 개체의 분할을 시작하기 위해 두 개의 새 시드가 나타납니다.
- 모든 메시 내보내기를클릭하여 .obj 파일로 서피스 메시 추출 .
- 추가 교정이 필요한 경우 분할을 이진 마스크로 추출할 수 있습니다. 개체 찾아보기를 클릭하여 내보낼 마스크를 선택합니다. 그런 다음 세분화 > 내보내기를 마우스 오른쪽 단추로 클릭한 다음 출력 파일 정보아래에서 tif 시퀀스를 형식으로 선택합니다.
3. TrakEM2 (피지)에서 교정 / 세분화 (설명서)
- 1.6.1 단계에 따라 이미지 스택을 로드하고 새 TrekEM2 프로젝트를 만듭니다.
- 이미지 스택을 가져오는 데 사용된 것과 동일한 가져오기 메뉴에서 사용할 수 있는 영역 목록으로 레이블 가져오기옵션을 사용하여 교정이 필요한 마스크를 가져옵니다.
- Z 공간에서 가져온 영역 목록을 선택하고 브러시 도구를 사용하여 세분화를 검토합니다.
- 영역 목록 > 3D로 표시를마우스 오른쪽 단추로 클릭하여 모델을 3D로 시각화합니다. 다음 창에서 리샘플 번호를 묻는 경우 값이 높을수록 해상도가 낮은 메시가 생성됩니다.
참고: 개체의 크기에 따라 일반적으로 해상도와 형태학적 세부 사항 간에 최상의 절충점을 제공하는 4와 6 사이의 값을 사용하는 것이 좋습니다. - 메뉴 파일 > 내보내기 표면 > 웨이브 프론트에서선택하여 3D 메쉬를 wavefront .obj로 내보내기.
4. 3D 분석
- 블렌더를 엽니다. 다음 단계는 NeuroMorph 툴킷(https://neuromorph.epfl.ch/index.html 사용 가능)과 글리코겐 분석 툴킷(https://github.com/daniJb/glyco-analysis 사용 가능)을 설치해야 합니다.
- 장면 메뉴 에서 오브젝트 가져오기를 클릭하여 NeuroMorph 일괄 가져오기를 사용하여 오브젝트를 가져와 한 번에 여러 오브젝트를 가져옵니다. 리메시 및 부드러운 샤딩사용을 활성화해야 합니다.
참고: 개체의 초기 크기에 대한 불확실성이 있는 경우 메시 완료를 클릭하지 않는 것이 좋습니다. 값 7(기본값)에서 트리 깊이 가져오기는 일반적으로 개체의 허용 가능한 해상도 및 형태를 유지하는 데 적합합니다. - 아웃라이너에서 관심 있는 오브젝트를 선택하고 수정자 메뉴에서 다시 메시 함수의 octree 깊이를 반복적으로 수정하여 정점 수를 최소화하고 해상도 및 올바른 형태에서 세부 정보를 잃지 않도록 합니다. octree 깊이를 변경할 때 주 GUI의 메시가 그에 따라 변경됩니다. 완료되면 적용을 클릭하여 프로세스를 완료합니다.
참고: 일반적으로 4 주위 값은 작은 개체(예: 후축 밀도), 큰 개체(예: 긴 축삭 또는 모수석 과 같은)의 값, 다른 해상도의 세부 사항이 있어야 하는 완전한 셀룰러 형태에 대해 8 또는 9 정도의 값에 적합합니다. 유지. - 이미지 중첩 도구 를 사용 하 여 이미지 스택 상호 작용 왼쪽 패널, NeuroMorph 메뉴 아래, 이미지 스택로드. x, y및 x(메시 의 단위에 따라 미크론 또는 나노미터)에 대한 이미지 스택의 물리적 크기를 입력하고 Source_Z를클릭하여 스택 경로를 선택해야 합니다. X와 Y는 직교 평면입니다. 선택 사항이며 사용자가 유효한 경로를 삽입하는 경우에만 로드됩니다.
- 그런 다음 뷰포트에서 마우스 오른쪽 단추를 클릭하여 메시를 선택하고 탭을눌러 편집 모드를 입력하고 마우스 오른쪽 단추를 클릭하여 하나 이상의 정점을 선택한 다음 마지막으로 정점에서 이미지 표시를클릭합니다. 마이크로그래프가 있는 하나 이상의 절단 평면이 메시 위에 겹쳐나타납니다.
- 오른쪽 단추로 클릭하여 절단 평면을 선택하고 Ctrl + Y를누르고 마우스 스크롤을 사용하여 3D 모델을 스크롤합니다. 이것은 또한 교정 방법으로 사용할 수 있습니다.
- 측정 도구를 사용하여 표면적, 체적 및 길이를 정량화합니다. 이러한 작업은 Jorstad외. 19 및 NeuroMorph 웹 사이트24에의해 자세한 내용에 문서화되어 있습니다.
- 글리코겐 분석 도구를 사용하여 등뼈와 부톤에 대한 글리코겐 근접성을 정량화하십시오. 작업은 이전 간행물10 및 글리코겐 분석 저장소25에더 자세히 문서화되어 있다.
- 장면 메뉴 에서 오브젝트 가져오기를 클릭하여 NeuroMorph 일괄 가져오기를 사용하여 오브젝트를 가져와 한 번에 여러 오브젝트를 가져옵니다. 리메시 및 부드러운 샤딩사용을 활성화해야 합니다.
- GLAM23을실행합니다. 코드, 실행 파일 및 일부 테스트 파일은 GLAM 리포지토리26에서사용할 수 있습니다.
- .ply 형식으로 두 개의 지오메트리 파일을 준비합니다: 글리코겐 과립이 포함된 소스 파일 1개와 형태 표면을 포함하는 하나의 대상 파일.
- 로컬 흡수 값, 피크 값 및 평균 흡수 값을 나타내기 위해 세 개의 .ascii 색맵 파일(t_norm(0.1) R(0.255) G(0..255) B(0.255)를 포함하는 각 줄)을 준비합니다.
- 형상 파일(단계 4.2.1) 및 컬러맵 파일(4.2.2단계)을 사용하여 영향 반경(미크론), 최대 예상 흡수 값 및 흡수 피크를 클러스터링하기 위한 정규화된 임계값을 설정하여 C++ 스크립트 GLAM을 실행합니다. 다른 매개 변수에 대한 자세한 내용은 -help 옵션을 사용 하 여 스크립트를 실행 합니다.
- 결과를 .ply 또는 .obj 파일로 내보내: GLAM 값으로 색상 매핑된 대상 오브젝트, 색상으로 구분된 구로 표시되는 흡수 피크 마커 및 평균 흡수 값에 대해 색상으로 구분된 대상 오브젝트를 내보냅니다.
- VR 데이터 상호 작용을 엽니다. VR 데이터 상호 작용 실행 코드는 공용 리포지토리27에서사용할 수 있습니다.
- VR 메뉴의 지침에 따라 시각화할 메시 가져오기 GLAM 분석이 필요한 경우 4.2.1단계에서 계산된 .obj 파일을 가져와야 합니다.
Representative Results
위에 제시된 절차를 사용하여 서로 다른 크기의 두 이미지 스택에 결과를 표시하여 도구의 유연성으로 프로시저를 더 큰 데이터 집합으로 확장할 수 있는 방법을 보여 줍니다. 이 경우, 2개의 3DEM 데이터 세트는 (i) P14 랫, 체감각 피질, 층 VI, 100 μm x 100 μm x 76.4 μm4 및 (ii) P60 랫, 해마 CA1, 7.07 μm x 6.75 μm x 4.73μm10이다.
전처리단계(그림 1)는두 데이터 집합에 대해 동일한 방식으로 수행할 수 있으며, 단순히 첫 번째 스택과 같은 더 큰 데이터 집합(예: 25GB)은 대용량 데이터 시각화 및 처리를 처리하기 위해 더 많은 성능의 하드웨어가 필요하다는 점을 고려할 때 두 데이터 집합에 대해 동일한 방식으로 수행할 수 있습니다. . 두 번째 스택은 1 GB이며 완벽하게 등방성 복셀 크기입니다.
데이터의 크기는 현미경 센서의 최대 픽셀 크기 및 스택의 배율에 의존하는 스택 자체의 해상도가 아니라 시야(FOV)와 직접적으로 관련이 없을 수 있습니다. 어쨌든 논리적으로 더 큰 FOV는 동일한 해상도로 획득하는 경우 더 작은 FOV에 비해 더 많은 물리적 공간을 차지할 수 있습니다.
일단 이미지 스택이 가져온 후, 프로토콜의 섹션 1에 도시된 바와 같이, 피지소프트웨어(그림 1A)에서,ImageJ12의과학적 릴리즈, 한 가지 중요한 점은 이미지 포맷이 8비트(도1B)인지확인하는 것이다. 이는 많은 획득 소프트웨어 다른 현미경 회사 생산자가 획득 프로세스에 대한 정보(예: 픽셀 크기, 두께, 전류/전압)와 관련된 메타데이터를 저장하기 위해 16비트로 독자적인 파일 형식을 생성하기 때문입니다. 전자 빔, 챔버 압력)을 이미지 스택과 함께 사용합니다. 이러한 조정을 통해 과학자들은 메타데이터가 포함된 추가 8비트가 이미지에 영향을 미치지 않으므로 메모리를 절약할 수 있습니다. 확인하는 두 번째 중요한 매개 변수는 복셀 크기이며, 이는 세분화 다음의 재구성이 올바른 스케일 (마이크로 미터 또는 나노 미터)에서 수행 될 수 있습니다. 그림 1B)를참조하십시오.
스택은 타일링을 사용하여 획득한 경우 재정렬 및/또는 스티칭이 필요할 수 있습니다. 이러한 작업은[그림 2A]에서수행할 수 있지만 재정렬과 관련하여 FIB-SEM 또는 3View와 같은 자동화된 3DEM 기술은 일반적으로 잘 재정렬됩니다.
마지막 한 단계는 재구성해야 하는 개체와 다운샘플링이 재구성 가능한 피처의 인식에 영향을 미치는지에 따라 스택의 필터링 및 다운샘플링이 필요합니다. 예를 들어, 더 큰 스택(P14 쥐의 체감각 피질)의 경우, 재건 효율의 이익을 위해 해상도를 손상시킬 수 없었지만, 작은 스택(P60 래트의 해마 CA1)의 경우, 그렇게 할 수 있었습니다. 해상도는 가장 작은 객체를 재구성하는 데 필요한 것 보다 훨씬 높았기 때문입니다. 마지막으로, unsharp 마스크의 사용은 막을 과 배경의 차이를 향상, 테두리를 미리 평가하기 위해 그라데이션을 사용하는 ilastik 같은 소프트웨어의 재구성에 유리한 만들기.
이미지 처리 후, 재구성은 TrakEM2를 사용하여 수동으로 수행하거나 ilastik(그림 2C)를사용하여 반자동으로 수행 할 수 있습니다. 여기에 나열된 작은 데이터(ii)와 같은 데이터 세트는 메모리에 맞게 다운샘플링할 수 있으며, ilastik(그림2B)을사용하여 완전히 분할하여 조밀한 재구성을 생성할 수 있습니다. 여기에 나열된 첫 번째 데이터 집합의 경우 (i) 500GB의 RAM을 사용하여 전체 데이터 집합을 로드하고 전처리할 수 있었습니다. TrakEM2를 사용하여 수동으로 교정된 대략적인 세분화를 추출하여 하이브리드 파이프라인을 사용하여 16개의 전체 형태변형의 희소 한 분할을 얻었습니다.
표면적, 부피, 또는 세포내 글리코겐의 분포와 같은 특징의 3D 분석은 NeuroMorph19 또는 글리코겐 분석10과같은 사용자 정의 코드를 사용하여 블렌더 환경 내에서 수행될 수 있다(그림3).
글리코겐 과립을 포함하는 데이터 집합의 경우 메시에 직접 영향 영역이 있는 컬러맵을 생성하는 C++ 코드인 GLAM을 사용하여 해당 분포에 대한 분석을 유추할 수 있습니다.
마지막으로, 이러한 복잡한 데이터 세트를 VR을 사용하여 시각화 및 분석할 수 있으며, 이는 특정 가려진 뷰를 가진 데이터 세트의 분석에 유용할 것으로 입증되었습니다(그림4). 예를 들어 GLAM 맵에서 유추된 피크는 여기에 설명된 두 번째 데이터 집합의 수상돌기에서 시각적으로 쉽게 유추되었습니다.
그림 1: 이미지 처리 및 이미지 세분화준비. (a)메인 피지 GUI. (b)대표 결과에서 논의된 데이터 집합(i)의 누적 된 이미지의 예. 오른쪽 패널에는 사용자가 복셀 크기를 설정할 수 있는 속성이 표시됩니다. (c)단일 이미지에 적용된 파일러 및 크기 조정 작업의 예입니다. 오른쪽 패널은 이미지 중앙에서 배율을 표시합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: TrakEM2 및 ilastik. (a)TrakEM2 GUI를 사용하여 세분화 및 재구성하고 수동으로 분할된 객체(빨간색)를 사용합니다. (b) 패널로부터 내보낸 마스크는(c)반자동 세그미차질(조각)에 대한 입력(seed)으로 사용될 수 있다. ilastik에서 마스크(빨간색)를 수동 교정을 위해 TrakEM2로 더 내보낼 수 있습니다. (d)마스크를 3D 삼각형 메시로 내보내 재구성된 구조를 나타낼 수 있습니다. 이 예에서, 데이터 세트(i)로부터의 4개의 뉴런, 성상세포, 마이크로글리아 및 pericytes(대표적인 결과에서 논의)가 이 과정을 사용하여 재구성되었다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 맞춤형 도구를 사용하여 재구성된 형태에 대한 3D 분석. (a)FIB-SEM 데이터 세트(ii)에서 등방성 이미지 볼륨(대표 결과에서 설명된 대로). (b)패널에서 조밀 한 재건 a. 회색 = 축사; 녹색 = 성상 세포 과정; 파란색 = 수상 돌기. c)시냅스(dataset(i)) 및 성상세포글리코겐 과립(dataset(ii))과 같은 정량화에 대한 표적의 예를 우측 배율로 보여주는 현미경 그래프. (d)시냅스 주위의 글리코겐 과립의 분포를 나타내는 패널 c로부터마스크. (e)블렌더로부터의 글리코겐 분석 툴박스를 사용하여 패널 c로부터의데이터셋으로부터 글리코겐 분포를 정량화하였다. 오류 막대는 표준 오류를 나타냅니다. N = 4,145 글리코겐 과립. (f)GLAM의 입력 및 출력 시각화의 그래픽 그림입니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: VR에서의 분석. (a)(b)FIB-SEM 데이터 셋(ii)에서 조밀하게 재구성하는 동안 VR 헤드셋을 착용한 사용자(대표 결과에서 논의된 바와 같이). (c)패널 b에서신경염의 하위 집합에서 몰입 VR 장면. 녹색 레이저는 GLAM 피크를 가리킵니다. (d)VR에서 GLAM 피크 카운트에서 분석의 예. N = 각 막대당 3개의 마우스. 이전 간행물28에서FIB-SEM의 분석. 오류 막대는 표준 오류를 나타냅니다. *p < 0.1, 편도 ANOVA. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Discussion
여기에 제시된 방법은 FIB-SEM과 같은 고해상도 이미징 기술또는 기타 자동화된 직렬 단면화 및 이미징 기술에서 온 것이든 다중 규모의 EM 데이터 집합의 세분화 및 3D 재구성을 위한 유용한 단계별 가이드입니다. FIB-SEM은 포커스이트 이온 빔을 사용하여 5 nm의 얇은 단면을 절단함으로써 복셀 크기에서 완벽한 등방성에 도달할 수 있는 장점이 있으며, FO가 FO인 경우 절단 조직의 증착으로 인한 측면 아티팩트로 인해 FOV가 15-20 μm로 제한될 수 있습니다. V가 이 값을 초과합니다. 이러한 유물은 다이아몬드 나이프를 사용하여 현미경 챔버 내부의 직렬 섹션을 절단하는 SBEM과 같은 다른 기술을 사용하여 피할 수 있습니다. 이 후자의 경우 z 해상도는 최대 20 nm (보통, 50 nm)일 수 있지만 광대한 관심 영역에 대해 픽셀 해상도가 손상되어야하지만 FOV가 클 수 있습니다. 이러한 한계를 극복하기 위한 한 가지 해결책(배율 대 FOV)은 타일의 관심 영역을 나누고 각 영역을 더 높은 해상도로 획득하는 것입니다. 여기서는 대표 결과에 있는 SBEM 스택 데이터 집합(i)과 대표 결과에서 FIB-SEM 스택 데이터 집합(ii)의 결과를 모두 보여 주었으며.
점점 더 크고 큰 데이터 집합의 생성이 점점 더 보편화됨에 따라 픽셀 분류 및 자동화된 이미지 세분화를 위한 도구를 만드는 노력이 증가하고 있습니다. 그럼에도 불구하고, 현재까지 어떤 소프트웨어도 인간의 교정에 필적하는 신뢰성을 입증하지 못했기 때문에 시간이 얼마나 걸리더라도 여전히 필요합니다. 일반적으로 데이터 집합(ii)의 경우와 같이 다운샘플링할 수 있는 작은 데이터 집합은 교정 시간을 포함하여 일주일에 한 명의 전문가 사용자가 조밀하게 재구성할 수 있습니다.
여기에 제시 된 프로토콜은 특히 세 가지 소프트웨어 프로그램의 사용을 포함: 피지 (버전 2.0-rc-65/1.65b), ilastik (버전 1.3.2 rc2), 블렌더 (2.79), 모든 오픈 소스 및 멀티 플랫폼 프로그램 이며 무료로 다운로드. 피지는 생물학적 이미지 분석을위한 플러그인에 의해 구동 ImageJ의 릴리스입니다. 그것은 강력한 소프트웨어 아키텍처를 가지고 있으며 생명 과학자를위한 일반적인 플랫폼이며 이미지 세분화를위한 최초의 가장 널리 사용되는 플러그인 중 하나 인 TrakEM2를 포함하기 때문에 제안됩니다. 최근 많은 사용자가 경험한 한 가지 문제는 호환성 문제를 만드는 Java 6에서 Java 8로의 전환입니다. 따라서 피지가 제대로 작동 할 수 있도록 가능하면 Java 8로 업데이트하지 않는 것이 좋습니다. ilastik픽셀 분류를 위한 여러 프레임워크를 제공하는 강력한 소프트웨어로, 각 소프트웨어는 웹사이트에 문서화되고 설명되어 있습니다. EM 스택의 반자동 세분화에 사용되는 조각 모듈은 많은 시간을 절약하므로 편리하므로 과학자들은 한 번의 클릭으로 전체 신경과rite를 클릭할 때와 같이 숙련 된 사용자를 위해 수동 작업에 소요되는 시간을 몇 달에서 며칠로 줄일 수 있습니다. 몇 초 만에 세분화됩니다. 전처리 단계는 하드웨어 관점에서 매우 강렬하며, 여기에 제시된 SBEM 스택과 같은 매우 큰 데이터 집합은 26GB였으며, 메모리에 맞게 고유한 전략이 필요하며, 이는 큰 데이터 집합을 획득할 수 없기 때문에 시야와 해상도를 손상시가지않습니다. 따라서 다운샘플링은 이 경우 적절한 솔루션이 아닐 수 있습니다. 소프트웨어의 최신 릴리스는 강력한 리눅스 워크스테이션으로 몇 시간 안에 전처리를 할 수 있지만 세분화에는 몇 분정도 걸리며 스택을 스크롤하는 것은 여전히 상대적으로 느립니다. 우리는 여전히 첫 번째, 거친 세분화에 대 한이 메서드를 사용 하 고 TrakEM2를 사용 하 여 교정. 마지막으로, 블렌더는 강력한 3D 렌더링 엔진을 갖춘 3D 모델링 소프트웨어로, NeuroMorph 및 글리코겐 분석과 같은 추가 기능으로 메인 GUI에 내장될 수 있는 파이썬 스크립트로 사용자 정의할 수 있습니다. 이 소프트웨어의 유연성은 피지와 는 달리, 예를 들어, 그것은 큰 데이터 세트의 온라인 시각화를 위해 설계되지 않은 단점과 함께 제공; 따라서 큰 메시(1GB 초과)를 시각화하고 탐색하는 것은 느리고 효율적이지 않을 수 있습니다. 따라서 메시 복잡성을 줄이되 관심 있는 구조의 원래 형태를 방해하지 않도록 주의하는 기술을 선택하는 것이 좋습니다. 리메쉬 기능은 편리하며 NeuroMorph 배치 가져오기 도구의 임베디드 기능입니다. 이 함수의 문제는 원래 메시의 정점 수에 따라 최종 해상도와 관련된 octree 깊이 값을 적절하게 수정해야 한다는 것입니다. 작은 오브젝트는 작은 옥트리 깊이(예: 4)로 다시 메시할 수 있지만 동일한 값으로 더 큰 값이 필요한 큰 개체의 형태를 방해할 수 있습니다(6에서 8까지 또는 전체 셀과 같은 매우 큰 메시의 경우 9). 개체의 크기가 명확하지 않은 경우 이 프로세스를 반복하고 다른 octree 깊이를 테스트하는 것이 좋습니다.
앞에서 언급했듯이, 고려해야 할 한 가지 측면은 사용 중인 소프트웨어와 관련된 재구성 및 분석에 전념하는 컴퓨팅 성능입니다. 이 원고의 대표 결과에 표시된 모든 작업은 AMD FirePro D500 그래픽 카드, 64 GB의 RAM 및 8 코어가있는 인텔 제온 E5 CPU가 장착 된 MacPro를 사용하여 얻었습니다. Fiji에는 큰 데이터 집합을 처리하기위한 좋은 소프트웨어 아키텍처가 있습니다. 따라서 2.5 GHz 인텔 i7 CPU와 16 GB의 RAM을 갖춘 MacBook Pro와 같이 하드웨어 성능이 좋은 노트북을 사용하는 것이 좋습니다. ilastik 소프트웨어는 특히 전처리 단계에서 하드웨어 리소스 측면에서 더 까다롭습니다. 이미지 스택을 다운 샘플링하는 것은 소프트웨어의 하드웨어 요청을 제한하고 사용자가 랩톱으로 스택을 처리 할 수있는 좋은 트릭이지만 (일반적으로 x,y,z에서500 픽셀 미만인 경우), 하이 엔드의 사용을 권장합니다. 원활하게이 소프트웨어를 실행합니다. 인텔 제온 골드 6150 CPU와 16개의 코어, 500GB의 RAM이 장착된 워크스테이션을 사용합니다.
정확한 3D 재구성이 제공되면 과학자들은 원래의 현미경을 폐기하고 3D 모델에서 직접 작업하여 유용한 형태 측정 데이터를 추출하여 동일한 유형의 셀과 다양한 유형의 셀을 비교하고 VR을 활용할 수 있습니다. 형태학의 정성적 및 정량적 평가. 특히, 후자의 사용은 시각적 오클루전을 제시하는 조밀하거나 복잡한 형태(즉, 관찰자와 FI 사이에 두 번째로 3D 공간에서 관심 있는 물체의 시야의 막힘)의 분석에 도움이 되는 것으로 입증되었다. 3D로 표현하고 분석하기가 어려워지도록 합니다. 제시된 예제에서 숙련된 사용자는 데이터 집합을 관찰하고 개체를 계산하는 데 약 4시간이 걸리지 않습니다. VR 분석에 소요되는 시간은 VR 질병(자동차 질병과 어느 정도 관련이 있을 수 있음)과 같은 측면이 사용자 경험에 부정적인 영향을 미칠 수 있으므로 다를 수 있습니다. 이 경우 사용자는 다른 분석 도구를 선호하고 VR 전용 시간을 제한할 수 있습니다.
마지막으로, 이 모든 단계는 심상 스택을 생성하는 그밖 현미경 검사법 및 비 EM 기술에 적용될 수 있습니다. EM은 일반적으로 이진 마스크(신호 대 검은 색 배경)에 필적하는 형광 현미경 검사법과 비교하여 일반적으로 처리 및 세그먼트화하기 어려운 이미지를 생성하며, 원칙적으로 3D로 쉽게 렌더링할 수 있습니다. 처리해야 하는 경우가 많습니다.
Disclosures
저자는 공개 할 것이 없다.
Acknowledgments
이 작품은 과학 기술의 왕 압둘라 대학에 의해 지원되었다 (KAUST) 경쟁 연구 보조금 (CRG) P.J.M에 "뇌 에너지 대사의 통합 모델링을위한 KAUST-BBP 동맹"을 부여.
Materials
| Name | Company | Catalog Number | Comments |
| Fiji | Open Source | 2.0.0-rc-65/1.65b | Open Source image processing editor www.fiji.sc |
| iLastik | Open Source | 1.3.2 rc2 | Image Segmentation tool www.ilastik.org |
| Blender | Blender Foundation | 2.79 | Open Source 3D Modeling software www.blender.org |
| HTC Vive Headset | HTC | Vive / Vive Pro | Virtual Reality (VR) Head monted headset www.vive.com |
| Neuromorph | Open Source | --- | Collection of Blender Addons for 3D Analysis neuromorph.epfl.ch |
| Glycogen Analysis | Open Source | --- | Blender addon for analysis of Glycogen https://github.com/daniJb/glyco-analysis |
| GLAM | Open Source | --- | C++ Code For generating GLAM Maps https://github.com/magus74/GLAM |
References
- Leighton, S. B. SEM images of block faces, cut by a miniature microtome within the SEM - a technical note. Scanning Electron Microscopy. , 73-76 (1981).
- Knott, G., Marchman, H., Wall, D., Lich, B. Serial section scanning electron microscopy of adult brain tissue using focused ion beam milling. Journal of Neuroscience. 28, 2959-2964 (2008).
- Denk, W., Horstmann, H. Serial block-face scanning electron microscopy to reconstruct three-dimensional tissue nanostructure. PLOS Biology. 2, e329 (2004).
- Coggan, J. S., et al. A Process for Digitizing and Simulating Biologically Realistic Oligocellular Networks Demonstrated for the Neuro-Glio-Vascular Ensemble. Frontiers in Neuroscience. 12, (2018).
- Tomassy, G. S., et al. Distinct Profiles of Myelin Distribution Along Single Axons of Pyramidal Neurons in the Neocortex. Science. 344, 319-324 (2014).
- Wanner, A. A., Genoud, C., Masudi, T., Siksou, L., Friedrich, R. W. Dense EM-based reconstruction of the interglomerular projectome in the zebrafish olfactory bulb. Nature Neuroscience. 19, 816-825 (2016).
- Kasthuri, N., et al. Saturated Reconstruction of a Volume of Neocortex. Cell. 162, 648-661 (2015).
- Calì, C., et al. The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. PLOS ONE. 13, e0198131 (2018).
- Visual Analysis of Glycogen Derived Lactate Absorption in Dense and Sparse Surface Reconstructions of Rodent Brain Structures. Calì, C., Agus, M., Gagnon, N., Hadwiger, M., Magistretti, P. J. Eurographics Italian Chapter Conference 2017 – Smart Tools and Apps in computer Graphics, , Catania, Italy. (2017).
- Calì, C., et al. Three-dimensional immersive virtual reality for studying cellular compartments in 3D models from EM preparations of neural tissues. Journal of Comparative Neurology. 524, 23-38 (2016).
- Fiala, J. C. Reconstruct: a free editor for serial section microscopy. Journal of Microscopy. 218, 52-61 (2005).
- Cardona, A., et al. TrakEM2 software for neural circuit reconstruction. PLOS ONE. 7, e38011 (2012).
- Januszewski, M., et al. High-precision automated reconstruction of neurons with flood-filling networks. Nature Methods. 1, (2018).
- Shahbazi, A., et al. Flexible Learning-Free Segmentation and Reconstruction of Neural Volumes. Scientific Reports. 8, 14247 (2018).
- Sommer, C., Straehle, C., Köthe, U., Hamprecht, F. A. Ilastik: Interactive learning and segmentation toolkit. 2011 IEEE International Symposium on Biomedical Imaging: From Nano to Macro, Chicago, IL, , (2011).
- Holst, G., Berg, S., Kare, K., Magistretti, P., Calì, C. Adding large EM stack support. 2016 4th Saudi International Conference on Information Technology (Big Data Analysis) (KACSTIT), Riyadh, Saudi Arabia, , (2016).
- Beyer, J., et al. ConnectomeExplorer: query-guided visual analysis of large volumetric neuroscience data. IEEE Transactions on Visualization and Computer Graphics. 19, 2868-2877 (2013).
- Beyer, J., et al. Culling for Extreme-Scale Segmentation Volumes: A Hybrid Deterministic and Probabilistic Approach. IEEE Transactions on Visualization and Computer. , (2018).
- Jorstad, A., et al. NeuroMorph: A Toolset for the Morphometric Analysis and Visualization of 3D Models Derived from Electron Microscopy Image Stacks. Neuroinformatics. 13, 83-92 (2015).
- Jorstad, A., Blanc, J., Knott, G. NeuroMorph: A Software Toolset for 3D Analysis of Neurite Morphology and Connectivity. Frontiers in Neuroanatomy. 12, 59 (2018).
- Calì, C. Astroglial anatomy in the times of connectomics. Journal of Translational Neuroscience. 2, 31-40 (2017).
- Mohammed, H., et al. Abstractocyte: A Visual Tool for Exploring Nanoscale Astroglial Cells. IEEE Transactions on Visualization and Computer Graphics. , (2017).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Computers & Graphics. 74, 85-98 (2018).
- École Polytechnique Fédérale de Lausanne. NeuroMorph Analysis and Visualization Toolset. , http://neuromorph.epfl.ch (2018).
- Boges, D. GitHub - daniJb/glycol-analysis: Glycogen_analysis.py is a python-blender API based script that performs analysis on a reconstructed module of glycogen data. , https://github.com/daniJb/glyco-analysis (2018).
- Agus, M. GitHub – magus74/GLAM: Glycogen Lactate Absorption Model. , https://github.com/magus74/GLAM (2019).
- Agus, M., et al. GLAM: Glycogen-derived Lactate Absorption Map for visual analysis of dense and sparse surface reconstructions of rodent brain structures on desktop systems and virtual environments. Dryad Digital Repository. , (2018).
- Calì, C., et al. Data from: The effects of aging on neuropil structure in mouse somatosensory cortex—A 3D electron microscopy analysis of layer 1. Dryad Digital Repository. , (2018).
