본 프로토콜은 원내 저온 전자 현미경(cryo-EM) 시설의 IT 인프라를 설계하고 운영하기 위한 실질적인 프레임워크를 제공합니다. 시설 계획, 네트워크 아키텍처, 스토리지, GPU 컴퓨팅, 원격 접속 및 실시간 데이터 처리를 다루며, 이를 통해 확장 가능하고 지속 가능하며 고성능의 cryo-EM 운영을 보장하는 동시에 수 테라바이트 규모의 데이터 세트를 효율적으로 관리할 수 있도록 합니다.
이 논문에서
요약
초록
초저온 전자현미경(Cryo-EM)은 생체 거대분자의 고해상도 구조 결정을 위한 지배적인 방법이 되었습니다. 전 세계적으로 기관 내 Cryo-EM 시설의 수가 증가함에 따라 지속적인 과제가 제기되었는데, 바로 이러한 시설을 지원하는 데 필요한 데이터 인프라가 통상적으로 계획 단계에서 과소평가된다는 점입니다. 직접 전자 검출기(DED)와 결합된 현대적인 Cryo-EM 장비는 하루에 2~5 TB의 원시 데이터를 생성하며, 20명의 사용자가 이용하는 시설은 단일 운영 연도 내에 약 2 PB의 데이터를 축적할 수 있습니다. 이 데이터를 처리하려면 전용 GPU 컴퓨팅 노드, 고속 내부 네트워킹 및 강력한 장기 보관 전략이 필요하며, 이 모든 것은 데이터 수집이 시작되기 전에 갖춰져야 합니다. 본 프로토콜은 자체 Cryo-EM 시설의 IT 및 계산 설계를 위한 통합 프레임워크를 제시합니다. 물리적 시설 요구 사항(실 설계, 전력, 냉각 및 진동 격리), 장비 선정(현미경, DED 및 지원 기기), 그리고 네트워크 스위치 구성, 스토리지 서버 선정 및 규모 산정, GPU 컴퓨팅 노드 프로비저닝, 원격 접속 아키텍처를 포함한 전체 계산 스택을 다룹니다. 이어서 업계 표준 도구를 사용하여 데이터 수집 중 실시간으로 수행되는 모션 보정, 대비 전달 함수(CTF) 추정, 입자 선택 및 2D 분류를 포함하는 즉시 데이터 처리 파이프라인을 구현하기 위한 상세 프로토콜을 제공합니다. 외부 사용자를 위한 데이터 전송 전략 또한 다룹니다. 본 가이드는 문헌상의 중요한 공백을 메우며, 연구자와 관리자가 첫날부터 계산적으로 준비된 Cryo-EM 시설을 구축할 수 있도록 도울 것입니다.
서론
cryo-EM 분해능 혁명은 결정화 과정 없이도 단백질, 핵산 및 거대분자 복합체의 원자 수준 분해능 시각화를 가능하게 하여 구조 생물학을 변화시켰습니다1,2. 이러한 변화를 이끈 세 가지 기술적 진보는 높은 프레임 속도를 가진 DED의 개발, 전자 광학 및 현미경 기계 장치의 개선, 그리고 GPU 가속 이미지 처리 소프트웨어의 최적화였습니다3,4,5,6. 이러한 진보들이 결합되어 cryo-EM은 점점 더 많은 구조 생물학 연구자들이 선택하는 주요 방법이 되었습니다.
cryo-EM 이용 수요가 증가함에 따라 대규모 국가 센터와 소규모 기관 시설 모두에 상당한 투자가 이루어졌습니다. 미국의 NCCAT, S2C2, PNCC, MCCET 및 유럽의 eBIC, NeCEN, SciLifeLab와 같은 국가 센터3,5,6는 승인된 프로젝트를 위해 최첨단 장비에 대한 접근성을 제공합니다. 내부 시설은 더 빠른 처리 시간과 사용자-직원 간의 긴밀한 상호작용을 통해 반복적이고 프로젝트 특화된 연구를 지원함으로써 이러한 자원을 보완합니다. 그러나 기능적인 내부 시설을 구축하려면 단순히 현미경을 구매하는 것 이상의 노력이 필요합니다. 지원 IT 인프라 또한 동일하게 중요하며, 인프라의 부족은 새로운 시설의 운영 실패를 초래하는 주요 원인이 됩니다6.
단일 고성능 cryo-EM 세션은 24시간 동안 2–5 TB의 원시 movie 데이터를 생성할 수 있습니다. 다수의 현미경과 사용자가 있을 경우, 데이터 부담은 빠르게 페타바이트 규모에 도달합니다. 이러한 데이터를 처리하려면 데이터 수집과 동시에 작동해야 하는 GPU 가속 파이프라인이 필요합니다7,8. 전처리가 지연되면 데이터 품질에 대한 피드백이 늦어지고 장비 시간이 낭비됩니다. 이러한 현실에도 불구하고, cryo-EM 시설 관리에 대해 출판된 대부분의 가이드는 IT 구성 요소에 거의 주의를 기울이지 않으며, 전체 데이터 인프라를 구축하고 검증하기 위한 단계별 운영 프로토콜을 제공하는 사례는 없습니다.
본 프로토콜은 이러한 공백을 해결하기 위한 것입니다. 우리는 시설 구축을 위한 물리적 및 기술적 요구 사항, 현미경 및 검출기 선택 기준, 그리고 무엇보다도 초저온 전자현미경(cryo-EM) 시설을 운영 가능하게 만드는 IT 백본의 설계 및 구현에 대해 설명합니다6. 특히 실시간 데이터 처리에 주목합니다. 이는 데이터 수집 중에 동시에 수행되는 자동화된 전처리를 통해 실시간 품질 관리가 가능하게 하고, 수집 결정을 안내하며, 세션 후 처리 시간을 획기적으로 단축시킵니다9,10,11. 이 프로토콜을 통해 시설 개발자는 광범위한 과학 커뮤니티에 지속 가능하고 효율적으로 서비스를 제공하는 완전하고 통합된 cryo-EM 운영 체계를 구축할 수 있을 것입니다.
프로토콜
본 프로토콜 전반에 걸쳐 사용된 장비, 소프트웨어 및 재료에 대한 상세 정보는 재료 표에 제공되어 있습니다.
1. 물리적 시설 설계, 인력 및 인프라 계획
- 위치 평가를 수행하십시오. 다음 조건을 충족하는 건물 부지를 선정하십시오: 진동 격리 바닥(주변 진동 수준이 이상적으로는 < 1 µm/s 1–100 Hz에서의 RMS); 자기장 안정성(< 1 mG/m 공간 구배 및 < 0.1 mG/m의 시간적 변동(300 kV 장비 기준); 안정적인 실온(18–22 °C ~와 함께 (또는 문맥에 따라: ~를 사용하여, ~를 동반한) < 0.5 °C 변동); 습도 제어(40–60% RH); 및 낮은 음향 소음(<50 dB). 계획 단계 초기부터 현미경 제조사의 설치 요구 사항을 확인하십시오.
참고: 기존의 방을 개보수하는 비용은 신축 비용만큼 많이 들 수 있습니다. 경험적인 기준으로, 실내 준비 비용으로 현미경 구입 가격의 약 20%를 예산으로 책정하십시오. - 다음과 같이 기능적 구역 간의 공간적 분리가 명확하도록 시설 배치를 설계하십시오: (a) 저온 투과 전자 현미경(cryo-TEM)을 위한 현미경실, (b) 그리드 처리 및 보관을 위한 시료 준비 전실, (c) 냉각기, 무정전 전원 공급 장치(UPS) 및 현미경 냉각 시스템이 설치된 제어실, (d) 저장 및 컴퓨팅 인프라를 위한 별도의 서버실 또는 데이터 센터.
참고: 아래의 제어실을 유지하십시오. 26 °C 항상 전용 백업 전원과 냉각 장치를 제공하십시오. 제어실의 온도 이탈은 현미경 가동 중단의 흔한 원인이 됩니다. - 전력 인프라를 계획하십시오. 고성능 저온 투과전자현미경(cryo-TEM)을 위한 전용 3상 전원 회로를 설치하십시오. 모든 현미경, 카메라 및 서버 장비를 지정된 보호 전력 인프라에 연결하십시오. 정전 시에도 현미경 작동과 냉각수 흐름을 유지할 수 있는 비상 발전기를 포함하도록 기관의 시설 관리 팀과 협의하십시오.
참고: 초저온 전자현미경(cryo-EM) 시설 내의 여러 장비는 안전한 전원 사이클링(power cycling)을 위해 하루 이상의 시간이 소요될 수 있습니다. 계획되지 않은 전원 손실은 민감한 회로 기판을 손상시키고 진행 중인 데이터 수집 세션의 손실을 초래할 수 있습니다. - 전자현미경 및 관련 하드웨어를 위한 냉각수 시스템을 설치하십시오. 자동 전환 기능이 포함된 백업 냉각수 회로를 구축하십시오. 현미경의 통합 모니터링 시스템 또는 전용 센서 어레이를 사용하여 유량, 온도 및 전도도를 지속적으로 모니터링하십시오.
- 건축 또는 리모델링 단계에서 현미경실과 서버실 사이에 광섬유 케이블 경로를 설치하십시오. 최소 OM4 멀티모드 또는 OS2 싱글모드 광섬유를 지정하고, 충분한 여유 길이를 확보하며 양 끝단에 라벨이 부착된 패치 패널을 설치하십시오.
참고: 광섬유를 사전에 설치하는 것이 사후에 개조하는 것보다 훨씬 경제적입니다. - 기기 유지보수, 사용자 교육, 일정 관리, 시료 최적화 및 데이터 획득 지원을 수행할 전담 현미경 운영자 또는 시설 과학자를 배치하십시오. 인프라, 네트워크 성능, 사이버 보안, 데이터 백업, 소프트웨어 배포, GPU 컴퓨팅 리소스 및 사용자 원격 접속 관리를 담당할 전담 IT 인력을 배치하십시오.
- 제공되는 사용자 지원 수준과 계산 인프라의 복잡성에 따라 필요한 인력 규모를 결정하십시오. UCSC Biomolecular cryo-EM Facility와 같은 소규모 시설에서는 이러한 책임을 계산 전문 지식을 갖춘 시설 관리자나 기관의 중앙 IT 서비스 부서에서 분담할 수 있습니다. 하지만 현미경의 수, 사용자 수 및 연간 데이터 수집 세션 수가 증가함에 따라 전문 인력의 필요성이 점차 커집니다.
- 다수의 초저온 투과전자현미경(cryo-TEM)을 운영하는 시설에 전담 IT 지원을 제공하여, 중단 없는 데이터 수집, 효율적인 데이터 관리 및 확장 가능한 컴퓨팅 자원을 확보하십시오. 시설 개발 초기 단계부터 강력한 IT 인프라와 전문 인력에 투자함으로써 운영 중단 시간을 최소화하고, 향후 확장을 용이하게 하며, 성장하는 사용자 커뮤니티와 점점 더 데이터 집약적이 되는 초저온 전자현미경(cryo-EM) 워크플로우를 지원할 수 있는 지속 가능한 체계를 구축하십시오.
2. 현미경 및 검출기 선택
- 현미경을 선택하기 전에 시설의 기본 과학적 임무를 정의하십시오. 다음 사항을 고려하십시오: (a) 기본 워크플로우가 단일 입자 분석(SPA), 저온 전자 토모그래피(cryo-ET), 미세 전자 회절(microED) 또는 이들의 조합인지 여부; (b) 예상 사용자 층의 규모와 프로젝트의 다양성; (c) 장비 도입 및 지속적인 서비스 계약을 위한 예산 제약.
- 의도한 응용 분야에 따라 사용 가능한 cryo-TEM 플랫폼을 평가하십시오. 고해상도 SPA 및 서브토모그램 평균화(STA)의 경우 300 kV 장비를 고려하십시오. 스크리닝 및 중해상도 데이터 수집의 경우 200 kV 장비를 고려하십시오. 스크리닝 기능이 있는 저비용 진입점으로는 100–120 kV를 평가하십시오(표 1에 요약됨).
참고: 사양서는 자주 변경됩니다. 장비 결정을 확정하기 전에 항상 제조업체에 직접 현재 구성 세부 정보와 가격을 요청하십시오. - 현미경 및 응용 분야에 맞는 DED를 선택하십시오. Thermo Fisher Scientific (TFS) 장비에서 고해상도 SPA를 수행하는 경우, 현재 Krios 및 Glacios 시리즈에서는 Falcon 4i가 기본 옵션입니다.
- JEOL CryoARM 장비의 경우 Gatan K3가 우수한 감도와 프레임 속도를 제공합니다. SPA와 microED를 모두 목표로 하는 시설의 경우, 전자 회절 데이터 수집 모드와의 검출기 호환성을 확인하십시오(표 2).
참고: DED는 시설에서 가장 비용이 많이 드는 구성 요소 중 하나이며 데이터 품질과 저장 요구 사항에 상당한 영향을 미칩니다. 예를 들어, Electron Event Register (EER) 모드는 기존의 압축 형식보다 실질적으로 더 큰 원시 파일을 생성하므로 비례적으로 더 많은 저장 공간과 네트워크 대역폭이 필요합니다. - cryo-EM 장비 구성을 선택할 때 에너지 필터의 역할을 평가하십시오. 에너지 필터는 이미지 품질, 검출기 선택 및 전반적인 시스템 성능에 큰 영향을 미칠 수 있습니다. 비탄성 산란 전자를 제거함으로써 에너지 필터는 대비와 신호 대 잡음비를 개선하며, 이는 특히 까다로운 시료, 고해상도 SPA(유용), cryo-ET(필수) 및 microED(유용) 응용 분야에 유익합니다.
- 장비 선택 과정에서 사용 가능한 에너지 필터 시스템을 평가하십시오. Gatan Bioquantum 및 Biocontinuum 또는 Thermo Fisher Scientific Selectris 및 SelectrisX 시스템은 구성에 따라 일반적으로 약 US$0.3–1.5M의 비용이 듭니다.
- 최종 장비 구성을 선택하기 전에 검출기 성능, 시설 목표 및 예상 사용자 응용 분야와 결합된 에너지 필터의 추가 비용과 복잡성을 평가하십시오.
- 총 도입 비용을 계산할 때 서비스 계약을 고려하십시오. 서비스 계약은 일반적으로 현미경, 에너지 필터, 검출기 및 수냉 시스템을 포함합니다.
- 장비 구매 시 응답 시간 보장 및 대여 부품 가용성을 포함한 서비스 계약 조건을 협상하십시오. 서비스 보장을 위해 매년 장비 구매 가격의 8–15%를 예산으로 책정하십시오.
3. 네트워크 아키텍처 설계 및 구현
- 핵심 고속 스위치를 중심으로 내부 시설 네트워크를 설계하십시오. 현미경 컨트롤러, 카메라 컨트롤러(종종 별도의 워크스테이션으로 구성됨), 스토리지 서버 및 GPU 컴퓨팅 노드를 포함하여, 데이터를 생성하고 소비하는 모든 장치를 지원 가능한 최고 속도로 이 스위치에 직접 연결하십시오.
- 각 장치에 최소 10 Gbps의 연결을 제공하십시오. 예산이 허용되는 경우, 스위치와 스토리지 및 컴퓨팅 노드 간에 25 Gbps 이상의 업링크를 구성하십시오.
참고: 1 Gbps 속도에서 20 TB의 원시 데이터를 전송하는 데는 2~3일이 소요됩니다. 10 Gbps 속도에서는 동일한 전송에 5~6시간이 걸리며, 25 Gbps 속도에서는 약 2시간이 소요됩니다. 네트워크 속도는 실시간 처리가 데이터 획득 속도를 따라갈 수 있는지 여부를 직접적으로 결정합니다. - 코어 스위치를 지정하십시오. 요구 사항은 다음과 같습니다: (a) 전체 라인 속도에서 논블로킹(non-blocking) 스위칭 패브릭 구현, (b) 모든 시설 장비를 수용할 수 있는 충분한 SFP+ 또는 QSFP 포트 확보, (c) 매니지드 스위치 기능(VLAN 지원, 트래픽 모니터링, 진단을 위한 포트 미러링), (d) 이중화 전원 공급 모듈. 논블로킹 스위칭 패브릭, 충분한 고속 포트, 트래픽 관리 기능 및 이중화 전원 공급 장치를 제공하는 엔터프라이즈급 매니지드 스위치를 선택하십시오.
- 다음과 같이 VLAN을 사용하여 네트워크를 세그먼트하여 분리하십시오. (a) 데이터 수집 VLAN (현미경 및 카메라 컨트롤러, 스토리지 서버), (b) 연산 VLAN (GPU 워크스테이션 및 클러스터 노드), (c) 관리 VLAN (원격 접속, 모니터링, 관리).
참고: 네트워크 세그멘테이션은 브로드캐스트 트래픽을 줄이고 보안을 향상시키며, 각 하위 시스템의 독립적인 문제 해결을 가능하게 합니다. - 코어 스위치의 전용 업링크 포트를 통해 시설 네트워크를 기관 WAN에 연결하십시오. 원격 접속 및 외부 데이터 전송을 위해서는 캠퍼스 네트워크로 연결되는 1~10 Gbps 업링크면 충분합니다.
- 시설 내 모든 접근 가능 장치에 대해 고정 IP 주소, DNS 항목 및 적절한 방화벽 규칙을 할당할 수 있도록 기관 IT 부서와 협의하십시오.그림 1).
- 모든 네트워크 케이블 경로를 설치하고 라벨을 부착하십시오. 100m 이내의 10Gbps 이상 연결에는 직접 연결 케이블(DAC) 또는 액티브 광케이블(AOC)을 사용하십시오(100m 이내의 10Gbps 연결에는 차폐 Cat6A 케이블도 사용 가능합니다). 랙 간 25Gbps 이상의 링크에는 사전 성형된 파이버 어셈블리(LC-LC 또는 MTP)를 사용하십시오.
- 장치 이름, IP 주소, 포트 할당 및 VLAN 멤버십을 명시한 네트워크 다이어그램을 포함하여 전체 케이블링 구성도를 문서화하십시오.
참고: 다음을 참조하십시오. 그림 2 소규모 저온 전자현미경(cryo-EM) 시설을 위한 권장 최소 네트워크 토폴로지 도식.
4. 저장 서버 설계 및 구축
- 하드웨어를 조달하기 전 저장 용량 요구 사항을 계산하십시오. 기준점으로, 고사양 cryo-EM 세션 하나당 하루에 2–5 TB의 원시 데이터가 생성됩니다.
- 예상되는 시설 이용도를 바탕으로 장기 저장 요구 사항을 추정하십시오. 현미경 2대를 운영하는 20인 규모의 시설은 운영 3–6개월 내에 약 2 PB의 데이터를 생성할 수 있습니다. 처리된 데이터셋은 흔히 원시 입력 데이터보다 10–20배 더 크므로, 원시 데이터 저장소(단기, 고처리량)와 처리 데이터 저장소(중기, 대용량)를 모두 계획하십시오.
- 견고한 저장 아키텍처를 선택하십시오. 대부분의 시설에는 가성비가 좋고, 데이터 무결성 검증(checksumming) 기능이 내장되어 있으며, 유연한 RAID 동등 구성(RAIDZ, RAIDZ2) 및 스냅샷 기능을 제공하는 독립형 ZFS 기반 서버가 권장 시작점입니다. 클러스터형 분산 파일 시스템(Gluster, Ceph, GPFS/IBM Spectrum Scale)은 더 높은 성능과 확장성을 제공할 수 있지만, 여러 대의 물리적 서버와 더 복잡한 관리가 필요합니다.
- ZFS 저장 풀을 구성하십시오. 권장 시작 구성은 두 개의 RAIDZ2 vdev(각각 6–8개의 고용량 SAS HDD, 개당 16–20 TB로 구성)이며, 이는 드라이브 2개가 동시에 고장 나더라도 보호가 가능하며 약 60–70%의 가용 용량을 제공합니다.
- 활성 처리 작업의 무작위 읽기 성능을 가속화하기 위해 2–4개의 NVMe SSD를 사용하여 전용 SSD 쓰기 캐시(L2ARC) vdev를 추가하십시오.
참고: 운영 저장소 어레이에 소비자용 SATA 드라이브를 사용하지 마십시오. cryo-EM 워크플로의 지속적인 무작위 I/O 패턴을 위해서는 정격 작업 부하 용량(예: 550 TB/year)을 갖춘 엔터프라이즈 SAS 또는 NL-SAS 드라이브가 필수적입니다. - ZFS 저장 서버에 NFS export(Linux 클라이언트용) 및 SMB 공유(Windows 클라이언트용)를 구성하십시오. 중간 복사본 없이 데이터에 직접 액세스할 수 있도록 모든 GPU 컴퓨팅 노드와 카메라 컨트롤러 워크스테이션에 기본 데이터 공유 폴더를 마운트하십시오.
- 데이터 보존 및 수명 주기 정책을 수립하십시오. 다음 사항을 정의하십시오: (a) 원시 movie 보존 기간(통상적으로 수집 후 3–6개월); (b) 모션 보정된 micrograph 보존; (c) 최종 처리된 데이터셋 보존(출판 전까지 무기한); (d) 완료된 프로젝트의 아카이브 절차.
- 저장소 사용량이 용량의 70%를 초과할 때 자동 알림을 구현하여 추가 저장소를 적시에 조달할 수 있도록 하십시오.
참고: 저장소는 cryo-EM 시설 계획에서 가장 흔하게 과소평가되는 비용 항목입니다. 현미경 도입 승인을 적절한 저장소 예산 확보와 혼동하지 마십시오. 저장소 조달은 데이터 수집 시작 후가 아니라 장비 설치와 병행하여 계획되어야 합니다.
5. GPU 컴퓨팅 인프라
- 예상 처리량을 기준으로 컴퓨팅 요구 사항을 결정합니다. 24시간 세션당 3,000–5,000장의 마이크로그래프를 생성하는 단일 현미경의 경우, 데이터 수집 속도에 맞춰 즉각적인 전처리를 유지하기 위해 각각 4x NVIDIA GPU 카드(Maxwell 또는 최신 버전, 11+ GB VRAM, 예: RTX 3090, RTX 4090 또는 A100)가 장착된 최소 2개의 컴퓨팅 노드가 필요합니다.
- 더 큰 규모의 시설이나 틸트 시리즈 볼륨이 많은 cryo-ET 워크플로우의 경우 추가 노드를 할당하십시오.
- GPU 컴퓨팅 노드 하드웨어를 지정합니다. 각 노드에는 다음이 포함되어야 합니다: (a) CUDA를 지원하는 4x NVIDIA GPU(CryoSPARC 및 RELION 3D 정밀화 작업을 위해 GPU당 최소 24 GB VRAM); (b) 병렬 CPU 바운드 단계(CTF 추정, 파일 I/O)를 지원하기 위한 고코어 CPU(AMD EPYC 또는 Intel Xeon, ≥32 cores); (c) ≥256 GB 시스템 RAM; (d) 활성 작업 중간 데이터를 위한 2–4 TB NVMe SSD 로컬 스크래치 공간; (e) 10/25 Gbps 네트워크 인터페이스 카드(NIC); (f) 작업 데이터 세트를 위한 충분한 로컬 저장소(통상적으로 RAID 볼륨). 참고: 소비자용 GPU(RTX 4090)는 cryo-EM 워크로드에서 기업용 대안(A100)보다 훨씬 낮은 비용으로 대등한 성능을 제공할 수 있습니다. 메모리 액세스 패턴이 고대역폭 메모리 GPU에 유리하므로 CryoSPARC 및 RELION의 벤치마크를 구체적으로 평가하십시오.
- 각 컴퓨팅 노드에 NVIDIA 드라이버 스택, CUDA 툴킷(CryoSPARC 및 RELION과 호환되는 버전) 및 cuDNN을 설치합니다. 구성 관리 도구를 사용하여 모든 노드의 소프트웨어 환경을 표준화하고 향후 업데이트를 간소화하십시오.
- CryoSPARC를 단독 또는 클러스터 구성으로 배포합니다. 멀티 노드 시설의 경우, 전용 헤드 노드에 CryoSPARC-master를 설치하고 각 GPU 컴퓨팅 노드에 CryoSPARC-worker를 설치하십시오.
- 여러 사용자가 동시 처리 작업을 제출할 수 있도록 작업 스케줄링을 구성합니다. 최소 시스템 요구 사항 및 네트워크 구성에 대해서는 공식 CryoSPARC 아키텍처 문서를 참조하십시오.
- 사용자에게 두 가지 처리 생태계를 모두 제공하기 위해 기본 처리 플랫폼과 함께 RELION을 설치합니다. 스케줄러(SLURM 또는 PBS/Torque)를 통해 로컬 컴퓨팅 노드를 사용하도록 소프트웨어를 구성하십시오.
- 부수적인 도구들을 설치합니다: MotionCor2(모션 보정), CTFFIND4 및 Gctf(CTF 추정), TOPAZ(머신러닝 기반 입자 피킹), crYOLO(신경망 입자 피커) 및 cryoDRGN(이질성 분석). SPA, cryo-ET, STA 및 microED에 사용할 수 있는 소프트웨어 패키지 개요는 표 3을 참조하십시오.
- SBGrid 컨소시엄 배포 또는 컨테이너 기반 소프트웨어 관리(HPC 환경의 경우 Singularity/Apptainer, 워크스테이션의 경우 Docker)를 사용하여 재현 가능하고 버전이 지정된 소프트웨어 환경을 유지하십시오.
참고: SBGrid는 학술 기관을 위해 자동 업데이트 관리가 포함된 모든 주요 cryo-EM 소프트웨어 도구의 사전 컴파일 및 검증된 빌드를 제공합니다.
6. 원격 접속 인프라
- 모든 외부 사용자 및 직원을 위한 기본 보안 진입점으로 VPN 기반 원격 접속을 구축하십시오. 기관 IT 부서와 협력하여 장치들이 일반 공인 인터넷에 노출되지 않으면서 시설의 컴퓨팅 및 스토리지 네트워크에 액세스할 수 있도록 시설 전용 VPN 프로필 또는 터널을 프로비저닝하십시오.
- 모든 원격 접속 지점에 2단계 인증(2FA)을 구현하십시오(그림 2).
- 현미경 컨트롤러 및 GPU 워크스테이션의 그래픽 액세스를 위해 원격 데스크톱 소프트웨어를 배포하십시오. 권장 옵션: (a) TeamViewer (상용, 크로스 플랫폼, NAT 통과 가능—현미경 컨트롤러 액세스에 적합); (b) NoMachine (상용, 크로스 플랫폼, OpenGL 3D 그래픽 포워딩 지원—시각화 도구를 실행하는 GPU 워크스테이션에 권장); (c) TurboVNC 및 VirtualGL (오픈 소스, Linux 전용, 원격 3D 렌더링 지원).
참고: 많은 cryo-EM 시각화 도구는 3D 렌더링을 위해 OpenGL을 사용합니다. 표준 X11 포워딩은 하드웨어 가속 OpenGL을 지원하지 않습니다. 이러한 애플리케이션에는 NoMachine 또는 VirtualGL/TurboVNC를 사용하십시오. - 현미경 데이터 획득 소프트웨어에 대한 원격 액세스를 구성하십시오. 기관 VPN을 통해 원격으로 운영하려면 Leginon 또는 SerialEM을 사용하십시오. 현미경 획득 소프트웨어는 승인된 원격 데스크톱 애플리케이션을 통해 원격으로 액세스할 수 있습니다.
- 사용자 운영을 시작하기 전에 대표적인 외부 위치(홈 네트워크, 협력 기관)에서 원격 연결성을 테스트하십시오(표 4).
- 직원과 사용자가 데이터 수집 상태, 전처리 결과, 스토리지 사용량 및 컴퓨팅 큐 상태를 원격으로 모니터링할 수 있도록 웹 기반 시설 모니터링 대시보드를 설정하십시오. Leginon에는 웹 모니터링 인터페이스가 내장되어 있습니다.
- CryoSPARC 워크플로우의 경우, 파이프라인 로그 출력 및 시스템 모니터링 도구(Prometheus, node_exporter)로부터 데이터를 공급받는 Grafana 또는 사용자 정의 웹 대시보드를 구성하십시오.
- 외부 사용자를 위한 데이터 전달 메커니즘을 구축하십시오. 시설 스토리지에 Globus Connect Server와 같은 인증된 데이터 전송 서비스를 구성하십시오.
- Globus 액세스 권한이 없는 사용자를 위해 체크섬이 기록된 USB 하드 드라이브 배송 절차를 준비하십시오. 외부 사용자가 수 TB 규모의 데이터셋을 실질적으로 직접 다운로드하려면 10 Gbps 인터넷 업링크가 필요합니다.
7. 실시간 데이터 처리 워크플로우: 구현
- 각 데이터 수집 세션 전에 데이터 흐름 경로를 미리 설정하십시오. 다음 사항을 확인하십시오: (a) 카메라 컨트롤러가 raw movie 파일을 시설의 NFS 마운트 고성능 저장소에 직접 기록하는지, (b) NFS 공유 폴더가 모든 GPU 계산 노드에 마운트되어 있으며 접근 가능한지, (c) 계획된 세션을 위한 충분한 빈 저장 공간이 있는지(24시간 SPA 세션의 경우 최소 5TB의 여유 공간 필요), (d) GPU 계산 노드를 사용할 수 있으며 리소스 경쟁을 유발할 장시간 실행 작업이 없는지 확인하십시오.
- 이득 참조 보정(gain reference correction)을 설정하십시오. 각 세션 전에 검출기 제조사의 지침에 따라 이득 참조 이미지(통상적으로 그리드의 빈 영역에 빔을 조사하여 획득한 블랭크 이미지)를 획득하십시오.
- 게인 참조 파일을 지정된 전처리 입력 디렉토리에 배치하십시오. 모든 모션 보정 소프트웨어(MotionCor2, RELION 자체 구현 방식)는 올바르게 설정된 경우 이 참조 파일을 자동으로 적용합니다.
- CryoSPARC-Live를 사용하여 실시간 전처리를 수행하는 파이프라인을 실행하십시오(실시간 시각화를 위해 권장됨). 파이프라인은 출력 디렉토리에 첫 번째 무비(movie) 파일들이 나타나면 시작해야 하며, 이는 일반적으로 자동 데이터 수집 시작 후 처음 5~10분 이내에 이루어집니다.
참고: CryoSPARC-Live는 지정된 디렉토리를 지속적으로 모니터링하여 새로운 무비 파일을 감지하고, 파일이 도착하는 즉시 이를 처리합니다. 핵심적인 차이점은 CryoSPARC-Live가 모니터링을 위한 실시간 대화형 웹 인터페이스를 제공한다는 점입니다. - CryoSPARC-Live 워크플로우
- 웹 인터페이스에서 새 프로젝트 또는 기존 프로젝트로 이동하여 새로운 라이브 세션을 생성하십시오.11,36.
- 입력 소스를 설정하십시오. 카메라 컨트롤러가 기록 중인 디렉토리 경로('감시 폴더'), Raw 동영상 파일과 일치하는 파일 패턴(예: Falcon 4i 데이터의 EER 형식의 경우 *.tif, *.mrc 또는 *.eer), 그리고 이득 참조 파일(gain reference file) 경로를 지정하십시오.
- 모션 보정 파라미터를 설정하십시오: 사용할 프레임 수, 패치 기반 모션 보정(권장 사항: 5x5 패치), 출력 비닝 인자(통상적으로 나이퀴스트 한계 부근에서 데이터 수집 시 1, 초기 스크리닝 시 2), 그리고 프레임당 전자 선량(총 선량과 프레임 수로부터 계산)이 포함됩니다.
- CTF 추정 매개변수를 설정하십시오: 피팅을 위한 최소 및 최대 해상도 (일반적으로 30 Å 및 4 Å), 디포커스 탐색 범위 (0.5–5 µm (SPA에 권장됨) 및 허용 가능한 최대 난시도를 설정하십시오. cryo-ET 데이터셋에 대해 틸트별 CTF 추정을 활성화하십시오.
- 입자 피킹(particle picking) 구성: 피킹 방법(초기 세션에는 blob picker, 양질의 2D 클래스가 처음 확보된 이후에는 template picker, 까다로운 시료에는 TOPAZ picker 선택)을 선택하십시오. 예상 입자 직경과 최소/최대 입자 간격을 설정하십시오.
- 저장 공간 요구량, 데이터 전송 부하 및 계산 비용을 상당히 줄이기 위해, 입자 추출 시 4배율의 푸리에 크롭핑(Fourier cropping)을 수행하여 물리적 픽셀 크기를 4배로 늘리는 것을 권장합니다. 일상적인 데이터 품질 평가를 위해서는 3~5 사이의 중간 해상도가 Å 실시간 처리 과정에서 일반적으로 충분합니다.
- 라이브 세션 내에서 2D 분류(2D classification)를 활성화하십시오. 2D 클래스 수(통상 50~200개), 증분 업데이트를 위한 배치 크기(입자 200~500개), 그리고 분류를 위한 해상도 제한(6~8 Å)을 설정하십시오. Å (초기 평가용).
- 라이브 세션을 시작하십시오. 다음 사항을 확인하기 위해 실시간 대시보드를 모니터링하십시오: 유입되는 무비 수 및 속도, 모션 보정 품질(무비당 총 모션—다음의 경우 무비 거부) >30 Å 전체 이동 거리(경험적 기준), CTF 피팅 품질(CTF 피팅 해상도가 낮은 마이크로그래프는 제외) >6–8 Å), 마이크로그래프당 입자 수득률, 그리고 점진적으로 개선되는 2D 클래스 평균의 품질.
- 자동 큐레이션을 위한 수락 임계값을 설정하십시오. 필터(Filters) 패널에서 움직임(전체 움직임 컷오프), CTF 품질(적합 해상도 컷오프) 및 디포커스 범위(극심한 언더포커스 또는 오버포커스 마이크로그래프 제외)에 대한 거부 기준을 정의하십시오. 큐레이션된 입자들은 후속 2D 분류 작업으로 자동 전송됩니다.
8. 데이터 수집 중 실시간 품질 관리 및 피드백
- 세션 전반에 걸쳐 CTF 통계를 지속적으로 모니터링하십시오. 각 마이크로그래프의 디포커스 값을 플롯하십시오. 분포는 의도한 디포커스 범위(통상 −0.5에서 −3.0 µm (SPA용).
- 더 높은 디포커스(defocus) 값으로의 체계적인 드리프트는 스테이지 드리프트 또는 유센트릭 높이(eucentric height) 보정 오류를 나타낼 수 있습니다. CTF 적합 해상도가 6Å 미만으로 저하될 경우 즉시 시설 담당자에게 알리십시오. Å이는 일반적으로 얼음 오염, 빔 불안정성 또는 조치가 필요한 초점 드리프트를 나타내기 때문입니다.
- 모션 보정 결과물을 모니터링하십시오. 영상당 총 프레임 내 움직임(total in-frame motion)은 10–30 미만이어야 합니다. Å 고품질의 데이터를 얻기 위해, 초기 프레임에서 나타나는 체계적인 높은 움직임은 예상되는 현상이며 이를 보정합니다. 하지만 영상 전반에 걸쳐 높은 움직임이 지속되는 경우 (>40 Å (전체적으로) 기계적 스테이지의 불안정성 또는 시료의 차징(charging) 현상을 나타낼 수 있으며, 이에 대한 조사가 필요합니다.
- 세션 동안(매 30~60분마다) 업데이트되는 2D 클래스 평균(class averages)을 확인하십시오. 고품질 데이터셋의 지표는 다음과 같습니다: 이차 구조 특징이 나타나는 클래스 평균, 입자의 뚜렷하고 다양한 뷰, 그리고 적층 또는 응집 아티팩트의 부재.
- 개입이 필요한 지표를 모니터링하십시오: 모든 입자가 특징 없는 '정크(junk)' 클래스로 분류되는 경우(시료 또는 얼음의 품질 저하를 시사함), 특정 뷰(view)가 완전히 결여된 경우(우선 배향을 시사하며, 그리드 최적화가 필요할 수 있음), 또는 마이크로그래프당 입자 수득률이 매우 낮은 경우입니다.
- 모든 관찰 내용을 구조화된 세션 로그에 기록하십시오. 세션 시작 및 종료 시간, 현미경 및 카메라 설정, 실시간 통계 요약(수집된 총 동영상 수, CTF 필터 통과 비율, 모션 필터 통과 비율, 선택된 총 입자 수, 2D 클래스 평가) 및 수행된 모든 조치 사항을 기록하십시오. 이 로그는 사후 품질 평가 및 시설 성능 보고에 필수적입니다.
- 세션 종료 시, 데이터 품질 요약 보고서를 생성하십시오. 실시간 처리 플랫폼에서 세션 요약본이 자동으로 내보내집니다.
참고: 요약 및 보고서를 생성하는 또 다른 방법은 Vitreum과 같은 AI 도구를 사용하는 것입니다. UCSC Biomolecular Cryo-EM Facility에서는 실험실 워크플로우와 실험 문서 관리를 위해 Vitreum 플랫폼을 사용합니다. Vitreum은 실험 단계를 실시간으로 기록하고, 프로토콜 수준의 제약 사항을 적용하며, predefined quality criteria(사전 정의된 품질 기준)에 따라 워크플로우 실행 여부를 검증하고, 실험실 활동에 대한 감사 가능한 기록을 제공합니다. 이 플랫폼은 실험실 운영을 시설의 계산 및 데이터 관리 인프라와 통합함으로써 수동 기록 유지를 최소화하고, 재현성을 향상시키며, 시설 인력과 사용자 간의 소통을 원활하게 하고, 시료 준비부터 데이터 수집 및 후속 계산 분석에 이르기까지 실험의 일관된 추적을 가능하게 합니다.
9. 수집 후 데이터 처리 파이프라인
- 실시간 전처리가 완료되면, 선별된 빈 입자 스택(binned particle stack)이 선별된 전처리 무비와 함께 내보내집니다.
- CryoSPARC 프로젝트를 메인 워크스테이션에서 분리한 후, 원격 접속이 가능한 다른 공유 워크스테이션에 다시 연결합니다. 이를 통해 신속하게 데이터를 오프로드하고 교체하여 다음 데이터 획득 세션을 시작할 수 있습니다.
참고: 일반적인 데이터 수집은 1~2일 정도 소요되며 CryoSPARC-Live를 통해 쉽게 모니터링할 수 있습니다. 하지만 3D 처리 단계는 수주 또는 수개월이 걸릴 수 있으므로, 워크스테이션과 저장 서버 간의 프로젝트 전송이 필요합니다. - CryoSPARC에서 오프라인 3D 처리를 위해 라이브 세션의 선별된 빈 입자들을 표준 프로젝트로 내보냅니다36.
- ab initio 3D 재구성을 수행합니다. CryoSPARC의 Ab Initio Reconstruction 작업을 사용하십시오 (불균일한 샘플의 경우 3~5개의 초기 모델을 권장함). 구조적 불균질성을 평가하기 위해 1~4개의 초기 모델을 생성합니다.
- 재구성된 값이 만족스러우면, 전체 해상도를 높이기 위해 빈 처리되지 않은(unbinned) 입자들을 다시 추출합니다.
- 불균질 정밀화(heterogeneous refinement, 여러 가지 형태나 클래스가 예상되는 경우)를 수행한 후, 최적의 클래스에 대해 동질 정밀화(homogeneous refinement)를 수행하는 3D 정밀화를 진행합니다. CryoSPARC에서는 heterogeneous refinement 후 non-uniform refinement를 사용하십시오.
- 사용자의 선호도에 따라 RELION13에서 Bayesian polishing을 적용하거나, 입자별 운동 보정(per-particle motion correction) 및 CTF 정밀화(CryoSPARC: CTF refinement 작업)를 사용하여 빔 유도 운동 및 입자별 디포커스를 고려함으로써 입자별 신호를 개선합니다. 이 단계는 통상적으로 최종 맵 해상도를 0.2–0.5 Å 향상시킵니다. 또한, 해상도와 맵 품질을 높이기 위해 CryoSPARC의 참조 기반 운동 보정(RBMC)을 옵션으로 사용할 수 있습니다.
- 골드 표준 푸리에 쉘 상관관계(FSC) 절차를 사용하여 최종 맵을 검증합니다. 입자 스택을 두 개의 독립적인 하프 세트(half-set)로 나누어 독립적으로 정밀화하고, 두 하프 맵 사이의 FSC를 계산합니다. FSC = 0.143에서의 최종 해상도를 보고합니다.
- 원자 모델 피팅 후, 독립적인 검증 지표로서 맵-모델 FSC (FSC-Q) 및 Q-score를 계산합니다37.
- 원자 모델 구축 및 검증을 수행합니다. 밀도 맵으로부터 자동화된 de novo 모델 구축을 위해 ModelAngelo를 사용하십시오20. PHENIX real-space refinement를 사용하여 모델을 정밀화하고 MolProbity로 검증합니다.
- 초기 모델이 생성된 후 COOT35를 사용하여 밀도 맵을 시각화하고, 원자 좌표를 피팅 또는 조정하며, 모델링 오류를 수정하고, 누락된 영역을 구축하며, 단백질, 핵산 또는 리간드 구조를 최적화합니다. 이를 통해 잔기, 곁사슬 형태, 2차 구조 및 서열 할당을 대화형으로 편집할 수 있으며, 이어서 real-space refinement를 통해 원자 모델과 실험적 밀도 사이의 일치도를 높일 수 있습니다.
- 마지막으로, 최종 원자 모델은 Protein Data Bank (PDB)에, 밀도 맵은 Electron Microscopy Data Bank (EMDB)에, 그리고 원본 또는 전처리 데이터는 Electron Microscopy Public Image Archive (EMPIAR)에 기탁합니다.
결과
A successfully implemented facility IT infrastructure and on-the-fly data processing pipeline will produce the following verifiable outcomes at each stage:
Network and storage
Internal data transfer between the camera controller and storage server should sustain ≥800 MB/s (approaching theoretical 10 Gbps throughput) when measured with tools such as iperf3 or fio. This throughput is sufficient to transfer a 10–12 GB movie stack from the detector in under 15 seconds, ensuring that storage writing does not create a bottleneck during high-speed EER data collection. ZFS storage pool utilization and per-pool IOPS should be monitored daily; healthy pools show no degraded or faulted VDEVs and consistent read speeds of ≥500 MB/s for sequential reads.
On-the-fly preprocessing
The on-the-fly workflow should process each new movie—including motion correction, CTF estimation, and particle picking—within seconds of it being written to disk, thereby keeping pace with modern detector frame rates, such as the TFS Falcon 4i, operating at 5–15 movies per minute (considering 10–100 Gbps network connections and switches). For a 24 h SPA session generating ~8,000–12,000 micrographs at 150,000x magnification with the selected detector, the pipeline should deliver approximately 200,000–800,000 picked particles, a median CTF fit resolution of 3.0–5 Å, and an initial set of 2D class averages showing clear secondary structural features (alpha-helices, beta-strands) by 4–6 h into the session.
2D and 3D processing benchmarks
With 4x NVIDIA RTX 4090 GPUs per compute node and a dataset of 500,000 particles, CryoSPARC 2D classification (200 classes, 25 iterations) should complete in approximately 30–60 min. Ab initio 3D reconstruction from 100,000 particles should complete in 15–30 min. Full 3D refinement of a 300 kDa complex to near-atomic resolution typically requires 2–8 h, depending on particle count and target resolution. These benchmarks serve as a baseline for detecting performance regressions caused by hardware failures or resource contention.
Facility performance metrics
A well-functioning facility should track the following key performance indicators (KPIs) monthly: (a) instrument uptime percentage (target: >90%); (b) fraction of sessions with on-the-fly pipeline active from session start (target: 100%); (c) storage utilization and growth rate; (d) number of active users and projects; (e) number of structures deposited to EMDB/PDB; (f) fraction of sessions producing publishable-quality 2D classes. These metrics provide objective evidence of operational success and support facility reporting to funding agencies.
Figure 1: Overview of the cryo-EM facility data flow architecture. Schematic illustration of the complete data path from electron detector to final deposited structure. Raw movie frames are written from the camera controller to high-performance NFS storage via the 10 Gbps facility network switch. GPU compute nodes mount the same storage share and begin on-the-fly preprocessing (motion correction → CTF estimation → particle picking → 2D classification) concurrently with data collection. Preprocessed outputs and final 3D reconstructions are stored on the same or secondary storage pool. Remote users access compute resources and storage through an institutional VPN and approved remote desktop software. External data delivery is performed through an authenticated transfer service or by shipping physical storage media. Please click here to view a larger version of this figure.
Figure 2: Minimal network topology for a small cryo-EM facility. All data acquisition and processing devices—camera controller, microscope controller, storage servers (>1 PB capacity), and GPU compute servers (N nodes)—are connected via a central 10 Gbps (or faster) managed network switch. The switch uplinks to the institutional internet/WAN for remote access. Remote data processing and remote monitoring are accessible over the public internet via VPN. Storage capacity shown is representative for a single-microscope, 20-user facility operating for 3–6 months. Please click here to view a larger version of this figure.
| Manufacturer | Model | kVmax | Electron Source | Compatible DEDs | Primary Applications | Strengths | Limitations/Notes |
| Thermo Fisher Scientific | Krios G4/Krios 5 | 300 kV | XFEG/CFEG | Falcon 4i, Falcon 3EC, Gatan K3/K2 | SPA, cryo-ET/STA, MicroED | Gold-standard platform, full automation (EPU), highest throughput, best for high-res (<2.5 Å) | Highest cost, infrastructure demanding |
| Glacios 2 | 200 kV | XFEG | Falcon 4i, Falcon 4, Gatan K3 | SPA, cryo-ET, MicroED | Strong performance at lower cost, compact footprint, high accessibility | Lower ultimate resolution vs 300 kV | |
| Talos Arctica | 200 kV | XFEG | Falcon 3, Falcon 4, Gatan K2/K3 | SPA, cryo-ET | Proven, robust, widely adopted | Older generation, less automation | |
| Talos L120C | 120 kV | LaB6 | Ceta CMOS (limited DED) | Screening, MicroED (limited) | Cost-effective, training/screening | Not suitable for high-resolution SPA | |
| JEOL | CRYO ARM 300 II (JEM-Z300FSC) | 300 kV | CFEG | Gatan K3/K2, Direct Electron DE64 | SPA, cryo-ET/STA, MicroED | Cold FEG (high coherence), top-tier resolution, strong optics | Less integrated ecosystem |
| CRYO ARM 200 | 200 kV | CFEG | Gatan K3/K2, DE64 | SPA, cryo-ET | Excellent performance-cost ratio, high stability | Fewer turnkey automation tools | |
| JEM-3200FSC | 300 kV | FEG | Gatan K2/K3, DE20 | SPA, cryo-ET | Large installed base, proven | Legacy system, aging support | |
| Hitachi High-Tech | HF8300 | 300 kV | FEG | Gatan K3/K2, DE64 (custom integration) | SPA, cryo-ET | High-voltage capability, flexible integration | Limited adoption in structural biology |
| HT7800 | 120 kV | LaB6 | CMOS, limited DED | Screening, MicroED | Reliable screening scope | Not suitable for high-resolution cryoEM | |
| SU9000 (TEM/STEM) | 200 kV | CFEG | Limited cryo-compatible DEDs | Niche cryo, materials | Advanced optics | Not widely used for SPA/ET |
Table 1: Comparison of current cryo-TEM platforms and recommended DEDs. Summary of commercially available cryo-TEMs organized by manufacturer (ThermoFisher Scientific, JEOL, Hitachi), including model name, maximum accelerating voltage (kVmax), compatible DEDs for cryogenic operation, and primary imaging applications (SPA, STA/cryo-ET, microED). Intended as a planning reference; consult manufacturers for current specifications. Abbreviations: DED = direct electron detector; XFEG = extreme field emission gun; CFEG = cold field emission gun; FEG = field emission gun; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; TEM = transmission electron microscope; STEM = scanning transmission electron microscope.
| Detector | Vendor | Key Features | Typical Pairing | Best Use Case |
| Falcon 4i | Thermo Fisher Scientific | EER mode, very high frame rate, high DQE | Krios, Glacios | High-throughput SPA, cryo-ET |
| Gatan K3 | Gatan (AMETEK) | Counting mode, large FOV, super-resolution | JEOL + Thermo | High-resolution SPA (standard) |
| Gatan K2 | Gatan | Previous-gen counting detector | Legacy systems | Established pipelines |
| DE64 | Direct Electron | Large sensor, high throughput | JEOL, selected Thermo | Cryo-ET, large field-of-view |
| Apollo | Direct Electron | High frame rate, high throughput | Krios, Glacios, JEOLs | SPA and microED |
Table 2: Current available DEDs in the market. Summary of commercially available DEDs organized by manufacturer. Abbreviations: EER = Electron Event Register; DQE = detective quantum efficiency; FOV = field of view; SPA = single-particle analysis; cryo-ET = cryo-electron tomography; microED = micro-electron diffraction.
| Software | Main Function | Key Features | Reference |
| RELION | End-to-end SPA processing | Bayesian refinement, classification, CTF refinement | 7, 12, 13 |
| cryoSPARC | End-to-end SPA | Fast GPU pipelines, ab initio reconstruction | 11 |
| EMAN2 | Image processing suite | Reconstruction, heterogeneity analysis (e2gmm) | 14 |
| cisTEM | SPA processing | User-friendly GUI, refinement and validation | 15 |
| SPHIRE | SPA (SPARX-based) | High-resolution refinement workflows | 16 |
| cryoDRGN | Heterogeneity analysis | Deep learning latent space reconstruction | 17 |
| Topaz | Particle picking | Deep learning-based picking | 18 |
| crYOLO | Particle picking | Real-time neural network picking | 16 |
| Warp | Preprocessing | Motion correction, CTF estimation, real-time processing | 19 |
| Model Angelo | Model building | Automated model building from maps | 20 |
| cryoET + STA | |||
| Software | Main Function | Key Features | Reference |
| IMOD | Tilt-series alignment & reconstruction | Gold standard for tomogram reconstruction | 21 |
| Dynamo | STA | Geometry-based particle picking, flexible workflows | 22 |
| emClarity | STA refinement | High-resolution STA, template matching | 23 |
| RELION (ET module) | STA refinement | Bayesian STA, integration with SPA workflows | 24 |
| EMAN2 (SPT) | STA | Subtomogram refinement tools | 14 |
| Warp/M | Preprocessing + STA | Real-time tomographic preprocessing | 19 |
| AreTomo | Tomogram reconstruction | Fast alignment and reconstruction | 25 |
| PEET | STA | Subtomogram averaging (IMOD-based) | 26 |
| PyTom | STA | Template matching, classification | 27 |
| Tomo3D | Reconstruction | Fast GPU tomogram reconstruction | 28 |
| crYOLO (3D) | Particle picking | ML-based picking in tomograms | 16 |
| AITom | AI-based analysis | Deep learning for segmentation and classification | 29 |
| MicroED | |||
| Software | Main Function | Key Features | Reference |
| DIALS | Diffraction processing | Integration of diffraction data | 30 |
| XDS | Data processing | Indexing and integration of diffraction data | 31 |
| MOSFLM | Data processing | Crystallography indexing | 32 |
| SHELX | Structure solution | Phasing and refinement | 33 |
| Phenix | Structure refinement | Automated model building | 34 |
| COOT | Model building | Manual model correction | 35 |
Table 3: Examples of commonly used software packages for SPA, cryo-ET, STA, and microED. Summary of commercially and publicly available software packages. Abbreviations: SPA = single-particle analysis; cryo-ET = cryo-electron tomography; STA = subtomogram averaging; MicroED = micro-electron diffraction; CTF = contrast transfer function; GUI = graphical user interface; ML = machine learning.
| Category | Software | Type | Primary Function | Key Features / Role in Facility |
| Operating System | Linux (Ubuntu, CentOS/Rocky) | OS | Core compute environment | HPC standard, GPU support, scripting, cluster deployment |
| Operating System | Windows | OS | User interface / workstation OS | Compatibility with vendor software, remote desktop access |
| File System | ZFS | File system | Data storage & integrity | Snapshots, redundancy, data integrity (checksums), scalable storage |
| Network File Sharing | NFS | Protocol | Linux-based file sharing | High-performance sharing across compute nodes |
| Network File Sharing | SMB (CIFS) | Protocol | Cross-platform file sharing | Windows–Linux interoperability |
| Remote Access | Microsoft Remote Desktop (RDP) | Remote access | GUI-based remote control | Native Windows remote access |
| Remote Access | NoMachine | Remote access | High-performance remote desktop | Fast GPU-enabled visualization, widely used in cryoEM |
| Remote Access | TeamViewer | Remote access | Remote support/access | Easy setup, cross-platform support |
| Remote Access | VirtualGL + TurboVNC | Remote visualization | GPU-accelerated remote rendering | Essential for remote cryoSPARC/RELION visualization |
| GPU Computing | CUDA | Compute framework | GPU acceleration | Required for cryoSPARC, RELION, deep learning tools |
| Data Transfer | Globus | Data transfer | Secure large-scale transfer | High-speed, fault-tolerant data movement across institutions |
Table 4: Software reference for cryo-EM facility IT operations and data processing. Reference list of key software tools covering operating systems (Linux, Windows), file systems (ZFS), network file sharing (NFS, SMB), remote access (Microsoft RDP, NoMachine, TeamViewer, VirtualGL/TurboVNC), GPU computing (CUDA), and data transfer (Globus). Abbreviations: OS = operating system; HPC = high-performance computing; NFS = Network File System; SMB = Server Message Block; CIFS = Common Internet File System; RDP = Remote Desktop Protocol; GUI = graphical user interface.
토론
The IT infrastructure of a cryo-EM facility is not a supporting afterthought—it is an operational prerequisite. Facilities that begin data collection without adequate storage, networking, and processing capacity invariably face a choice between discarding raw data, halting data collection, or accepting months-long delays in structure determination. The protocols described here are designed to prevent these outcomes by ensuring that the computational backbone is designed, tested, and validated before the first user session.
The single most important principle in cryo-EM IT design is that storage and network capacity must be provisioned to match the data output of the detector, not the historical intuition of the facility designer. In EER mode, the detector can write 8–12 GB per movie stack; at ~15 movies per minute over a 24 h session, this yields approximately 2–5 TB of raw data before any compression. While on-the-fly lossless compression (available in CryoSPARC-Live) can reduce this by 50–70%, the network and storage must be able to handle the uncompressed write rate in the event that compression is disabled or fails. Designing for peak capacity rather than average capacity is essential.
On-the-fly processing represents one of the most impactful advances in cryo-EM facility operations in recent years. Before real-time pipelines were available, facility staff had no objective way to assess data quality until hours or days after collection, by which time the session was over and the sample grid may have been discarded. With CryoSPARC-Live, 2D class averages showing recognizable secondary structure can be available within 2–4 h of session start, enabling informed decisions about grid selection, data collection parameter adjustments, and session extension or termination. This feedback loop is perhaps the most direct way in which IT infrastructure improves scientific outcomes.
A known limitation of on-the-fly workflow is its sensitivity to configuration errors. An incorrectly specified pixel size, wrong gain reference, or mismatched dose-per-frame value will propagate through the entire pipeline, producing misleading quality metrics and corrupted particle stacks. We therefore recommend a standardized pre-session checklist that explicitly verifies all pipeline configuration parameters before data collection begins. This checklist should be treated as a safety-critical document, analogous to pre-flight checklists in aviation, as described in the broader cryo-EM facility management literature.
The choice between CryoSPARC-Live and RELION depends on facility priorities. The live-processing platform offers a superior real-time web interface, tighter integration between the live and offline processing environments, and simpler configuration for non-expert users. RELION offers more granular control over processing parameters and is the preferred platform for users who require specific algorithmic options (e.g., Bayesian polishing, specific 3D classification strategies), in comparison to 3D classification strategies (e.g. 3DVAR or 3D-classification) present in CryoSPARC. Many facilities deploy both in parallel, using CryoSPARC-Live for real-time monitoring and RELION for final structure determination.
Remote access infrastructure deserves special emphasis. In our experience, the majority of user-reported problems during data collection stem from remote access failures rather than microscope or detector issues. Reliable, low-latency remote desktop access to the microscope and data collection workstations is not a luxury—it is the primary means by which most users interact with the facility. Investing in professionally configured remote desktop servers, testing connectivity from representative user locations, and documenting the connection procedure clearly will have a larger positive impact on user experience than many more expensive hardware investments.
Finally, data management policy must be established and communicated to users before facility operations begin. Users frequently underestimate the size of their datasets and overestimate the duration of their storage allocation. A clear written policy specifying raw data retention periods, user data quotas, archival procedures, and cost recovery for storage overruns protects both the facility and its users, and prevents the operational crises that arise when storage is exhausted mid-session.
공개 사항
저자들은 이해관계의 충돌이 없음을 밝힙니다.
감사의 글
저자들은 과학적 및 기술적 지원(NIH High-End Instrumentation program, S10OD02509)을 제공한 캘리포니아 대학교 산타크루즈 캠퍼스 화학 및 생화학과의 생체분자 초저온 전자현미경 시설(Biomolecular Cryo-Electron Microscopy Facility, RRID: SCR_021755)에 감사를 표합니다.
재료
| 이름 | 회사 | 카탈로그 번호 | 댓글 |
|---|---|---|---|
| Krios 5 | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-5-cryo-tem.html | 투과 전자 현미경 |
| Krios G4 | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/krios-g4-cryo-tem.html | 투과 전자 현미경 |
| Glacios | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-cryo-tem.html | 투과 전자 현미경 |
| Glacios 2 | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/glacios-2-cryo-tem.html | 투과 전자 현미경 |
| Glacios 3 | ThermoFisher Scientific | https://www.thermofisher.com/ (최신 세대; 제품 페이지는 지역마다 다를 수 있음) | 투과 전자 현미경 |
| Talos Arctica | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-arctica.html | 투과 전자 현미경 |
| Talos L120C | ThermoFisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/transmission-electron-microscopes/talos-l120c.html | 투과 전자 현미경 |
| CRYO ARM 300 II (JEM-Z300FSC) | JEOL | https://www.jeol.com/products/scientific/tem/cryoarm300ii.php | 투과 전자 현미경 |
| CRYO ARM 200 | JEOL | https://www.jeol.com/products/scientific/tem/cryoarm200.php | 투과 전자 현미경 |
| JEM-3200FSC | JEOL | https://www.jeol.com/products/scientific/tem/jem3200fsc.php | 투과 전자 현미경 |
| HF8300 | Hitachi | https://www.hitachi-hightech.com/global/en/products/microscopes/tem/hf8300.html | 투과 전자 현미경 |
| HT7800 | Hitachi | https://www.hitachi-hightech.com/global/en/products/microscopes/tem/ht7800.html | 투과 전자 현미경 |
| SU9000 (TEM/STEM) | Hitachi | https://www.hitachi-hightech.com/global/en/products/microscopes/sem-tem/su9000.html | 투과 전자 현미경 |
| Falcon 4i | Thermo Fisher Scientific | https://www.thermofisher.com/us/en/home/electron-microscopy/products/direct-electron-detectors/falcon-4i.html | 직접 전자 검출기 |
| Gatan K3 | Gatan (AMETEK) | https://gatan.com/products/tem-cameras/k3-is-camera | 직접 전자 검출기 |
| Gatan K2 | Gatan | https://gatan.com/products/tem-cameras/k2-camera | 직접 전자 검출기 |
| Apollo | Direct Electron | https://directelectron.com/apollo/ | 직접 전자 검출기 |
| DE64 | Direct Electron | https://directelectron.com/de-64/ | 직접 전자 검출기 |
| RELION | MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge | https://relion.readthedocs.io | SPA 소프트웨어 패키지 |
| cryoSPARC | Structura Biotechnology | https://cryosparc.com | SPA 소프트웨어 패키지 |
| EMAN2 | Baylor College of Medicine (Steven Ludtke Lab 개발) | https://blake.bcm.edu/emanwiki/EMAN2 | SPA 소프트웨어 패키지 |
| cisTEM | National Research Council Canada (Tim Grant 및 동료 개발) | https://cistem.org | SPA 소프트웨어 패키지 |
| SPHIRE | Max Planck Institute of Molecular Physiology 및 Baylor College of Medicine | https://sphire.mpg.de | SPA 소프트웨어 패키지 |
| cryoDRGN | Princeton University (Ellen Zhong Lab 개발) | https://cryodrgn.cs.princeton.edu | SPA 소프트웨어 패키지 |
| Topaz | Harvard Medical School (Travis Bepler Lab 개발) | https://github.com/tbepler/topaz | SPA 소프트웨어 패키지 |
| crYOLO | Max Planck Institute of Biophysics | https://cryolo.readthedocs.io | SPA 소프트웨어 패키지 |
| Warp | MRC Laboratory of Molecular Biology (Dmitry Tegunov 개발) | http://www.warpem.com | cryo-ET 및 STA 소프트웨어 패키지 |
| ModelAngelo | MRC Laboratory of Molecular Biology | https://www.modelangelo.org | cryo-ET 및 STA 소프트웨어 패키지 |
| IMOD | University of Colorado Boulder | https://bio3d.colorado.edu/imod | cryo-ET 및 STA 소프트웨어 패키지 |
| Dynamo | Centro Nacional de Biotecnología (CNB-CSIC) | https://www.dynamo-em.org | cryo-ET 및 STA 소프트웨어 패키지 |
| emClarity | University of California, San Francisco | https://github.com/StochasticAnalytics/emClarity | cryo-ET 및 STA 소프트웨어 패키지 |
| RELION (ET 모듈) | MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge | https://relion.readthedocs.io | cryo-ET 및 STA 소프트웨어 패키지 |
| EMAN2 (SPT) | Baylor College of Medicine | https://blake.bcm.edu/emanwiki/EMAN2 | cryo-ET 및 STA 소프트웨어 패키지 |
| Warp/M | MRC Laboratory of Molecular Biology | https://warpem.github.io | cryo-ET 및 STA 소프트웨어 패키지 |
| AreTomo | Stanford University (Fei Sun 및 Wah Chiu 그룹 개발) | https://github.com/czimaginginstitute/AreTomo2 | cryo-ET 및 STA 소프트웨어 패키지 |
| PEET | University of Colorado Boulder | https://bio3d.colorado.edu/PEET | cryo-ET 및 STA 소프트웨어 패키지 |
| PyTom | Max Planck Institute of Biochemistry | https://pytom.org | cryo-ET 및 STA 소프트웨어 패키지 |
| Tomo3D | Spanish National Centre for Biotechnology (CNB-CSIC) | https://sites.google.com/site/3demimageprocessing/tomo3d | cryo-ET 및 STA 소프트웨어 패키지 |
| crYOLO (3D) | Max Planck Institute of Biophysics | https://cryolo.readthedocs.io | cryo-ET 및 STA 소프트웨어 패키지 |
| AITom | Carnegie Mellon University | https://github.com/xulabs/aitom | cryo-ET 및 STA 소프트웨어 패키지 |
| DIALS | Diamond Light Source 및 협력자들 | https://dials.github.io | microED 소프트웨어 패키지 |
| XDS | Max Planck Institute for Medical Research (Wolfgang Kabsch 개발) | https://xds.mr.mpg.de | microED 소프트웨어 패키지 |
| MOSFLM | MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge | https://www.mrc-lmb.cam.ac.uk/mosflm | microED 소프트웨어 패키지 |
| SHELX | University of Göttingen (George M. Sheldrick 개발) | https://shelx.uni-goettingen.de | microED 소프트웨어 패키지 |
| Phenix | Lawrence Berkeley National Laboratory (PHENIX 컨소시엄) | https://phenix-online.org | microED 소프트웨어 패키지 |
| Coot | MRC Laboratory of Molecular Biology (MRC-LMB), University of Cambridge | https://www2.mrc-lmb.cam.ac.uk/personal/pemsley/coot | microED 소프트웨어 패키지 |
| Linux (Ubuntu, CentOS/Rocky) | Ubuntu: Canonical Ltd.; CentOS: CentOS Project; Rocky Linux: Rocky Enterprise Software Foundation (RESF) | https://ubuntu.com / https://www.centos.org (레거시) / https://rockylinux.org | 운영 체제 |
| Windows | Microsoft | https://www.microsoft.com/windows | 운영 체제 |
| ZFS | Oracle Corporation (원래 Sun Microsystems); OpenZFS는 OpenZFS 커뮤니티에서 유지 관리 | https://openzfs.org | 파일 시스템 |
| NFS | Sun Microsystems (현재 IETF 표준으로 유지 관리됨) | https://www.rfc-editor.org/rfc/rfc8881 | 프로토콜 |
| SMB (CIFS) | Microsoft | https://learn.microsoft.com/windows-server/storage/file-server/file-server-smb-overview | 프로토콜 |
| Microsoft Remote Desktop (RDP) | Microsoft | https://learn.microsoft.com/windows-server/remote/remote-desktop-services | 원격 접속 |
| NoMachine | NoMachine | https://www.nomachine.com | 원격 접속 |
| TeamViewer | TeamViewer SE | https://www.teamviewer.com | 원격 접속 |
| VirtualGL + TurboVNC | VirtualGL: The VirtualGL Project; TurboVNC: The TurboVNC Project | https://virtualgl.org 및 https://turbovnc.org | 원격 접속 |
| CUDA | NVIDIA | https://developer.nvidia.com/cuda-toolkit | 컴퓨팅 프레임워크 |
참고문헌
- Cheng Y, Grigorieff N, Penczek PA, Walz T. A primer to single-particle cryo-electron microscopy. Cell. 2015;161(3):438-449.
- Kühlbrandt W. Cryo-EM enters a new era. eLife. 2014;3:e03678.
- Alewijnse B, et al. Best practices for managing large CryoEM facilities. J Struct Biol. 2017;199(3):225-236.
- Walsh RM, et al. Practices for running a research-oriented shared cryo-EM facility. Front Mol Biosci. 2022;9:960940.
- Zimanyi CM, et al. Broadening access to cryoEM through centralized facilities. Trends Biochem Sci. 2022;47(2):106-116.
- Shell E, Minari K, Serrão VHB. From Icy Specimens to Digital Insights: Integrating Sample Preparation, Data Analysis, and IT Infrastructure. In: Cryo-Electron Microscopy in Structural Biology. 2024.
- Kimanius D, Forsberg BO, Scheres SHW, Lindahl E. Accelerated cryo-EM structure determination with parallelisation using GPUs in RELION-2. eLife. 2016;5:e18722.
- Střelák D, Sorzano CÓS, Carazo JM, Filipovič J. A GPU acceleration of 3-D Fourier reconstruction in cryo-EM. Int J High Perform Comput Appl. 2019;33(5):948-959.
- Pichkur E, et al. Towards on-the-fly Cryo-Electron Microscopy data processing by high performance data analysis. J Phys Conf Ser. 2018;955:012005.
- Thompson RF, et al. Collection, pre-processing and on-the-fly analysis of data for high-resolution single-particle cryo-electron microscopy. Nat Protoc. 2019;14(1):100-118.
- Punjani A, Rubinstein JL, Fleet DJ, Brubaker MA. cryoSPARC: algorithms for rapid unsupervised cryo-EM structure determination. Nat Methods. 2017;14(3):290-296.
- Fernandez-Leiro R, Scheres SHW. A pipeline approach to single-particle processing in RELION. Acta Crystallogr D Struct Biol. 2017;73(Pt 6):496-502.
- Scheres SHW. RELION: implementation of a Bayesian approach to cryo-EM structure determination. J Struct Biol. 2012;180(3):519-530.
- Tang G, et al. EMAN2: an extensible image processing suite for electron microscopy. J Struct Biol. 2007;157(1):38-46.
- Grant T, Rohou A, Grigorieff N. cisTEM, user-friendly software for single-particle image processing. eLife. 2018;7:e35383.
- Wagner T, et al. SPHIRE-crYOLO is a fast and accurate fully automated particle picker for cryo-EM. Commun Biol. 2019;2(1):218.
- Zhong ED, Bepler T, Berger B, Davis JH. CryoDRGN: reconstruction of heterogeneous cryo-EM structures using neural networks. Nat Methods. 2021;18(2):176-185.
- Bepler T, Kelley K, Noble AJ, Berger B. Topaz-Denoise: general deep denoising models for cryoEM and cryoET. Nat Commun. 2020;11(1):5208.
- Tegunov D, Cramer P. Real-time cryo-electron microscopy data preprocessing with Warp. Nat Methods. 2019;16(11):1146-1152.
- Jamali K, et al. Automated model building and protein identification in cryo-EM maps. Nature. 2024;628(8007):450-457.
- Kremer JR, Mastronarde DN, McIntosh JR. Computer visualization of three-dimensional image data using IMOD. J Struct Biol. 1996;116(1):71-76.
- Castaño-Díez D, Kudryashev M, Arheit M, Stahlberg H. Dynamo: a flexible, user-friendly development tool for subtomogram averaging of cryo-EM data in high-performance computing environments. J Struct Biol. 2012;178(2):139-151.
- Ni T, et al. High-resolution in situ structure determination by cryo-electron tomography and subtomogram averaging using emClarity. Nat Protoc. 2022;17(2):421-444.
- Bharat TAM, et al. Advances in single-particle electron cryomicroscopy structure determination applied to sub-tomogram averaging. Structure. 2015;23(9):1743-1753.
- Zheng S, et al. AreTomo: an integrated software package for automated marker-free, motion-corrected cryo-electron tomographic alignment and reconstruction. J Struct Biol X. 2022;6:100068.
- Nicastro D, et al. The molecular architecture of axonemes revealed by cryoelectron tomography. Science. 2006;313(5789):944-948.
- Hrabe T, et al. PyTom: a Python-based toolbox for localization of macromolecules in cryo-electron tomograms and subtomogram analysis. J Struct Biol. 2012;178(2):177-188.
- de la Morena JJ, et al. ScipionTomo: towards cryo-electron tomography software integration, reproducibility, and validation. J Struct Biol. 2022;214(3):107872.
- Zhan X, Zeng X, Uddin MR, Xu M. AITom: AI-guided cryo-electron tomography image analyses toolkit. J Struct Biol. 2025;217(2):108207.
- Winter G, et al. DIALS: implementation and evaluation of a new integration package. Acta Crystallogr D Struct Biol. 2018;74(2):85-97.
- Kabsch W. XDS. Acta Crystallogr D Biol Crystallogr. 2010;66(2):125-132.
- Battye TGG, et al. iMOSFLM: a new graphical interface for diffraction-image processing with MOSFLM. Acta Crystallogr D Biol Crystallogr. 2011;67(Pt 4):271-281.
- Thorn A, Sheldrick GM. Extending molecular-replacement solutions with SHELXE. Acta Crystallogr D Biol Crystallogr. 2013;69(Pt 11):2251-2256.
- Liebschner D, et al. Macromolecular structure determination using X-rays, neutrons and electrons: recent developments in Phenix. Acta Crystallogr D Struct Biol. 2019;75(10):861-877.
- Emsley P, Cowtan K. Coot: model-building tools for molecular graphics. Acta Crystallogr D Biol Crystallogr. 2004;60(Pt 12 Pt 1):2126-2132.
- Pryor E, Kohr H, Ortiz J, Grollios F. Advancing towards a "one-button" screening solution for Cryo-EM data acquisition with Smart EPU. Struct Dyn. 2025;12(5):A86.
- Ramírez-Aportela E, et al. FSC-Q: a CryoEM map-to-atomic model quality validation based on the local Fourier shell correlation. Nat Commun. 2021;12(1):42.
재인쇄 및 허가
