Name: Deep Learning-based segmentation of Cryo-Electron Tomograms(극저온 전자 단층 촬영의 딥러닝 기반 분할) (동영상) | JoVE Journal
Uploaded: 2022-11-11T14:00:00.000+00:00
Duration: 10 min 25 s
Description: 학습하세요 극저온 전자 단층 촬영 데이터의 딥러닝 기반 다중 클래스 분할 방법을. Multi-slice U-Net 신경망 훈련과 Dragonfly 소프트웨어를 활용하여 생물학적 이미징 분석 효율성을 극대화합니다.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

이 연구는 Penn State College of Medicine과 생화학 및 분자 생물학과, 담배 정착 기금(TSF) 보조금 4100079742-EXT의 지원을 받았습니다. 이 프로젝트에 사용된 CryoEM 및 CryoET Core(RRID:SCR_021178) 서비스 및 기기는 펜실베니아 주립대학교 의과대학이 연구 및 대학원생 부학장실과 펜실베니아 보건부에서 담배 정착 기금(CURE)을 사용하여 부분적으로 자금을 지원했습니다. 내용은 전적으로 저자의 책임이며 반드시 대학 또는 의과 대학의 공식 견해를 나타내는 것은 아닙니다. 펜실베니아 보건부는 특히 분석, 해석 또는 결론에 대한 책임을 부인합니다.

<ol><li>Bai, X. -C., Mcmullan, G., Scheres, S. H. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((How+cryo-EM+is+revolutionizing+structural+biology%5BTitle%5D)+AND+%22Trends+in+Biochemical+Sciences%22%5BJournal%5D)">How cryo-EM is revolutionizing structural biology.</a> Trends in Biochemical Sciences. 40 (1), 49-57 (2015).</li>
<li>de Oliveira, T. M., van Beek, L., Shilliday, F., Debreczeni, J., Phillips, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-EM%3A+The+resolution+revolution+and+drug+discovery%5BTitle%5D)+AND+%22SLAS+Discovery%22%5BJournal%5D)">Cryo-EM: The resolution revolution and drug discovery.</a> SLAS Discovery. 26 (1), 17-31 (2021).</li>
<li>Danev, R., Yanagisawa, H., Kikkawa, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-EM+performance+testing+of+hardware+and+data+acquisition+strategies%5BTitle%5D)+AND+%22Microscopy%22%5BJournal%5D)">Cryo-EM performance testing of hardware and data acquisition strategies.</a> Microscopy. 70 (6), 487-497 (2021).</li>
<li>Mastronarde, D. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automated+electron+microscope+tomography+using+robust+prediction+of+specimen+movements%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Automated electron microscope tomography using robust prediction of specimen movements.</a> Journal of Structural Biology. 152 (1), 36-51 (2005).</li>
<li>Tomography 5 and Tomo Live Software User-friendly batch acquisition for and on-the-fly reconstruction for cryo-electron tomography Datasheet. , Available from: 
 <a target="_blank" href="https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf">https://assets.thermofisher.com/TFS-Assets/MSD/Datasheets/tomography-5-software-ds0362.pdf</a> (2022).</li>
<li>Danev, R., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Expanding+the+boundaries+of+cryo-EM+with+phase+plates%5BTitle%5D)+AND+%22Current+Opinion+in+Structural+Biology%22%5BJournal%5D)">Expanding the boundaries of cryo-EM with phase plates.</a> Current Opinion in Structural Biology. 46, 87-94 (2017).</li>
<li>Hylton, R. K., Swulius, M. T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Challenges+and+triumphs+in+cryo-electron+tomography%5BTitle%5D)+AND+%22iScience%22%5BJournal%5D)">Challenges and triumphs in cryo-electron tomography.</a> iScience. 24 (9), (2021).</li>
<li>Turk, M., Baumeister, W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+promise+and+the+challenges+of+cryo-electron+tomography%5BTitle%5D)+AND+%22FEBS+Letters%22%5BJournal%5D)">The promise and the challenges of cryo-electron tomography.</a> FEBS Letters. 594 (20), 3243-3261 (2020).</li>
<li>Oikonomou, C. M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cellular+electron+cryotomography%3A+Toward+structural+biology+in+situ%5BTitle%5D)+AND+%22Annual+Review+of+Biochemistry%22%5BJournal%5D)">Cellular electron cryotomography: Toward structural biology in situ.</a> Annual Review of Biochemistry. 86, 873-896 (2017).</li>
<li>Wagner, J., Schaffer, M., Fernández-Busnadiego, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cryo-electron+tomography-the+cell+biology+that+came+in+from+the+cold%5BTitle%5D)+AND+%22FEBS+Letters%22%5BJournal%5D)">Cryo-electron tomography-the cell biology that came in from the cold.</a> FEBS Letters. 591 (17), 2520-2533 (2017).</li>
<li>Lam, V., Villa, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Practical+approaches+for+Cryo-FIB+milling+and+applications+for+cellular+cryo-electron+tomography%5BTitle%5D)+AND+%22Methods+in+Molecular+Biology%22%5BJournal%5D)">Practical approaches for Cryo-FIB milling and applications for cellular cryo-electron tomography.</a> Methods in Molecular Biology. 2215, 49-82 (2021).</li>
<li>Chreifi, G., Chen, S., Metskas, L. A., Kaplan, M., Jensen, G. J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Rapid+tilt-series+acquisition+for+electron+cryotomography%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Rapid tilt-series acquisition for electron cryotomography.</a> Journal of Structural Biology. 205 (2), 163-169 (2019).</li>
<li>Eisenstein, F., Danev, R., Pilhofer, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Improved+applicability+and+robustness+of+fast+cryo-electron+tomography+data+acquisition%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Improved applicability and robustness of fast cryo-electron tomography data acquisition.</a> Journal of Structural Biology. 208 (2), 107-114 (2019).</li>
<li>Esteva, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning-enabled+medical+computer+vision%5BTitle%5D)+AND+%22npj+Digital+Medicine%22%5BJournal%5D)">Deep learning-enabled medical computer vision.</a> npj Digital Medicine. 4 (1), (2021).</li>
<li>Liu, Y. -T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Isotropic+reconstruction+of+electron+tomograms+with+deep+learning%5BTitle%5D)+AND+%22bioRxiv%22%5BJournal%5D)">Isotropic reconstruction of electron tomograms with deep learning.</a> bioRxiv. , (2021).</li>
<li>Moebel, E., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+improves+macromolecule+identification+in+3D+cellular+cryo-electron+tomograms%5BTitle%5D)+AND+%22Nature+Methods%22%5BJournal%5D)">Deep learning improves macromolecule identification in 3D cellular cryo-electron tomograms.</a> Nature Methods. 18 (11), 1386-1394 (2021).</li>
<li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Convolutional+neural+networks+for+automated+annotation+of+cellular+cryo-electron+tomograms%5BTitle%5D)+AND+%22Nature+Methods%22%5BJournal%5D)">Convolutional neural networks for automated annotation of cellular cryo-electron tomograms.</a> Nature Methods. 14 (10), 983-985 (2017).</li>
<li>Ronneberger, O., Fischer, P., Brox, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((U-net%3A+Convolutional+networks+for+biomedical+image+segmentation%5BTitle%5D)+AND+%22Lecture+Notes+in+Computer+Science+%28including+subseries+Lecture+Notes+in+Artificial+Intelligence+and+Lecture+Notes+in+Bioinformatics%29%22%5BJournal%5D)">U-net: Convolutional networks for biomedical image segmentation.</a> Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). 9351, 234-241 (2015).</li>
<li>Dragonfly 2021.3 (Computer Software). , Available from: 
 <a target="_blank" href="http://www.theobjects.com/dragonfly">http://www.theobjects.com/dragonfly</a> (2021).</li>
<li>Kremer, J. R., Mastronarde, D. N., McIntosh, J. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Computer+visualization+of+three-dimensional+image+data+using+IMOD%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">Computer visualization of three-dimensional image data using IMOD.</a> Journal of Structural Biology. 116 (1), 71-76 (1996).</li>
<li>Iancu, C. V., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+%26%2334%3Bflip-flop%26%2334%3B+rotation+stage+for+routine+dual-axis+electron+cryotomography%5BTitle%5D)+AND+%22Journal+of+Structural+Biology%22%5BJournal%5D)">A &#34;flip-flop&#34; rotation stage for routine dual-axis electron cryotomography.</a> Journal of Structural Biology. 151 (3), 288-297 (2005).</li>
</ol>

이 프로토콜에 대한 오픈 액세스 라이선스는 Object Research Systems에서 지불했습니다.

이 프로토콜은 Dragonfly 2022.1 소프트웨어를 사용하여 단일 단층 촬영에서 다중 클래스 U-Net을 훈련시키는 절차와 해당 네트워크를 동일한 데이터 세트에서 가져올 필요가 없는 다른 단층 촬영으로 추론하는 방법을 설명합니다. 훈련은 비교적 빠르며(훈련 중인 신경망과 사용되는 하드웨어에 따라 Epoch당 3-5분 정도 빠르거나 몇 시간 정도 느릴 수 있음) 신경망을 재훈련시켜 학습을 개선하는 것은 직관적입니다. 모든 단층 촬영에 대해 전처리 단계가 수행되는 한, 추론은 일반적으로 강력합니다.
일관된 전처리는 딥 러닝 추론을 위한 가장 중요한 단계입니다. 소프트웨어에는 많은 이미징 필터가 있으며 사용자는 특정 데이터 세트에 가장 적합한 필터를 결정하기 위해 실험할 수 있습니다. 학습 단층 촬영에 사용되는 필터링은 추론 단층 촬영과 동일한 방식으로 적용되어야 합니다. 또한 네트워크에 정확하고 충분한 훈련 정보를 제공하기 위해 주의를 기울여야 합니다. 학습 슬라이스 내에서 분할된 모든 기능은 가능한 한 신중하고 정확하게 분할되어야 합니다.
이미지 분할은 정교한 상용 등급 사용자 인터페이스를 통해 촉진됩니다. 손 분할에 필요한 모든 도구를 제공하며 교육 및 재교육 전에 한 클래스에서 다른 클래스로 복셀을 간단하게 재할당할 수 있습니다. 사용자는 단층 촬영의 전체 컨텍스트 내에서 복셀을 손으로 분할할 수 있으며 여러 보기와 볼륨을 자유롭게 회전할 수 있는 기능이 제공됩니다. 또한 이 소프트웨어는 다중 클래스 네트워크를 사용할 수 있는 기능을 제공하는데, 이는16 더 나은 성능을 발휘하는 경향이 있으며 여러 개의 단일 클래스 네트워크로 분할하는 것보다 빠릅니다.
물론 신경망의 기능에는 한계가 있습니다. Cryo-ET 데이터는 본질적으로 매우 잡음이 많고 각도 샘플링이 제한되어 동일한 물체(21)에서 방향별 왜곡을 초래합니다. 훈련은 구조를 정확하게 손으로 분할하기 위해 전문가에 의존하며, 성공적인 네트워크는 주어진 훈련 데이터만큼(또는 나쁜) 것입니다. 신호를 증폭하기 위한 이미지 필터링은 트레이너에게 도움이 되지만 주어진 구조의 모든 픽셀을 정확하게 식별하기 어려운 경우가 여전히 많습니다. 따라서 신경망이 훈련 중에 학습할 수 있는 최상의 정보를 가질 수 있도록 훈련 분할을 생성할 때 세심한 주의를 기울이는 것이 중요합니다.
이 워크플로는 각 사용자의 기본 설정에 맞게 쉽게 수정할 수 있습니다. 모든 단층 촬영이 정확히 동일한 방식으로 전처리되는 것이 필수적이지만 프로토콜에 사용된 정확한 필터를 사용할 필요는 없습니다. 이 소프트웨어에는 다양한 이미지 필터링 옵션이 있으며 많은 단층 촬영에 걸친 대규모 분할 프로젝트를 시작하기 전에 사용자의 특정 데이터에 맞게 최적화하는 것이 좋습니다. 또한 사용할 수 있는 네트워크 아키텍처도 꽤 있습니다: 다중 슬라이스 U-Net이 이 실습의 데이터에 가장 적합한 것으로 밝혀졌지만, 다른 사용자는 다른 아키텍처(예: 3D U-Net 또는 Sensor 3D)가 더 잘 작동한다는 것을 알게 될 수 있습니다. 분할 마법사는 동일한 훈련 데이터를 사용하여 여러 신경망의 성능을 비교할 수 있는 편리한 인터페이스를 제공합니다.
여기에 제시된 것과 같은 도구는 전체 단층 촬영의 수동 분할을 과거의 작업으로 만들 것입니다. 강력하게 추론할 수 있는 잘 훈련된 신경망을 사용하면 현미경이 수집할 수 있는 한 빨리 단층 촬영 데이터를 재구성, 처리 및 완전히 분할하는 워크플로를 만드는 것이 완전히 가능합니다.

지난 10년 동안 하드웨어 및 소프트웨어 개발로 인해 초저온 전자 현미경(Cryo-EM)의 "분해능 혁명"이 일어났습니다1,2. 더 빠르고 더 나은 검출기3, 데이터 수집을 자동화하는 소프트웨어4,5 및 위상판6과 같은 신호 부스팅 기술을 통해 대량의 고분해능 Cryo-EM 데이터를 수집하는 것은 비교적 간단합니다.
Cryo-ET는 천연의 수화 상태 7,8,9,10에서 세포 미세구조에 대한 전례 없는 통찰력을 제공합니다. 주요 한계는 시료 두께이지만, 단층 촬영을 위해 두꺼운 세포 및 조직 시료를 얇게 만드는 집속 이온 빔(FIB) 밀링과 같은 방법을 채택함에 따라 cryo-ET로 이미지화할 수 있는 것의 지평이 지속적으로 확장되고 있습니다. 최신 현미경은 하루에 50개 이상의 단층 사진을 생산할 수 있으며, 이 속도는 신속한 데이터 수집 계획의 개발로 인해 증가할 것으로 예상됩니다12,13. cryo-ET에 의해 생성된 방대한 양의 데이터를 분석하는 것은 이 이미징 방식에서 여전히 병목 현상으로 남아 있습니다.
단층 촬영 정보의 정량적 분석에는 먼저 주석을 달아야 합니다. 전통적으로 이를 위해서는 전문가의 손 세분화가 필요하며 이는 시간이 많이 걸립니다. 극저온 단층 촬영에 포함된 분자 복잡성에 따라 몇 시간에서 며칠까지 주의를 기울여야 할 수 있습니다. 인공 신경망은 짧은 시간 내에 대부분의 분할 작업을 수행하도록 훈련될 수 있기 때문에 이 문제에 대한 매력적인 솔루션입니다. 컨볼루션 신경망(CNN)은 특히 컴퓨터 비전 작업(computer vision task)14에 적합하며, 최근에는 초저온 전자 단층 촬영(15,16,17)의 분석에 적합하다.
기존 CNN에는 수천 개의 주석이 달린 훈련 샘플이 필요하며, 이는 생물학적 이미지 분석 작업에서는 종종 불가능합니다. 따라서, U-Net 아키텍처는 네트워크를 성공적으로 훈련시키기 위해 데이터 증강에 의존하고, 대규모 훈련 세트에 대한 의존성을 최소화하기 때문에 이 공간(18 )에서 탁월하다. 예를 들어, U-Net 아키텍처는 단일 단층 촬영(4개 또는 5개 조각)의 몇 조각만으로 학습할 수 있으며 재학습 없이 다른 단층 촬영에 강력하게 추론할 수 있습니다. 이 프로토콜은 Dragonfly 2022.119 내에서 전자 극저온 단층촬영을 분할하기 위해 U-Net 신경망 아키텍처를 훈련하기 위한 단계별 가이드를 제공합니다.
Dragonfly는 딥 러닝 모델에 의한 3D 이미지 분할 및 분석에 사용되는 상업적으로 개발 된 소프트웨어이며 학술용으로 자유롭게 사용할 수 있습니다 (일부 지리적 제한 적용). 비전문가도 의미론적 분할과 이미지 노이즈 제거를 위한 딥 러닝의 힘을 최대한 활용할 수 있도록 하는 고급 그래픽 인터페이스가 있습니다. 이 프로토콜은 인공 신경망을 훈련하기 위해 Dragonfly 내에서 초저온 전자 단층 촬영을 전처리하고 주석을 추가하는 방법을 보여주며, 이를 추론하여 대규모 데이터 세트를 빠르게 분할할 수 있습니다. 또한 필라멘트 추적 및 하위 단층 구조 평균화를 위한 좌표 추출과 같은 추가 분석을 위해 분할된 데이터를 사용하는 방법을 설명하고 간략하게 보여줍니다.

<table><tbody><tr><td>Dragonfly 2022.1</td><td>개체 연구 시스템</td><td></td><td>https://www.theobjects.com/dragonfly/index.html</td></tr><tr><td>E18 쥐 해리 해마</td><td>트랜스네틱스 조직</td><td>KTSDEDHP</td><td></td></tr><tr><td>https://tissue.transnetyx.com/faqs IMOD</td><td>콜로라도</td><td></td> 대학교 <td>https://bio3d.colorado.edu/imod/</td></tr> <tr><td>Intel&reg; 제온&reg; 골드 6124 CPU, 3.2GHz</td>, <td>인텔</td><td></td><td>https://www.intel.com/content/www/us/en/products/sku/120493/intel-xeon-gold-6134-processor-24-75m-cache-3-20-ghz/specifications.html</td></tr>, <tr><td>NVIDIA Quadro P4000</td>, <td>NVIDIA</td><td></td><td>https://www.nvidia.com/content/dam/en-zz/Solutions/design-visualization/productspage/quadro/quadro-desktop/quadro-pascal-p4000-data-sheet-a4-nvidia-704358-r2-web.pdf</td></tr><tr><td>Windows 10 Enterprise 2016</td><td>Microsoft</td><td></td><td>https://www.microsoft.com/en-us/evalcenter/evaluate-windows-10-enterprise</td></tr><tr><td>워크스테이션 최소 요구 사항</td><td></td><td></td><td>https://theobjects.com/dragonfly/system-requirements.html</td></tr></tbody></table>

deep learning-based segmentation of cryo-electron tomograms(극저온 전자 단층 촬영의 딥러닝 기반 분할)

Deep Learning-Based Segmentation of Cryo-Electron Tomograms

극저온 전자 단층 촬영(Cryo-ET)을 통해 연구자들은 현재 가능한 가장 높은 해상도로 원래의 수화 상태의 세포를 이미지화할 수 있습니다. 그러나 이 기술에는 생성되는 데이터를 분석하는 데 시간이 많이 걸리고 어렵게 만드는 몇 가지 제한 사항이 있습니다. 단일 단층 촬영을 손으로 분할하는 데는 몇 시간에서 며칠이 걸릴 수 있지만 현미경은 하루에 50개 이상의 단층 촬영을 쉽게 생성할 수 있습니다. Cryo-ET를 위한 현재 딥러닝 분할 프로그램이 존재하지만 한 번에 하나의 구조를 분할하는 것으로 제한됩니다. 여기에서 다중 슬라이스 U-Net 컨볼루션 신경망은 극저온 단층 촬영 내에서 여러 구조를 동시에 자동으로 분할하도록 훈련되고 적용됩니다. 적절한 전처리를 통해 이러한 신경망은 각 단층 촬영에 대해 개별 신경망을 훈련시킬 필요 없이 많은 단층 촬영술에 대해 강력하게 추론할 수 있습니다. 이 워크플로우는 대부분의 경우 분할 시간을 30분 미만으로 단축하여 초저온 전자 단층 촬영을 분석할 수 있는 속도를 획기적으로 향상시킵니다. 또한, 분할은 세포 컨텍스트 내에서 필라멘트 추적의 정확도를 개선하고 서브토모그램 평균화를 위한 좌표를 신속하게 추출하는 데 사용할 수 있습니다.

프로토콜에 따라 단일 단층 촬영(그림 2A)에서 5슬라이스 U-Net을 훈련하여 멤브레인, 미세소관, 액틴, 기준 마커 및 배경의 5가지 클래스를 식별했습니다. 신경망을 총 3회 반복적으로 훈련시킨 다음, 단층 촬영에 적용하여 완전히 분할하고 주석을 달았습니다(그림 2B, C). 7.1 및 7.2 단계를 사용하여 최소 정리가 수행되었습니다. 다음 3개의 관심 단층 촬영(그림 2D,G,J)은 전처리를 위해 소프트웨어에 로드되었습니다. 이미지를 가져오기 전에 단층 촬영 중 하나(그림 2J)는 약간 다른 배율로 다른 현미경에서 수집되었기 때문에 픽셀 크기를 17.22Å/px에서 13.3Å/px로 조정해야 했습니다. IMOD 프로그램 squeezevol은 다음 명령으로 크기를 조정하는 데 사용되었습니다.
'squeezevol -f 0.772 입력 파일.mrc 출력 파일.mrc'
이 명령에서 -f 는 픽셀 크기를 변경하는 요소(이 경우 13.3/17.22)를 나타냅니다. 임포트 후 3개의 추론 타겟을 모두 3.2 및 3.3 단계에 따라 전처리한 후 5슬라이스 U-Net을 적용했습니다. 최소한의 정리가 다시 수행되었습니다. 최종 세그먼트는 그림 2에 나와 있습니다.
각 단층 촬영의 미세소관 분할을 바이너리(단계 7.4) TIF 파일로 내보내고 MRC(IMOD tif2mrc 프로그램)로 변환한 다음 실린더 상관 관계 및 필라멘트 추적에 사용했습니다. 필라멘트의 이진 분할은 단층 촬영을 통한 추적보다 훨씬 더 강력한 필라멘트 추적을 생성합니다. 필라멘트 추적의 좌표 맵(그림 3)은 미세소관 방향을 결정하기 위해 단일 필라멘트를 따라 가장 가까운 이웃 측정(필라멘트 패킹) 및 나선형 서브 단층 촬영 평균화와 같은 추가 분석에 사용됩니다.
성공하지 못하거나 부적절하게 훈련된 네트워크는 쉽게 확인할 수 있습니다. 실패한 신경망은 어떤 구조도 전혀 분할할 수 없는 반면, 부적절하게 훈련된 신경망은 일반적으로 일부 구조를 올바르게 분할하고 상당한 수의 거짓 긍정(false positive)과 거짓 음성(false negative)을 갖습니다. 이러한 신경망은 성능을 향상시키기 위해 수정하고 반복적으로 훈련시킬 수 있습니다. 세그멘테이션 마법사는 모델이 학습된 후 모델의 주사위 유사성 계수 (SegWiz에서는 score 라고 함)를 자동으로 계산합니다. 이 통계량은 훈련 데이터와 U-Net 세분화 간의 유사성에 대한 추정치를 제공합니다. Dragonfly 2022.1에는 인터페이스 상단의 인공 지능 탭에서 액세스할 수 있는 모델의 성능을 평가하는 도구도 내장되어 있습니다(사용법은 설명서 참조).
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/64435/64435fig02.jpg"> 그림 2: 추론. (A-C) 2019년 Titan Krios에서 수집한 DIV 5 해마 쥐 뉴런의 원본 훈련 단층 촬영. 이것은 IMOD에서 CTF 보정을 사용한 백투영 재구성입니다. (A) 노란색 상자는 학습 입력을 위해 손 분할이 수행된 영역을 나타냅니다. (B) 학습이 완료된 후 U-Net에서 2D 분할. (C) 막(파란색), 미세소관(녹색) 및 액틴(빨간색)을 보여주는 분할된 영역의 3D 렌더링. (D-F) 훈련 단층 촬영과 동일한 세션의 DIV 5 해마 쥐 뉴런. (E) 추가 교육 및 빠른 정리 없이 U-Net에서 2D 분할. 멤브레인 (파란색), 미세 소관 (녹색), 액틴 (빨간색), 기준점 (분홍색). (f) 분할된 영역의 3D 렌더링. (지-아이) 2019년 세션의 DIV 5 해마 쥐 뉴런. (H) 빠른 정리 및 (I) 3D 렌더링을 통한 U-Net의 2D 분할. (J-L) DIV 5 해마 쥐 뉴런, 2021년 다른 Titan Krios에서 다른 배율로 수집되었습니다. IMOD 프로그램 squeezevol에서 훈련 단층 촬영과 일치하도록 픽셀 크기가 변경되었습니다. (K) 빠른 정리를 통한 U-Net의 2D 분할, 적절한 전처리 및 (L) 분할의 3D 렌더링을 통해 데이터 세트 전반에 걸쳐 강력한 추론을 보여줍니다. 스케일 바 = 100nm. 약어: DIV = 시험관 내 일수; CTF = 대비 전달 함수. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig02large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/64435/64435fig03.jpg"> 그림 3: 필라멘트 추적 개선 . (A) Titan Krios에서 수집된 DIV 4 쥐 해마 뉴런의 단층 촬영. (B) 액틴 필라멘트에 대한 실린더 상관 관계에서 생성된 상관 관계 맵. (C) 매개변수를 정의하기 위해 상관 맵에서 액틴 필라멘트의 강도를 사용하는 액틴의 필라멘트 추적. 추적은 막과 미세소관, 소음을 포착하는 동시에 액틴만 추적하려고 합니다. (D) 단층 촬영의 U-Net 분할. 막은 파란색으로, 미세소관은 빨간색으로, 리보솜은 주황색으로, triC는 보라색으로, 액틴은 녹색으로 강조 표시됩니다. (E) 필라멘트 추적을 위한 이진 마스크로 추출된 액틴 분할. (F) (B)의 동일한 매개변수를 가진 실린더 상관관계에서 생성된 상관관계 맵. (G) 단층 촬영에서 액틴 필라멘트의 필라멘트 추적이 크게 개선되었습니다. 약어: DIV = 시험관 내 일수. <a href="https://www.jove.com/files/ftp_upload/64435/64435fig03large.jpg" target="_blank">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.</a>
보충 파일 1: 이 프로토콜에 사용된 단층 촬영과 훈련 입력으로 생성된 다중 ROI는 번들 데이터 세트(Training.ORSObject)로 포함됩니다. https://datadryad.org/stash/dataset/doi:10.5061/dryad.rxwdbrvct 참조하십시오.

이것은 하나의 단층 촬영의 일부를 훈련 입력으로 사용하여 극저온 전자 단층 촬영의 다중 클래스 분할을 위해 다중 슬라이스 U-Net을 훈련하는 방법입니다. 이 신경망을 다른 단층그램과 유추하는 방법과 서브토모그램 평균화 및 필라멘트 추적과 같은 추가 분석을 위해 분할을 추출하는 방법을 설명합니다.

Deep Learning-based segmentation of Cryo-Electron Tomograms(극저온 전자 단층 촬영의 딥러닝 기반 분할)

Cryo-electron tomography (cryo-ET) allows researchers to image cells in their native, hydrated state at the highest resolution currently possible. The ...

당사 프로토콜의 가장 흥미로운 점은 모든 실험실에서 이러한 딥 러닝 프로토콜을 사용하여 대량의 Cryo-ET 데이터를 분할할 수 있다는 것입니다. 워크플로의 가장 큰 장점은 Dragonfly가 세그멘테이션을 위해 멀티클래스 신경망을 훈련할 수 있는 전문가 수준의 컴퓨팅 환경을 제공한다는 것이며, 이를 통해 세그멘테이션 프로세스의 속도를 크게 높일 수 있습니다. 이미지 분할은 배우는 데 시간이 걸리므로 도구를 테스트하고 시간이 지남에 따라 워크플로를 간소화하는 데 실제로 도움이 되는 키 바인딩을 배워야 합니다.소프트웨어를 설정한 후 파일로 이동하고 이미지 파일 가져오기를 선택하여 이미지 가져오기를 진행합니다. 그런 다음 추가를 클릭하고, 이미지 파일로 이동하고, 열기를 클릭하고, 다음을 선택한 다음, 마침을 차례로 선택합니다. Utilities(유틸리티)로 이동하고 Dimension Unit Manager(차원 단위 관리자)를 선택하여 사용자 지정 강도 척도를 만듭니다.왼쪽 하단의 더하기 버튼을 클릭하여 새 치수 단위를 작성합니다. 관심 있는 모든 단층 촬영에서 고강도 및 저강도 기능을 선택하십시오. 단위에 이름과 약어를 지정하고 사용자 지정 차원 단위를 저장합니다.이미지를 사용자 지정 강도 스케일로 보정하려면 화면 오른쪽의 Properties 열에서 데이터 세트를 마우스 오른쪽 버튼으로 클릭하고 Calibrate Intensity Scale을 선택합니다. 그런 다음 화면 왼쪽의 기본 탭으로 이동하여 프로브 섹션까지 아래로 스크롤합니다. 적절한 직경의 원형 프로브 도구를 사용하여 단층 촬영의 배경 영역에서 몇 군데를 클릭하고 원시 강도 열에 평균 수치를 기록합니다.기준 마커에 대해 반복하고 보정(Calibrate)을 클릭합니다. 필요한 경우 대비를 조정하여 기본 탭의 창 수평 조정 섹션에 있는 영역 도구를 사용하여 구조를 다시 볼 수 있도록 합니다. 기본 탭의 왼쪽에서 이미지 처리 패널까지 아래로 스크롤합니다.고급을 클릭하고 새 창이 열릴 때까지 기다립니다. 속성 패널에서 필터링할 데이터 집합을 선택하고 데이터 집합 왼쪽에 있는 눈 모양 아이콘을 클릭하여 표시합니다. 그런 다음 작업 패널의 드롭다운 메뉴를 사용하여 첫 번째 작업에 대한 히스토그램 이퀄라이제이션을 선택합니다.작업 추가를 선택하고 가우시안을 클릭한 다음 커널 차원을 3D로 변경합니다. 세 번째 작업을 추가한 다음, Unsharp를 선택하고 이 작업에 대한 출력을 그대로 둡니다. 모든 슬라이스에 이퀄라이제이션을 적용하고 필터링을 실행한 다음 이미지 처리 창을 닫고 기본 인터페이스로 돌아갑니다.학습 영역을 식별하려면 먼저 왼쪽에 있는 눈 모양 아이콘을 클릭하여 필터링되지 않은 데이터 세트를 숨겨 데이터 속성 패널로 이동합니다. 그런 다음 새로 필터링된 데이터 세트를 표시합니다. 필터링된 데이터셋을 사용하여 관심 있는 모든 특징이 포함된 단층 촬영의 하위 영역을 식별합니다.이제 셰이프 범주까지 아래로 스크롤하고 기본 탭의 왼쪽에 있는 상자 만들기를 선택하여 관심 영역 주위에 상자를 만듭니다. 4뷰 패널에 있는 동안 다른 2D 평면을 사용하여 상자의 가장자리를 안내하거나 드래그하여 모든 치수에서 관심 영역만 둘러쌉니다. 데이터 목록에서 상자 영역을 선택하고 눈 기호 옆에 있는 회색 사각형을 클릭하여 더 쉽게 볼 수 있도록 테두리 색상을 변경합니다.다중 ROI를 생성하려면 세그멘테이션 탭을 선택하고 왼쪽에서 새로 만들기를 클릭한 다음 다중 ROI로 만들기를 선택합니다. 클래스 수가 관심 있는 기능의 수와 백그라운드 클래스의 수와 일치하는지 확인합니다. 확인을 클릭하기 전에 다중 ROI 학습 데이터의 이름을 지정하고 지오메트리가 데이터 세트와 일치하는지 확인합니다. 그런 다음 boxed 영역의 경계 내에 있을 때까지 데이터를 스크롤합니다.오른쪽의 속성 메뉴에서 다중 ROI를 선택합니다. 다중 ROI에서 첫 번째 빈 클래스 이름을 두 번 클릭하여 이름을 지정합니다. 2D 브러시로 페인팅하려면 왼쪽의 분할 탭에서 2D 도구까지 아래로 스크롤하고 원형 브러시를 선택합니다.그런 다음 드롭다운 메뉴에서 적응형 가우스 또는 로컬 OTSU를 선택하고, 왼쪽 컨트롤 더하기 클릭을 길게 눌러 페인팅하고, 왼쪽 시프트 더하기 클릭을 눌러 지웁니다. 모든 구조에 레이블이 지정되면 다중 ROI에서 배경 클래스를 마우스 오른쪽 버튼으로 클릭하고 레이블이 지정되지 않은 모든 복셀을 클래스에 추가를 선택합니다. 다음으로, Mask라는 새 단일 클래스 ROI를 만듭니다.지오메트리가 필터링된 데이터 세트로 설정되어 있는지 확인한 다음 적용을 클릭합니다. 오른쪽의 속성 탭에서 상자를 마우스 오른쪽 단추로 클릭하고 ROI에 추가를 선택한 다음 마스크 ROI에 추가합니다. 마스크를 사용하여 학습 데이터를 트리밍하려면 속성 탭으로 이동하고 control을 누른 상태에서 각각을 클릭하여 학습 데이터, 다중 ROI 및 마스크 ROI를 모두 선택합니다.그런 다음 Boolean Operations 섹션의 데이터 속성 목록 아래에 있는 Intersect를 클릭합니다. 새 데이터 세트의 이름을 트리밍된 학습 입력으로 지정하고 지오메트리가 필터링된 데이터 세트에 해당하는지 확인한 후 확인을 클릭합니다. Properties 탭에서 필터링된 데이터 세트를 마우스 오른쪽 단추로 클릭하고 Segmentation Wizard 옵션을 선택하여 학습 데이터를 Segmentation Wizard로 가져옵니다. 새 창이 열리면 오른쪽에서 입력 탭을 찾습니다.Import Frames From a Multi-ROI를 클릭하고 Trimmed Training 입력을 선택합니다. 새 신경망 모델을 생성하려면 모델 탭의 오른쪽에 있는 더하기 버튼을 클릭합니다. 목록에서 U Net을 선택하고 입력 차원으로 2.5D 및 5개의 슬라이스를 선택한 다음 생성을 클릭합니다.신경망을 훈련시키려면 Seg Wiz 창의 오른쪽 하단에 있는 훈련을 클릭합니다. 단위 훈련이 완료되면 훈련된 신경망을 사용하여 새 프레임을 분할하고, 새 프레임을 만든 다음, 예측(Predict)을 클릭합니다. 그런 다음 예측된 프레임의 오른쪽 위에 있는 위쪽 화살표를 클릭하여 분할을 실제 프레임으로 전송합니다.예측을 수정하려면 두 클래스를 Control 키를 누른 채 클릭하여 한 클래스의 분할된 픽셀을 다른 클래스로 변경합니다. 두 클래스를 모두 선택하고 브러시로 페인팅하여 두 클래스 중 하나에 속하는 픽셀만 페인팅합니다. 5개 이상의 새 프레임에서 분할을 수정합니다.반복 훈련의 경우, 훈련 버튼을 다시 클릭하고 신경망이 30-40개의 에픽을 더 훈련시킬 수 있도록 하십시오. 이 시점에서 훈련을 중지하고 다른 훈련을 시작하십시오. 네트워크 성능이 만족스러우면 세그멘테이션 마법사를 종료하여 네트워크를 게시합니다.게시할 모델을 묻는 대화 상자가 나타납니다. 성공한 네트워크를 선택하고 이름을 지정한 다음 게시하여 세그멘테이션 마법사 외부에서 네트워크를 사용할 수 있도록 합니다. 먼저 속성 패널에서 필터링된 데이터 세트를 선택하여 학습 단층 촬영에 적용합니다.왼쪽의 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션까지 아래로 스크롤합니다. 올바른 데이터 집합이 선택되었는지 확인합니다. 드롭다운 메뉴에서 최근에 게시된 모델을 선택한 다음 세그먼트(Segment)를 클릭한 다음 모든 슬라이스(All Slices)를 클릭합니다.추론 데이터 세트에 적용하려면 새 단층 촬영을 가져와서 앞에서 설명한 대로 전처리합니다. 세그멘테이션 패널에서 AI가 있는 세그먼트 섹션으로 이동합니다. 새로 필터링된 단층 촬영이 선택한 데이터 세트인지 확인하고, 이전에 학습된 모델을 선택하고, 세그먼트를 클릭하고, 모든 슬라이스를 선택합니다.먼저 노이즈와 관심 있는 기능을 분할한 클래스 중 하나를 선택하여 노이즈를 빠르게 정리합니다. 그런 다음 Process Islands를 마우스 오른쪽 단추로 클릭하고 Removed by Voxel Count를 선택한 다음 Select a Voxel Size를 클릭합니다. 작은 카운트로 시작하여 점차적으로 카운트를 늘려 대부분의 노이즈를 제거합니다.분할 교정의 경우, 두 개의 클래스를 Control 키를 누른 상태에서 클릭하여 해당 클래스에만 속하는 픽셀을 그립니다. 분할 도구를 사용하여 Control-클릭하고 드래그하여 두 번째 클래스의 픽셀을 첫 번째 클래스로 변경하고 Shift 키를 누른 상태에서 드래그를 클릭하여 반대 작업을 수행합니다. 단일 단층 촬영에 대해 5 슬라이스 단위를 훈련하고 훈련 입력을 위해 손 분할을 수행했습니다.전체 교육 후 유닛의 2D 분할이 표시됩니다. 분할된 영역의 3D 렌더링은 멤브레인, 미세소관 및 액틴 필라멘트를 보여줍니다. 훈련 단층 촬영과 동일한 세션의 DIV 5 해마 쥐 뉴런이 표시됩니다.빠른 클린업에 대한 추가 교육 없이 장치에서 2D 분할을 통해 멤브레인, 미세소관, 액틴 및 기준점을 표시했습니다. 분할된 영역의 3D 렌더링도 시각화되었습니다. 이전 세션에서 DIV 5 해마 쥐 뉴런도 관찰되었습니다.빠른 정리 및 3D 렌더링을 통한 장치의 2D 분할도 수행되었습니다. DIV 5 해마 쥐 뉴런은 또한 다른 배율에서 다른 Titan Krios에서 관찰되었습니다. IMOD 프로그램 스퀴즈 볼트로 픽셀 크기가 훈련 단층 촬영과 일치하도록 변경되었습니다.빠른 정리를 통한 장치의 2D 분할은 적절한 전처리를 통해 데이터 세트 전반에 걸쳐 강력한 추론을 보여주며 분할의 3D 렌더링이 수행되었습니다. 데이터를 동일하게 사전 처리하고 히스토그램을 보정하는 것은 적절한 네트워크 추론을 위한 가장 중요한 단계입니다. 단층 촬영 내에서 분자의 위치를 알게 되면 Dragonfly 내에서 정량적 측정값을 계산하거나 좌표를 계산하여 하위 단층 촬영 평균 파이프라인에 공급하는 것은 매우 간단합니다.우리는 Cryo-ET 이미지 분석에 대한 딥 러닝의 효과를 이제서야 보기 시작했지만, 이것은 정말 엄청난 가능성을 보여주는 또 하나의 영역일 뿐입니다.

deep-learning-based-segmentation-of-cryo-electron-tomograms

Research

연구

JoVE Journal

Biology

생물학

미세 구조 분석을 위해 신경 프로세스를 유지하기 위해, 우리는 유리 같은 얼음의 층에 현탁 샘플을 항복, 플래시 냉동으로 다음 전자 현미경 그리드에 대한 기본 뉴런의 도금을위한 프로토콜을 설명합니다. 이들 샘플은 나노 미터 스케일에서 구조를 시각화하는 극저온 전자 현미경으로 관찰 할 수있다.

극저온 전자 단층 촬영을 사용하여 냉동 수화 상태에서 신경 돌기를 시각화에 대한 기본 뉴런의 준비

셀룰러 차원 전자 현미경을위한 병목 고도로 복잡한 3D 밀도 맵에서 피쳐 추출 (분할)된다. 우리는 따라서 효율적인 세그멘테이션 대한 시작점을 제공하고, 분할 방식 (수동, 반자동 또는 자동으로)가 상이한 데이터 유형에 가장 적합 관한 지침을 제공하는 기준의 세트를 개발했다.

복셀에서 지식 : 복잡한 전자 현미경 3D-데이터의 분할에 대한 실용 가이드

집속 이온빔 밀링을 사용하여 극저온 전자 단층 촬영을 위한 급락 동결 생물학적 샘플에서 유리질 그리드 상의 라멜라를 생성합니다.

극저온 전자 단층 촬영을 위한 이중 빔 주사 전자 현미경을 사용하여 유리체 생물학적 샘플에서 라멜라 준비

극저온 전자 단층 촬영에서 대규모 데이터 수집에 대한 수요가 증가함에 따라 처리량이 높은 이미지 수집 루틴이 필요합니다. 여기에 설명된 프로토콜은 지형 데이터 수집의 시간 효율성과 처리량을 최대화하기 위한 고급 인수 전략의 최근 개발을 구현하는 프로토콜입니다.

극저온 전자 단층 촬영 데이터 수집 최적화를 위한 전략

이 프로토콜의 목표는 극저온 전자 현미경 검사법을 위한 그리드의 표적 영역에 세포 접착 및 성장을 지시하는 것입니다. 이는 세포 종자 전에 패턴화된 영역에서 세포외 매트릭스 단백질의 증착에 따라 사용자 지정 패턴에서 절제되는 항 파울링 층을 적용함으로써 달성된다.

전세포 극저온-전자 단층 촬영 워크플로우 내의 직접 세포 위치지정에 마이크로패턴 전송 전자 현미경 검사기 그리드

본 프로토콜은 Tomo5를 사용한 고분해능 초저온 전자 단층 촬영 원격 데이터 수집과 emClarity를 사용한 후속 데이터 처리 및 서브 단층 촬영 평균화를 설명합니다. 아포페리틴은 2.86 Å 분해능에서 cryo-ET 구조를 달성하기 위한 자세한 단계별 프로세스를 설명하기 위한 예로 사용됩니다.

초저온 전자 단층 촬영 원격 데이터 수집 및 서브 단층 촬영 평균화

Cryo-STEM 단층촬영은 임베딩, 절편 또는 기타 침습적 제제 없이 손상되지 않은 세포의 세포 소기관을 시각화하는 수단을 제공합니다. 얻어진 3D 해상도는 현재 수 나노미터 범위이며, 시야는 수 마이크로미터이고 접근 가능한 두께는 1μm 정도입니다.

Cryo-STEM 단층촬영에 의한 세포 소기관 In Situ 의 시각화

초저온 전자 단층촬영(cryo-ET)을 사용하면 나노미터 분해능에서 세포 초미세 구조를 3D로 시각화할 수 있지만 수동 분할은 여전히 시간이 많이 걸리고 복잡합니다. 우리는 cryo-ET 단층촬영을 위한 고급 가상 현실 소프트웨어를 통합한 새로운 워크플로우를 제시하고, 포유류 세포의 미토콘드리아를 분할하여 그 효과를 보여줍니다.

초저온 전자 단층촬영(cryo-electron tomography) 데이터의 몰입형 세분화 및 분석을 위한 가상 현실 활용

이 프로토콜은 고압 냉동(HPF)과 와플 방법, 극저온 집중 이온 빔(cryo-FIB) 리프트아웃, 선량 대칭 병렬 채취를 통합하여 두꺼운 조직에 대한 냉동 전자 단층촬영(cryo-ET)을 표준화하여, 쥐 해마에서 재 현 가능한 현장 분석을 위한 균일하게 얇은 층상과 유리화 표본을 제공합니다.

쥐 해마에서 입증된 두꺼운 조직을 위한 냉동 전자 단층촬영 워크플로우

마우스를 네크로 텍스에 삽입 마우스 오른쪽 단추로 각도 마이크로 일반적으로 통에 발견 관점 여러 피질 레이어의 깊은 화상을 허용합니다. 원 - mm 마이크로는 다양한 현장의 전망 (~ 900 μm의)와 돌기 쪽이를 해결하기 위해 충분한 공간 해상도를 제공합니다. 우리는 계층 V의 연결 이미지와 마이크로를 사용하여 neocortical 혈관 영상을 보여줍니다.

Microprism를 사용하여 딥 두피 레이어의 생체내 이미징에서

학습하세요 극저온 전자 단층 촬영 데이터의 딥러닝 기반 다중 클래스 분할 방법을. Multi-slice U-Net 신경망 훈련과 Dragonfly 소프트웨어를 활용하여 생물학적 이미징 분석 효율성을 극대화합니다.

Deep Learning-based segmentation of Cryo-Electron Tomograms(극저온 전자 단층 촬영의 딥러닝 기반 분할)

더 많은 동영상 탐색