Kriyo-Elektron Tomogramlarının Derin Öğrenme Tabanlı Segmentasyonu
11 Kasım 2022
Bu, bir tomogramın bir kısmını eğitim girdisi olarak kullanarak kriyo-elektron tomogramlarının çok sınıflı segmentasyonu için çok dilimli bir U-Net'i eğitmek için kullanılan bir yöntemdir. Bu ağın diğer tomogramlara nasıl çıkarılacağını ve subtomogram ortalaması ve filament izleme gibi daha ileri analizler için segmentasyonların nasıl çıkarılacağını açıklıyoruz.
Protokolümüz hakkında en heyecan verici olan şey, herhangi bir laboratuvarın büyük miktarda kriyo-ET verisini segmentlere ayırmak için bu derin öğrenme protokollerini kullanarak çalışmaya başlamasına izin vermesidir. İş akışımızın temel avantajı, Dragonfly'ın segmentasyon için çok sınıflı sinir ağlarını eğitmek için profesyonel düzeyde bir hesaplama ortamı sağlaması ve bu da segmentasyon sürecinizi gerçekten önemli ölçüde hızlandırabilmesidir. Görüntü segmentasyonunun öğrenilmesi zaman alır, bu nedenle zaman içinde iş akışınızı kolaylaştırmaya gerçekten yardımcı olacak araçları test ettiğinizden ve anahtar bağları öğrendiğinizden emin olun.
Yazılımı kurduktan sonra, Dosya'ya gidip Görüntü Dosyalarını İçe Aktar'ı seçerek görüntü içe aktarma işlemine devam edin. Ardından Ekle'yi tıklatın, görüntü dosyasına gidin, Aç'ı tıklatın ve İleri'yi ve ardından Son'u seçin. Yardımcı Programlar'a gidip Boyut Birimi Yöneticisi'ni seçerek özel bir yoğunluk ölçeği oluşturun.
Yeni bir boyut birimi oluşturmak için sol alt kısımdaki artı işaretine tıklayın. İlgilendiğiniz tüm tomogramlarda yüksek ve düşük yoğunluklu bir özellik seçin. Birime bir ad ve kısaltma verin ve özel boyut birimini kaydedin.
Görüntüleri özel yoğunluk ölçeğine göre kalibre etmek için ekranın sağ tarafındaki Özellikler sütununda veri kümesine sağ tıklayın ve Yoğunluk Ölçeğini Kalibre Et'i seçin. Ardından, ekranın sol tarafındaki ana sekmeye gidin ve prob bölümüne gidin. Dairesel prob aletini uygun çapta kullanarak, tomogramın arka plan bölgesinde birkaç yere tıklayın ve ortalama sayıyı ham yoğunluk sütununa kaydedin.
Referans işaretleyicileri için bu işlemi tekrarlayın ve Kalibre Et'i tıklatın. Gerekirse, ana sekmenin pencere tesviye bölümündeki alan aracıyla yapıları yeniden görünür hale getirmek için kontrastı ayarlayın. Ana sekmenin sol tarafında, görüntü işleme paneline doğru aşağı kaydırın.
Gelişmiş'i tıklatın ve yeni bir pencerenin açılmasını bekleyin. Özellikler panelinden filtrelenecek veri kümesini seçin ve veri kümesinin solundaki göz simgesini tıklatarak görünür hale getirin. Ardından, ilk işlem için histogram eşitlemeyi seçmek üzere işlemler panelindeki açılır menüyü kullanın.
İşlem ekle'yi seçin, Gaussian'a tıklayın ve çekirdek boyutunu 3B olarak değiştirin. Üçüncü işlemi ekleyin, ardından Keskinliği Kaldır'ı seçin ve çıktıyı bunun için bırakın. Eşitlemeyi tüm dilimlere uygulayın ve filtrelemenin çalışmasına izin verin, ardından ana arayüze dönmek için görüntü işleme penceresini kapatın.
Eğitim alanını tanımlamak için, önce filtrelenmemiş veri kümesini gizleyerek veri özellikleri paneline gidin ve soldaki göz simgesini tıklayın. Ardından, yeni filtrelenen veri kümesini gösterin. Filtrelenmiş veri kümesini kullanarak, tomogramın ilgilenilen tüm özellikleri içeren bir alt bölgesini tanımlayın.
Şimdi Şekiller kategorisine gidip ana sekmenin sol tarafındaki Kutu oluştur'u seçerek ilgi alanı çevresinde bir kutu oluşturun. Dört görünümlü paneldeyken, tüm boyutlarda yalnızca ilgi alanını içine almak için kutunun kenarlarını yönlendirmeye veya sürüklemeye yardımcı olması için farklı 2B düzlemleri kullanın. Veri listesinde, kutu bölgesini seçin ve göz sembolünün yanındaki gri kareyi tıklatarak daha kolay görüntülemek için kenarlık rengini değiştirin.
Çoklu YG oluşturmak için Segmentasyon sekmesini seçin, sol taraftaki Yeni'yi tıklayın ve Çoklu YG olarak oluştur'u işaretleyin. Sınıf sayısının, ilgilenilen özelliklerin sayısına ve bir arka plan sınıfına karşılık geldiğinden emin olun. Çoklu yatırım getirisi eğitim verilerini adlandırın ve Tamam'ı tıklatmadan önce geometrinin veri kümesine karşılık geldiğinden emin olun. Ardından, kutulu bölgenin sınırları içine girene kadar veriler arasında gezinin.
Sağdaki Özellikler menüsünden Çoklu Yatırım Getirisi'ni seçin. Çoklu yatırım getirisindeki ilk boş sınıf adını çift tıklatarak adlandırın. 2B fırçayla boyamak için soldaki Segmentasyon sekmesindeki 2B araçlar'a gidin ve dairesel bir fırça seçin.
Ardından açılır menüden Uyarlanabilir Gauss veya Yerel OTSU'yu seçin, sol kontrol artı tıklama tuşunu basılı tutarak boyayın ve sola kaydırma artı tıklama tuşunu basılı tutarak silin. Tüm yapılar etiketlendikten sonra, çoklu yatırım getirisinde arka plan sınıfına sağ tıklayın ve Tüm Etiketlenmemiş Vokselleri Sınıfa Ekle'yi seçin. Ardından, Maske adlı yeni bir tek sınıflı yatırım getirisi oluşturun.
Geometrinin filtrelenmiş veri kümesine ayarlandığından emin olun ve ardından Uygula'ya tıklayın. Sağdaki Özellikler sekmesinde, kutuyu sağ tıklatın, YG'ye Ekle'yi seçin ve maske YG'sine ekleyin. Maskeyi kullanarak eğitim verilerini kırpmak için Özellikler sekmesine gidin ve kontrolü basılı tutup her birine tıklayarak hem eğitim verilerini, hem çoklu yatırım getirisini hem de maske yatırım getirisini seçin.
Ardından, Boole İşlemleri bölümündeki veri özellikleri listesinin altındaki Kesiş'e tıklayın. Yeni veri kümesini kırpılmış eğitim girişi olarak adlandırın ve Tamam'a tıklamadan önce geometrinin filtrelenmiş veri kümesine karşılık geldiğinden emin olun. Özellikler sekmesinde filtrelenmiş veri kümesine sağ tıklayıp Segmentasyon Sihirbazı seçeneğini belirleyerek eğitim verilerini Segmentasyon Sihirbazı'na aktarın. Yeni bir pencere açıldığında, sağ taraftaki Giriş sekmesini bulun.
Çoklu Yatırım Getirisinden Çerçeveleri İçe Aktar'a tıklayın ve Kırpılmış Eğitim girişini seçin. Yeni bir sinir ağı modeli oluşturmak için, modelin sekmesinde sağ taraftaki artı düğmesine tıklayın. Listeden U Net'i seçin, giriş boyutu için 2,5 B ve beş dilim seçin ve ardından Oluştur'a tıklayın.
Ağı eğitmek için, Seg Wiz penceresinin sağ alt köşesindeki Eğit'e tıklayın. Birim eğitimi tamamlandıktan sonra, yeni çerçeveleri bölümlere ayırmak, yeni bir çerçeve oluşturmak ve Tahmin Et'i tıklatmak için eğitilen ağı kullanın. Ardından, segmentasyonu gerçek kareye aktarmak için tahmin edilen karenin sağ üst köşesindeki yukarı oku tıklayın.
Tahmini düzeltmek için, iki sınıfı kontrol tuşuna basarak tıklayarak birinin parçalanmış piksellerini diğerine değiştirin. Her iki sınıfı da seçin ve yalnızca her iki sınıfa ait pikselleri boyamak için fırçayla boyayın. Segmentasyonu en az beş yeni çerçevede düzeltin.
Yinelemeli eğitim için, Eğit düğmesine tekrar tıklayın ve ağın 30 ila 40 destan daha fazla eğitim almasına izin verin. Bu noktada, eğitimi durdurun ve başka bir eğitim turuna başlayın. Ağın performansından memnun kaldığınızda, Segmentasyon Sihirbazı'ndan çıkarak ağı yayımlayın.
Hangi modellerin yayınlanacağını soran bir iletişim kutusu açılır. Başarılı ağı seçin, adlandırın, sonra ağı Segmentasyon Sihirbazı dışında kullanılabilir hale getirmek için yayımlayın. İlk olarak, eğitim tomogramına uygulanacak Özellikler panelinde filtrelenmiş veri kümesini seçin.
Soldaki Segmentasyon panelinde, AI içeren segment bölümüne doğru aşağı kaydırın. Doğru veri kümesinin seçildiğinden emin olun. Açılır menüden en son yayınlanan modeli seçin, ardından Segment'i ve ardından Tüm Dilimler'i tıklayın.
Bir çıkarım veri kümesine uygulamak için, yeni tomogramı içe aktarın ve daha önce gösterildiği gibi önceden işleyin. Segmentasyon panelinde, AI ile segment bölümüne gidin. Yeni filtrelenen tomogramın seçilen veri kümesi olduğundan emin olun, önceden eğitilmiş modeli seçin, segmenti tıklayın ve Tüm Dilimler'i seçin.
Önce gürültüyü ve ilgi çekici özelliği bölümlere ayıran sınıflardan birini seçerek gürültüyü hızla temizleyin. Ardından, İşlem Adaları'na sağ tıklayın, Voksel Sayısı Tarafından Kaldırıldı'yı seçin ve ardından Bir Voksel Boyutu Seç'e tıklayın. Küçük sayımlarla başlayın ve gürültünün çoğunu gidermek için sayıyı kademeli olarak artırın.
Segmentasyon düzeltmesi için, yalnızca bu sınıflara ait pikselleri boyamak üzere iki sınıfı kontrol tuşuna basarak tıklayın. İkinci sınıfın piksellerini birinci sınıfa değiştirmek için segmentasyon araçlarıyla Control tuşunu basılı tutarak tıklayın ve sürükleyerek ve tersini gerçekleştirmek için shift tuşunu basılı tutarak tıklayıp sürükleyin. Tek bir tomogram üzerinde beş dilimli bir ünite eğitildi ve eğitim girişi için el segmentasyonu yapıldı.
Tam eğitimden sonra üniteden 2D segmentasyon gösterilir. Parçalanmış bölgelerin 3D gösterimi membran, mikrotübüller ve aktin filamentlerini gösterir. DIV 5 hipokampal sıçan nöronları ile aynı seanstan itibaren eğitim tomogramı olarak gösterilmiştir.
Hızlı temizleme konusunda ek bir eğitim gerekmeksizin üniteden 2D segmentasyon, membran, mikrotübüller, aktin ve referansları görüntüledi. Parçalanmış bölgelerin 3D gösterimi de görselleştirildi. Daha önceki bir seanstan DIV 5 hipokampal sıçan nöronu da gözlendi.
Hızlı temizleme ve 3D render ile üniteden 2D segmentasyon da gerçekleştirildi. DIV 5 hipokampal sıçan nöronu, farklı bir Titan Krios'ta farklı bir büyütmede de gözlendi. Piksel boyutu, IMOD program sıkma kasası ile eğitim tomogramına uyacak şekilde değiştirildi.
Hızlı temizleme ile üniteden 2B segmentasyon, uygun ön işleme ile veri kümeleri arasında sağlam çıkarımlar gösterir ve segmentasyonun 3B oluşturulması gerçekleştirilmiştir. Verileri aynı şekilde önceden işlemek ve histogramları kalibre etmek, doğru ağ çıkarımı için kesinlikle en önemli adımlardır. Moleküllerin yeri tomogram içinde bilindikten sonra, nicel ölçümleri hesaplamak veya koordinatları hesaplamak ve bunları bir alt tomogram ortalama boru hattına beslemek Dragonfly içinde gerçekten önemsizdir.
Derin öğrenmenin kriyo-ET görüntü analizi üzerindeki etkilerini görmeye yeni başlıyoruz, ancak bu gerçekten muazzam bir umut vaat ettiği bir alan daha.
Genel Bakış
Bu çalışma, kriyo-elektron tomogramlarının çok sınıf segmentasyonunu gerçekleştirmek üzere bir çok dilimli U-Net sinir ağı eğitimi için ayrıntılı bir protokol sunmaktadır. Yöntem, bir tomogramın bir bölümünü eğitim girişi olarak kullanmayı ve alt-tomogram ortalaması ve filament izleme gibi sonraki analizler için yeni tomogramların segmentasyonunu sağlamayı içermektedir.
Çalışmanın Temel Bileşenleri
Araştırma Alanı
- Biyolojik görüntülemede derin öğrenme yöntemleri
- Kriyo-elektron tomografi verilerinin segmentasyonu
- Biyolojik analiz için hesaplamasal teknikler
Arka Plan
- Geleneksel görüntü segmentasyon teknikleri zaman alıcı olabilir.
- Gelişmiş hesaplamasal araçlar verimli veri analizini kolaylaştırır.
- Derin öğrenme, segmentasyon görevlerinde gelişmiş yetenekler sunar.
Kullanılan Yöntemler
- Nöral ağ eğitimi için çok dilimli U-Net
- Biyolojik sistem olarak kriyo-elektron tomogramları
- Görüntü içe aktarma ve işleme için Dragonfly yazılımı
Ana Sonuçlar
- Eğitilmiş ağ kullanılarak kriyo-ET verilerinin başarılı segmentasyonu
- Görüntü işleme ve analizi için optimize edilmiş iş akışı
- Yeni verilere uyum sağlamak için sinir ağlarının etkili eğitimi
Sonuçlar
- Çalışma, kriyo-ET veri analizinde derin öğrenmeyi kullanmanın pratik bir yaklaşımını göstermektedir.
- Bu yöntem, karmaşık görüntüleme verilerini içeren biyolojik araştırmaların verimliliğini artırır.
Sıkça Sorulan Sorular
Executive Industry Relevance
Automated deep learning-based segmentation of cryo-electron tomograms addresses a critical bottleneck in structural biology and cell imaging, enabling high-throughput, quantitative analysis of complex cellular architectures. This workflow enhances predictive confidence in early discovery by providing robust, reproducible segmentation across multiple structures and datasets. Accelerated segmentation supports rapid hypothesis testing and data-driven decision-making at key inflection points in the discovery pipeline.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables rapid interrogation of cellular ultrastructure for mechanistic de-risking.
- Supports functional target validation by segmenting multiple subcellular features simultaneously.
- Facilitates portfolio triage by providing quantitative, reproducible structural data.
Screening & Assay Development
- Prepares validated, segmented tomograms for downstream image-based screening workflows.
- Standardizes segmentation outputs, improving reproducibility and scalability across projects.
- Enables reliable extraction of coordinates for subtomogram averaging and filament tracing.
Translational & Preclinical Research
- Aligns high-resolution structural data with disease-relevant cellular models when applicable.
- Supports continuity from discovery imaging to preclinical validation by enabling robust data integration.
- Reduces risk in translational research by providing quantitative, multi-structure segmentation outputs.
Pipeline & Workflow Integration
This segmentation workflow integrates from early discovery through lead identification, supporting both hypothesis-driven and data-driven research strategies.
- Discovery Biology: Accelerates hypothesis testing and pathway clarification by enabling rapid, multi-class segmentation of tomograms.
- Screening: Delivers standardized, quantitative segmentation outputs suitable for high-content screening and downstream analytics.
- Analytics: Provides robust measurements and coordinates for comparative analysis and subtomogram averaging.
- Translational Research: Facilitates integration of structural data into disease-relevant models when supported by the dataset.
- Enterprise Reuse: Offers a scalable, reusable segmentation capability adaptable to diverse cryo-ET datasets.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in structural biology workflows.
- Operational Value: Dramatically reduces segmentation time from days to under 30 minutes per tomogram.
- Strategic Value: Enables faster go/no-go decisions and improves capital efficiency by streamlining data analysis.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of structurally validated targets.
Implementation Considerations
- Requires expertise in cryo-ET imaging and familiarity with deep learning segmentation tools.
- Needs access to computational infrastructure and Dragonfly software for neural network training and inference.
- Demands standardized preprocessing and calibration across datasets for robust model inference.
- Adaptation may be needed for different cell types or imaging conditions.
- Segmentation accuracy depends on quality of training data and preprocessing consistency.
Biopharma FAQs
Chapters in this video
0:05
Introduction
0:45
Image Import and Preprocessing
2:45
Creating Training Data
5:13
Using the Segmentation Wizard for Iterative Training
6:52
Apply the Network
7:36
Segmentation Manipulation and Cleanup
8:16
Results: Analysis of the Tomogram of DIV 5 Hippocampal Rat Neuron
9:40
Conclusion
