Segmentacja tomogramów krioelektronowych oparta na głębokim uczeniu
November 11th, 2022
To jest metoda trenowania wielowarstwowego U-Net do wieloklasowej segmentacji tomogramów krioelektronowych przy użyciu części jednego tomogramu jako danych wejściowych do treningu. Opisujemy, jak wywnioskować tę sieć z innymi tomogramami i jak wyodrębnić segmentacje do dalszych analiz, takich jak uśrednianie subtomogramu i śledzenie włókien.
Najbardziej ekscytujące w naszym protokole jest to, że pozwala on każdemu laboratorium rozpocząć pracę przy użyciu tych protokołów głębokiego uczenia się do segmentacji dużych ilości danych krio-ET. Główną zaletą naszego przepływu pracy jest to, że Dragonfly zapewnia profesjonalne środowisko obliczeniowe do trenowania wieloklasowych sieci neuronowych do segmentacji, a to naprawdę może znacznie przyspieszyć proces segmentacji. Segmentacja obrazów wymaga czasu, aby się nauczyć, więc upewnij się, że przetestowałeś narzędzia i nauczyłeś się kluczowych powiązań, aby naprawdę usprawnić przepływ pracy w czasie.
Po skonfigurowaniu oprogramowania kontynuuj importowanie obrazu, przechodząc do Plik i wybierając Importuj pliki obrazów. Następnie kliknij Dodaj, przejdź do pliku obrazu, kliknij Otwórz i wybierz Dalej, a następnie Zakończ. Utwórz niestandardową skalę intensywności, przechodząc do sekcji Narzędzia i wybierając Menedżera jednostek wymiarów.
Kliknij plus w lewym dolnym rogu, aby utworzyć nową jednostkę wymiaru. Wybierz funkcję wysokiej i niskiej intensywności we wszystkich interesujących Cię tomogramach. Nadaj jednostce nazwę i skrót, a następnie zapisz jednostkę wymiaru niestandardowego.
Aby skalibrować obrazy do niestandardowej skali intensywności, kliknij prawym przyciskiem myszy zestaw danych w kolumnie Właściwości po prawej stronie ekranu i wybierz opcję Kalibruj skalę intensywności. Następnie przejdź do głównej zakładki po lewej stronie ekranu i przewiń w dół do sekcji sondy. Używając sondy okrągłej o odpowiedniej średnicy, kliknij kilka miejsc w obszarze tła tomogramu i zapisz średnią liczbę w kolumnie intensywności surowej.
Powtórz te czynności dla znaczników odniesienia i kliknij przycisk Kalibruj. W razie potrzeby dostosuj kontrast, aby struktury były ponownie widoczne za pomocą narzędzia Obszar w sekcji Wyrównywanie okien na karcie głównej. Po lewej stronie karty głównej przewiń w dół do panelu przetwarzania obrazu.
Kliknij Zaawansowane i poczekaj, aż otworzy się nowe okno. W panelu Właściwości wybierz zestaw danych, który ma być filtrowany, i wyświetl go, klikając ikonę oka po lewej stronie zestawu danych. Następnie użyj menu rozwijanego z panelu operacji, aby wybrać korekcję histogramu dla pierwszej operacji.
Wybierz pozycję Dodaj operację, kliknij pozycję Gaussian i zmień wymiar jądra na 3D. Dodaj trzecią operację, a następnie wybierz pozycję Unsharp i pozostaw dane wyjściowe dla tej operacji. Zastosuj wyrównanie do wszystkich plasterków i pozwól na uruchomienie filtrowania, a następnie zamknij okno przetwarzania obrazu, aby powrócić do głównego interfejsu.
Aby zidentyfikować obszar treningowy, przejdź do panelu właściwości danych, ukrywając najpierw niefiltrowany zestaw danych, klikając ikonę oka po lewej stronie. Następnie pokaż nowo przefiltrowany zestaw danych. Korzystając z przefiltrowanego zestawu danych, zidentyfikuj podregion tomogramu, który zawiera wszystkie interesujące Cię cechy.
Teraz utwórz pole wokół obszaru zainteresowania, przewijając w dół do kategorii Kształty i wybierając opcję Utwórz pole po lewej stronie karty głównej. Będąc w panelu z czterema widokami, użyj różnych płaszczyzn 2D, aby pomóc w prowadzeniu lub przeciągnij krawędzie ramki, aby objąć tylko obszar zainteresowania we wszystkich wymiarach. Na liście danych zaznacz obszar pola i zmień kolor obramowania, aby ułatwić przeglądanie, klikając szary kwadrat obok symbolu oka.
Aby utworzyć multi-ROI, wybierz kartę Segmentacja, kliknij Nowy po lewej stronie i zaznacz opcję Utwórz jako multi-ROI. Upewnij się, że liczba klas odpowiada liczbie interesujących obiektów oraz klasie tła. Nazwij dane treningowe z wieloma ROI i upewnij się, że geometria odpowiada zestawowi danych przed kliknięciem przycisku OK. Następnie przewiń dane, aż znajdą się w granicach regionu obramowanego.
Wybierz opcję Multi-ROI w menu Właściwości po prawej stronie. Kliknij dwukrotnie pierwszą pustą nazwę klasy w multi-ROI, aby nadać jej nazwę. Aby malować za pomocą pędzla 2D, przewiń w dół do sekcji Narzędzia 2D na karcie Segmentacja po lewej stronie i wybierz pędzel okrągły.
Następnie z menu rozwijanego wybierz Adaptacyjny GAUSSOWSKI lub Lokalny OTSU, maluj, przytrzymując lewy Control plus kliknięcie i wymaż, przytrzymując lewy Shift plus kliknięcie. Po oznaczeniu wszystkich struktur kliknij prawym przyciskiem myszy klasę tła w multi-ROI i wybierz Dodaj wszystkie woksele bez etykiet do klasy. Następnie utwórz nowy jednoklasowy zwrot z inwestycji o nazwie Maska.
Upewnij się, że geometria jest ustawiona na filtrowany zestaw danych, a następnie kliknij przycisk Zastosuj. Na karcie Właściwości po prawej stronie kliknij pole prawym przyciskiem myszy, wybierz Dodaj do ROI i dodaj go do maski ROI. Aby przyciąć dane treningowe za pomocą maski, przejdź do zakładki Właściwości i wybierz zarówno dane treningowe, wielokrotny zwrot z inwestycji, jak i zwrot z inwestycji maski, przytrzymując Control i klikając każdy z nich.
Następnie kliknij przycisk Przetnij poniżej listy właściwości danych w sekcji Operacje logiczne. Nazwij nowy zestaw danych jako przycięte dane wejściowe trenowania i upewnij się, że geometria odpowiada filtrowanemu zestawowi danych przed kliknięciem przycisku OK. Zaimportuj dane treningowe do Kreatora segmentacji, klikając prawym przyciskiem myszy przefiltrowany zestaw danych na karcie Właściwości i wybierając opcję Kreator segmentacji. Gdy otworzy się nowe okno, poszukaj zakładki Dane wejściowe po prawej stronie.
Kliknij opcję Importuj klatki z wielu ROI i wybierz dane wejściowe Przycięte szkolenie. Aby wygenerować nowy model sieci neuronowej, kliknij przycisk plusa po prawej stronie w zakładce modelu. Wybierz z listy opcję U Net, wybierz opcję 2,5 D i pięć wycinków jako wymiar wejściowy, a następnie kliknij przycisk Generuj.
Aby wytrenować sieć, kliknij przycisk Trenuj w prawym dolnym rogu okna Seg Wiz. Po zakończeniu szkolenia jednostki użyj wytrenowanej sieci, aby podzielić nowe klatki na segmenty, utworzyć nową ramkę i kliknąć przycisk Przewiduj. Następnie kliknij strzałkę w górę w prawym górnym rogu przewidywanej klatki, aby przenieść segmentację do rzeczywistej klatki.
Aby skorygować przewidywanie, kliknij z Control w dwie klasy, aby zmienić segmentowane piksele jednej z nich na drugą. Zaznacz obie klasy i maluj pędzlem, aby pomalować tylko piksele należące do każdej z nich. Popraw segmentację w co najmniej pięciu nowych klatkach.
W przypadku trenowania iteracyjnego kliknij ponownie przycisk Trenuj i zezwól sieci na dalsze trenowanie przez kolejne 30 do 40 kolejnych epików. W tym momencie przerwij trening i rozpocznij kolejną rundę treningu. Jeśli wydajność sieci jest zadowalająca, opublikuj ją, zamykając Kreatora segmentacji.
Pojawi się okno dialogowe z pytaniem, które modele opublikować. Wybierz pomyślną sieć, nazwij ją, a następnie opublikuj, aby udostępnić sieć do użytku poza Kreatorem segmentacji. Najpierw wybierz przefiltrowany zestaw danych w panelu Właściwości, który ma zostać zastosowany do tomogramu treningowego.
W panelu Segmentacja po lewej stronie przewiń w dół do sekcji Segment ze sztuczną inteligencją. Upewnij się, że wybrano właściwy zestaw danych. Wybierz ostatnio opublikowany model z menu rozwijanego, a następnie kliknij opcję Segmentuj, a następnie Wszystkie plasterki.
Aby zastosować do zestawu danych wnioskowania, zaimportuj nowy tomogram i wstępnie go przetwól, jak pokazano wcześniej. W panelu segmentacji przejdź do sekcji segment ze sztuczną inteligencją. Upewnij się, że nowo przefiltrowany tomogram jest wybranym zestawem danych, wybierz wcześniej wytrenowany model, kliknij segment i wybierz opcję Wszystkie przekroje.
Szybko usuń szum, wybierając najpierw jedną z klas, które mają podzielony szum na segmenty i interesującą Cię funkcję. Następnie kliknij prawym przyciskiem myszy pozycję Przetwarzaj wyspy, wybierz opcję Usunięto według liczby wokseli, a następnie kliknij polecenie Wybierz rozmiar woksela. Zacznij od małych liczb i stopniowo zwiększaj liczbę, aby usunąć większość hałasu.
Aby skorygować segmentację, kliknij z wciśniętym Control dwie klasy, aby pomalować piksele należące tylko do tych klas. Kliknij z wciśniętym Control i przeciągnij za pomocą narzędzi do segmentacji, aby zmienić piksele drugiej klasy na pierwsze, a kliknięcie z wciśniętym Shift i przeciągnięcie spowoduje odwrotny efekt. Jednostka składająca się z pięciu warstw została przeszkolona na pojedynczym tomogramie i przeprowadzono segmentację ręczną w celu uzyskania danych wejściowych do treningu.
Segmentacja 2D z jednostki po pełnym treningu jest shown. 3D renderowanie segmentowanych obszarów pokazuje błonę, mikrotubule i włókna aktynowe. Pokazano neurony hipokampa szczura DIV 5 z tej samej sesji, co tomogram treningowy.
Wizualizowano również segmentację 2D z jednostki bez dodatkowego szkolenia w zakresie szybkiego czyszczenia wyświetlanej membrany, mikrotubul, aktyny i fiducials. 3D renderowania segmentowanych regionów. Zaobserwowano również neuron szczura hipokampa DIV 5 z wcześniejszej sesji.
Wykonano również segmentację 2D z jednostki z szybkim czyszczeniem i renderowaniem 3D. Neuron szczura hipokampa DIV 5 zaobserwowano również na innym Titan Krios w innym powiększeniu. Rozmiar piksela został zmieniony za pomocą programu IMOD squeeze vault, aby pasował do tomogramu treningowego.
Segmentacja 2D z jednostki z szybkim czyszczeniem demonstruje solidne wnioskowanie w zestawach danych przy odpowiednim przetwarzaniu wstępnym, a także przeprowadzono renderowanie segmentacji 3D. Wstępne przetwarzanie identycznych danych i kalibracja histogramów są zdecydowanie najważniejszymi krokami dla prawidłowego wnioskowania o sieci. Gdy lokalizacja cząsteczek jest znana w tomogramie, w Dragonfly naprawdę trywialnie jest obliczyć pomiary ilościowe lub obliczyć współrzędne i wprowadzić je do rurociągu uśredniającego sub-tomogram.
Dopiero zaczynamy dostrzegać wpływ głębokiego uczenia na analizę obrazów krio-ET, ale jest to tylko kolejny obszar, w którym jest to naprawdę niezwykle obiecujące.
Przegląd
To badanie przedstawia szczegółowy protokół szkolenia wielowarstwowe sieci neuronowej U-Net do wykonywania wieloklasowej segmentacji tomogramów krio-elektronowych. Metoda polega na użyciu części jednego tomogramu jako wejścia do szkolenia i umożliwia segmentację nowych tomogramów do dalszej analizy, takich jak uśrednianie subtomogramów i śledzenie filamentów.
Kluczowe elementy badania
Obszar badań
- Metodologie uczenia głębokiego w obrazowaniu biologicznym
- Segmentacja danych tomografii krio-elektronowej
- Techniki obliczeniowe do analizy biologicznej
Tło
- Tradycyjne techniki segmentacji obrazu mogą być czasochłonne.
- Zaawansowane narzędzia obliczeniowe ułatwiają efektywną analizę danych.
- Uczenie głębokie oferuje lepsze możliwości dla zadań segmentacji.
Stosowane metody
- Wielowarstwowe U-Net do szkolenia sieci neuronowych
- Krio-elektronowe tomogramy jako system biologiczny
- Oprogramowanie Dragonfly do importu i przetwarzania obrazów
Główne wyniki
- Skuteczna segmentacja danych krio-ET za pomocą przeszkolonej sieci
- Ustandaryzowany przepływ pracy dla przetwarzania i analizy obrazów
- Skuteczna szkolenie sieci neuronowych do adaptacji do nowych danych
Wnioski
- Badanie pokazuje praktyczne podejście do wykorzystania uczenia głębokiego w analizie danych krio-ET.
- Ta metoda zwiększa efektywność badań biologicznych z użyciem złożonych danych obrazowych.
Często zadawane pytania
Executive Industry Relevance
Automated deep learning-based segmentation of cryo-electron tomograms addresses a critical bottleneck in structural biology and cell imaging, enabling high-throughput, quantitative analysis of complex cellular architectures. This workflow enhances predictive confidence in early discovery by providing robust, reproducible segmentation across multiple structures and datasets. Accelerated segmentation supports rapid hypothesis testing and data-driven decision-making at key inflection points in the discovery pipeline.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables rapid interrogation of cellular ultrastructure for mechanistic de-risking.
- Supports functional target validation by segmenting multiple subcellular features simultaneously.
- Facilitates portfolio triage by providing quantitative, reproducible structural data.
Screening & Assay Development
- Prepares validated, segmented tomograms for downstream image-based screening workflows.
- Standardizes segmentation outputs, improving reproducibility and scalability across projects.
- Enables reliable extraction of coordinates for subtomogram averaging and filament tracing.
Translational & Preclinical Research
- Aligns high-resolution structural data with disease-relevant cellular models when applicable.
- Supports continuity from discovery imaging to preclinical validation by enabling robust data integration.
- Reduces risk in translational research by providing quantitative, multi-structure segmentation outputs.
Pipeline & Workflow Integration
This segmentation workflow integrates from early discovery through lead identification, supporting both hypothesis-driven and data-driven research strategies.
- Discovery Biology: Accelerates hypothesis testing and pathway clarification by enabling rapid, multi-class segmentation of tomograms.
- Screening: Delivers standardized, quantitative segmentation outputs suitable for high-content screening and downstream analytics.
- Analytics: Provides robust measurements and coordinates for comparative analysis and subtomogram averaging.
- Translational Research: Facilitates integration of structural data into disease-relevant models when supported by the dataset.
- Enterprise Reuse: Offers a scalable, reusable segmentation capability adaptable to diverse cryo-ET datasets.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence and reduces mechanistic ambiguity in structural biology workflows.
- Operational Value: Dramatically reduces segmentation time from days to under 30 minutes per tomogram.
- Strategic Value: Enables faster go/no-go decisions and improves capital efficiency by streamlining data analysis.
- Portfolio Impact: Supports risk-adjusted prioritization and advancement of structurally validated targets.
Implementation Considerations
- Requires expertise in cryo-ET imaging and familiarity with deep learning segmentation tools.
- Needs access to computational infrastructure and Dragonfly software for neural network training and inference.
- Demands standardized preprocessing and calibration across datasets for robust model inference.
- Adaptation may be needed for different cell types or imaging conditions.
- Segmentation accuracy depends on quality of training data and preprocessing consistency.
Biopharma FAQs
Chapters in this video
0:05
Introduction
0:45
Image Import and Preprocessing
2:45
Creating Training Data
5:13
Using the Segmentation Wizard for Iterative Training
6:52
Apply the Network
7:36
Segmentation Manipulation and Cleanup
8:16
Results: Analysis of the Tomogram of DIV 5 Hippocampal Rat Neuron
9:40
Conclusion
